[데이터 엔지니어링] - BigQuery 해부하기

지난시간에 이어 BigQuery & Snowflake에 대해서 해부해볼 생각이다.

 

BigQuery에 환경구성과 기초지식을 습득하고 데이터 탐색,집계등 다양한 연습을 해보고 나서 작성해보도록 하였다.

 

BigQuery 환경 구성 요소

BigQuery는 총 3단계로 구성이 된다.

1. 프로젝트

- 하나의 큰건물, 건물안에는 여러 목적을 가진 창고가 존재한다.

- 하나의 프로젝트에 여러 데이터셋이 존재할수 있다.

2. 데이터셋

- 프로젝트에 있는 창고. 각 창고 공간에 데이터를 저장

- 판매 데이터, 고객 데이터 등 별도의 데이터를 저장할 수 있음

- 하나의 데이터셋에 다양한 테이블이 존재할 수 있음

3. 테이블

- 창고에 있는 선반

- 테이블 안엔 상품의 세부 정보가 저장

- 테이블 안엔 행과 열로 이루어진 데이터들이 저장

 

BigQuery 테이블 유형

battle필드를 보면 테이블 모양이 약간 다르다 저런모양의 경우에는 파티셔닝이 적용된 테이블이다.

빅쿼리에 파티셔닝이란 일자가 적용된 테이블이라고 생각하면 된다.

나는 포켓몬을 가지고 데이터테이블을 만들고 그안에 데이터를 넣어서 놀아보기로했다.

BigQuery 쿼리 실행해보기

 

jw-bigquery : 프로젝트

basic : 데이터셋

pokemon : 테이블

데이터 추출 변환 요약

ERD를 만들때 이커머스산업에서 어떤데이터가 있을까 그리고 포켓몬세상에는 어떤것들이 존재하느냐에 따라서

생각해보고 만들어볼수있다.

데이터 저장 활용

데이터 테이블안에 type들을 만들어봤다.회사에서도 어떤 데이터타입이 있는지 확인해보는게 중요할거같다.

 

 

데이터 탐색 - SELECT,WHERE

Fire type 테이블 찾기

구글 빅쿼리 공식문서

 

 

 

 

 

 

참고자료 :https://zzsza.github.io/bigquery/