[Google] 빅쿼리(BigQuery)란?

[Google] 빅쿼리(BigQuery)란?

작성자: Anderson Kim 1월 03, 2019

[Google] 빅쿼리(BigQuery)란?

대용량 Dataset(최대 몇 십억 개의 행)를 대화식으로 분석할 수 있는 웹 서비스
대규모 데이터 저장 및 분석 플롯폼으로, 일종의 데이터 웨어하우스

데이터 웨어하우스 : 축적된 데이터를 모아 관리하는 곳

확장 가능하고 사용이 간편한 BigQuery를 통해 개발자와 기업은 필요할 때 강력한 데이터 분석을 수행 할 수 있음

예전 BigQuery UI

현재 BigQuery UI

Project : 데이터를 담는 최상위 개념, 하나의 프로젝트에 여러개의 데이터셋이 들어갈 수 있음
Dataset : RDB에서 Database의 개념이며, 하나의 Dataset에 여러개의 테이블이 들어갈 수 있음
Table : RDB에서 테이블과 동일한 개념
Job : BigQuery에서 내리는 모든 명령

Big Query의 특징

클라우드 서비스로 설치/운영이 필요 없다.(NoOps)
간단하게 클릭 몇 번으로 서비스 사용이 가능하고, 별도의 설정이나 운영이 필요 없다.
즉, 개발에만 집중 집중 집중!
SQL 언어 사용
기존 RDBMS에서 사용되는 SQL언어를 그대로 사용한다.
Hadoop이나 Spark등은 일정수준의 전문성이 필요한데, 빅쿼리는 로그인 후 SQL만 수행하면되므로 상대적으로 쉬움
클라우드 스케일의 인프라를 활용한 대용량 지원과 빠른 성능
데이터 복제를 통한 안정성
3개의 복제본이 서로 다른 데이터 센터에 분산되어 저장되기 때문에 데이터에 대한 유실 위험이 적다.
배치와 스트리밍 모두 지원
한꺼번에 데이터를 로딩하는 배치 외에, 실시간으로 데이터를 입력할 수 있는 스트리밍 기능을 제공
비용이 저렴하다.

SQL의사용

BigQuery는 Standard SQL과 legacy SQL을 모두 제공

Legacy SQL은 초기부터 사용 된 문법이나, 2.0이후에는 Standard SQL이 지원

Standard SQL을 사용하는것이 필수는 아니지만 추천 됨
Standard SQL과 legacy SQL의 차이를 자세히 알고 싶으면 여기 클릭

이외의 자세한 문법을 알고 싶으면 여기 클릭

출처

댓글