[Google] 빅쿼리(BigQuery)란?

[Google] 빅쿼리(BigQuery)란?



  • 대용량 Dataset(최대 몇 십억 개의 행)를 대화식으로 분석할 수 있는 웹 서비스
  • 대규모 데이터 저장 및 분석 플롯폼으로, 일종의 데이터 웨어하우스
    • 데이터 웨어하우스 : 축적된 데이터를 모아 관리하는 곳
  • 확장 가능하고 사용이 간편한 BigQuery를 통해 개발자와 기업은 필요할 때 강력한 데이터 분석을 수행 할 수 있음
예전 BigQuery UI

현재 BigQuery UI

  • Project : 데이터를 담는 최상위 개념, 하나의 프로젝트에 여러개의 데이터셋이 들어갈 수 있음
  • Dataset : RDB에서 Database의 개념이며, 하나의 Dataset에 여러개의 테이블이 들어갈 수 있음
  • Table : RDB에서 테이블과 동일한 개념
  • Job : BigQuery에서 내리는 모든 명령




Big Query의 특징

  1. 클라우드 서비스로 설치/운영이 필요 없다.(NoOps)
    간단하게 클릭 몇 번으로 서비스 사용이 가능하고, 별도의 설정이나 운영이 필요 없다.
    즉, 개발에만 집중 집중 집중!
  2. SQL 언어 사용
    기존 RDBMS에서 사용되는 SQL언어를 그대로 사용한다.
    Hadoop이나 Spark등은 일정수준의 전문성이 필요한데, 빅쿼리는 로그인 후 SQL만 수행하면되므로 상대적으로 쉬움
  3. 클라우드 스케일의 인프라를 활용한 대용량 지원과 빠른 성능
  4. 데이터 복제를 통한 안정성
    3개의 복제본이 서로 다른 데이터 센터에 분산되어 저장되기 때문에 데이터에 대한 유실 위험이 적다.
  5. 배치와 스트리밍 모두 지원
    한꺼번에 데이터를 로딩하는 배치 외에, 실시간으로 데이터를 입력할 수 있는 스트리밍 기능을 제공
  6. 비용이 저렴하다.

SQL의사용

  • BigQuery는 Standard SQL과 legacy SQL을 모두 제공
    • Legacy SQL은 초기부터 사용 된 문법이나, 2.0이후에는 Standard SQL이 지원
  • Standard SQL을 사용하는것이 필수는 아니지만 추천 됨
  • Standard SQL과 legacy SQL의 차이를 자세히 알고 싶으면 여기 클릭
  • 이외의 자세한 문법을 알고 싶으면 여기 클릭

출처 

댓글

이 블로그의 인기 게시물

[Python] # -*- coding: utf-8 -*-를 쓰는 이유

[소프트웨어공학] NS(Nassi-Schneiderman) 차트

[컴퓨터네트워크] Telnet이란?