GCS BigQueryML

작성자:

BigQuery ML이란

  • BigQuery에서 SQL query를 사용하여 ML model을 만들고 실행 가능.
  • 최소한의 코딩으로 된 ML model로 create, train, evaluate, predict 등 분석이 가능.
  • 현재는 beta버전임
  • SQL 실무자가 기존 도구를 사용하여 빌드할 수 있도록 지원

BigQuery ML의 장점

  • Python 또는 Java를 사용하여 ML solution programming을 할 필요 없이 SQL을 사용하여 학습 및 엑세스 가능
  • 데이터 웨어하우스에서 데이터를 내보낼 필요가 없으므로 모델 개발 및 혁신 속도 향상

BigQuery ML이 필요한 곳

  • linear reg와 logistic reg model로 개발이 필요한 곳(현재는 2가지 model밖에 제공 안함)
  • 데이터 이동의 필요성을 제거하여 개발 속도를 빠르게 향상 시키고 싶은 곳
  • 데이터 탐색, 분석, 시각화 등

BigQuery ML 사용 방법

  • Dataset의 table에서 Data를 가져옴
  • BigQuery에서 ML model 만들기 및 학습시키기
  • 만든 ML model로 예측
Someday I'll be a full stack developer.

댓글

댓글 쓰기

이 블로그의 인기 게시물

[Python] # -*- coding: utf-8 -*-를 쓰는 이유

작성자:
[Python] # -*- coding: utf-8 -*-를 쓰는 이유 파이썬2의 기본 인코딩은 ascii 이다 파이썬2는 한글을 쓸때 골치아프다.  파이썬 스크립트에서 한글을 사용하게 될 때 파이썬은 ascii 인코딩일 것으로 예상하고 해석하려고 하지만 한글을 ascii로 해석이 불가능하기 때문에 SyntaxError발생 영어만 사용하면 별로 신경 쓸게 없지만 한글은 euc-kr , utf-8 이 공존하기 때문이다. 그냥 골치아픈것도 아니고 unicode와 조합되어서도 골치아프다. unicode 관련 부분의 경우 최초부터 지원한게 아니라 파이썬 2.4부터 지원을 추가되어서 문자열을 의미하는 타입이 str 와 unicode 가 존재해서 더 골치가 아프다 파이썬3에서는 기본값이 UTF-8이기 때문에 기본값에서 벗어나거나 다른 tool( ex: IDE또는 텍스트 편집기)를 사용하는 경우에만 사용 즉, 파이썬에 관한 다른 인코딩을 사용하고자 할때만 사용하면 됨 파이썬의 기본 인코딩은 ascii 이다. 스크립트 파일이 ascii인코딩일거라고 가정하고 읽어서 파싱하려고하는데 ascii로 해석이 불가능한 한글이라는 단어가 존재하기 때문에 SyntaxError(문법 에러)가 발생 이를 해결하기 위해서는 아래와 같은 스크립트 파일 첫줄에 파일의 인코딩을 명시해주면 된다. #-*- coding: utf-8 -*-  파이썬2.x의 기본 인코딩은 ascii 이다. 파이썬 스크립트에서 한글을 사용하게 될 때 파이썬은 ascii 인코딩일 것으로 예상하고 해석하려고 하지만 한글을 ascii로 해석이 불가능 하기 때문에 SyntaxError가 발생 한다. 출처 : https://libsora.so/posts/python-hangul/
자세한 내용 보기

[소프트웨어공학] NS(Nassi-Schneiderman) 차트

작성자:
이미지
[소프트웨어공학] NS(Nassi-Schneiderman) 차트 NS(나씨 슈나이더만) 차트 모듈 명세서를 글로 쓸수도 있지만 N-S차트로 그림으로 그릴 수 있다. 플로우차트는 생각보다는 사용횟수가 많지 않다.  손으로 그리기가 까다롭기 때문이다. 이에 비해 NS차트는 더 쉽게 그릴 수 있어 생각을 더 쉽게 정리할 수 있다. 물론 NS차트만으로 모든것이 해결되는것은 아니다. 프로그램은 정해진 일을 정해진 방법으로 하도록 컴퓨터에 명령을 내리는 것이다. 컴퓨터는 정해진 일과 정해진 방법이 무엇인지 알수 없다. 왜냐하면 기계니까 따라서 우리는 두 가지 관점에서 프로그램을 만들어 갈 수 있다. 1. 무엇을 해야 하는지 생각해보기 컴퓨터에게 시킬일이 무엇이며 어떤 결과를 받아 보고 싶은지 정리 2. 어떻게 해야 하는지 생각해보기 사용자로부터 입력이 되는것과 입력없이 알 수 있는것들 가지고 어떤 처리를 어떤 순서로 진행해서 결과를 만들지 NS차트는 어떻게 원하는 결과를 얻을 수 있는지를 정리해 볼 수 있는 도구이다. NS차트 구성요소는 처리, 반복, 분기의 일반적인 프로그래밍 언어의 구성요소를 표현할 수 있다. 먼저 순차처리 네모 박스에 입력, 출력, 연산을 기록한다. 선택구조는 IF문이나 CASE문을 사용하여 처리 흐름을 기록한다. 반복구조는 While문이나 For문을 사용하여 조건에 따른 반복처리를 기술한다. 1에서 100까지 합을 구하는 ns차트 NS차트의 특징 논리의 기술에 중점을 둔 도형을 이용한 표현 방법이다. 그리기가 어렵다.(전문성이 있어야 잘 그린다) 순차, 선택, 반복으로 표현한다. 임의의 제어 이동이 어렵다. goto구조가 어렵다. 그래픽 설계 도구이다. 상자 도표라고도 한다 프로그램으로 구현이 쉽다. 조건이 복합되어 있는 곳의 처리를 명확히 식별하기에 적합하다. if문이 여러개일 때 가능 출
자세한 내용 보기

[컴퓨터네트워크] Telnet이란?

작성자:
[컴퓨터네트워크] Telnet이란? 원격 접속 서비스로서 특정 사용자가 네트워크를 통해 다른 컴퓨터에 연결하여 그 컴퓨터에서 제공하는 서비스를 받을 수 있도록 하는 인터넷 표준 프로토콜 Telnet(텔넷)을 이용하면 네트워크에 있는 컴퓨터를 자신의 컴퓨터처럼 파일 전송, 파일 생성, 디렉토리 생성 등을 자유롭게 할 수 있다. 단, 보안문제로 사용률이 감소하고 원격 제어를 위해 SSH로 대체되는 추세 Telnet 보안 Telnet 세션은 암호화 및 무결성 검사를 지원하지 않는다. 패스워드가 암호화되어 있지 않아 스니퍼를 이용하여 제3자에게 노출 될 수 있다. UNIX 시스템에서 해커가 in.telnetd를 수정하여 클라이언트의 특정 터미널 종류에 대해 인증과정 없이 쉘을 부여할 수 있다. 그럼 텔넷과 SSH의 차이점은? 사용자가 쓰기에는 텔넷과 SSH는 차이점이 없습니다. 단지 차이점은 로그인, 프로그램 실행, 하드디스크 체크, 로그아웃 등 작업들을 하기 위해 사용자와 서버간의 통신 방법의 차이입니다. 사용자가 어떤 작업을 서버에 알려주기 위해 네트워크를 통해서 서버에 TCP/IP패킷정보를 전달하고 결과값을 다시 서버에서 받게 됩니다. 여기서 텔넷은 정보를 byte스트림형식으로 주고 받고, ssh는 DES, RSA 등 고급 암호화를 통해 통신을 합니다. 그러므로 텔넷 환경에서는 정보노출 위험이 큽니다. SSH는 암호화 뿐만 아니라 압축 기술도 사용하는데, 암호화 때문에 트래픽이 텔넷보다 크게 늘어나지 않습니다. 단지 약간의 부하가 더 생길수도 있다고 합니다. 따라서 정보가 누출될 수 있는 텔넷보다는 어느정도 정보의 안정성을 책임질 수 있는 SSH를 많이 사용합니다. 출처 https://m.blog.naver.com/PostView.nhn?blogId=ahnsh09&logNo=40171391492&proxyReferer=https%3A%2F%2Fwww.g
자세한 내용 보기