IT 내맘대로 끄적끄적

BigQuery ML이란 BigQuery에서 SQL query를 사용하여 ML model을 만들고 실행 가능. 최소한의 코딩으로 된 ML model로 create, train, evaluate, predict 등 분석이 가능. 현재는 beta버전임 SQL 실무자가 기존 도구를 사용하여 빌드할 수 있도록 지원 BigQuery ML의 장점 Python 또는 Java를 사용하여 ML solution programming을 할 필요 없이 SQL을 사용하여 학습 및 엑세스 가능 데이터 웨어하우스에서 데이터를 내보낼 필요가 없으므로 모델 개발 및 혁신 속도 향상 BigQuery ML이 필요한 곳 linear reg와 logistic reg model로 개발이 필요한 곳(현재는 2가지 model밖에 제공 안함) 데이터 이동의 필요성을 제거하여 개발 속도를 빠르게 향상 시키고 싶은 곳 데이터 탐색, 분석, 시각화 등 BigQuery ML 사용 방법 Dataset의 table에서 Data를 가져옴 BigQuery에서 ML model 만들기 및 학습시키기 만든 ML model로 예측

[Google] SQL이란? Cloud SQL Cloud에서 RDB 를 손쉽께 설정, 유지 관리 할 수 있는 완전 관리형 DB 종류 PostgreSQL MySQL Cloud SQL의 구조 RDBMS에서 데이터들은 테이블이라는 데이터베이스 객체가 저장됨 테이블 : 행과 열로 이루어져있는 데이터들의 모음 데이터베이스는 여러 개의 테이블 이 있음 각각의 테이블은 테이블이름을 가짐 위의 테이블 이름은 Customer 테이블 은 필드 라는 작은 단위로 나눌 수 있음 필드 : 테이블의 한 열을 나타냄 Customer 테이블은 CustomerID, CustomerName, ...등의 필드를 가짐 레코드 는 테이블의 한 행을 뜻함 테이블에 입력된 각각의 데이터 객체를 뜻함 Customer 테이블은 5개의 레코드를 가지고 있음 Cloud SQL의 장점 software 설치 없이 간편하게 사용 가능 성능 및 확장성 안정성 및 보완(복제 및 백업을 쉽게 구성해 데이터를 보호) 사용한 만큼 내는 비용 Cloud SQL사용 방법 Cloud SQL 인스턴스 생성 dump files(.sql) 또는 CSV files(.csv)을 가져옴 SQL 인스턴스에 업로드(업로드 후 수정도 가능) SQL에 저장된 데이터는 datastuido, API server 등 여러 곳으로 이동 가능 출처  https://nachwon.github.io/sql-1-intro/

APIgee란 API Gateway 역할을 하는 솔루션 사용자 인증, format 변경, spike arrest, Data cache, quota, load balancer 역할 수행 APIgee가 필요한 곳 다양한 소스에서 데이터를 가져오면서 일관된 API를 사용하려고 하는 곳 APIgee 사용방법 APIgee는 구글계정으로 사용할 수 없다. 따라서 따로 가입을 해야 한다. OpenAPI format으로 작성된 API description을 작성한 뒤에 자동 생성하면 API description에 맞는 API를 자동으로 생성하여 준다. API에 사용자 인증, format 변경, spike arrest, Data cache, quota, load balancer  등의 여러 기능들을 따로 붙일 수 있다. 참고자료 https://docs.apigee.com/api-platform/get-started/get-started

Dataflow란 Batch 데이터와 stream 데이터를 클라우드상에서 처리할 수 있는 scalable 한 플랫폼. 데이터를 처리 하기 위한 machine 관리가 필요 없는 장점이 있음. Apache Beam Library를 사용. 언어는 Python과 Java를 지원 Dataflow가 필요한 곳 소매 분야의 Clickstream, Point-of-Sale(판매 시점 관리), 분류 분석 금융 서비스 분야의 사기 행위 감지 게임 분야의 맞춤 사용자 환경 제조, 의료, 물류 분야의 IoT 분석 Dataflow 사용 방법 apache beam 라이브러리를 사용하여 dataflow를 정의 정의된 스크립트, 혹은 바이너리를 실행

JAVA Exception 정리 1. 예외란?(Error vs Exception) 먼저 오류(Error)와 예외(Exception)의 개념을 정리하고 넘어가자 오류(Error) java.langError 클래스의 서브 클래스들이다 시스템에 비정상적인 상황이 생겼을 때 발생한다. 주로 VM이 발생시킨다 이는 시스템 레벨에서 발생하기 때문에 심각한 수준의 오류 따라서 개발자가 미리 예측하여 처리할 수 없기 때문에 , 애플리케이션에서 오류에 대한 처리를 신경 쓰지 않아도 된다 OutofMemoryError나 ThreadDeath같은 에러는 catch로 잡아봤자 대응 방법이 없다 예외(Exception) 개발자가 구현한 로직에서 발생한다. 발생할 상황을 미리 예측하여 처리 할 수 있다 예외는 개발자가 처리할 수 있기 때문에 예외를 구분하고 그에 따라 처리방법을 명확히 알고 있는것이 중요함 2. 예외 클래스 예외 클래스의 구조 모든 예외 클래스는 Throwable 클래스를 상속받고 있으며, Throwable은 최상위 클래스 Object의 자식 클래스이다 Throwable을 상속받는 클래스는 Error와 Exception이 있다. Error는 시스템 레벨의 심각한 수준의 에러이기 때문에 시스템에 변화를 주어 문제를 처리해야 함 반면에 Exception은 개발자가 로직을 추가하여 처리 할 수 있음 Excpetion은 수많은 자식 클래스를 가지고 있다. 그 중 RuntimeException에 주목해야 함 RuntimeException은 CheckedException과 UncheckedException을 구분하는 기준 Exception의 자식 클래스 중 RuntimeException을 제외한 모든 클래스는 CheckedException RuntimeException과 그의 자식 클래스들을 Unchecked Exception이라 부름 3. Checked Exception과 Uncheck...

@value Property관련 설정이 있어야 가능 예)  @value(“${property_name}”) private String name;