[Google] Google Composer란?

작성자:

[Google] Google Composer란?

Cloud Composer

  • 클라우드 및 사내 구축형 데이터 센터에 걸쳐있는 파이프 라인을 작성, 예약 및 모니터링 할 수 있는 완벽하게 관리되는 workflow 통합 서비스
  • Apache Airflow  오픈 소스 프로젝트를 기반으로 함
  • Python 프로그래밍 언어를 사용

  • DAG(Directed Acyclic Graph)로 구성되므로 모든 수준의 사용자가 workflow를 쉽게 작성하고 일정을 쉽게 수립 가능
  • 원 클릭 배포를 통해 풍부한 커넥터 라이브러리 및 workflow의 여러 그래픽 표현에 즉각적으로 엑세스 가능
  • GCP와 깊은 관련이 있어 사용자가 전체 파이프라인을 관리 가능
  • BigQueery, Dataflow 등등 많은 제품과의 강력한 통합 기능
  • Workflow가 on-premises, 여러 클라우드, GCP내에 있는 모든 경우에도 단일 괄니 도구를 통해서 파이프 라인을 연결 가능
  • 인프라 관리의 부담을 줄어들게 해줌
  • Apache Airflow를 기반으로 함
  • 다양한 플랫폼과의 통합을 제공

출처
Someday I'll be a full stack developer.

댓글

댓글 쓰기

이 블로그의 인기 게시물

[소프트웨어공학] NS(Nassi-Schneiderman) 차트

작성자:
이미지
[소프트웨어공학] NS(Nassi-Schneiderman) 차트 NS(나씨 슈나이더만) 차트 모듈 명세서를 글로 쓸수도 있지만 N-S차트로 그림으로 그릴 수 있다. 플로우차트는 생각보다는 사용횟수가 많지 않다.  손으로 그리기가 까다롭기 때문이다. 이에 비해 NS차트는 더 쉽게 그릴 수 있어 생각을 더 쉽게 정리할 수 있다. 물론 NS차트만으로 모든것이 해결되는것은 아니다. 프로그램은 정해진 일을 정해진 방법으로 하도록 컴퓨터에 명령을 내리는 것이다. 컴퓨터는 정해진 일과 정해진 방법이 무엇인지 알수 없다. 왜냐하면 기계니까 따라서 우리는 두 가지 관점에서 프로그램을 만들어 갈 수 있다. 1. 무엇을 해야 하는지 생각해보기 컴퓨터에게 시킬일이 무엇이며 어떤 결과를 받아 보고 싶은지 정리 2. 어떻게 해야 하는지 생각해보기 사용자로부터 입력이 되는것과 입력없이 알 수 있는것들 가지고 어떤 처리를 어떤 순서로 진행해서 결과를 만들지 NS차트는 어떻게 원하는 결과를 얻을 수 있는지를 정리해 볼 수 있는 도구이다. NS차트 구성요소는 처리, 반복, 분기의 일반적인 프로그래밍 언어의 구성요소를 표현할 수 있다. 먼저 순차처리 네모 박스에 입력, 출력, 연산을 기록한다. 선택구조는 IF문이나 CASE문을 사용하여 처리 흐름을 기록한다. 반복구조는 While문이나 For문을 사용하여 조건에 따른 반복처리를 기술한다. 1에서 100까지 합을 구하는 ns차트 NS차트의 특징 논리의 기술에 중점을 둔 도형을 이용한 표현 방법이다. 그리기가 어렵다.(전문성이 있어야 잘 그린다) 순차, 선택, 반복으로 표현한다. 임의의 제어 이동이 어렵다. goto구조가 어렵다. 그래픽 설계 도구이다. 상자 도표라고도 한다 프로그램으로 구현이 쉽다. 조건이 복합되어 있는 곳의 처리를 명확히 식별하기에 적합하다. if문이 여러개일 때 가능 출
자세한 내용 보기

[컴퓨터네트워크] Telnet이란?

작성자:
[컴퓨터네트워크] Telnet이란? 원격 접속 서비스로서 특정 사용자가 네트워크를 통해 다른 컴퓨터에 연결하여 그 컴퓨터에서 제공하는 서비스를 받을 수 있도록 하는 인터넷 표준 프로토콜 Telnet(텔넷)을 이용하면 네트워크에 있는 컴퓨터를 자신의 컴퓨터처럼 파일 전송, 파일 생성, 디렉토리 생성 등을 자유롭게 할 수 있다. 단, 보안문제로 사용률이 감소하고 원격 제어를 위해 SSH로 대체되는 추세 Telnet 보안 Telnet 세션은 암호화 및 무결성 검사를 지원하지 않는다. 패스워드가 암호화되어 있지 않아 스니퍼를 이용하여 제3자에게 노출 될 수 있다. UNIX 시스템에서 해커가 in.telnetd를 수정하여 클라이언트의 특정 터미널 종류에 대해 인증과정 없이 쉘을 부여할 수 있다. 그럼 텔넷과 SSH의 차이점은? 사용자가 쓰기에는 텔넷과 SSH는 차이점이 없습니다. 단지 차이점은 로그인, 프로그램 실행, 하드디스크 체크, 로그아웃 등 작업들을 하기 위해 사용자와 서버간의 통신 방법의 차이입니다. 사용자가 어떤 작업을 서버에 알려주기 위해 네트워크를 통해서 서버에 TCP/IP패킷정보를 전달하고 결과값을 다시 서버에서 받게 됩니다. 여기서 텔넷은 정보를 byte스트림형식으로 주고 받고, ssh는 DES, RSA 등 고급 암호화를 통해 통신을 합니다. 그러므로 텔넷 환경에서는 정보노출 위험이 큽니다. SSH는 암호화 뿐만 아니라 압축 기술도 사용하는데, 암호화 때문에 트래픽이 텔넷보다 크게 늘어나지 않습니다. 단지 약간의 부하가 더 생길수도 있다고 합니다. 따라서 정보가 누출될 수 있는 텔넷보다는 어느정도 정보의 안정성을 책임질 수 있는 SSH를 많이 사용합니다. 출처 https://m.blog.naver.com/PostView.nhn?blogId=ahnsh09&logNo=40171391492&proxyReferer=https%3A%2F%2Fwww.g
자세한 내용 보기

[Python] # -*- coding: utf-8 -*-를 쓰는 이유

작성자:
[Python] # -*- coding: utf-8 -*-를 쓰는 이유 파이썬2의 기본 인코딩은 ascii 이다 파이썬2는 한글을 쓸때 골치아프다.  파이썬 스크립트에서 한글을 사용하게 될 때 파이썬은 ascii 인코딩일 것으로 예상하고 해석하려고 하지만 한글을 ascii로 해석이 불가능하기 때문에 SyntaxError발생 영어만 사용하면 별로 신경 쓸게 없지만 한글은 euc-kr , utf-8 이 공존하기 때문이다. 그냥 골치아픈것도 아니고 unicode와 조합되어서도 골치아프다. unicode 관련 부분의 경우 최초부터 지원한게 아니라 파이썬 2.4부터 지원을 추가되어서 문자열을 의미하는 타입이 str 와 unicode 가 존재해서 더 골치가 아프다 파이썬3에서는 기본값이 UTF-8이기 때문에 기본값에서 벗어나거나 다른 tool( ex: IDE또는 텍스트 편집기)를 사용하는 경우에만 사용 즉, 파이썬에 관한 다른 인코딩을 사용하고자 할때만 사용하면 됨 파이썬의 기본 인코딩은 ascii 이다. 스크립트 파일이 ascii인코딩일거라고 가정하고 읽어서 파싱하려고하는데 ascii로 해석이 불가능한 한글이라는 단어가 존재하기 때문에 SyntaxError(문법 에러)가 발생 이를 해결하기 위해서는 아래와 같은 스크립트 파일 첫줄에 파일의 인코딩을 명시해주면 된다. #-*- coding: utf-8 -*-  파이썬2.x의 기본 인코딩은 ascii 이다. 파이썬 스크립트에서 한글을 사용하게 될 때 파이썬은 ascii 인코딩일 것으로 예상하고 해석하려고 하지만 한글을 ascii로 해석이 불가능 하기 때문에 SyntaxError가 발생 한다. 출처 : https://libsora.so/posts/python-hangul/
자세한 내용 보기