개발 기록장

학습 주제: Redshift 구글 시트 연동, API와 Airflow 모니터링 하기구글 시트 연동구글 서비스 어카운트 생성 및 Airflow 연동구글 클라우드 로그인: https://console.cloud.google.com구글 스프레드시트 API 활성화: https://console.cloud.google.com/apis/library/sheets.googleapis.com구글 서비스 어카운트 생성(JSON)이 JSON 파일 내용을 google_sheet_access_token이라는 이름으로 Airflow/Admin/Variable에 등록JSON 파일의 client_email의 내용을 구글 스프레드 시트 파일을 공유(Share)에 Editor(편집자)로 등록구글 스프레드시트의 내용을 Redshift..

학습 주제: ETL/ELT, 데이터 조직, 데이터 웨어하우스/레이크, 데이터 다루는 기술데이터 조직데이터 조직의 비전신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성데이터 조직이 하는 일고품질 데이터를 기반으로 의사 결정권자에게 입력 제공결정 과학(Decision Science)라고도 부름데이터를 고려한 결정(Data Informed Decisions): 데이터를 참고하여 의사결정의 방향을 구체화(만약, 데이터와 의사결정권자가 원하는 방향이 안 맞아도 의사결정권자가 하고자 하는 방향으로 움직임)데이터 기반 결정(Data Driven Decisions): 데이터가 말하는 방향으로 움직인다(의사결정의 근거)과거의 기록이므로 새로운 혁신을 도모하기는 어려움 따라서, 데이터를 고려한 결정/데이터 기반 결정이 적..

학습 주제:  SQL(DDL과 DML), SQL 실습, Redshift, SELECT 소개SQL 소개     : Reshift 중심으로 DDL과 DML 소개기본다수의 SQL문 실행시, 세미콜론으로 분리         - SQL문1; SQL문2; SQL문3;SQL 주석         - --: 인라인 한줄짜리 주석         - /*--*/: 여러 줄에 걸쳐 사용 가능한 주석SQL 키워드는 대문자를 사용(권장)팀 프로젝트의 경우 공통 포맷, 테이블/ 필드 이름 명명 규칙 정하는 것 중요         - 단수형 vs. 복수형            ex) User vs. Users         - _(언더바) vs. CamelCasing            ex) user_session_channel..

학습 주제:  관계형 데이터베이스, SQL, Schema, 데이터 웨어하우스, Cloud, AWS, Redshift 관계형 데이터베이스정의 및 특징구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지         - 엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장            :테이블에는 컬럼(열)과 레코드(행)이 존재SQL: 관계형 데이터베이스를 조작하는 프로그래밍 언어         - DDL(Data Definition Language): 테이블 정의         - DML(Data Manipulation Language): 테이블 데이터 조작/질의    대표적 관계형 데이터베이스프로덕션 데이터베이스: MySQL, PostgreSQL, Oracle 등         -..