일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- airflow
- Serializer
- Django Rest Framework(DRF)
- dag 작성
- 데이터마트
- Django
- 알고리즘
- SQL
- Kafka
- selenium
- ETL
- AWS
- truncate
- 데이터레이크
- 데이터파이프라인
- airflow.cfg
- docker
- docker-compose
- ELT
- 데이터 웨어하우스
- yarn
- 웹 크롤링
- Hive
- snowflake
- 웹 스크래핑
- docker hub
- 컨테이너 삭제
- redshift
- spark
- dag
- Today
- Total
목록데브코스(DE)/데이터 웨어하우스와 SQL, 데이터분석 (5)
개발 기록장

학습 주제: SQL, 트랜잭션, 기타 고급 문법, WINDOW 함수트랜잭션정의Atomic하게 실행되어야 하는 SQL들을 묶어서 하나의 작업처럼 처리하는 방법데이터베이스에서 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 지속성(Durability)을 보장하기 위한 작업의 단위DDL 또는 DML 중 레코드를 수정/추가/삭제한 것에만 의미 있음SELECT에는 트랜잭션을 사용할 이유 없음BEGIN과 END 또는 BEGIN과 COMMIT 사이에 해당 SQL들을 사용 ROLLBACK 특징원자성(Atomicity)모든 작업이 성공적으로 완료되거나 아무것도 수행되지 않은 것처럼 롤백될 수 있어야 한다.모든 작업은 일관된 상태로 유지되어야 하며, 중간에 작업이 실패하면 모든 변..

학습 주제: SQL, JOIN, 기타 SQL 문법 및 함수JOIN : 둘 이상의 테이블에서 데이터를 결합하여 하나의 결과 집합을 생성하는 SQL 구문 : 스타 스키마로 구성된 테이블들로 분산되어 있던 정보를 통합하는데 사용JOIN시 고려해야할 점중복 레코드가 없고, Primary Key의 uniqueness가 보장됨을 확인조인하는 테이블들간의 관계를 명확하게 정의 - One to one(일대일): 한 테이블의 각 행이 다른 테이블의 한 행과 연결 - One to many(일대다): 한 테이블의 각 행이 다른 테이블의 여러 행과 연결 - Many to one(다대일): 다른 테이블의 여러 행이 한 테이블의 한 행과 연결(일대다) -..

학습 주제: SQL, GROUP BY와 Aggregate 함수, CTAS와 CTEGROUP BY와 Aggreagate 함수 : 테이블의 레코드를 그룹화하고, 그룹별로 다양한 정보 계산기본그룹화할 필드 결정(하나 이상의 필드가 될 수 있음) - GROUP BY 지정(필드 이름 또는 필드 일련번호 사용)계산할 내용 결정 - Aggregate 함수 사용 - COUNT, SUM, AVG, MIN, MAX, LISTAGG 등 - 필드에 Alias 지정(이름) 예제 1: 월별 세션수 계산 - raw_data.session_timestamp 사용(sessionId와 ts 필드)SELECT LEFT(ts, 7) AS mon, COUNT(..

학습 주제: SQL(DDL과 DML), SQL 실습, Redshift, SELECT 소개SQL 소개 : Reshift 중심으로 DDL과 DML 소개기본다수의 SQL문 실행시, 세미콜론으로 분리 - SQL문1; SQL문2; SQL문3;SQL 주석 - --: 인라인 한줄짜리 주석 - /*--*/: 여러 줄에 걸쳐 사용 가능한 주석SQL 키워드는 대문자를 사용(권장)팀 프로젝트의 경우 공통 포맷, 테이블/ 필드 이름 명명 규칙 정하는 것 중요 - 단수형 vs. 복수형 ex) User vs. Users - _(언더바) vs. CamelCasing ex) user_session_channel..

학습 주제: 관계형 데이터베이스, SQL, Schema, 데이터 웨어하우스, Cloud, AWS, Redshift 관계형 데이터베이스정의 및 특징구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 - 엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장 :테이블에는 컬럼(열)과 레코드(행)이 존재SQL: 관계형 데이터베이스를 조작하는 프로그래밍 언어 - DDL(Data Definition Language): 테이블 정의 - DML(Data Manipulation Language): 테이블 데이터 조작/질의 대표적 관계형 데이터베이스프로덕션 데이터베이스: MySQL, PostgreSQL, Oracle 등 -..