| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- 데이터레이크
- 데이터 웨어하우스
- SQL
- Django
- redshift
- selenium
- ETL
- ELT
- 웹 크롤링
- docker-compose
- 컨테이너 삭제
- 알고리즘
- yarn
- Serializer
- Hive
- snowflake
- AWS
- Django Rest Framework(DRF)
- 웹 스크래핑
- Kafka
- dag 작성
- 데이터마트
- 데이터파이프라인
- dag
- truncate
- spark
- docker
- airflow
- docker hub
- airflow.cfg
- Today
- Total
목록ETL (2)
개발 기록장
데이터 수집에서 워크플로 관리까지데이터 수집데이터 전송 방식에 의해 크게 두 가지로 구분벌크(bulk) 형: 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법데이터베이스와 파일 서버 등에서 정기적으로 데이터를 수집하는데 사용스트리밍(streaming) 형: 차례대로 생성되는 데이터를 계속해서 보내는 방법모바일 애플리케이션과 임베디드 장비 등에서 널리 데이터를 수집하는 데 사용됨스트림 처리와 배치 처리데이터 처리 방식스트림 처리(stream processing): 데이터를 실시간으로 처리하는 방식스트리밍(streaming) 형으로 받은 데이터는 대부분 실시간으로 처리함모바일 애플리케이션 등이 증가함에 따라 스트림 처리 방식 널리 사용됨시계열 데이터 베이스와 같은 실시간 처리를 지향한 데이터 베이스가 자..
01. 데이터 파이프라인과 Airflow 소개
학습 주제: 데이터 파이프라인, Airflow, ETL, ELT, DAG데이터 파이프라인 소개: 데이터 파이프 라인 혹은 ETL로 알려진 프로세스용어 설명: ETLETL: Extract, Transform and Load데이터를 데이터 웨어하우스 외부에서 내부로 가져오는 프로세스보통 데이터 엔지니어들이 수행Data Pipeline, ETL, Data Workflow, DAGETL(Extract, Transform, and Load)Called DAG (Directied Acyclic Graph) in Airflow용어 설명: ELT데이터 웨어하우스 내부 데이터를 조작해서(보통은 더 추상화되고 요약된) 새로운 데이터를 만드는 프로세스보통 데이터 분석가들이 많이 수행이 경우 데이터 레이크 위에서 이런 작업이..