| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- truncate
- SQL
- snowflake
- dag
- selenium
- 웹 스크래핑
- 데이터파이프라인
- 알고리즘
- airflow
- ETL
- Serializer
- Kafka
- 데이터마트
- ELT
- 웹 크롤링
- 데이터 웨어하우스
- 데이터레이크
- Django Rest Framework(DRF)
- yarn
- redshift
- docker
- airflow.cfg
- docker hub
- 컨테이너 삭제
- AWS
- Django
- dag 작성
- docker-compose
- spark
- Hive
Archives
- Today
- Total
목록airflow와 docker (1)
개발 기록장
01. Docker
학습 주제: Airflow와 Docker, Docker 개념 및 실습Airflow 운영에서 Docker의 필요성Airflow 운영상의 어려움관리해야하는 DAG의 수가 많아진다면?데이터 품질/ 데이터 리니지 이슈 발생 가능성라이브러리 충돌라이브러리/ 모듈의 충돌 이슈가 발생하기 시작DAG에 따라 실행에 필요한 라이브러리/모듈이 달라지기 시작ex) Python 버전이로 인해 DAG 또는 Task 별로 별도의 독립공간이 필요해짐DAG 또는 Task 코드를 Docker Image로 만들고 이를 독립된 공간(Docker Container)안에서 실행Worker의 부족실행해야할 DAG/Task가 아무리 많아져도 Airflow worker에 할당되어있는 CPU의 양이 한계임Scale UpScale Out클라우드 서비..
데브코스(DE)/Docker & K8S
2024. 5. 28. 01:05