| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- 데이터 웨어하우스
- yarn
- redshift
- docker
- airflow
- snowflake
- 알고리즘
- truncate
- selenium
- dag
- 컨테이너 삭제
- spark
- docker-compose
- Kafka
- Django Rest Framework(DRF)
- 웹 크롤링
- docker hub
- dag 작성
- Serializer
- 데이터파이프라인
- Hive
- 데이터마트
- 웹 스크래핑
- ELT
- AWS
- SQL
- ETL
- Django
- airflow.cfg
- 데이터레이크
Archives
- Today
- Total
목록task (1)
개발 기록장
03. Airflow DAG 작성
학습 주제: Airflow, DAG 작성Task 정의 및 실행Dag를 구성하는 Task를 정의하고 실행하는 방법은 크게 두 가지가 있음Operators - PythonOperatorAirflow DecoratorsOperators - PythonOperator전통적인 방법으로 Task를 정의하고 실행함수와 태스크 정의가 분리됨주요 구성python_callable: 실행할 Python 함수 호출task_id: 태스크의 IDdag: 이 태스크가 속한 DAGprovide_context: 함수에 Airflow 컨텍스트 변수를 전달할지 여부 (기본값은 False)from airflow.operators.python import PythonOperatorload_nps = PythonOperator( dag ..
데브코스(DE)/데이터 파이프라인과 Airflow
2024. 5. 26. 00:54