| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- docker-compose
- 웹 크롤링
- 컨테이너 삭제
- spark
- truncate
- Django Rest Framework(DRF)
- dag 작성
- 데이터마트
- Hive
- 알고리즘
- redshift
- AWS
- snowflake
- Django
- docker hub
- docker
- 웹 스크래핑
- Kafka
- SQL
- ELT
- ETL
- 데이터레이크
- airflow.cfg
- yarn
- 데이터 웨어하우스
- 데이터파이프라인
- dag
- airflow
- Serializer
- selenium
Archives
- Today
- Total
목록startdate (1)
개발 기록장
04. Airflow Backfill 이해하기
학습 주제: Airflow, DAG 작성, Primary Key Uniqueness, BackfillOpen Weathermap DAGOpen Weathermap API 소개위도/경도를 기반으로 그 지역의 기후 정보를 알려주는 서비스무료 계정으로 api key를 받아서 이를 호출시에 사용DAG 구현 살펴보기Open Weathermap의 one call API를 사용해 서울의 다음 8일간의 낮/최소/최대 온도를 읽어다가 각자 스키마 밑의 weather_forecast라는 테이블로 저장https://openweathermap.org/api/one-call-api 호출해서 테이블을 채움weather_forecast라는 테이블이 대상이 됨유의할 점) created_date은 레코드 생성시간으로 자동 채워지는 필..
데브코스(DE)/데이터 파이프라인과 Airflow
2024. 5. 26. 20:22