일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
Tags
- 웹 크롤링
- Serializer
- Django Rest Framework(DRF)
- 데이터파이프라인
- AWS
- airflow
- Kafka
- docker
- Django
- 웹 스크래핑
- 데이터마트
- 데이터 웨어하우스
- yarn
- Hive
- dag
- ETL
- snowflake
- SQL
- redshift
- ELT
- docker hub
- dag 작성
- selenium
- spark
- 알고리즘
- airflow.cfg
- truncate
- 데이터레이크
- docker-compose
- 컨테이너 삭제
Archives
- Today
- Total
목록데브코스(DE)/스트리밍 데이터 처리 (1)
개발 기록장

Kafka, Kafka 아키텍처, 중요 개념, Kafka Python 프로그래밍Kafka 소개Kafka란?실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼데이터 재생이 가능한 분산 커밋 로그(Distributed Commit Log)Scalability와 Fault Tolerance를 제공하는 Publish-Subscription 메시징 시스템Producer-ConsumerHigh Throughput과 Low Latency 실시간 데이터 처리에 맞게 구현됨분산 아키텍처를 따르므로 Scale Out 형태로 스케일 가능서버 추가를 통해 Scalability 달성(서버 == Broker)정해진 보유기간(retention period)동안 메시지 저장기존 메시징 시스템 및 데이터베이스와의 비교..
데브코스(DE)/스트리밍 데이터 처리
2024. 6. 29. 22:45