일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- docker-compose
- dag
- dag 작성
- Serializer
- Kafka
- ETL
- truncate
- 웹 크롤링
- 데이터마트
- Hive
- 알고리즘
- redshift
- Django
- snowflake
- 데이터 웨어하우스
- selenium
- AWS
- 데이터파이프라인
- 컨테이너 삭제
- Django Rest Framework(DRF)
- 데이터레이크
- docker hub
- spark
- ELT
- SQL
- airflow.cfg
- docker
- 웹 스크래핑
- airflow
- yarn
- Today
- Total
목록snowflake (2)
개발 기록장

학습 주제: Snowflake, 운영/관리, 사용자 권한 설정, 실습, Data GovernanceSnowflake 운영과 관리Snowflake 소개2014년 클라우드 기반 데이터웨어하우스로 시작됨(2020년 상장)지금은 데이터 클라우드라고 부를 수 있을 정도로 발전글로벌 클라우드(AWS, GCP, Azure)위에서 모두 작동(멀티클라우드)Data Sharing/Marketplace 제공Data Sharing("Share, Don't Move"): 데이터 셋을 사내 혹은 파트너에게 스토리지 레벨에서 공유하는 방식Data Marketplace: 데이터 판매를 통해 매출 이익을 얻을 수 있는 기능ETL을 비롯한 다양한 데이터 통합 기능 제공대표 고객사: Siemens, Flexport, Iterable, A..

학습 주제: ETL/ELT, 데이터 조직, 데이터 웨어하우스/레이크, 데이터 다루는 기술데이터 조직데이터 조직의 비전신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성데이터 조직이 하는 일고품질 데이터를 기반으로 의사 결정권자에게 입력 제공결정 과학(Decision Science)라고도 부름데이터를 고려한 결정(Data Informed Decisions): 데이터를 참고하여 의사결정의 방향을 구체화(만약, 데이터와 의사결정권자가 원하는 방향이 안 맞아도 의사결정권자가 하고자 하는 방향으로 움직임)데이터 기반 결정(Data Driven Decisions): 데이터가 말하는 방향으로 움직인다(의사결정의 근거)과거의 기록이므로 새로운 혁신을 도모하기는 어려움 따라서, 데이터를 고려한 결정/데이터 기반 결정이 적..