일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- Django Rest Framework(DRF)
- Serializer
- 데이터마트
- docker hub
- 데이터파이프라인
- docker-compose
- spark
- SQL
- 데이터레이크
- 컨테이너 삭제
- selenium
- redshift
- ELT
- 웹 스크래핑
- airflow.cfg
- docker
- Hive
- dag
- Django
- snowflake
- airflow
- ETL
- truncate
- AWS
- yarn
- dag 작성
- 웹 크롤링
- 알고리즘
- 데이터 웨어하우스
- Kafka
- Today
- Total
목록AWS (3)
개발 기록장
학습 주제: AWS, DB, RDS, Document DB, Dynamo DB, Network, Route 53, Certification Manager, CloudFront, ELB, VPCDBSQL(Structured Query Language)관계형 데이터베이스 관리 시스템(RDBMS)에 사용됨데이터가 테이블 형식으로 저장되며, 각 테이블은 정의된 스키마에 따라 열(필드)을 포함데이터는 정확한 구조를 가비며, ACID (Atomicity, Consistency, Isolation, Durability) 트랜잭션 속성을 준수함SQL 쿼리를 사용하여 데이터 조작 및 관리대표적(RDBMS) 예시: MySQL, PostgreSQL, Oracle 등RDS(Relational Database Service)관..

학습 주제: 클라우드 서비스, AWS, EC2, Elasticbeanstalk클라우드 서비스 개요AWS (Amazon Web Services)아마존이 제공하는 클라우드 컴퓨팅 플랫폼으로, 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 기능의 서비스를 제공 및 가장널리 채택 되고 있는 클라우드 플랫폼이다.스타트업, 대기업, 정부 주요 기관을 포함하여 많은 고객이 AWS를 사용하여 비용 절감 및 민첩성을 향상해 빠르게 성장하고 있다.클라우드 컴퓨팅IT 리소스를 인터넷을 통해 On-demand로 제공하고 사용한 만큼 비용 지불하는 방식물리적으로 데이터 센터와 서버 구입, 소유 및 유지 관리하는 대신 AWS와 같은 클라우드 업체가 필요한 모든 것을 관리 및 제공하고 필요한 경우 서비스 확장 및 축소 가능..

학습 주제: 관계형 데이터베이스, SQL, Schema, 데이터 웨어하우스, Cloud, AWS, Redshift 관계형 데이터베이스정의 및 특징구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 - 엑셀 스프레드시트 형태의 테이블로 데이터를 정의하고 저장 :테이블에는 컬럼(열)과 레코드(행)이 존재SQL: 관계형 데이터베이스를 조작하는 프로그래밍 언어 - DDL(Data Definition Language): 테이블 정의 - DML(Data Manipulation Language): 테이블 데이터 조작/질의 대표적 관계형 데이터베이스프로덕션 데이터베이스: MySQL, PostgreSQL, Oracle 등 -..