| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- Serializer
- airflow.cfg
- yarn
- 데이터파이프라인
- 데이터레이크
- docker-compose
- dag
- snowflake
- docker
- AWS
- Kafka
- 컨테이너 삭제
- selenium
- redshift
- truncate
- 데이터 웨어하우스
- ELT
- spark
- 웹 크롤링
- 데이터마트
- docker hub
- ETL
- Django
- Hive
- Django Rest Framework(DRF)
- airflow
- 웹 스크래핑
- 알고리즘
- dag 작성
- SQL
- Today
- Total
목록docker hub (2)
개발 기록장
자주 쓰는 Docker 명령어 정리
최근 Docker를 공부하면서 자주 사용했던 기본적인 Docker 명령어를 정리해 보았다. 해당 명령어들은 맥북 M1 칩 기반으로 작성되었다.Docker VersionDocker version 확인현재 실행되고 있는 Docker engine의 버전 확인$ docker versionDocker ImageDocker Image 생성Apple M1 chip 기반 맥에서 빌드하는 경우, 이미지가 ARM 기반 아키텍처로 생성됨. 따라서 일반 리눅스에서 안 돌아감.--platform 옵션을 사용해서 linux/amd64로 지정-t: 별칭 지정. : 현재 디렉토리를 빌드 컨텍스트로 사용. Dockerfile이 현재 디렉토리에 있어야 함docker build 실행시 Dockerfile에서 RUN 명령이 실행됨$ doc..
01. Docker
학습 주제: Airflow와 Docker, Docker 개념 및 실습Airflow 운영에서 Docker의 필요성Airflow 운영상의 어려움관리해야하는 DAG의 수가 많아진다면?데이터 품질/ 데이터 리니지 이슈 발생 가능성라이브러리 충돌라이브러리/ 모듈의 충돌 이슈가 발생하기 시작DAG에 따라 실행에 필요한 라이브러리/모듈이 달라지기 시작ex) Python 버전이로 인해 DAG 또는 Task 별로 별도의 독립공간이 필요해짐DAG 또는 Task 코드를 Docker Image로 만들고 이를 독립된 공간(Docker Container)안에서 실행Worker의 부족실행해야할 DAG/Task가 아무리 많아져도 Airflow worker에 할당되어있는 CPU의 양이 한계임Scale UpScale Out클라우드 서비..