목록데이터레이크 (2)

개발 기록장

01. 데이터 파이프라인

데이터 수집에서 워크플로 관리까지데이터 수집데이터 전송 방식에 의해 크게 두 가지로 구분벌크(bulk) 형: 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법데이터베이스와 파일 서버 등에서 정기적으로 데이터를 수집하는데 사용스트리밍(streaming) 형: 차례대로 생성되는 데이터를 계속해서 보내는 방법모바일 애플리케이션과 임베디드 장비 등에서 널리 데이터를 수집하는 데 사용됨스트림 처리와 배치 처리데이터 처리 방식스트림 처리(stream processing): 데이터를 실시간으로 처리하는 방식스트리밍(streaming) 형으로 받은 데이터는 대부분 실시간으로 처리함모바일 애플리케이션 등이 증가함에 따라 스트림 처리 방식 널리 사용됨시계열 데이터 베이스와 같은 실시간 처리를 지향한 데이터 베이스가 자..
빅데이터를 지탱하는 기술 2024. 6. 22. 21:08
01. 다양한 데이터 웨어하우스 옵션, ETL/ELT, 데이터 조직

학습 주제: ETL/ELT, 데이터 조직, 데이터 웨어하우스/레이크, 데이터 다루는 기술데이터 조직데이터 조직의 비전신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성데이터 조직이 하는 일고품질 데이터를 기반으로 의사 결정권자에게 입력 제공결정 과학(Decision Science)라고도 부름데이터를 고려한 결정(Data Informed Decisions): 데이터를 참고하여 의사결정의 방향을 구체화(만약, 데이터와 의사결정권자가 원하는 방향이 안 맞아도 의사결정권자가 하고자 하는 방향으로 움직임)데이터 기반 결정(Data Driven Decisions): 데이터가 말하는 방향으로 움직인다(의사결정의 근거)과거의 기록이므로 새로운 혁신을 도모하기는 어려움 따라서, 데이터를 고려한 결정/데이터 기반 결정이 적..
데브코스(DE)/데이터 웨어하우스 관리와 고급 SQL, BI 대시보드 2024. 5. 7. 00:19
이전 Prev 1 Next 다음