개발 기록장

데이터 만드는 절차에서 필요한 각종 테이블 역할과 비정규화 테이블을 만들기까지의 흐름팩트 테이블: 시계열 데이터 축적팩트 테이블이 아주 작으면 메모리에 올릴 수도 있지만, 그렇지 않으면 열 지향 스토리지에서 데이터를 압축해야 빠른 집계가 가능함팩트 테이블 작성하는 2가지 방식추가(append): 새로 도착한 데이터 만을 추가치환(replace): 과거의 데이터를 포함해 테이블 전체를 치환(팩트 테이블 전체를 다시 만드는 것)테이블 파티셔닝: 물리적인 파티션으로 분할효율만을 생각하면 추가가 유리하지만 다음과 같은 잠재적 문제가 존재함추가에 실패한 것을 알아채지 못하면 팩트 테이블 일부에 결손이 발생함추가를 잘못해서 여러 번 실행하면 팩트 테이블 일부가 중복됨나중에 팩트 테이블을 다시 만들고 싶은 경우 관리..

데이터 수집에서 워크플로 관리까지데이터 수집데이터 전송 방식에 의해 크게 두 가지로 구분벌크(bulk) 형: 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법데이터베이스와 파일 서버 등에서 정기적으로 데이터를 수집하는데 사용스트리밍(streaming) 형: 차례대로 생성되는 데이터를 계속해서 보내는 방법모바일 애플리케이션과 임베디드 장비 등에서 널리 데이터를 수집하는 데 사용됨스트림 처리와 배치 처리데이터 처리 방식스트림 처리(stream processing): 데이터를 실시간으로 처리하는 방식스트리밍(streaming) 형으로 받은 데이터는 대부분 실시간으로 처리함모바일 애플리케이션 등이 증가함에 따라 스트림 처리 방식 널리 사용됨시계열 데이터 베이스와 같은 실시간 처리를 지향한 데이터 베이스가 자..