개발 기록장

Hadoop과 Spark를 중심으로 분산 시스템의 구조를 살펴본다.구조화 데이터와 비구조화 데이터구조화 데이터(structuerd data): 스키마(Schema)가 명확하게 정의된 데이터비구조화 데이터(unstructured data): 자연언어로 작성된 텍스트 데이터, 이미지, 동영상 등의 미디어 데이터 대표적인 비구조화 데이터로는 로그(log) 데이터가 있다.스키마리스 데이터(schemaless data): CSV, JSON, XML 등 데이터 서식은 정해져 잇지만, 칼럼 수나 데이터 형은 명확하지 않은 데이터데이터 구조화의 파이프라인: 테이블 형식으로 열 지향 스토리지에 장기 보존비구조화 데이터/스키마리스 데이터는 분산 스토리지에 보존됨 -> 그러나 명확한 스키마가 없는 데이터들은 SQL로 집계가..

학습 주제: 빅데이터 정의와 특징, 하둡 소개, Yarn의 동작 방식, 맵리듀스 프로그래밍 소개, Spark 소개빅데이터빅데이터의 정의서버 한대로 처리할 수 없는 규모의 데이터기존의 소프트웨어로는 처리할 수 없는 규모의 데이터대표적인 기존의 소프트웨어: 오라클이나 MySQL과 같은 관계형 데이터베이스분산환경을 염두에 두지 않음Scale-up 접근 방식: 메모리 추가, CPU 추가, 디스크 추가4V(Volume, Velocity, Variety, Varecity)Volume: 데이터 크기가 대용량인가?Velocity: 데이터ㅕ의 처리 속도가 중요한가?Variety: 구조화/비구조화 데이터 둘 다인가?Varacity: 데이터의 품질이 좋은가?빅데이터의 예디바이스 데이터모바일 디바이스위치정보스마트 TV각종 센..