목록맵리듀스 (1)

개발 기록장

01. 빅데이터 처리와 Spark 소개

학습 주제: 빅데이터 정의와 특징, 하둡 소개, Yarn의 동작 방식, 맵리듀스 프로그래밍 소개, Spark 소개빅데이터빅데이터의 정의서버 한대로 처리할 수 없는 규모의 데이터기존의 소프트웨어로는 처리할 수 없는 규모의 데이터대표적인 기존의 소프트웨어: 오라클이나 MySQL과 같은 관계형 데이터베이스분산환경을 염두에 두지 않음Scale-up 접근 방식: 메모리 추가, CPU 추가, 디스크 추가4V(Volume, Velocity, Variety, Varecity)Volume: 데이터 크기가 대용량인가?Velocity: 데이터ㅕ의 처리 속도가 중요한가?Variety: 구조화/비구조화 데이터 둘 다인가?Varacity: 데이터의 품질이 좋은가?빅데이터의 예디바이스 데이터모바일 디바이스위치정보스마트 TV각종 센..
데브코스(DE)/하둡과 Spark 2024. 6. 18. 23:31
이전 Prev 1 Next 다음