[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)
[TIL - 70일 차] Kafka와 Spark Streaming 기반 스트리밍 처리 (5)
Spark Streaming 소개와 Kafka 연동Spark Streaming 소개Spark버클리 대학의 AMPLab에서 Apache 오픈소스 프로젝트로 2013년 시작하둡의 뒤를 잇는 2세대 빅데이터 기술YARN 등을 분산환경으로 사용Scala로 작성됨빅데이터 처리 관련 다양한 기능 제공구성Spark Core, Spark SQL, Spark ML, Spark StreamingSpark Streaming실시간 데이터 스트림 처리를 위함 Spark APIKafka, Kinesis, Flume, TCP 소켓 등의 다양한 소스에서 발생하는 데이터 처리 가능Join, Map, Reduce, Window와 같은 고급 함수 사용 가능Spark Streaming 동작 방식데이터를 마이크로 배치로 처리하는 과정을 반복..
