[프로그래머스] 데이터 엔지니어링 데브코스 3기/TIL(Today I Learn)
[TIL - 68일 차] Kafka와 Spark Streaming 기반 스트리밍 처리 (3)
KafkaKafka 소개Kafka의 탄생2008년 LinkedIn에서 내부 실시간 데이터 처리를 위해 개발한 소프트웨어 플랫폼 (Scala, Java)2011년 초에 오픈소스화 (Apache)현재 포춘지 선정 100대 기업 중 80% 이상이 Kafka 사용Kafka 소개실시간 데이터 처리를 위한 오픈소스 분산 스트리밍 플랫폼Scalability와 Fault Tolerance를 제공하는 Publish-Subscription 메시징 시스템High Throughput & Low Latency으로 실시간 데이터 처리에 맞게 구현분산 아키텍처를 따르기 때문에 Scale Out(서버=Broker) 형태로 스케일 가능정해진 보유 기간 (retention period) 동안 메시지 저장기존 메시징 시스템 및 데이터 베..
