Segment는 변경되지 않는 추가만 되는 로그 파일이라 볼 수 있음 (Immutable, Append-Only)
각 Segment는 디스크 상에 존재하는 하나의 파일
Segment는 최대 크기가 있어서 이를 넘어가면 새로 Segment 파일을 만듦
각 Segment는 데이터 offset 범위를 갖게 됨
Segment의 최대 크기는 1GB 혹은 일주일 치의 데이터
Partition & Segment
Commit Log
Sequential, Immutable, Append-Only
WAL (Write Ahead Logging)
데이터 무결성과 신뢰성을 보장하는 표준 방식
데이터베이스에 대한 모든 변경 사항을 먼저 Commit Log라는 추가 전용 파일에 기록
Replication과 Fault Tolerance의 최소 단위
Data Recovery와 Replay에 사용 가능
Broker의 역할
Topic은 다수의 시간 순으로 정렬된 Message로 구성
Producer는 Topic을 먼저 생성하고 속성 지정
Producer는 Message를 Broker로 전송
Broker는 이를 Partition으로 나눠 저장 (중복 저장)
Consumer는 Broker를 통해 메시지를 읽음
Kafka 기타 기능
Kafka Connect
Kafka Connect는 Kafka 위에 만들어진 중앙 집중 데이터 허브
별도의 서버들이 필요하며 Kafka Connect는 별도의 오픈 소스 프로젝트
데이터 버스 혹은 메시지 버스라고 볼 수 있음
Standalone 모드와 Distributed 모드 존재
데이터 시스템 간의 데이터를 주고받는 용도로 Kafka를 사용
데이터 시스템 : 데이터베이스, 파일 시스템, key-value 저장소, 검색 인덱스 등
데이터 소스와 데이터 싱크
Broker 중 일부나 별개 서버로 Kafka Connect 구성
Task를 Worker가 수행, 여기서 Task는 Producer/Consumer 역할
외부 데이터(Data Source)를 이벤트 스트림으로 읽어오는 것이 가능
내부 데이터를 외부(Data Sink)로 내보내어 Kafka를 기존 시스템과 지속적으로 통합 가능
Kafka Connect
Kafka Schema Registry
Schema Registry는 Topic 메시지 데이터에 대한 스키마를 관리 및 검증하는 데 사용
Producer와 Consumer는 Schema Registry를 사용하여 스키마 변경을 처리
Schema ID를 사용해 다양한 포맷 변천 (Schema Evolution)을 지원
포맷 변경을 처리하는 방법
Forward Compatibility : Producer부터 변경 후 Consumer를 점진적으로 변경
Backward Compatibility : Consumer부터 변경하고 Producer를 점진적으로 변경
Full Compatibility : 둘 다 변경
Schema Registry
Serialization과 Deserialization
Serialization (직렬화)
객체의 상태를 저장하거나 전송할 수 있는 형태로 변환하는 프로세스
데이터 압축 등을 진행, 가능하다면 보내는 데이터의 스키마 정보 추가
Deserialization (역직렬화)
Serialized된 데이터를 다시 사용할 수 있는 형태로 변환하는 프로세스
데이터 압축 해제 등을 진행, 스키마 정보 등이 있다면 데이터 포맷 검증도 수행
Serialization & Deserialization
Kafka 아키텍처 : REST Proxy
클라이언트가 API 호출을 사용하여 Kafka를 사용 가능하게 해 줌
메시지를 생성 및 소비하고, 토픽을 관리하는 간단하고 표준화된 방법을 제공
REST Proxy는 메시지 Serialization과 Deserialization을 대신 수행해 주고 Load Balancing도 수행
특히 사내 네트워크 밖에서 Kafka에 접근해야 할 필요성이 있는 경우 유용
Kafka 아키텍처 : Steams와 KSQL
Kafka Streams : Kafka Topic을 소비하고 생성하는 실시간 스트림 처리 라이브러리
Spark Streaming으로 Kafka Topic을 처리하는 경우 micro batch에 가까움
Kafka Streams로 Kafka Topic을 처리하는 경우 realtime에 가까움
KSQL : Confluent에서 개발한 Kafka용 오픈 소스 SQL 엔진 (지금은 사용 X)
Kafka 아키텍처 : ksqlDB
Kafka Streams로 구현된 스트림 처리 데이터베이스로 KSQL을 대체
SQL과 유사한 쿼리 언어로 필터링, 집계, 조인, 윈도우잉 등 SQL 작업 지원
연속 쿼리 : 데이터가 실시간으로 도착할 때 지속적으로 처리하는 연속 쿼리 생성 가능
지속 업데이트되는 뷰 지원 : 실시간, 지속적으로 업데이트되는 집계 및 변환 가능
Spark에서 보는 것과 비슷한 추세 -> SQL이 대세
Kafka Python 프로그래밍
간단한 Producer 만들기
from time import sleep
from json import dumps
from kafka import KafkaProducer
producer = KafkaProducer( # Producer 객체 생성
bootstrap_servers=['localhost:9092'], # Broker 중 하나 이상을 지정
value_serializer=lambda x: dumps(x).encode('utf-8')
)
for j in range(999):
print("Iteration", j)
data = {'counter': j}
producer.send('topic_test', value=data)
sleep(0.5)
higher-order 함수 예 : map, filter, reduce, sorted, value_serializer
람다 함수 포맷
lambda 'arguments' : expression
간단한 Consumer 만들기
from kafka import KafkaConsumer
from json import loads
from time import sleep
consumer = KafkaConsumer(
'topic_test',
bootstrap_servers=['localhost:9092'],
auto_offset_reset='earliest',
enable_auto_commit=True,
group_id='my-group-id',
value_deserializer=lambda x: loads(x.decode('utf-8'))
)
for event in consumer:
event_data = event.value
# Do whatever you want
print(event_data)
sleep(2)
