Apache Kafka - Topic, Producer, Consumer
Producer Consumer Consumer Group 하나의 Consumer는 하나의 Consumer Group에 포함되며, Consumer Group내의 Consumer들은 협력하여 Topic의 메시지를 분산 병렬 처리한다.
Producer Consumer
Producer와 Consumer는 서로 알지 못하며, Producer와 Consumer는 각각 고유의 속도로 Commit Log에 Write, Read를 수행
다른 Consumer Group에 속한 Consumer들은 서로 관련이 없으며, Commit Log에 있는 Event를 동시에 다른 위치에서 Read할 수 있다.
Kafka Commit Log
Commit Log Offset
Producer가 Write하는 LOG-END-OFFSET CURRENT-OFFSET Consumer Lag
Topic, Partition, Segment
Topic Partition Commit Log Segment
조금 더 구체적으로 들여다보면,
Topic 생성 시 Partition의 개수를 지정 Rolling Strategy
Active Segment Partition당 하나의 Active Segment가 존재하는데, 이게 무슨 말이냐면,
특정 Partition에는 Segment가 있고, 이 파일이 실제 데이터가 저장되는 파일인데 크기 또는 시간이 지정한 값보다 더 커지면 새로운 파일을 만들어 그 파일에 저장한다고 했다. 그리고 현재 저장되는 파일을 Active Segment 파일이라고 부른다.
Partition당 오직 하나의 Segment가 활성화(Active)되어 있다.
Active된 Segment가 아닌 파일에는 변경이 불가능하다.
정리를 하자면
Topic 생성 시, Partition 개수를 지정한다. 개수 변경은 이후에도 가능하나 운영시에는 변경 권장하지 않는다. 그 이유는 이후에 설명한다.
Partition의 번호는 0부터 시작하고 오름차순
Topic 내 Partition 들은 서로 독립적
Event(Message)의 위치를 나타내는 Offset이 존재
Offset은 하나의 Partition에서만 의미를 가진다. 즉, Partition 0번의 Offset 1 은 Partition 1의 Offset 1과 아무런 관련이 없다.
Offset 값은 계속 증가하고 0으로 돌아가지 않는다.
Event(Message)의 순서는 동일한 Partition 내에서만 보장
Partition에 저장된 데이터(Message)는 변경이 불가능(Immutable)
Partition에 Write되는 데이터는 맨 끝에 추가되어 저장
Partition은 Segment File들로 구성되고, Rolling 정책은 log.segment.bytes(default 1GB), log.roll.hours(default 168 hours)
