OFFSET

Producer & Consumer란? 프로듀서(producer)는 메세지를 생산하고 토픽(topic)에 메세지를 쓴다. 컨슈머(consumer)는 토픽에 씌여진 메시지를 읽어 온다. 프로듀서(producer)는 컨슈머(consumer)의 존재를 알지 못하고 카프카에 메세지를 쓴다. 만약에 여러개의 토픽에 여러개의 파티션(partition)을 나누고, 특정 메세지들을 분류해서 특정 파티션에 저장하고 싶다면, key 값을 통해서 분류해서 넣을 수 있다. 만약 컨슈머의 갯수가 파티션의 갯수와 같다면 1대1로 메시지를 읽어올 수 있기 때문에 빠른 속도로 처리할 수 있다. 컨슈머의 갯수가 더 많다면 남는 컨슈머는 파티션을 할당받지 못하고 대기하게 된다. Consumer Group Kafka 컨슈머(consume..

Topic & Partition이란? 메세지는 토픽(Topic)으로 분류되고, 토픽(Topic)은 여러개의 파티션(Partition)으로 나눠 질 수 있다. 파티션(Partition) 내의 한 칸은 로그(Log)라고 불린다. 데이터는 한 칸의 로그에 순차적으로 append 되는데 메세지의 상대적인 위치를 나타내는게 offset이다. (0이 가장 먼저) 여러개의 파티션으로 누눠서 쓰는 이유는? 메세지는 카프카의 해당 토픽(topic)에 쓰여지는데 시간이 소비된다. 몇 천건의 메세지가 동시에 카프카에 쓰여진다고 생각해보자. 하나의 파티션(partition)에 순차적으로 append되면 처리하는게 좀 버거울 것이다. 그렇기 때문에 여러개의 파티션을 두어서 분산 저장을 하는 것이다. 그러면 병렬로 처리될테니 시..