Apache Kafka

어드민(Admin) API실제 운영환경에서는 카프카(kafka)에 설정된 내부 옵션을 설정하고 확인하는 것이 중요합니다.카프카 클라이언트(Kafka Client)에서는 내부 옵션들을 설정하거나 조회하기 위해 AdminClient 클래스를 제공하는데 이를 활용하면 클러스터(Cluster) 옵션과 관련된 부분을 자동화할 수 있습니다.카프카 컨슈머를 멀티 스레드로 생성하고, 구독하는 토픽의 파티션 개수만큼 스레드를 생성하고 싶을 때, 스레드 생성 전에 해당 토픽의 파티션 개수를 어드민 API를 통해 가져올 수 있습니다.AdminClient 클래스로 구현한 웹 대시보드를 통해 ACL(Access Control List)이 적용된 클러스터의 리소스 접근 권한 규칙을 추가할 수 있습니다.특정 토픽의 데이터양이 늘어..

이전 글에서는 컨슈머의 중요 개념과 주요 옵션에 대해 정리해보았습니다. 카프카 클라이언트(Kafka Client) - 컨슈머(Consumer) API (1/2)컨슈머(Consumer) API프로듀서가 전송한 데이터는 브로커에 적재되고 컨슈머는 적재된 데이터를 사용하기 위해 브로커부터 데이터를 가져와서 필요한 처리를 하게 됩니다.1. 컨슈머 설정 및 사용devbksheen.tistory.com이번 글에는 더욱 다양한 설정과 안전한 종료에 대해 정리해보겠습니다.4. 동기 오프셋 커밋poll() 메서드가 호출된 이후에 commitSync() 메서드를 호출하여 오프셋 커밋을 명시적으로 수행할 수 있습니다....// 명시적 오프셋을 구현하기 위헤 자동 커밋 옵션을 false로 설정properties.put(Co..

컨슈머(Consumer) API프로듀서가 전송한 데이터는 브로커에 적재되고 컨슈머는 적재된 데이터를 사용하기 위해 브로커부터 데이터를 가져와서 필요한 처리를 하게 됩니다.1. 컨슈머 설정 및 사용예제 스펙은 프로듀서(Producer) API 설명 및 예제글에서 확인 가능합니다.public KafkaConsumerTest() { Properties properties = new Properties(); // 카프카 클러스터 Host 설정 properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); // key값 역직렬화 클래스 설정 properties.put(ConsumerConfig.KEY_DESE..

카프카 클라이언트(Kafka Client)란?카프카 클러스터(Kafka Cluster)에 명령을 내리거나 데이터를 송수신하기 위해 다양한 API를 제공합니다.카프카 클라이언트는 라이브러리이기 때문에 자체 라이프사이클을 가진 프레임워크 혹은 애플리케이션 위에서 구현 및 실행해야 합니다.각각의 API가 어떻게 동작하며 어떤 기능을 제공하는지 정리하려고 합니다. 예제 스펙은 아래와 같습니다.Java 17Spring Boot 3.4.1Kafka Client 3.8.1# spring-kafka를 사용하였습니다.dependencies { ... implementation 'org.springframework.kafka:spring-kafka'}프로듀서(Producer) API프로듀서 애플리케이션은 데이터..

토픽(Topic)과 파티션(Partition)토픽(Topic)은 카프카에서 데이터를 구분하기 위해 사용하는 단위입니다.토픽은 1개 이상의 파티션(Partition)을 소유하고 있고 파티션에는 프로듀서가 보낸 데이터들이 들어가 저장되는데 이 데이터를 레코드(Record)라고 부릅니다.파티션은 카프카의 병렬처리의 핵심으로써 그룹으로 묶인 컨슈머들이 레코드를 병렬로 처리할 수 있도록 매칭됩니다.컨슈머의 처리량이 한정된 상황에서 파티션 개수와 컨슈머 개수를 늘려 스케일 아웃하여 병렬로 처리가 가능하므로 처리량이 증가하는 효과를 볼 수 있습니다.파티션은 FIFO(Firtst-in-first-out) 형태로 큐(Queue)와 비슷한 구조이지만 다른 점이 있습니다.큐는 데이터를 가져가면 삭제하지만 카프카에서는 삭제하..

카프카 커맨드 라인 툴(kafka command-line-tool)카프카(kafka)에서 제공하는 커맨드 라인 툴을 통해 카프카 브로커 운영에 필요한 다양한 명령을 내릴 수 있습니다.카프카를 운영할 때는 카프카 클러스터(Kafka Cluster)와 연동하여 데이터를 주고받는 것도 중요하지만 토픽(Topic)이나 파티션(Partition) 개수 변경과 같은 명령을 실행해야 하는 경우도 자주 발생합니다. 커맨드 라인 툴을 통해 명령을 실행할 때 필수 옵션과 선택 옵션이 있는데, 선택 옵션은 지정하지 않을 시 브로커에 설정된 기본 설정값 또는 커맨드 라인 툴의 기본값으로 대체되어 설정되기 때문에 브로커에 옵션이나 커맨드 라인 툴의 기본값이 어떻게 되어있는지 확인한 후에 사용해야 합니다.1. kafka-top..

브로커(Broker)브로커(broker)는 카프카 클러스터(Kafka Cluster)의 구성 요소로, 데이터를 저장하고 프로듀서(Producer)와 컨슈머(Consumer) 간의 통신을 담당합니다. 카프카 클러스터는 여러 브로커로 구성되며 데이터들을 분산 저장하여 안전하게 사용할 수 있습니다.데이터 저장, 전송브로커는 프로듀서로부터 데이터를 전달받으면 프로듀서가 요청한 토픽(Topic) 내부에 존재하는 파티션(Partition)에 데이터를 저장하고 컨슈머가 데이터를 요청하면 해당 파티션에 저장된 데이터를 전달합니다.이렇게 전달된 데이터는 파일 시스템에 저장되는데, 파일 시스템은 다루기는 편하지만 입출력이 많아질 경우 메모리에 올려서 사용하는 것보다 처리 속도가 현저히 느려집니다.카프카는 이러한 문제를 해..

[Kafka] Local에서 Kafka 명령어 날리기 [Kafka] EC2 생성 후 접속, Kafka 설치 및 설정 AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbound rule 추가 Inbound rule은 필요한대로.. devbksheen.tistory.com 앞서 Local에서 여러가지 Kafka 명령어를 날려보았다. 이제는 Spring Boot에 연동해 실제 프로젝트에 적용해보자 Spring Boot에 Kafka를 연동 Java(11) Amazon Corretto JDK(11) Spring Boot(2.5.5) 1. Kafka 의존성 추가 dependencies { ... // re..

[Kafka] EC2 생성 후 접속, Kafka 설치 및 설정 AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbound rule 추가 Inbound rule은 필요한대로 설정하면 되겠다. EC2 접속 후 Kafka 설치.. devbksheen.tistory.com 앞서 EC2를 생성하고 접속 후 Kafka를 설치하고 설정까지 해보았다. Local에서 Kafka를 설치 해 명령을 날려보자 Local에서 Kafka 명령어 날리기 1. 세팅 맞추기 위에 글에서와 같은 버전에 java와 kafka를 설치하고 똑같이 설정한다. wget 명령어가 되지 않는다면 Homebrew 설치 후 wget을 설치한다..

AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbound rule 추가 Inbound rule은 필요한대로 설정하면 되겠다. EC2 접속 후 Kafka 설치 및 설정 1. 키 페어 권한 변경 위에서 생성한 키 페어를 보관하는 곳으로 이동해 키 페어 파일를 사용할 권한을 변경한다. # 400 → 나만 읽을 수 있음(private) chmod 400 devbeekei-kafka.pem 2. EC2 접속 # 키 페어를 사용하여 EC2 접속 ssh -i devbeekei-kafka.pem ec2-user@3.34.97.97 3. Java 설치 Amazon에 JDK 11버전을 사용했다. # Java 설..