zookeeper

AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbound rule 추가 Inbound rule은 필요한대로 설정하면 되겠다. EC2 접속 후 Kafka 설치 및 설정 1. 키 페어 권한 변경 위에서 생성한 키 페어를 보관하는 곳으로 이동해 키 페어 파일를 사용할 권한을 변경한다. # 400 → 나만 읽을 수 있음(private) chmod 400 devbeekei-kafka.pem 2. EC2 접속 # 키 페어를 사용하여 EC2 접속 ssh -i devbeekei-kafka.pem ec2-user@3.34.97.97 3. Java 설치 Amazon에 JDK 11버전을 사용했다. # Java 설..

Producer & Consumer란? 프로듀서(producer)는 메세지를 생산하고 토픽(topic)에 메세지를 쓴다. 컨슈머(consumer)는 토픽에 씌여진 메시지를 읽어 온다. 프로듀서(producer)는 컨슈머(consumer)의 존재를 알지 못하고 카프카에 메세지를 쓴다. 만약에 여러개의 토픽에 여러개의 파티션(partition)을 나누고, 특정 메세지들을 분류해서 특정 파티션에 저장하고 싶다면, key 값을 통해서 분류해서 넣을 수 있다. 만약 컨슈머의 갯수가 파티션의 갯수와 같다면 1대1로 메시지를 읽어올 수 있기 때문에 빠른 속도로 처리할 수 있다. 컨슈머의 갯수가 더 많다면 남는 컨슈머는 파티션을 할당받지 못하고 대기하게 된다. Consumer Group Kafka 컨슈머(consume..

Kafka Broker & Zookeeper란? 브로커(broker)는 실행된 Kafka application 서버를 뜻한다. 주키퍼(zookeeper)는 이러한 분산 메세지 큐의 정보를 관리해 주는 역할을 한다. kafka를 띄우기 위해서는 주키퍼가 반드시 실행되어야 한다. 3대 이상의 브로커로 클러스터를 구성한다. 주키퍼와 연동(~2.5.0버전) 주키퍼의 역활 : 메타데이터(브로커id, 컨트롤러id 등) 저장 추후에는 주키퍼와 연동하지 않도록 구성할 예정 → 메타데이터를 브로커 안에 저장 n개 브로커 중 1대는 Controller기능을 수행한다. Controller : 각 브로커에게 담당파티션 할당 수행, 브로커 정상 동작 모니터링 관리 누가 Controller인지는 zookeeper에 저장 Brok..

Apache Kafka Microservice Architecture는 개발 환경을 완전히 바꾸어 놓았다. 공유 데이터베이스 계층과 같은 종속성을 줄여 개발자들이 보다 민첩하게 작업을 수행하도록 해준다. 그러나 개발자가 구축 중인 분산형 애플리케이션이 데이터를 공유하려면 특정한 유형의 통합이 필요하다. 널리 사용되는 통합 옵션으로 동기식 방법이 있는데, 이는 서로 다른 사용자 간 데이터를 공유하는 데 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API)를 활용한다. 또 다른 통합 옵션으로는 중간 스토어에서 데이터를 복제하는 비동기식 방법이 있습니다. Apache Kafka는 바로 이런 맥락에 등장하는 솔루션으로, 다른 개발팀의 데이터를 스트리밍하여 데이..