topic

[Kafka] Local에서 Kafka 명령어 날리기 [Kafka] EC2 생성 후 접속, Kafka 설치 및 설정 AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbound rule 추가 Inbound rule은 필요한대로.. devbksheen.tistory.com 앞서 Local에서 여러가지 Kafka 명령어를 날려보았다. 이제는 Spring Boot에 연동해 실제 프로젝트에 적용해보자 Spring Boot에 Kafka를 연동 Java(11) Amazon Corretto JDK(11) Spring Boot(2.5.5) 1. Kafka 의존성 추가 dependencies { ... // re..

[Kafka] EC2 생성 후 접속, Kafka 설치 및 설정 AWS EC2 생성 후 Inbound rule 추가 1. AWS Console 로그인 후 EC2에 접속 2. EC2 인스턴스 생성 3. 키 페어 생성 4. Inbound rule 추가 Inbound rule은 필요한대로 설정하면 되겠다. EC2 접속 후 Kafka 설치.. devbksheen.tistory.com 앞서 EC2를 생성하고 접속 후 Kafka를 설치하고 설정까지 해보았다. Local에서 Kafka를 설치 해 명령을 날려보자 Local에서 Kafka 명령어 날리기 1. 세팅 맞추기 위에 글에서와 같은 버전에 java와 kafka를 설치하고 똑같이 설정한다. wget 명령어가 되지 않는다면 Homebrew 설치 후 wget을 설치한다..

Producer & Consumer란? 프로듀서(producer)는 메세지를 생산하고 토픽(topic)에 메세지를 쓴다. 컨슈머(consumer)는 토픽에 씌여진 메시지를 읽어 온다. 프로듀서(producer)는 컨슈머(consumer)의 존재를 알지 못하고 카프카에 메세지를 쓴다. 만약에 여러개의 토픽에 여러개의 파티션(partition)을 나누고, 특정 메세지들을 분류해서 특정 파티션에 저장하고 싶다면, key 값을 통해서 분류해서 넣을 수 있다. 만약 컨슈머의 갯수가 파티션의 갯수와 같다면 1대1로 메시지를 읽어올 수 있기 때문에 빠른 속도로 처리할 수 있다. 컨슈머의 갯수가 더 많다면 남는 컨슈머는 파티션을 할당받지 못하고 대기하게 된다. Consumer Group Kafka 컨슈머(consume..

Topic & Partition이란? 메세지는 토픽(Topic)으로 분류되고, 토픽(Topic)은 여러개의 파티션(Partition)으로 나눠 질 수 있다. 파티션(Partition) 내의 한 칸은 로그(Log)라고 불린다. 데이터는 한 칸의 로그에 순차적으로 append 되는데 메세지의 상대적인 위치를 나타내는게 offset이다. (0이 가장 먼저) 여러개의 파티션으로 누눠서 쓰는 이유는? 메세지는 카프카의 해당 토픽(topic)에 쓰여지는데 시간이 소비된다. 몇 천건의 메세지가 동시에 카프카에 쓰여진다고 생각해보자. 하나의 파티션(partition)에 순차적으로 append되면 처리하는게 좀 버거울 것이다. 그렇기 때문에 여러개의 파티션을 두어서 분산 저장을 하는 것이다. 그러면 병렬로 처리될테니 시..

Apache Kafka Microservice Architecture는 개발 환경을 완전히 바꾸어 놓았다. 공유 데이터베이스 계층과 같은 종속성을 줄여 개발자들이 보다 민첩하게 작업을 수행하도록 해준다. 그러나 개발자가 구축 중인 분산형 애플리케이션이 데이터를 공유하려면 특정한 유형의 통합이 필요하다. 널리 사용되는 통합 옵션으로 동기식 방법이 있는데, 이는 서로 다른 사용자 간 데이터를 공유하는 데 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API)를 활용한다. 또 다른 통합 옵션으로는 중간 스토어에서 데이터를 복제하는 비동기식 방법이 있습니다. Apache Kafka는 바로 이런 맥락에 등장하는 솔루션으로, 다른 개발팀의 데이터를 스트리밍하여 데이..