분류 전체보기

컨슈머(Consumer) API프로듀서가 전송한 데이터는 브로커에 적재되고 컨슈머는 적재된 데이터를 사용하기 위해 브로커부터 데이터를 가져와서 필요한 처리를 하게 됩니다.1. 컨슈머 설정 및 사용예제 스펙은 프로듀서(Producer) API 설명 및 예제글에서 확인 가능합니다.public KafkaConsumerTest() { Properties properties = new Properties(); // 카프카 클러스터 Host 설정 properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); // key값 역직렬화 클래스 설정 properties.put(ConsumerConfig.KEY_DESE..

카프카 클라이언트(Kafka Client)란?카프카 클러스터(Kafka Cluster)에 명령을 내리거나 데이터를 송수신하기 위해 다양한 API를 제공합니다.카프카 클라이언트는 라이브러리이기 때문에 자체 라이프사이클을 가진 프레임워크 혹은 애플리케이션 위에서 구현 및 실행해야 합니다.각각의 API가 어떻게 동작하며 어떤 기능을 제공하는지 정리하려고 합니다. 예제 스펙은 아래와 같습니다.Java 17Spring Boot 3.4.1Kafka Client 3.8.1# spring-kafka를 사용하였습니다.dependencies { ... implementation 'org.springframework.kafka:spring-kafka'}프로듀서(Producer) API프로듀서 애플리케이션은 데이터..

토픽(Topic)과 파티션(Partition)토픽(Topic)은 카프카에서 데이터를 구분하기 위해 사용하는 단위입니다.토픽은 1개 이상의 파티션(Partition)을 소유하고 있고 파티션에는 프로듀서가 보낸 데이터들이 들어가 저장되는데 이 데이터를 레코드(Record)라고 부릅니다.파티션은 카프카의 병렬처리의 핵심으로써 그룹으로 묶인 컨슈머들이 레코드를 병렬로 처리할 수 있도록 매칭됩니다.컨슈머의 처리량이 한정된 상황에서 파티션 개수와 컨슈머 개수를 늘려 스케일 아웃하여 병렬로 처리가 가능하므로 처리량이 증가하는 효과를 볼 수 있습니다.파티션은 FIFO(Firtst-in-first-out) 형태로 큐(Queue)와 비슷한 구조이지만 다른 점이 있습니다.큐는 데이터를 가져가면 삭제하지만 카프카에서는 삭제하..

카프카 커맨드 라인 툴(kafka command-line-tool)카프카(kafka)에서 제공하는 커맨드 라인 툴을 통해 카프카 브로커 운영에 필요한 다양한 명령을 내릴 수 있습니다.카프카를 운영할 때는 카프카 클러스터(Kafka Cluster)와 연동하여 데이터를 주고받는 것도 중요하지만 토픽(Topic)이나 파티션(Partition) 개수 변경과 같은 명령을 실행해야 하는 경우도 자주 발생합니다. 커맨드 라인 툴을 통해 명령을 실행할 때 필수 옵션과 선택 옵션이 있는데, 선택 옵션은 지정하지 않을 시 브로커에 설정된 기본 설정값 또는 커맨드 라인 툴의 기본값으로 대체되어 설정되기 때문에 브로커에 옵션이나 커맨드 라인 툴의 기본값이 어떻게 되어있는지 확인한 후에 사용해야 합니다.1. kafka-top..

브로커(Broker)브로커(broker)는 카프카 클러스터(Kafka Cluster)의 구성 요소로, 데이터를 저장하고 프로듀서(Producer)와 컨슈머(Consumer) 간의 통신을 담당합니다. 카프카 클러스터는 여러 브로커로 구성되며 데이터들을 분산 저장하여 안전하게 사용할 수 있습니다.데이터 저장, 전송브로커는 프로듀서로부터 데이터를 전달받으면 프로듀서가 요청한 토픽(Topic) 내부에 존재하는 파티션(Partition)에 데이터를 저장하고 컨슈머가 데이터를 요청하면 해당 파티션에 저장된 데이터를 전달합니다.이렇게 전달된 데이터는 파일 시스템에 저장되는데, 파일 시스템은 다루기는 편하지만 입출력이 많아질 경우 메모리에 올려서 사용하는 것보다 처리 속도가 현저히 느려집니다.카프카는 이러한 문제를 해..

샤딩(Sharding)과 클러스터링(Clustering)은 모두 대규모 데이터와 높은 트래픽을 처리하기 위해 사용되는 데이터 분산 기술입니다.하지만 목적과 구현 방식에서 차이가 있습니다.샤딩(Sharding)정의데이터를 수평적으로 분할하여 여러 데이터베이스 노드에 분산 저장하는 방식각각의 분할된 데이터는 샤드(Shard)라고 불리며, 각 샤드는 독립적으로 작동합니다.특징데이터 분산:전체 데이터셋을 여러 샤드로 나누어 저장샤드 간에는 중복 데이터가 거의 없고, 각 샤드가 고유 데이터만 저장샤드 키(Shard Key):데이터를 분산할 기준이 되는 필드예: 사용자 ID, 주문 ID, 날짜 등수평 확장:샤드를 추가하면 데이터 저장 용량과 처리 능력이 확장장단점대규모 데이터 처리를 효율적으로 분산쓰기 및 읽기 성..

문제 설명지나다니는 길을 'O', 장애물을 'X'로 나타낸 직사각형 격자 모양의 공원에서 로봇 강아지가 산책을 하려합니다. 산책은 로봇 강아지에 미리 입력된 명령에 따라 진행하며, 명령은 다음과 같은 형식으로 주어집니다.["방향 거리", "방향 거리" … ]예를 들어 "E 5"는 로봇 강아지가 현재 위치에서 동쪽으로 5칸 이동했다는 의미입니다. 로봇 강아지는 명령을 수행하기 전에 다음 두 가지를 먼저 확인합니다.주어진 방향으로 이동할 때 공원을 벗어나는지 확인합니다.주어진 방향으로 이동 중 장애물을 만나는지 확인합니다.위 두 가지중 어느 하나라도 해당된다면, 로봇 강아지는 해당 명령을 무시하고 다음 명령을 수행합니다.공원의 가로 길이가 W, 세로 길이가 H라고 할 때, 공원의 좌측 상단의 좌표는 (0, ..

문제 설명당신은 동영상 재생기를 만들고 있습니다. 당신의 동영상 재생기는 10초 전으로 이동, 10초 후로 이동, 오프닝 건너뛰기 3가지 기능을 지원합니다. 각 기능이 수행하는 작업은 다음과 같습니다.10초 전으로 이동: 사용자가 "prev" 명령을 입력할 경우 동영상의 재생 위치를 현재 위치에서 10초 전으로 이동합니다. 현재 위치가 10초 미만인 경우 영상의 처음 위치로 이동합니다. 영상의 처음 위치는 0분 0초입니다.10초 후로 이동: 사용자가 "next" 명령을 입력할 경우 동영상의 재생 위치를 현재 위치에서 10초 후로 이동합니다. 동영상의 남은 시간이 10초 미만일 경우 영상의 마지막 위치로 이동합니다. 영상의 마지막 위치는 동영상의 길이와 같습니다.오프닝 건너뛰기: 현재 재생 위치가 오프닝 ..

문제 설명얀에서는 매년 달리기 경주가 열립니다. 해설진들은 선수들이 자기 바로 앞의 선수를 추월할 때 추월한 선수의 이름을 부릅니다. 예를 들어 1등부터 3등까지 "mumu", "soe", "poe" 선수들이 순서대로 달리고 있을 때, 해설진이 "soe"선수를 불렀다면 2등인 "soe" 선수가 1등인 "mumu" 선수를 추월했다는 것입니다. 즉 "soe" 선수가 1등, "mumu" 선수가 2등으로 바뀝니다.선수들의 이름이 1등부터 현재 등수 순서대로 담긴 문자열 배열 players와 해설진이 부른 이름을 담은 문자열 배열 callings가 매개변수로 주어질 때, 경주가 끝났을 때 선수들의 이름을 1등부터 등수 순서대로 배열에 담아 return 하는 solution 함수를 완성해주세요.제한사항5 ≤ pla..

문제 설명0번부터 n - 1번까지 n명의 학생 중 3명을 선발하는 전국 대회 선발 고사를 보았습니다. 등수가 높은 3명을 선발해야 하지만, 개인 사정으로 전국 대회에 참여하지 못하는 학생들이 있어 참여가 가능한 학생 중 등수가 높은 3명을 선발하기로 했습니다. 각 학생들의 선발 고사 등수를 담은 정수 배열 rank와 전국 대회 참여 가능 여부가 담긴 boolean 배열 attendance가 매개변수로 주어집니다. 전국 대회에 선발된 학생 번호들을 등수가 높은 순서대로 각각 a, b, c번이라고 할 때 10000 × a + 100 × b + c를 return 하는 solution 함수를 작성해 주세요.제한사항3 ≤ rank의 길이 = attendance의 길이 ≤ 100rank[i]는 i번 학생의 선발 고..