분류 전체보기

※ 예제 코드의 스펙은 아래와 같습니다.- JDK 21- Spring Boot 3.4.2- Kafka Streams 3.5.1- confluentinc/cp-kafka:latest(Docker Image, 2025-02-24 기준,sha256:e6b87a4a8ca07aadba9c04d86515a340f67cd11ca6160c9b07205f3d88dfb5f1)구현 예제프로세서(Processor) API에서 로직을 구현하기 위해서는 스트림 프로세서 역할을 하는 Processor 인터페이스를 구현해야 합니다.스트림즈(Streams)DSL의 filter() 메서드와 동일한 기능을 하는 FilterProcessor를 구현해 보겠습니다.Processor스트림 프로세서 클래스를 생성하기 위해서는 카프카 스트림즈(k..

프로세서(Processor) API란?프로세서(Processor) API는 카프카 스트림즈(Kafka Streams) 라이브러리에서 제공하는 강력한 API 중 하나로, 데이터를 스트림 처리할 때 저수준(하위 계층)에서 직접 처리할 수 있도록 해주는 API입니다. 프로세서 API는 스트림즈DSL(Streams DSL)보다 투박한 코드를 가지지만 토폴로지를 기준으로 데이터를 처리한다는 관점에서는 동일한 역할을 하지만 프로세서 API는 KStream, KTable, GlobalKTable의 개념을 사용하지 않으며, 추가적인 상세 로직의 구현이 필요하다면 프로세서 API를 활용할 수 있습니다. 프로세서 API에서는 스트림 데이터를 직접 다루기 때문에 개발자가 데이터의 흐름을 완전히 사용자 정의(커스텀) 할 수 ..

※ 예제 코드의 스펙은 아래와 같습니다.- JDK 21- Spring Boot 3.4.2- Kafka Streams 3.5.1- confluentinc/cp-kafka:latest(Docker Image, 2025-02-24 기준,sha256:e6b87a4a8ca07aadba9c04d86515a340f67cd11ca6160c9b07205f3d88dfb5f1)Stream(), to()스트림즈DSL로 구현할 수 있는 가장 간단한 프로세싱은 특정 토픽(Topic)의 데이터(Record)를 다른 토픽으로 전달하는 것입니다.특정 토픽을 KStream 형태로 가져오려면 스트림즈DSL의 stream() 메서드를 사용하고(소스 프로세서) 이렇게 가져온 데이터를 다른 토픽으로 전달하려면 to() 메서드를 사용합니다.(싱..

Role(역할)이란?Role(역할)은 여러 개의 Authority(권한)을 묶어둔 개념입니다.즉, ROLE_ADMIN은 "READ_POST", "WRITE_POST", "DELETE_POST" 등의 권한을 가질 수 있습니다.Role 예시hasRole("ADMIN") // 관리자 역할hasRole("USER") // 일반 사용자 역할Spring Security에서는 Role을 내부적으로 "ROLE_" prefix를 붙여 관리예를 들어 hasRole("ADMIN")은 내부적으로 "ROLE_ADMIN"을 의미특징사용자 그룹(역할) 단위로 권한을 부여 가능하나의 Role이 여러 개의 Authority를 포함할 수 있음Role 기반 접근 제어가 더 단순하고 이해하기 쉬움Authority(권한)란?Auth..

Session 기반 인증서버 측(Session Storage)에서 클라이언트의 인증 상태를 저장하고 관리하는 방식입니다.클라이언트가 로그인하면 서버가 Session ID를 생성하고 이를 클라이언트에게 쿠키로 전달이후 클라이언트가 요청할 때마다 해당 Session ID를 포함하여 서버에 전송서버는 Session Storage에서 Session ID를 조회하여 인증 및 권한을 검증Session 인증 흐름사용자가 로그인 요청 (ID/PW)서버가 사용자 인증 후, 세션을 생성하고 Session ID를 응답 쿠키로 설정클라이언트가 이후 요청 시, Session ID를 포함한 쿠키를 서버에 전달서버는 저장된 Session ID를 조회하여 사용자 인증 및 권한을 검증로그아웃하면 세션을 삭제✅ 장점 보안성세션이 서버에..

스트림즈DSL 주요 옵션스트림즈DSL 애플리케이션을 실행할 때 설정해야 하는 필수 옵션과 선택 옵션이 있는데, 선택 옵션을 설정하지 않은 경우 기본값이 적용되기 때문에 주의해야 합니다.필수 옵션bootstrap.servers: 브로커의 호스트 이름과 포트를 1개 이상 설정application.id: 스트림즈 애플리케이션의 구분을 위한 고유한 아이디 설정선택 옵션default.key.serde: 레코드의 메시지 키 직렬화, 역직렬화 클래스 설정 (default: Serdes.ByteArray().getClass().getName())default.value.serde: 레코드의 메시지 값 직렬화, 역직렬화 클래스 설정 (default: Serdes.ByteArray().getClass().getName()..

스트림즈DSL(Streams Domain Specific Language)이란?스트림즈DSL는 아파치 카프카(Apache Kafka)의 스트림 처리 라이브러리인 카프카 스트림즈(Kafka Streams)에서 제공하는 고수준 API입니다.스트림 데이터를 손쉽게 처리하고 변환할 수 있도록 설계된 함수형 프로그래밍 스타일의 API로, 복잡한 스트림 처리 로직을 간결하고 직관적으로 작성할 수 있습니다. 스트림즈 DSL에는 레코드의 흐름을 추상화한 3가지 개념인 KStream, KTable, GlobalKTable이 존재합니다.이 3가지 개념은 컨슈머, 프로듀서, 프로세서 API에서는 사용되지 않고 스트림즈DSL에서만 사용되는 개념입니다.KStreamKStream은 레코드의 흐름을 표현한 것으로 메시지 키와 메시..

카프카 스트림즈(Kafka Streams)란?카프카 스트림즈는 토픽(Topic)에 적재된 데이터를 상태기반(Stateful) 또는 비상태기반(Stateless)으로 실시간 변환하여 다른 토픽에 적재하는 라이브러리입니다.스트림즈는 카프카에서 공식적으로 지원하고 카프카 버전이 오를 때마다 스트림즈 자바 라이브러리도 같이 릴리즈 되기 때문에 자바 기반 스트림즈 애플리케이션은 카프카 클러스터(Cluster)와 완벽하게 호환되어 편리한 기능을 제공합니다.스트림즈는 장애가 발생하더라도 정확히 한 번만 데이터가 처리될 수 있도록 장애 허용 시스템을 가지고 있어서 안정성이 뛰어나고 자바 라이브러리로 구현하는 스트림즈 애플리케이션은 JVM 위에서 하나의 프로세스로 진행되기 때문에 분산 시스템이나 스케줄링 프로그램은 필요..

어드민(Admin) API실제 운영환경에서는 카프카(kafka)에 설정된 내부 옵션을 설정하고 확인하는 것이 중요합니다.카프카 클라이언트(Kafka Client)에서는 내부 옵션들을 설정하거나 조회하기 위해 AdminClient 클래스를 제공하는데 이를 활용하면 클러스터(Cluster) 옵션과 관련된 부분을 자동화할 수 있습니다.카프카 컨슈머를 멀티 스레드로 생성하고, 구독하는 토픽의 파티션 개수만큼 스레드를 생성하고 싶을 때, 스레드 생성 전에 해당 토픽의 파티션 개수를 어드민 API를 통해 가져올 수 있습니다.AdminClient 클래스로 구현한 웹 대시보드를 통해 ACL(Access Control List)이 적용된 클러스터의 리소스 접근 권한 규칙을 추가할 수 있습니다.특정 토픽의 데이터양이 늘어..

이전 글에서는 컨슈머의 중요 개념과 주요 옵션에 대해 정리해보았습니다. 카프카 클라이언트(Kafka Client) - 컨슈머(Consumer) API (1/2)컨슈머(Consumer) API프로듀서가 전송한 데이터는 브로커에 적재되고 컨슈머는 적재된 데이터를 사용하기 위해 브로커부터 데이터를 가져와서 필요한 처리를 하게 됩니다.1. 컨슈머 설정 및 사용devbksheen.tistory.com이번 글에는 더욱 다양한 설정과 안전한 종료에 대해 정리해보겠습니다.4. 동기 오프셋 커밋poll() 메서드가 호출된 이후에 commitSync() 메서드를 호출하여 오프셋 커밋을 명시적으로 수행할 수 있습니다....// 명시적 오프셋을 구현하기 위헤 자동 커밋 옵션을 false로 설정properties.put(Co..