apache kafka 21

Kafka Connect를 활용해 PostgreSQL 데이터 연동 예제를 소개합니다.Source 테이블의 변경 사항을 Kafka로 수집하고, 이를 Sink 테이블에 저장하는 전체 과정을 다룹니다.Kafka Connect 설정, JDBC 드라이버 설치, 커넥터 구성 및 실행까지 단계별로 실습할 수 있습니다. Kafka Connect Source, Sink 실습:  PostgreSQL 연동 목차 1. 환경 준비 및 구성 2. Kafka Connect Plugin 설치 3. Kafka Connect 실행 4. PostgreSQL Source Connector 설정 5. PostgreSQL Sink Connector 설정 6. 테스트 및 데이터 흐름 확인 관련 글 링크   1. 환경 준비 및 구성Kafka 3...

Kafka Connect는 Kafka와 외부 시스템 간 실시간 데이터 연동을 손쉽게 구현할 수 있는 강력한 도구입니다. Kafka Connect의 개념, 아키텍처 구성, 그리고 서버 측 설정 방법을 단계별로 자세히 소개합니다 Kafka Connect 이해 및 서버 설정하기 : REST API 명령어 목차 1. Kafka Connect 개념 2. Kafka 아키텍처 3. Standalone vs Distributed 4. Kafka Connect 설치 및 실행 5. Kafka 서버 설정 하기 6. REST API를 이용한 Connector 관리 관련 글 링크   1. Kafka Connect 개념Kafka Connect는 Apache Kafka®의 구성 요소 중 하나로, Kafka와 데이터베이스, 클라우드..

Kafka Streams는 Kafka에 저장된 데이터를 실시간으로 처리하고 분석할 수 있게 도와주는 클라이언트 라이브러리입니다.Java 애플리케이션에 쉽게 통합할 수 있고, 외부 시스템 없이 Kafka만으로 고성능 스트림 처리가 가능합니다. Kafka Stream 핵심 개념 이해하기 목차 1. Kafka Stream란? 2. 스트림 처리의 기본 구조 3. 시간(Time)의 개념 4. 스트림과 테이블의 이중성(Duality): 상호 변환 5. 집계(Aggregation) 이해하기 6. 윈도우(Windowing) 개념 7. 상태(State)와 상태 저장소 8. 처리 보장 (Exactly-Once) 9. 순서가 뒤바뀐 데이터 처리(Out-of-Order Handling) 10. 예제 코드 관련 글 링크   1..

Kafka Consumer API 사용법을 정리했습니다. 기본 개념부터 주요 메서드 설명, 설정 옵션, 자바 예제 코드까지 포함되어 있어 Kafka 메시지 소비 클라이언트를 구현할 때 큰 도움이 됩니다. Kafka Consumer API 사용법(subscribe vs assign, 수동 커밋) 목차 1. Kafka Consumer API 함수 정리 2. Kafka Consumer 기본 사용법 3. Kafka Consumer Offset 수동 커밋 4. Kafka Offset 직접 지정: Seek 5. Kafka Consumer 리밸런싱: Rebalancing 6. Kafka Consumer subscribe() vs assign() 차이 관련 글 링크   1. Kafka Consumer API 함수 정리..

KafkaProducer API는 Kafka 브로커에 메시지를 전송하는 핵심 도구입니다. 비동기/동기 전송, 트랜잭션 처리, 다양한 설정을 지원하며, 고성능 메시징 시스템을 구현할 수 있게 해줍니다. 이 글에서는 KafkaProducer의 구조와 설정 방법, 전송 방식, 트랜잭션 처리까지 단계별로 알아봅니다. Kafka Producer API 사용법(비동기 전송, Transaction, 예제) 목차 1. Kafka Producer API 개요 2. KafkaProducer 클래스와 설정 방법 3. ProducerRecord 구조 및 생성 방법 4. 메시지 전송 방식: 비동기 vs 동기 5. Kafka 트랜잭션(Transaction) 처리 관련 글 링크   1. Kafka Producer API 개요Kaf..

Admin API는 Kafka 클러스터의 리소스(토픽, 브로커, ACL, 컨슈머 그룹 등)를 프로그래밍 방식으로 관리할 수 있도록 제공되는 API입니다. org.apache.kafka.clients.admin.AdminClient 클래스를 통해 사용하며, Kafka 클라이언트 라이브러리 안에 포함되어 있습니다. Kafka AdminClient API 예제 코드: Java  목차 1. Kafka AdminClient 개요 2. 토픽 관리 3. 클러스터 정보 조회 4. 컨슈머 그룹 관리 5. 컨슈머 그룹 Offset 관리 6. 토픽 파티션 재 할당 관련 글 링크   1. Kafka AdminClient 개요AdminClient는 Kafka 클러스터의 메타데이터를 조회하고, 토픽이나 컨슈머 그룹을 제어할 수 ..

Apache Kafka를 웹 UI로 관리할 수 있는 도구인 AKHQ 설치 및 설정 방법을 소개합니다.Docker 및 Standalone 방식 설치부터 application.yml 설정과 사용자 인증 구성, 서비스 등록까지 자세히 정리했습니다. Kafka UI 관리도구 AKHQ 설치 및 설정 하기: 사용자 인증 목차 1. AKHQ란? 2. AKHQ 설치 방법: Docker 3. AKHQ 설치 방법: Standalone 4. AKHQ 환경 설정: application.yml 5. AKHQ 접속 확인 6. AKHQ 서비스 등록하기 관련 글 링크   1. AKHQ란?AKHQ는 Apache Kafka를 시각적으로 관리할 수 있는 웹 UI 도구입니다.프로듀서, 컨슈머, 토픽, 파티션, ACL 등을 브라우저에서 손쉽..

Kafka KRaft 모드 운영 시 필수적인 클러스터, 스토리지, 메타데이터 관리 명령어를 정리했습니다.kafka-cluster.sh, kafka-storage.sh, kafka-log-dirs.sh, kafka-metadata-quorum.sh 도구 활용을 소개 합니다. Kafka KRaft 명령어 예제 정리: Cluster, Storage, Metadata 목차 1. kafka-cluster.sh 명령어 2. kafka-storage.sh 명령어 3. kafka-log-dirs.sh 명령어 4. kafka-metadata-quorum.sh 명령어 관련 글 링크   1. kafka-cluster.sh 명령어◆ 클러스터 ID 조회1. 클러스터 ID 조회kafka-cluster.sh cluster-id -..

Kafka를 사용할 때 가장 많이 사용하는 topic, producer, consumer-group, consumer 명령어를 정리했습니다. Kafka 명령어 예제 정리: Topic, Producer, Consumer 목차 1. Kafka Topic 명령어 예제: kafka-topics.sh 2. Kafka Producer 명령어 예제: kafka-console-producer.sh   3. Kafka Consumer Group 명령어 예제: kafka-consumer-groups.sh 4. Kafka Consumer 명령어 예제: kafka-console-consumer.sh 관련 글 링크   1. Kafka Topic 명령어 예제: kafka-topics.shKafka에서 토픽은 메시지를 전달하..

Kafka 3.9.0을 KRaft 모드로 구성한 후, 컨트롤러와 브로커 장애 복구 동작을 테스트하는 과정을 정리했습니다.3개의 가상 머신을 활용한 실습 환경에서 리더 교체와 동기화 복구 과정을 확인할 수 있습니다 Kafka KRaft 모드 장애복구 및 증설 테스트 (Controller 3, Broker 3) 목차 1. 테스트 환경 구성 및 설정 2. Kafka 클러스터 실행 및 상태 확인 3. 테스트용 토픽 생성 및 메시지 송수신 4. 노드 장애시 클러스터 동작 확인 5. 노드 복구 및 ISR 정상화 확인 6. 무정지 노드 추가 테스트 관련 글 링크   1. 테스트 환경 구성 및 설정Kafka를 테스트 하기 위해서  VirtualBox로 가상머신 3개를  생성하고 kafka 를 설치합니다.이번 테스트에서..

Kafka KRaft 모드 운영시 server.properties 설정 항목과 함께 단일 노드, 다중 노드, 고가용성(HA) 구성에 따른 예제 파일을 제공합니다. Kafka 3.9 노드 구성별 server.properties 예시: KRaft 모드 목차 1. KRaft 모드에서의 server.properties 위치 2. server.properties 설정 항목 정리 3. 단일 노드 구성 예시(개발 및 테스트) 4. 다중 노드 구성 예시(프로덕션 운영) 5. 고가용성 구성 예시(HA 클러스터) 관련 글 링크   1. KRaft 모드에서의 server.properties 위치Kafka 3.x 이후부터는 KRaft 모드가 기본 제공되며, 기존의 server.properties 대신 다음 경로를 사용합니다...

Kafka 3.0부터는 Zookeeper 없이 KRaft 모드로 운영이 가능합니다.본 글에서는 VirtualBox 환경에서 JDK 17을 기반으로 Kafka 3.9를 단일 노드로 구성하고 KRaft 모드로 실행하는 방법을 안내합니다. Kafka 3.9 KRaft 모드 설치 (JDK 17 + 단일 노드 구성) 목차 1. 설치 준비 및 테스트 환경 2. Kafka 전용 계정 생성 3. JDK 17 설치 4. Kafka 3.9 다운로드 및 설정 5. KRaft 모드 설정: 데이터 디렉토리 및 Cluster ID 6. KRaft 서버 설정 수정 7. Kafka 스토리지 포맷 8. Kafka 실행 및 종료 9. Kafka 메시지 전송 테스트 관련 글 링크   1. 설치 준비 및 테스트 환경Kafka를 설치할 가상..

Kafka를 운영하기 위한 하드웨어 권장 사양과 JVM 옵션을 정리했습니다.성능 저하 없이 안정적인 Kafka 클러스터를 구성하려면 CPU, RAM, 저장장치, 네트워크, 파일시스템까지 고려해야 합니다. Kafka 하드웨어 요구사항 및 JVM 옵션 정리: KRaft 모드 목차 1. Kafka 하드웨어 요구사항 요약 2. CPU 요구사항 3. 메모리(RAM) 구성 4. 저장장치(Storage) 권장 사항 5. 네트워크 및 파일 시스템 6. Kafka용 JVM 욥션 설정 7. 대규모 Kafka 운영 예시 관련 글 링크   1. Kafka 하드웨어 요구사항 요약Kafka는 높은 처리량과 실시간 성능을 요구하는 분산 메시지 시스템입니다.아래는 Kafka 브로커를 구축할 때 권장되는 하드웨어 사양입니다:구성요소권..

Kafka Consumer의 핵심 동작 구조를 한 눈에 정리합니다.Polling 방식의 메시지 처리부터 Offset, Commit 개념과 전략까지 설명합니다. Kafka Consumer 동작 이해하기: Polling, Offset, Commit 목차 1. Kafka Consumer,Consumer Group이란? 2. Polling 방식의 메시지 소비 구조 3. Offset이란? : 메시지 위치 추적의 핵심 4. Commit이란? : Offset 저장의 의미 5. 자동(auto) Commit 6. 수동 동기(Manual Synchronous) Commit 7. 수동 비동기(Manual Asynchronous) Commit 8. 동기 Commit vs 비동기 Commit 관련 글 링크   1. Kafka ..

Kafka에서 acks 설정은 프로듀서가 메시지를 브로커에 전송한 후 어느 시점까지 응답을 받을지를 결정합니다.이 설정에 따라 메시지 유실 여부와 전송 속도가 크게 달라집니다.본 글에서는 acks=0, acks=1, acks=all의 차이와 메시지 흐름을 시각적으로 정리해 쉽게 설명합니다. Kafka Producer acks 설정 및 동작 이해하기: 데이터 유실 방지 목차 1. Kafka에서 acks란? 2. acks 옵션별 동작 방식 비교 3. acks=0: 빠르지만 불안한 전송 4. acks=1: 성능과 안정성의 절충 5. acks=all: 완전한 신뢰성과 메시지 보장 6. 설능과 안정성을 위한 설정 관련 글 링크   1. Kafka에서 acks란?Kafka에서 acks는 프로듀서가 보낸 메시지가 브..

Kafka 프로듀서는 메시지를 토픽의 파티션에 할당하여 전송합니다. 이 글에서는 Kafka 클러스터의 메타데이터 구조, 프로듀서의 메시지 전송 흐름, 다양한 파티션 할당 방식(Default, Round Robin, Sticky, Custom), 그리고 Kafka 2.4 이후 적용된 Sticky Partitioner의 특징과 효과를 설명합니다. Kafka 프로듀서 파티션 할당 방식(Round Robin vs Sticky 비교) 목차 1. Kafka 프로듀서와 파티션의 관계 2. Kafka의 메타데이터 기반 메시지 흐름 3. Kafka 프로듀서 메시지 전송 단계별 흐름 4. Kafka의 파티션 할당 방식 4가지 : Partitioner 유형 5. Round Robin vs Sticky Partitioner ..

Kafka 클러스터에서 리더 브로커가 장애를 일으키면, Kafka는 자동으로 새로운 리더를 선출합니다. 하지만 Producer와 Consumer가 새로운 리더로 자동 연결되도록 하려면, 클라이언트 설정이 올바르게 구성되어 있어야 합니다. 이 글에서는 Kafka 클라이언트(Producer/Consumer)에서 자동 리더 전환(Failover)을 제대로 지원하는 조건과 설정 방법을 상세히 설명합니다. Kafka 리더 장애 발생 시 Failover를 위한 Producer와 Consumer 설정 목차 1. Kafka의 리더 장애 처리 과정 2. Producer 설정: 자동 리더 전환(Failover)을 위한 조건 3. Consumer 설정: 자동 리더 감지 및 재 연결 4. bootstrap.servers 설정..

Kafka는 대용량 메시지를 안정적으로 처리하기 위한 분산 메시징 시스템입니다. 이 글에서는 파티션이 3개인 Kafka 클러스터에서 메시지가 어떻게 저장되고 처리되는지, 장애 발생 시 어떻게 동작하는지 단계별로 알아보겠습니다. Kafka 클러스터 다중 파티션 구성 이해: 고가용성과 장애복구 목차 1. Kafka 클러스터 기본 구성 2. 파티션과 리더-팔로워 구조 3. 메시지 저장과 처리 흐름 4. Replication Factor에 따른 구조 변화 5. 장애 발생 시 리더 전환(Failover) 동작 관련 글 링크   1. Kafka 클러스터 기본 구성Kafka는 하나의 토픽을 여러 개의 파티션으로 나누고, 이를 여러 브로커에 분산 저장해 병렬성과 안정성을 높입니다.이 글의 예시는 다음과 같은 구성입니다..

Kafka 클러스터는 고가용성과 확장성을 갖춘 메시징 시스템입니다. 이 글에서는 단일 파티션으로 구성된 Kafka 클러스터에서의 메시지 처리 흐름, 리더-팔로워 구조, 장애 발생 시 리더 전환 방식까지 상세히 설명합니다. Kafka 단일 파티션 기반 리더-팔로워 동작 원리 : 장애복구 목차 1. Kafka 클러스터 기본 구성 2. 단일 파티션의 리더-팔로워 배치:멀티노드 3. 메시지 처리 흐름 이해 4. 장애 발생시 리더 전환 과정 5. 단일 파티션 구성의 장단점 관련 글 링크   1. Kafka 클러스터 기본 구성Kafka 클러스터는 여러 개의 브로커(Broker)로 구성되어 데이터를 분산 저장합니다. 이번 글에서는 다음과 같은 구조를 기준으로 설명합니다:브로커 수: 3개 (Broker-1, Broke..

Kafka 단일 노드 환경에서의 동작 원리를 정리합니다. 파티션 분배 구조, 메시지 저장 방식, Producer에서 Consumer까지의 데이터 흐름, 그리고 효율적인 Consumer 전략까지 실습 기반으로 이해할 수 있습니다.  Kafka 단일 노드 동작 원리: 파티션 분배부터 Consumer 전략까지 목차 1. Kafka 단일 노드 구성:Test 환경 2. 파티션 구성과 브로커 동작 방식 3. Producer→Broker→Consumer: 메세지 흐름 4. Consumer 수에 따른 처리 방식 비교 5. 효율적인 Consumer 전략 관련 글 링크   1. Kafka 단일 노드 구성: Test 환경Kafka는 본래 분산 메시징 시스템이지만, 단일 노드(브로커 1개)에서도 실행할 수 있습니다.단일 노드..