전체 글 84

Kafka 프로듀서는 메시지를 토픽의 파티션에 할당하여 전송합니다. 이 글에서는 Kafka 클러스터의 메타데이터 구조, 프로듀서의 메시지 전송 흐름, 다양한 파티션 할당 방식(Default, Round Robin, Sticky, Custom), 그리고 Kafka 2.4 이후 적용된 Sticky Partitioner의 특징과 효과를 설명합니다. Kafka 프로듀서 파티션 할당 방식(Round Robin vs Sticky 비교) 목차 1. Kafka 프로듀서와 파티션의 관계 2. Kafka의 메타데이터 기반 메시지 흐름 3. Kafka 프로듀서 메시지 전송 단계별 흐름 4. Kafka의 파티션 할당 방식 4가지 : Partitioner 유형 5. Round Robin vs Sticky Partitioner ..

Kafka 클러스터에서 리더 브로커가 장애를 일으키면, Kafka는 자동으로 새로운 리더를 선출합니다. 하지만 Producer와 Consumer가 새로운 리더로 자동 연결되도록 하려면, 클라이언트 설정이 올바르게 구성되어 있어야 합니다. 이 글에서는 Kafka 클라이언트(Producer/Consumer)에서 자동 리더 전환(Failover)을 제대로 지원하는 조건과 설정 방법을 상세히 설명합니다. Kafka 리더 장애 발생 시 Failover를 위한 Producer와 Consumer 설정 목차 1. Kafka의 리더 장애 처리 과정 2. Producer 설정: 자동 리더 전환(Failover)을 위한 조건 3. Consumer 설정: 자동 리더 감지 및 재 연결 4. bootstrap.servers 설정..

Kafka는 대용량 메시지를 안정적으로 처리하기 위한 분산 메시징 시스템입니다. 이 글에서는 파티션이 3개인 Kafka 클러스터에서 메시지가 어떻게 저장되고 처리되는지, 장애 발생 시 어떻게 동작하는지 단계별로 알아보겠습니다. Kafka 클러스터 다중 파티션 구성 이해: 고가용성과 장애복구 목차 1. Kafka 클러스터 기본 구성 2. 파티션과 리더-팔로워 구조 3. 메시지 저장과 처리 흐름 4. Replication Factor에 따른 구조 변화 5. 장애 발생 시 리더 전환(Failover) 동작 관련 글 링크   1. Kafka 클러스터 기본 구성Kafka는 하나의 토픽을 여러 개의 파티션으로 나누고, 이를 여러 브로커에 분산 저장해 병렬성과 안정성을 높입니다.이 글의 예시는 다음과 같은 구성입니다..

Kafka 클러스터는 고가용성과 확장성을 갖춘 메시징 시스템입니다. 이 글에서는 단일 파티션으로 구성된 Kafka 클러스터에서의 메시지 처리 흐름, 리더-팔로워 구조, 장애 발생 시 리더 전환 방식까지 상세히 설명합니다. Kafka 단일 파티션 기반 리더-팔로워 동작 원리 : 장애복구 목차 1. Kafka 클러스터 기본 구성 2. 단일 파티션의 리더-팔로워 배치:멀티노드 3. 메시지 처리 흐름 이해 4. 장애 발생시 리더 전환 과정 5. 단일 파티션 구성의 장단점 관련 글 링크   1. Kafka 클러스터 기본 구성Kafka 클러스터는 여러 개의 브로커(Broker)로 구성되어 데이터를 분산 저장합니다. 이번 글에서는 다음과 같은 구조를 기준으로 설명합니다:브로커 수: 3개 (Broker-1, Broke..

Kafka 단일 노드 환경에서의 동작 원리를 정리합니다. 파티션 분배 구조, 메시지 저장 방식, Producer에서 Consumer까지의 데이터 흐름, 그리고 효율적인 Consumer 전략까지 실습 기반으로 이해할 수 있습니다.  Kafka 단일 노드 동작 원리: 파티션 분배부터 Consumer 전략까지 목차 1. Kafka 단일 노드 구성:Test 환경 2. 파티션 구성과 브로커 동작 방식 3. Producer→Broker→Consumer: 메세지 흐름 4. Consumer 수에 따른 처리 방식 비교 5. 효율적인 Consumer 전략 관련 글 링크   1. Kafka 단일 노드 구성: Test 환경Kafka는 본래 분산 메시징 시스템이지만, 단일 노드(브로커 1개)에서도 실행할 수 있습니다.단일 노드..

Apache Kafka는 대용량 실시간 데이터를 빠르고 안정적으로 처리하는 오픈소스 플랫폼입니다. 이 글에서는 Kafka의 기본 개념부터 핵심 구성요소, KRaft 모드, 주요 사용 사례를 중심으로 설명합니다.  실시간 데이터 처리 플랫폼 Apache Kafka 이해하기 목차 1. Apache Kafka란? 2. Kafka의 주요 특징 3. Kafka의 핵심 구성 요소 4. Kafka 클러스터 구조 및 메타데이터 관리 5. Kafka의 주요 활용 사례 관련 글 링크   1. Apache Kafka란?Kafka는 대량의 데이터를 실시간으로 수집하고, 저장하고, 전달하는 ‘데이터 중계 시스템’입니다.예를 들어, 수천 명의 사용자가 웹사이트에서 활동할 때 발생하는 클릭 로그를 Kafka가 실시간으로 받아서 분..

Docker를 활용해 실무에서 자주 수행하는 작업들을 중심으로 명령어 예제들을 구성했습니다. 개발, 테스트, 배포 환경에서 많이 사용하는 실전 위주의 예제를 소개합니다. Docker 명령어 정리(예제 + 설명) 목차 1. Docker 버전 및 시스템 정보 확인 2. Docker Image 명령어 3. Docker Container 명령어 4. Container 실행 옵션(docker run) 5. run vs exec vs attach 6. Docker Network 명령어 7. Docker Volume 명령어 8. 불필요 리소스 정리 명령어 9. Docker Compose 명령어 관련 글 링크 1. Docker 버전 및 시스템 정보 확인명령어설명docker version현재 설치된 Docker의 ..

Docker를 Ubuntu 또는 CentOS 같은 리눅스 시스템에서 사용할 때, ufw 또는 firewalld 같은 방화벽 설정이 무시되는 문제가 발생할 수 있습니다. 이 글에서는 그 원인과 해결 방법을 설명합니다. Docker와 방화벽(UFW, firewalld) 설정 시 주의사항과 해결 방법 목차 1. Docker와 방화벽이 충돌하는 이유 2. Docker와 UFW 호환성 문제 3. UFW 우회 문제 해결 방법(DOCKER-USER 체인 사용) 4. Docker와 firewalld 동작 방식 관련 글 링크 1. Docker와 방화벽이 충돌하는 이유Docker는 리눅스 커널의 iptables라는 네트워크 필터링 도구를 직접 사용해 포트 포워딩과 네트워크 연결을 설정합니다.하지만 Ubuntu의 uf..

Docker는 컨테이너 기반의 가상화 플랫폼으로, 개발부터 배포까지 일관된 환경을 제공합니다. 이 글에서는 Docker의 기본 개념, 아키텍처, VM과의 차이점, 주요 명령어, 스토리지와 네트워킹까지 전반적인 구조를 정리합니다. Docker 개념과 아키텍처 정리: VM과 비교 목차 1. Docker란? 2. Docker vs 가상머신(VM) 3. Docker 아키텍처 구조 4. Docker 주요 명령 시나리오 5. Docker Strorage 유형 6. Docker 네트워킹(Networking) 방식관련 글 링크 1. Docker란?Docker는 컨테이너 기술을 기반으로 한 오픈소스 플랫폼입니다. 애플리케이션과 실행 환경을 하나의 패키지로 묶어 어떤 환경에서도 동일하게 동작하게 만들어 줍니다. ..

가상화 기술은 Docker를 이해하는 핵심입니다. 이 글에서는 하이퍼바이저 기반 가상화와 컨테이너 기반 가상화의 차이를 비교하며, VM과 컨테이너 기술의 특징을 설명합니다 가상화 개요 – 하이퍼바이저 vs 컨테이너 차이 목차 1. 가상화란? 2. 하이퍼바이저(Hypervisor) 기반 가상화 3. 컨테이너(Container) 기반 가상화 4. VM과 Container 비교 관련 글 링크 1. 가상화란?가상화(Virtualization)는 물리적인 컴퓨터 자원을 논리적으로 나눠 여러 독립 환경을 실행하는 기술입니다.하나의 물리 서버에서 여러 운영 체제를 동시에 실행할 수 있으며, 비용 절감과 효율적인 리소스 활용이 가능합니다.주요 방식으로는 서버, 네트워크, 스토리지, 애플리케이션 가상화가 있습니다...

VirtualBox에서 호스트 전용 네트워크(Host-Only Adapter)를 사용하면 가상머신끼리 또는 호스트와의 통신은 가능하지만 인터넷에는 연결되지 않습니다. 이 문제를 해결하기 위해 NAT 어댑터를 추가로 설정하여, 가상머신이 인터넷에도 연결되도록 구성하는 방법을 소개합니다.  [VirtualBox]호스트 전용(Host-Only) 네트워크에서 인터넷 연결 방법 (NAT설정) 목차 1. 구성 목표: 호스트 전용 네트워크 + NAT 2. VirtualBox 호스트 전용(Host-Only) 네트워크 설정 3. VM생성 및 네트워크 어댑터(Host-Only + NAT) 구성 4. Netplan으로 IP 설정(host101) 5. 가상머신 복제 및 고정 IP 설정(host102,host103) 6. 네트..

VirtualBox에서 호스트 전용 네트워크를 사용할 경우, 기본 설정으로는 가상머신이 인터넷에 접속할 수 없습니다. 하지만 Windows의 인터넷 연결 공유(ICS)를 설정하면 호스트 네트워크를 통해 VM도 인터넷을 사용할 수 있습니다. [VirtualBox] 호스트 전용(Host-Only) 네트워크에서 인터넷 연결  방법 (ICS 설정) 목차 1. 구성 목표: 호스트 전용 네트워크 + ICS 2. Windows ICS 활성화 및 VirtualBox 어댑터 설정 3. VM 생성 및 Netplan으로 고정 IP설정(host101) 4. VM복제 및 IP 설정(host102, host103) 5. 네트워크 연결 확인 관련 글 링크   1. 구성 목표: 호스트 전용 네트워크 + ICSVirtualBox의 호..

VirtualBox에서 가상머신 네트워크를 구성할 때 어떤 어댑터를 선택하느냐에 따라 통신 방식이 완전히 달라집니다. 이 글에서는 NAT, 브리지 어댑터, 호스트 전용 어댑터 등 VirtualBox의 주요 네트워크 모드를 비교 분석하고, 상황에 맞는 설정 방법을 안내합니다.  [VirtualBox]가상머신 네트워크 어댑터 종류와 차이점 목차 1. VirtualBox 네트워크 어댑터 요약표 2. NAT (Network Address Translation) 3. NAT 네트워크(NAT Network) 4. 브릿지 어댑터(Bridged Adapter) 5. 호스트 전용 어댑터(Host-Only Adapter) 6. 내부 네트워크(Internal Network)관련 글 링크   1. VirtualBox 네트워크..

VirtualBox에서 가상머신 생성부터 복제, 가져오기, 내보내기까지의 과정을 정리했습니다. Ubuntu 등의 OS를 설치하거나 VDI 이미지를 활용해 빠르게 가상환경을 구성할 수 있으며, 테스트 및 배포 목적으로 복제/이동도 가능합니다.   [VirtualBox] 가상머신 생성, 복제, 가져오기, 내보내기 정리 목차 1. 가상머신 새로 만들기(ISO 설치) 2. VDI 이미지로 가상머신 만들기 3. 가상머신 복제하기(Full Clone) 4. 가상머신 내보내기/가져오기(OVA) 참고링크   1. 가상머신 새로 만들기(ISO 설치)VirtualBox에서 Ubuntu 등의 OS를 직접 설치해 가상머신을 만드는 방법입니다.https://ubuntu.com/download/desktop 에 접속하여 ubun..

VirtualBox는 Oracle이 개발한 무료 오픈소스 가상화 소프트웨어로, 하나의 PC에서 여러 운영체제를 동시에 실행할 수 있습니다.이 글에서는 VirtualBox 7.1.6의 설치 방법부터 가상 네트워크 방식인 Host-Only와 NAT의 차이까지 정리하였습니다. [VirtualBox] 설치(오류 해결) 및 Host-Only와 NAT 네트워크 비교 목차 1. VirtualBox 7.1.6 설치 및 오류 해결 2. VirtualBox 가상머신 폴더 선택 3. 네트워크 관리자 설정 및 확인 4. 가상네트워크 종류 및 차이점 참고링크   1. VirtualBox 7.1.6 설치 및 오류 해결다운로드 링크: https://www.virtualbox.org/ Oracle VirtualBoxPowerful ..

WSL2 환경에서 Ubuntu 24.04를 설치하고, 한글 설정부터 배포판 복제까지 전 과정을 다룹니다. 특히 wsl --export, wsl --import 명령어를 활용한 배포판 백업 및 복원 방법을 포함하여 구성했습니다.  WSL 2에 Ubuntu 설치하고 Export/Import로 복제하기 목차 1. Ubuntu 24.04 설치하기 2. Ubuntu 실행 및 기본값 설정 3. WSL 한글 설정 4. Ubuntu 배포판 복제(Export/Import) 참고링크   1. Ubuntu 24.04 설치하기Windows에서 WSL 설치는 아래 링크를 참고하세요2025.03.25 - [1.시스템&인프라/가상화(WSL,VirtualBox)] - Windows에서 WSL 2 설치 및 명령어 정리1. WSL2 설..

WSL 2(Windows Subsystem for Linux)는 Windows 환경에서 리눅스를 가볍고 효율적으로 실행할 수 있는 기능입니다. 이 글에서는 WSL 2 설치 방법과 주요 명령어를 정리하였습니다  Windows 에서 WSL 2 설치 및 명령어 정리 목차 1. WSL 2란? 2. Windows 기능 추가(Windows 10만 해당) 3. WSL 설치 방법 4. WSL 2 명령어 정리추천글  1. WSL 2란?WSL(Windows Subsystem for Linux)은 Windows에서 가상 머신이나 듀얼 부팅 없이 리눅스 환경을 실행할 수 있는 기능입니다.WSL 2는 경량 가상 머신에서 리눅스 커널을 실행하며, Windows와 GPU 드라이버를 공유합니다.각 배포판은 컨테이너처럼 WSL 2 관..

Visual Studio Code에서 GitHub Copilot을 무료로 사용하는 방법을 소개합니다.Copilot Free 플랜, VSCode AI 도우미, Copilot Edits, Inline Chat 등 핵심 기능 사용법까지 정리했습니다. VSCode에서 GitHub Copilot 무료로 설정하고 사용하기 목차 1. Copilot이란? 2. VSCode에서 Copilot 등록하기 3. Copilot 확장 설치 및 상태 확인 4. Editor Inline Chat(Ctrl+I) 사용하기 5. Copilot Chat View(Ctrl+Alt+I) 열기 6. Quick Chat(Ctrl+Shift+Alt+L) 기능 활용하기 7. Copilot Edits(Ctrl+Shift+I)로 코드 편집 자동화 8..

Python 프로젝트를 진행하다 보면, 프로젝트별로 다른 Python 버전과 패키지를 사용하는 경우가 많습니다. 이 글에서는 포터블 버전의 Python과 Visual Studio Code를 활용하여 여러 버전의 Python 가상환경(.venv)을 구성하고 관리하는 방법을 소개합니다.   VSCode에서 Python 가상환경(.venv) 설정 및 여러 버전 관리하기 목차 1. Python 가상환경이란? 2. 포터블(Portable) Python과 VSCode 설치 3. 프로젝트별 Python 가상환경(.venv)만들기 4. VSCode에서 가상환경 인식하기 5. VSCode에서 가상환경 자동 활성화 설정 6. 프로젝트별 Python 버전 테스트하기 추천글  1. Python 가상환경이란?Python 가상환..

이 글에서는 포터블 Python과 Visual Studio Code를 하나의 폴더에 구성하여, 어디서든 동일한 개발 환경을 활용할 수 있는 방법을 소개합니다. Windows에서 VSCode Portable Python 개발 환경 만들기 목차 1. 포터블(Portable) 개발환경 디렉토리 구성 2. Python 설치 및 복사본 만들기 3. Python 설치 제거 4. 복사본 경로 재설정 및 pip 갱신 5. VSCode에서 Python 개발환경 설정하기 6. Python 프로젝트 생성 및 실행 확인 7. 환경이동 및 백업 방법추천글 1. 포터블(Portable) 개발환경 디렉토리 구성D:\PythonDevelope 디렉터리를 만들고, 아래 3가지를 포함시킵니다.Python (포터블 형태로 구성된 폴..