gony-dev 님의 블로그

Apache Kafka의 구성 요소와 동작 방식에 대해 알아보았으니간단한 실습을 통해 이를 더 이해해보도록 하겠다.📌 프로젝트 환경Spring boot version | 'org.springframework.boot' version '3.3.5'JDK | 17가독성 있는 실습을 진행하기 위해 Consumer과 Producer에 대한 프로젝트를 따로 생성해 주었다!의존성두 어플리케이션 모두 같은 의존성을 추가하였다.dependencies { implementation 'org.springframework.boot:spring-boot-starter-web' testImplementation 'org.springframework.boot:spring-boot-starter-test' testRuntimeO..

카프카는 대규모 데이터 스트리밍을 처리하기 위해 설계된 오픈 소스 분산 메시징 플랫폼이다.주로 실시간 데이터 처리와 이벤트 중심 아키텍쳐를 지원하는 데 사용된다.Pub-Sub 모델의 메시지 큐 형태로 동작하며 분산환경에 특화되어 있다! 📌 카프카를 사용하는 이유?기존의 시스템은 데이터 시스템의 복잡도가 높아지면서 다음과 같이 얽혀있는 형태가 되어있었다.이러한 시스템은 다음과 같은 문제점들을 발행한다.시스템 복잡도 증가데이터 파이프라인 관리의 어려움그리고 카프카를 적용한 상태의 데이터 처리 시스템은 다음과 같이 변하게 된다. 📌 특징분산 시스템 | kafka는 여러 노드에 데이터를 분산 저장하고 처리할 수 있어서 높은 확장성과 가용성을 가진다.실시간 데이터 처리 | 초당 수백만 건의 메시지까지 처리할 ..