Kafka

카프카 브로커의 구성요소

카프카 브로커란 카프카 인스턴스 각각 어플리케이션을 지칭 한다. 브로커는 프로듀서로부터 메세지를 받아 저장하고, 컨슈머들의 요청에 따라 메세지를 제공하며 각 컨슈머들이 어느지점까지 메세지를 읽었는지 오프셋을 관리한다.컨트롤러클러스터의 브로커중 한대가 컨트롤러의 역할을 한다. 컨트롤러는 다음과 같은 역할을 한다.파티션 리더 선출 및 재배치브로커 상태 모니터링 및 관리메타데이터 업데이트 및 일관성 유지토픽 및 파티션 정보브로커 정보ISR 상태클러스터 설정파티션 재배치를 통한 부하 분산토픽메세지를 발행할 논리적인 기본 그룹 이다. RDB에서 데이터 Row를 테이블에 저장하듯이, 메시지는 토픽에 저장 된다.파티션토픽에 저장되는 메세지들은 키값 기준으로 분리되어 저장할 수 있다. 일종의 샤딩 기법을 사용했다고 볼..