간단한 개발관련 내용

8.1 멱등적 프로듀서목적:동일 메시지가 브로커에 중복 저장되는 것을 방지.프로듀서의 재시도로 인한 중복만 방지하며, 동일 메시지를 반복 호출한 경우는 탐지하지 못함.작동 원리:프로듀서 ID (PID)와 시퀀스 번호를 사용해 각 메시지를 고유하게 식별.브로커는 마지막 5개 메시지의 시퀀스 번호를 추적하여 중복 메시지 필터링.프로듀서 설정:enable.idempotence=true.max.in.flight.requests.per.connection .제약사항:브로커 장애나 리더 교체로 인해 일부 메시지가 유실될 수 있음. 8.2 트랜잭션목적:다중 파티션 쓰기 및 오프셋 커밋을 원자적으로 처리하여 데이터 일관성 보장.정확히 한 번 의미 구조(Exactly Once Semantics, EoS) 구현.활용 사례..

1. 카프카 트랜잭션의 목적Exactly-once semantics (EoS): 메시지를 정확히 한 번만 처리.프로듀서-컨슈머 간 원자적 작업:데이터 생산(프로듀서) 및 소비(컨슈머)를 원자적으로 연결.데이터 무결성:장애 발생 시 중복 메시지 방지 및 데이터 일관성 유지. 2. 카프카 트랜잭션의 주요 구성 요소transactional.id:트랜잭션을 구분하는 고유 ID.프로듀서는 transactional.id를 기반으로 트랜잭션 작업을 수행.Producer ID (PID):프로듀서 인스턴스에 부여되는 고유 ID.브로커는 PID를 통해 트랜잭션 상태를 관리.Epoch:트랜잭션 버전 관리.장애 복구 시 동일한 transactional.id로 중복 작업 방지(팬싱).트랜잭션 로그:브로커는 트랜잭션 상태(시작,..