간단한 개발관련 내용

카프카 완벽 가이드 4장 요약: 컨슈머4.1 카프카 컨슈머: 개념컨슈머와 컨슈머 그룹:컨슈머는 보통 컨슈머 그룹의 일부로 동작하며, 동일 그룹의 컨슈머들은 서로 다른 파티션의 메시지를 읽는다.파티션보다 많은 컨슈머를 추가하면 일부는 유휴 상태가 됨.컨슈머 그룹별 데이터 분리: 애플리케이션마다 별도 그룹 생성 필요.컨슈머를 추가해 그룹 확장 시, 각 컨슈머는 일부 메시지만 처리.리밸런스(rebalance):파티션 재할당 과정으로, 컨슈머 추가/종료/충돌, 토픽 변경 시 발생.리밸런스 전략:조급한 리밸런스: 모든 컨슈머가 소유권 포기 후 재할당. 전체 작업 중단 위험.협력적 리밸런스: 파티션 일부만 재할당해 중단 최소화.정적 그룹 멤버십:group.instance.id 설정 시, 컨슈머 종료 후에도 그룹 멤..

카프카 프로듀서 완벽 가이드 3장 요약 3.1 프로듀서 개요메시지 쓰기:ProducerRecord 생성 → 직렬화 → 파티션 결정(기본적으로 키 기반) → 레코드 배치 생성 → 브로커로 전송.브로커 응답:성공 시 RecordMetadata 반환, 실패 시 에러 발생.프로듀서는 자동으로 재전송을 시도하지만 실패 시 예외를 발생. 3.2 카프카 프로듀서 생성필수 속성:bootstrap.servers: 브로커 주소 목록.key.serializer & value.serializer: 직렬화 클래스 지정.전송 방식:Fire and Forget: 성공 여부 확인 없이 전송.Synchronous send: send() 호출 후 Future.get()로 응답 대기.Asynchronous send: 콜백 함수와 함께 s..

2.1 환경설정2.1.1 운영체제 선택하기책은 리눅스 기반 설명2.1.2 자바 설치하기OpenJDK 기반 자바 구현체 위에서 원활히 작동2.1.3 주키퍼 설치하기아파치 카프카는 카프카 클러스터의 메타데이터와 컨슈머 클라이언트에 대한 정보를 저장하기 위해 아파치 주키퍼를 사용한다. 주키퍼는 설정 정보 관리, 이름 부여, 분산 동기화, 그룹 서비스를 제공하는 중앙화된 서비스이다.독립 실행 서버주키퍼 앙상블주키퍼는 고가용성을 보장하기 위해 앙상블이라 불리는 클러스터 단위로 작동하도록 설계되었다. 부하 분산 알고리즘 때문에 앙상블은 홀수 개의 서버를 가지는 것이 권장된다. 앙상블 멤버(쿼럼)의 과반 이상이 작동하고 있어야 하기 때문이다. 💡주키퍼 앙상블 크기 결정하기주키퍼 앙상블을 구성할 때는 5개의 노드 크..

Apache Kafka는 대규모 실시간 데이터 스트리밍을 처리하기 위한 오픈 소스 분산 스트리밍 플랫폼입니다. LinkedIn에서 처음 개발되었으며, 현재는 Apache Software Foundation의 프로젝트로 관리되고 있습니다. Kafka는 높은 처리량, 확장성, 내결함성 등의 강점을 바탕으로 다양한 산업 분야에서 실시간 데이터 파이프라인 구축과 스트리밍 애플리케이션 개발에 널리 사용되고 있습니다.Apache Kafka의 개요역사 및 배경: Kafka는 LinkedIn에서 로그 수집 및 실시간 데이터 처리 요구를 충족하기 위해 개발되었습니다. 이후 오픈 소스로 공개되어 Apache Software Foundation의 프로젝트로 성장하였으며, 현재는 다양한 기업과 개발자 커뮤니티에서 활발히 사용..