간단한 개발관련 내용

카프카 프로듀서 완벽 가이드 3장 요약 3.1 프로듀서 개요메시지 쓰기:ProducerRecord 생성 → 직렬화 → 파티션 결정(기본적으로 키 기반) → 레코드 배치 생성 → 브로커로 전송.브로커 응답:성공 시 RecordMetadata 반환, 실패 시 에러 발생.프로듀서는 자동으로 재전송을 시도하지만 실패 시 예외를 발생. 3.2 카프카 프로듀서 생성필수 속성:bootstrap.servers: 브로커 주소 목록.key.serializer & value.serializer: 직렬화 클래스 지정.전송 방식:Fire and Forget: 성공 여부 확인 없이 전송.Synchronous send: send() 호출 후 Future.get()로 응답 대기.Asynchronous send: 콜백 함수와 함께 s..

2.1 환경설정2.1.1 운영체제 선택하기책은 리눅스 기반 설명2.1.2 자바 설치하기OpenJDK 기반 자바 구현체 위에서 원활히 작동2.1.3 주키퍼 설치하기아파치 카프카는 카프카 클러스터의 메타데이터와 컨슈머 클라이언트에 대한 정보를 저장하기 위해 아파치 주키퍼를 사용한다. 주키퍼는 설정 정보 관리, 이름 부여, 분산 동기화, 그룹 서비스를 제공하는 중앙화된 서비스이다.독립 실행 서버주키퍼 앙상블주키퍼는 고가용성을 보장하기 위해 앙상블이라 불리는 클러스터 단위로 작동하도록 설계되었다. 부하 분산 알고리즘 때문에 앙상블은 홀수 개의 서버를 가지는 것이 권장된다. 앙상블 멤버(쿼럼)의 과반 이상이 작동하고 있어야 하기 때문이다. 💡주키퍼 앙상블 크기 결정하기주키퍼 앙상블을 구성할 때는 5개의 노드 크..

추천사 💡 카프카는 지속적인 데이터의 흐름을 처리하는데 도움을 주기 위해 만들어진 streaming platform 입니다. 데이터 스트림을 쓰고 읽고 저장하고 처리하는 그런 시스템이죠. 카프카는 메시지 스트림을 쓰고 읽게 해주는 메시징 시스템과 같지만 여러 가지 핵심적인 차이가 있습니다. 첫째로 클러스터에서 실행되기 때문에 카프카는 회사의 모든 데이터 스트림 처리를 위해 탄력적으로 확장할 수 있는 중심 플랫폼의 역할을 합니다. 둘째, 카프카는 우리가 원하는 충분한 기간 동안 데이터를 저장하기 위해 만들어진 진정한 스토리지 시스템 입니다. 또한 신뢰성 있는 데이터 전달을 확실히 보장하므로, 카프카를 서로 다른 시스템의 연결 계층으로 사용할 수 있다는 큰 장점을 갖습니다. 끝으로 대부분의 메시징 시스템은..