간단한 개발관련 내용

10.1 클러스터간 미러링 활용 사례Kafka의 클러스터간 미러링은 여러 목적을 위해 사용됩니다. 주요 활용 사례는 다음과 같습니다:지역 및 중앙 클러스터:데이터를 로컬 클러스터에서 수집하고 중앙 클러스터로 집적하는 구조입니다. 이를 통해 데이터 일관성과 분석에 유용합니다.고가용성과 재해 복구 (DR):한 클러스터에 장애가 발생했을 때 미러링된 클러스터로 페일오버를 수행해 가용성을 유지합니다.규제 준수:국가 및 지역별 규제에 따라 데이터를 물리적으로 분리해야 하는 경우 미러링을 통해 요구사항을 충족할 수 있습니다.클라우드 마이그레이션:온프레미스에서 클라우드로 이전할 때 데이터를 안전하게 이전할 수 있습니다.엣지 클러스터 데이터 집적:엣지에서 수집한 데이터를 중앙 클러스터로 전송해 데이터 분석 및 머신러닝..

9.1 데이터 파이프라인 구축 시 고려사항Kafka는 데이터 파이프라인의 핵심 버퍼 역할을 수행합니다. 데이터를 생산하는 프로듀서와 소비하는 컨슈머를 시간적으로 분리하여 신뢰성과 효율성을 제공합니다.9.1.1 적시성Kafka는 데이터를 실시간으로 스트리밍할 수 있지만, 데이터를 버퍼링하여 읽는 시점에 따라 유연한 적시성을 제공합니다.9.1.2 신뢰성Kafka는 최소 한 번 전달을 기본으로 보장하고, 트랜잭션 기능과 결합하면 정확히 한 번 전달을 구현할 수 있습니다.9.1.3 높은 처리율과 확장성Kafka는 분산 시스템 기반으로 확장성이 뛰어나며,Kafka Connect는 작업을 병렬화하여 처리율을 조절할 수 있습니다.9.1.4 데이터 형식데이터 형식 표준화를 위해 Avro, JSON, Protobuf 등..