간단한 개발관련 내용

10.1 클러스터간 미러링 활용 사례Kafka의 클러스터간 미러링은 여러 목적을 위해 사용됩니다. 주요 활용 사례는 다음과 같습니다:지역 및 중앙 클러스터:데이터를 로컬 클러스터에서 수집하고 중앙 클러스터로 집적하는 구조입니다. 이를 통해 데이터 일관성과 분석에 유용합니다.고가용성과 재해 복구 (DR):한 클러스터에 장애가 발생했을 때 미러링된 클러스터로 페일오버를 수행해 가용성을 유지합니다.규제 준수:국가 및 지역별 규제에 따라 데이터를 물리적으로 분리해야 하는 경우 미러링을 통해 요구사항을 충족할 수 있습니다.클라우드 마이그레이션:온프레미스에서 클라우드로 이전할 때 데이터를 안전하게 이전할 수 있습니다.엣지 클러스터 데이터 집적:엣지에서 수집한 데이터를 중앙 클러스터로 전송해 데이터 분석 및 머신러닝..

9.1 데이터 파이프라인 구축 시 고려사항Kafka는 데이터 파이프라인의 핵심 버퍼 역할을 수행합니다. 데이터를 생산하는 프로듀서와 소비하는 컨슈머를 시간적으로 분리하여 신뢰성과 효율성을 제공합니다.9.1.1 적시성Kafka는 데이터를 실시간으로 스트리밍할 수 있지만, 데이터를 버퍼링하여 읽는 시점에 따라 유연한 적시성을 제공합니다.9.1.2 신뢰성Kafka는 최소 한 번 전달을 기본으로 보장하고, 트랜잭션 기능과 결합하면 정확히 한 번 전달을 구현할 수 있습니다.9.1.3 높은 처리율과 확장성Kafka는 분산 시스템 기반으로 확장성이 뛰어나며,Kafka Connect는 작업을 병렬화하여 처리율을 조절할 수 있습니다.9.1.4 데이터 형식데이터 형식 표준화를 위해 Avro, JSON, Protobuf 등..

8.1 멱등적 프로듀서목적:동일 메시지가 브로커에 중복 저장되는 것을 방지.프로듀서의 재시도로 인한 중복만 방지하며, 동일 메시지를 반복 호출한 경우는 탐지하지 못함.작동 원리:프로듀서 ID (PID)와 시퀀스 번호를 사용해 각 메시지를 고유하게 식별.브로커는 마지막 5개 메시지의 시퀀스 번호를 추적하여 중복 메시지 필터링.프로듀서 설정:enable.idempotence=true.max.in.flight.requests.per.connection .제약사항:브로커 장애나 리더 교체로 인해 일부 메시지가 유실될 수 있음. 8.2 트랜잭션목적:다중 파티션 쓰기 및 오프셋 커밋을 원자적으로 처리하여 데이터 일관성 보장.정확히 한 번 의미 구조(Exactly Once Semantics, EoS) 구현.활용 사례..

16.1 트랜잭션과 락16.1.1 트랜잭션과 격리 수준트랜잭션은 ACID를 보장해야한다.원자성 (작업에 대한 것) - Atomicity트랜잭션 내의 작업은 모두 성공하거나 실패해야한다일관성 (데이터에 대한 것) - Consistency모든 트랜잭션은 일관성 있는 데이터베이스 상태를 유지해야 한다. 예를 들어 데이터베이스에서 정한 무결성 제약 조건을 항상 만족해야 한다격리성 (트랜잭션에 대한 것) - Isolation트랜잭션의 분리 및 보장동시에 실행되는 트랜잭션들이 서로에게 영향을 미치지 않도록 격리한다. 예를 들어 동시에 같은 데이터를 수정하지 못하도록 한다.지속성 (데이터에 대한 것)- Durability트랜잭션을 성공적으로 끝내면 그 결과가 항상 기록되어야 한다. 중간에 시스템에 문제가 발생해도 데..

예외처리엔터티 비교프록시 심화 주제성능 최적화N+1 문제읽기 전용 쿼리 최적화배치처리SQL 쿼리 힌트트랜잭션을 지원하는 쓰기 지연과 성능 최적화15.1 예외처리15.1.1 JPA 표준 예외 정리JPA 표준 예외들은 RumtimeException 을 상속하는 javax.persistence.PersistenceException의 자식 클래스들이다.트랜잭션 롤백을 표시하는 예외심각한 예외로 복구해서는 안되고javax.persistence.RollbackException 예외가 발생한다.트랜잭션 롤백을 표시하지 않는 예외심각한 예외가 아니라 판단에 따라 복구해도 된다15.1 .2 스프링 프레임워크의 JPA 예외 전환데이터 접근 계층에 대한 예외를 추상화해서 개발자에게 제공15.1 .3 스프링 프레임워크에 JP..

7.1 신뢰성 보장카프카는 다음과 같은 신뢰성 보장을 제공:메시지 순서 보장: 동일한 프로듀서가 동일 파티션에 쓴 메시지는 순서를 유지.커밋된 메시지 보존: 모든 인-싱크 레플리카에 저장된 메시지는 최소 하나의 레플리카가 살아 있는 한 유실되지 않음.커밋된 메시지 소비: 컨슈머는 커밋된 메시지만 읽음. 7.2 복제카프카는 복제를 통해 데이터 지속성과 고가용성을 보장.인-싱크 레플리카:조건:Zookeeper와의 세션이 유지됨(기본 6초).최근 10초 이내에 리더 레플리카와 동기화.최신 메시지를 복제 완료.복제 지연 발생 시 아웃-오브-싱크 레플리카로 간주되어 신뢰성 저하. 7.3 브로커 설정복제 팩터:높은 복제 팩터 → 가용성과 신뢰성 증가, 디스크 사용량 증가.설정:replication.factor (토..