간단한 개발관련 내용

9.1 데이터 파이프라인 구축 시 고려사항Kafka는 데이터 파이프라인의 핵심 버퍼 역할을 수행합니다. 데이터를 생산하는 프로듀서와 소비하는 컨슈머를 시간적으로 분리하여 신뢰성과 효율성을 제공합니다.9.1.1 적시성Kafka는 데이터를 실시간으로 스트리밍할 수 있지만, 데이터를 버퍼링하여 읽는 시점에 따라 유연한 적시성을 제공합니다.9.1.2 신뢰성Kafka는 최소 한 번 전달을 기본으로 보장하고, 트랜잭션 기능과 결합하면 정확히 한 번 전달을 구현할 수 있습니다.9.1.3 높은 처리율과 확장성Kafka는 분산 시스템 기반으로 확장성이 뛰어나며,Kafka Connect는 작업을 병렬화하여 처리율을 조절할 수 있습니다.9.1.4 데이터 형식데이터 형식 표준화를 위해 Avro, JSON, Protobuf 등..

카카오 기술 블로그를 읽고 MongoDB의 WiredTiger의 파일 구조에 대해 학습해 보았습니다.https://tech.kakao.com/posts/670 MongoDB WiredTiger의 파일 구조 - tech.kakao.com들어가며 안녕하세요, 카카오 분산데이터베이스 조직에서 MongoDB를 운영하고 있...tech.kakao.com 먼저 MongoDB를 간략히 설명하고 넘어가겠습니다. MongoDB란?MongoDB는 NoSQL 데이터베이스 중 하나로, 데이터를 JSON과 유사한 BSON 형식으로 저장하는 문서 지향형 데이터베이스입니다. 기존의 관계형 데이터베이스(RDBMS)와 달리 스키마가 유연하며 수평적 확장이 용이해 대규모 데이터를 처리하는 데 적합합니다. 빠른 데이터 입출력과 높은 확장..

SMT는 Single Message Transform의 약자로, Apache Kafka의 Kafka Connect 프레임워크에서 사용되는 단일 메시지 변환 기능입니다. SMT는 Kafka Connect가 데이터를 소스 커넥터를 통해 가져오거나 싱크 커넥터를 통해 내보낼 때, 각 개별 메시지에 대해 변환 또는 수정을 적용하는 간단한 처리 단계입니다.SMT의 역할Kafka Connect에서 SMT는 데이터 흐름의 중간에서 작동하며, 각 메시지에 대해 필터링, 변환, 필드 추가 또는 제거와 같은 작업을 수행할 수 있습니다.SMT를 사용하는 목적데이터 변환: 메시지의 포맷이나 필드를 변환합니다.데이터 정제: 불필요한 필드를 제거하거나 새로운 필드를 추가합니다.메타데이터 추가: 타임스탬프나 키 값 등 메타데이터를..

코틀린 언어 기반으로 JPA 엔티티의 id 필드를 생성자에 포함시키는 방식과 별도로 필드로 선언하고 protected set을 사용하는 방식은 몇 가지 차이점이 있습니다. 각각의 장단점과 사용 사례를 비교해보겠습니다.1. id를 생성자에 포함시키는 방식@Entitydata class Car( @Id @GeneratedValue(strategy = GenerationType.IDENTITY) val id: Long? = null, val brand: String, val model: String)특징불변성: val로 선언되므로 생성 후 값이 변경되지 않아 객체가 불변(immutable)에 가까워집니다.초기화 간결성: id 필드도 생성자에서 초기화되므로 Kotlin의 데이터 클래스..