간단한 개발관련 내용

카카오 기술 블로그를 읽고 MongoDB의 WiredTiger의 파일 구조에 대해 학습해 보았습니다.https://tech.kakao.com/posts/670 MongoDB WiredTiger의 파일 구조 - tech.kakao.com들어가며 안녕하세요, 카카오 분산데이터베이스 조직에서 MongoDB를 운영하고 있...tech.kakao.com 먼저 MongoDB를 간략히 설명하고 넘어가겠습니다. MongoDB란?MongoDB는 NoSQL 데이터베이스 중 하나로, 데이터를 JSON과 유사한 BSON 형식으로 저장하는 문서 지향형 데이터베이스입니다. 기존의 관계형 데이터베이스(RDBMS)와 달리 스키마가 유연하며 수평적 확장이 용이해 대규모 데이터를 처리하는 데 적합합니다. 빠른 데이터 입출력과 높은 확장..

SMT는 Single Message Transform의 약자로, Apache Kafka의 Kafka Connect 프레임워크에서 사용되는 단일 메시지 변환 기능입니다. SMT는 Kafka Connect가 데이터를 소스 커넥터를 통해 가져오거나 싱크 커넥터를 통해 내보낼 때, 각 개별 메시지에 대해 변환 또는 수정을 적용하는 간단한 처리 단계입니다.SMT의 역할Kafka Connect에서 SMT는 데이터 흐름의 중간에서 작동하며, 각 메시지에 대해 필터링, 변환, 필드 추가 또는 제거와 같은 작업을 수행할 수 있습니다.SMT를 사용하는 목적데이터 변환: 메시지의 포맷이나 필드를 변환합니다.데이터 정제: 불필요한 필드를 제거하거나 새로운 필드를 추가합니다.메타데이터 추가: 타임스탬프나 키 값 등 메타데이터를..