간단한 개발관련 내용

Layered Architecture란?Layered Architecture는 애플리케이션을 기능과 책임에 따라 계층으로 분리하는 설계 패턴입니다. 각 계층은 특정 역할을 수행하고, 계층 간의 의존성을 명확히 하여 유지보수와 확장성을 높입니다.1. 3Layer Architecture (3계층 아키텍처)3-Layer Architecture는 과거부터 널리 사용된 계층형 아키텍처로, 시스템을 세 가지 주요 계층으로 나눕니다.구성Presentation Layer (UI Layer)사용자와 상호작용하는 부분입니다.화면, 웹 컨트롤러, REST API 등의 역할을 합니다.예: Controller, ViewBusiness Logic Layer (Service Layer)비즈니스 로직을 처리하고 애플리케이션의 핵심 ..

1. 트랜잭션 스크립트 (Transaction Script)구현 방법트랜잭션 스크립트는 비즈니스 로직을 서비스 계층에서 직접 구현하는 패턴입니다.하나의 트랜잭션 단위(Use Case)를 처리하는 스크립트 형태로 동작합니다.구현 시:애플리케이션 서비스에서 데이터베이스 접근 코드와 비즈니스 로직을 함께 작성합니다.일반적으로 Service 클래스 내부에서 Repository를 호출하고 비즈니스 로직을 순서대로 나열합니다.예시 코드 (Kotlin + Spring Boot):@Serviceclass OrderService( private val orderRepository: OrderRepository, private val paymentGateway: PaymentGateway) { @Trans..

10.1 클러스터간 미러링 활용 사례Kafka의 클러스터간 미러링은 여러 목적을 위해 사용됩니다. 주요 활용 사례는 다음과 같습니다:지역 및 중앙 클러스터:데이터를 로컬 클러스터에서 수집하고 중앙 클러스터로 집적하는 구조입니다. 이를 통해 데이터 일관성과 분석에 유용합니다.고가용성과 재해 복구 (DR):한 클러스터에 장애가 발생했을 때 미러링된 클러스터로 페일오버를 수행해 가용성을 유지합니다.규제 준수:국가 및 지역별 규제에 따라 데이터를 물리적으로 분리해야 하는 경우 미러링을 통해 요구사항을 충족할 수 있습니다.클라우드 마이그레이션:온프레미스에서 클라우드로 이전할 때 데이터를 안전하게 이전할 수 있습니다.엣지 클러스터 데이터 집적:엣지에서 수집한 데이터를 중앙 클러스터로 전송해 데이터 분석 및 머신러닝..

9.1 데이터 파이프라인 구축 시 고려사항Kafka는 데이터 파이프라인의 핵심 버퍼 역할을 수행합니다. 데이터를 생산하는 프로듀서와 소비하는 컨슈머를 시간적으로 분리하여 신뢰성과 효율성을 제공합니다.9.1.1 적시성Kafka는 데이터를 실시간으로 스트리밍할 수 있지만, 데이터를 버퍼링하여 읽는 시점에 따라 유연한 적시성을 제공합니다.9.1.2 신뢰성Kafka는 최소 한 번 전달을 기본으로 보장하고, 트랜잭션 기능과 결합하면 정확히 한 번 전달을 구현할 수 있습니다.9.1.3 높은 처리율과 확장성Kafka는 분산 시스템 기반으로 확장성이 뛰어나며,Kafka Connect는 작업을 병렬화하여 처리율을 조절할 수 있습니다.9.1.4 데이터 형식데이터 형식 표준화를 위해 Avro, JSON, Protobuf 등..

카카오 기술 블로그를 읽고 MongoDB의 WiredTiger의 파일 구조에 대해 학습해 보았습니다.https://tech.kakao.com/posts/670 MongoDB WiredTiger의 파일 구조 - tech.kakao.com들어가며 안녕하세요, 카카오 분산데이터베이스 조직에서 MongoDB를 운영하고 있...tech.kakao.com 먼저 MongoDB를 간략히 설명하고 넘어가겠습니다. MongoDB란?MongoDB는 NoSQL 데이터베이스 중 하나로, 데이터를 JSON과 유사한 BSON 형식으로 저장하는 문서 지향형 데이터베이스입니다. 기존의 관계형 데이터베이스(RDBMS)와 달리 스키마가 유연하며 수평적 확장이 용이해 대규모 데이터를 처리하는 데 적합합니다. 빠른 데이터 입출력과 높은 확장..

SMT는 Single Message Transform의 약자로, Apache Kafka의 Kafka Connect 프레임워크에서 사용되는 단일 메시지 변환 기능입니다. SMT는 Kafka Connect가 데이터를 소스 커넥터를 통해 가져오거나 싱크 커넥터를 통해 내보낼 때, 각 개별 메시지에 대해 변환 또는 수정을 적용하는 간단한 처리 단계입니다.SMT의 역할Kafka Connect에서 SMT는 데이터 흐름의 중간에서 작동하며, 각 메시지에 대해 필터링, 변환, 필드 추가 또는 제거와 같은 작업을 수행할 수 있습니다.SMT를 사용하는 목적데이터 변환: 메시지의 포맷이나 필드를 변환합니다.데이터 정제: 불필요한 필드를 제거하거나 새로운 필드를 추가합니다.메타데이터 추가: 타임스탬프나 키 값 등 메타데이터를..