반응형
ingestion
-
CDC(Change Data Capture)란?Data 2021. 7. 16. 08:12
과거부터 데이터베이스 replica 생성, 데이터 수집 등 데이터베이스 복제에 대한 요구사항이 발달하면서, '변경을 다른 곳에 복제하는 것'에 대한 많은 관심이 높아져왔고 관련 솔루션도 점점 발달해 왔습니다. CDC 솔루션은 크게 1) 로그 기반, 2) trigger 기반(DB 프로시져 등을 통한) 형태가 존재합니다. 이번 글에서는 로그 기반 CDC를 중점으로 살펴보겠습니다. 주로 데이터베이스의 복제를 위해 사용되던 replication log는 초기에 외부에 사용되는 API라기보다는 내부 구현용으로 여겨져 왔습니다. 그렇기에 그러한 replication log는 데이터베이스에 가한 모든 변경에 대한 기록을 가지고 있지만, 이러한 모든 변경 기록을 통해 다른 스토리지에 데이터를 복사하는 일은 매우 어려운..