Data

데이터 품질 (Data Quality)

Kaden Sungbin Cho 2021. 1. 27. 22:28
반응형

데이터 품질은 모든 '데이터 상품'의 기반이 됩니다. 그렇기에 데이터 관련 주요 Stake Holders들(데이터분석가, 데이터사이언티스트, 데이터엔지니어 등)에게는 매우 중요한 부분입니다.

 

또한, 데이터 거버넌스의 목적이 '데이터에 대한 신뢰성 확보'라는 점을 볼 때에도, 데이터 거버넌스의 중심적인 부분에 '데이터 품질 관리'가 차지하고 있다는 사실을 알 수 있습니다.

 

이 글에서는 빅데이터 이전에도 다뤄지던 개념인 데이터 품질의 발전사와 그 내용을 살펴보고, 빅데이터 환경에서 사용되는 (파악 가능한) 도구들을 살펴보겠습니다.


 

 

 

 

 

Reference

www.vldb.org/pvldb/vol11/p1781-schelter.pdf

github.com/great-expectations/great_expectations

engineering.linkedin.com/blog/2020/data-sentinel-automating-data-validation

databricks.com/session_na20/an-approach-to-data-quality-for-netflix-personalization-systems

www.datacouncil.ai/talks/anomaly-detection-for-data-quality-and-metric-shifts-at-netflix

 

learning.oreilly.com/library/view/competing-with-high/9781118416495/

learning.oreilly.com/library/view/the-practitioners-guide/9780123737175/

 

en.wikipedia.org/wiki/Quality_management

www.linkedin.com/video/live/urn:li:ugcPost:6727264410420736000/

 

www.data.go.kr/ugs/selectPublicDataQlityView.do

www.samsungsds.com/kr/insights/1232752_4627.html

www.comworld.co.kr/news/articleView.html?idxno=50031

asq.org/quality-progress/search#q=Data%20Quality%20Statistics

 

https://www.amazon.com/Data-Quality-Dimensions-Measurement-Management-ebook/dp/B07QMNT6HM

 

반응형