Kaden Sungbin Cho Kaden Sungbin Cho

이 글에서는 비전공자로 시작해 지난 3년 간, 이커머스 그리고 핀테크 도메인의 클라우드(AWS), 이커머스 온프레미스(Hadoop) 기반의 데이터 환경에서 주니어 데이터 엔지니어로 근무하며 각 도메인과 환경에서 공부 했던 부분들을 정리해보려고 합니다. 신입 또는 다른 개발 직군에서 피벗을 고려하시는 분들이 공부방법을 많이 찾으시는 듯 한데, 도움이 되었으면 합니다. 지향하는 데이터상품군을 파악하고 환경 만들기 공부하는데 참고한 자료들 지향하는 데이터상품군을 파악하고 환경 만들기 이 장에서는 데이터 환경에 노출되고 있지 않다면, 어떤 데이터상품군을 지향하는지 파악하고 배워가는 정보가 지식으로 연결될 수 있는 환경(주로 프로젝트에 대한) 만들기를 다룹니다. 그렇기에 현재 '데이터 관련 업무'를 진행하신다면,..

빅데이터와 관련해 자주 언급되는 것이 바로 하둡(Hadoop)입니다. 정확히는 아파치 하둡 프로젝트인 이 '하둡'은 '하둡 환경'을 중심으로 많은 프로젝트가 진행되면서 구분이 모호해지는 경우가 많은 듯 합니다. 이번 글에서는 아파치 하둡이 무엇이고, 구성하는 모듈은 어떤 것이 있으며 어떤 특성을 지니는지 알아보겠습니다. 관련글: HDFS란? (하둡분산파일시스템) YARN이란? (하둡분산자원관리) 맵리듀스란? (하둡분산처리엔진) 하둡과 하둡이 탄생한 배경 아파치 하둡은 오픈소스이며, 안정적이고 확장성있는 분산 컴퓨팅을 위한 프로젝트로 여러 소프트웨어 묶음을 말합니다. 프로젝트의 목적이 단순한 모델을 통해 수많은 컴퓨터로 이루어진 클러스터 환경에서 대량의 데이터를 처리할 수 있도록 하는 데에 있습니다 [1]..

먼저, 구인구직 사이트를 크롤링해서 얻은 자격요건의 주요 단어들을 살펴보고, 개인적으로 중요하다고 생각되는 부분들을 살펴보겠습니다. 관련글: 데이터 엔지니어란? '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이터 엔지니어의 업무범위(하는 일) 자격요건 크롤링 결과 기존에 StitchData와 같은 곳에서 아래와 같은 'Data Engineer Skills - Top 20' 같은 자료는 있었으나, 저도 멘토링을 하면서 한국 실정은 어떠한가?라는 의문이 항상 있었습니다. 그래서 이번 기회에 스크래핑을 통해 자격요건을 긁어서 주요 기술 단어만 살펴보기로 마음 먹었습니다. 그 결과 총 200 여건의 데이터 관련 JD(Job Description) 중..

데이터 엔지니어의 업무는 단순하게 보면 '데이터 상품'을 만들기 위한 업무 또는 해당 업무의 기반을 만드는 업무라고 할 수 있습니다. 최종적으로는 데이터, 데이터 플랫폼, 데이터 서비스 등의 다양한 형태의 상품으로 보이더라도, 사실 그 내부에서는 서로 유기적으로 연결되어 있습니다. 이번 글에서는 먼저 domain 결합이 강한 형태와 self-service 형태의 데이터 업무 구조를 알아보고, 데이터 구조의 부분별로 상세히 어떤 일을 하는지 살펴보겠습니다. 관련글: 데이터 엔지니어란? '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) Domain-Oriented vs Self-Service ..

이번 글에서는, B2B 또는 B2C와 같이 외부고객과의 접촉은 소프트웨어 전반의 서비스와 비슷한 형태를 가지기에(데이터 판매와 같은 경우 빼고) 제외하고, 한 기업 내에서 어떤 형태로 데이터가 생성되고, 소비 및 이용되는지 알아보겠습니다. 관련글: 데이터 엔지니어란? '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 데이터 엔지니어의 업무범위(하는 일) 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) 생산(Producers)과 소비(Consumers)의 측면 한 기업 내에서 데이터는 대부분 '생성 -> 수집 -> 저장 -> 가공 -> 사용'되는 일방향 패턴을 보입니다(일부 사용에서 생성한 데이터가 다시 저장될 때가 있기도 하나). 그렇기에 이러한 형태를 액체를 한곳에서 다른 ..

새로운 직무는 보통 기존의 직무에서 어떤 요구사항이 지속적으로 발생하면서 점점 복잡해지며 기존의 직무에서 떨어져나와 탄생하게 됩니다. 데이터 엔지니어라는 직무가 어떻게 탄생하게 되었는지 알기위해 지난 20년 동안 어떤 요구사항들이 발생하고 어떤 도구들이 쓰였으며, 그러한 부분이 시간이 지남에 따라 어떻게 변화했는지 살펴보려 합니다. 그것을 통해 최종적으로 데이터 엔지니어의 컨택스트(Context)와 본질을 알아보겠습니다 [1]. 관련글: 데이터 엔지니어란? 기업 내의 데이터 환경은 어떤 모습인가 데이터 엔지니어의 업무범위(하는 일) 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) 현재 데이터 시스템에 대한 좀 더 상세한 도구들이 궁금하신 경우 아래와 같은 글(또는 책)을 참고하시면 좋을 것 같..

데이터 환경이 고도화되면서 데이터 엔지니어(Data Engineer)의 역할도 넓어지고 있습니다. 빠르게 발달하는 역할에 대해 적절한 정의와 함께 구체적으로 하는 일이 무엇인지 기술한 글을 찾기 어려웠습니다. 또는, 존재하더라도 제가 경험한 실무와는 다른 ETL이나, 데이터 정제 등 국소적인 부분에 한정된 관점의 글만 존재하였습니다. 그렇기에 이 글에서는 개발자가 아닌 분들도 데이터 엔지니어가 어떤 직무인지 아실 수 있도록, 제 경험에 기반해 데이터 엔지니어는 무엇이고 무엇이 아닌지와 관련해 전달드리려 합니다. 이 글의 범위를 넘는 부분인 다음과 같은 내용들은 다른 글에 자세히 적어두었습니다: '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이..

| Check English Version Here 3년 전, 식품연구원에서 직무전환하여 데이터 엔지니어로 시작해 온라인 강의, 책, 유투브, 블로그 등을 뒤져가며(?) 하루하루 업무를 진행하고 고민해 왔던 것 같습니다. 데이터와 관련해 (특히 온프레미스 환경에서) 업무를 진행하면서, 대학교 수업 전공에서 배우는 것과 같이 좀 더 잘 정리된 이론적인 체계가 있으면 좋겠다는 생각을 많이 했는데요. 이 글에서는 지난 시간 동안 데이터 엔지니어링과 관련한 사항들을 공부하며 데이터 업무를 진행할 때에 관점의 토대가 될 정도로 많이 참고할 수 있었던 책 5권을 추천해보려고 합니다. 먼저 보시는 분들이 자신의 상황에 맞게 어떤 책이 도움이 될지 고르실 수 있도록, 5권의 책 중에 선택할 때 사용할 관점(Level ..