Kaden Sungbin Cho Kaden Sungbin Cho

먼저, 구인구직 사이트를 크롤링해서 얻은 자격요건의 주요 단어들을 살펴보고, 개인적으로 중요하다고 생각되는 부분들을 살펴보겠습니다. 관련글: 데이터 엔지니어란? '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이터 엔지니어의 업무범위(하는 일) 자격요건 크롤링 결과 기존에 StitchData와 같은 곳에서 아래와 같은 'Data Engineer Skills - Top 20' 같은 자료는 있었으나, 저도 멘토링을 하면서 한국 실정은 어떠한가?라는 의문이 항상 있었습니다. 그래서 이번 기회에 스크래핑을 통해 자격요건을 긁어서 주요 기술 단어만 살펴보기로 마음 먹었습니다. 그 결과 총 200 여건의 데이터 관련 JD(Job Description) 중..

데이터 엔지니어의 업무는 단순하게 보면 '데이터 상품'을 만들기 위한 업무 또는 해당 업무의 기반을 만드는 업무라고 할 수 있습니다. 최종적으로는 데이터, 데이터 플랫폼, 데이터 서비스 등의 다양한 형태의 상품으로 보이더라도, 사실 그 내부에서는 서로 유기적으로 연결되어 있습니다. 이번 글에서는 먼저 domain 결합이 강한 형태와 self-service 형태의 데이터 업무 구조를 알아보고, 데이터 구조의 부분별로 상세히 어떤 일을 하는지 살펴보겠습니다. 관련글: 데이터 엔지니어란? '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) Domain-Oriented vs Self-Service ..

이번 글에서는, B2B 또는 B2C와 같이 외부고객과의 접촉은 소프트웨어 전반의 서비스와 비슷한 형태를 가지기에(데이터 판매와 같은 경우 빼고) 제외하고, 한 기업 내에서 어떤 형태로 데이터가 생성되고, 소비 및 이용되는지 알아보겠습니다. 관련글: 데이터 엔지니어란? '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 데이터 엔지니어의 업무범위(하는 일) 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) 생산(Producers)과 소비(Consumers)의 측면 한 기업 내에서 데이터는 대부분 '생성 -> 수집 -> 저장 -> 가공 -> 사용'되는 일방향 패턴을 보입니다(일부 사용에서 생성한 데이터가 다시 저장될 때가 있기도 하나). 그렇기에 이러한 형태를 액체를 한곳에서 다른 ..

새로운 직무는 보통 기존의 직무에서 어떤 요구사항이 지속적으로 발생하면서 점점 복잡해지며 기존의 직무에서 떨어져나와 탄생하게 됩니다. 데이터 엔지니어라는 직무가 어떻게 탄생하게 되었는지 알기위해 지난 20년 동안 어떤 요구사항들이 발생하고 어떤 도구들이 쓰였으며, 그러한 부분이 시간이 지남에 따라 어떻게 변화했는지 살펴보려 합니다. 그것을 통해 최종적으로 데이터 엔지니어의 컨택스트(Context)와 본질을 알아보겠습니다 [1]. 관련글: 데이터 엔지니어란? 기업 내의 데이터 환경은 어떤 모습인가 데이터 엔지니어의 업무범위(하는 일) 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) 현재 데이터 시스템에 대한 좀 더 상세한 도구들이 궁금하신 경우 아래와 같은 글(또는 책)을 참고하시면 좋을 것 같..

데이터 환경이 고도화되면서 데이터 엔지니어(Data Engineer)의 역할도 넓어지고 있습니다. 빠르게 발달하는 역할에 대해 적절한 정의와 함께 구체적으로 하는 일이 무엇인지 기술한 글을 찾기 어려웠습니다. 또는, 존재하더라도 제가 경험한 실무와는 다른 ETL이나, 데이터 정제 등 국소적인 부분에 한정된 관점의 글만 존재하였습니다. 그렇기에 이 글에서는 개발자가 아닌 분들도 데이터 엔지니어가 어떤 직무인지 아실 수 있도록, 제 경험에 기반해 데이터 엔지니어는 무엇이고 무엇이 아닌지와 관련해 전달드리려 합니다. 이 글의 범위를 넘는 부분인 다음과 같은 내용들은 다른 글에 자세히 적어두었습니다: '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이..

이번 글에서는 이전 편에 이어서 패스트캠퍼스의 온라인 강의 'THE RED: 데이터사이언티스트 하용호'의 강의내용을 요약한 것을 후기와 함께 전달 해드리려 합니다. 10년이 넘게 지난 현재의 데이터 업계에서 데이터사이언티스트가 하는 일 (#1) 데이터 팀을 일구기 위해 가장 먼저해야할 데이터 수집하기, 그리고 팀을 단계별로 발전시켜가기 (#2) 개인의 데이터사이언티스트로써 문제를 찾고 해결하는 법(분석), 비주얼라이제이션과 커뮤니케이션 방법 (이번글) 이번 편에서는, 한 개인의 데이터 사이언티스트의 문제정의와 해결, 효과적인 시각화와 커뮤니케이션 방법(특히 임원과)을 요약해드리며, 짤막한 감상과 함께 강의 후기를 마치려 합니다. 중간중간 예전에 교육으로 들었던 데이터 분석 강의와 연결되는 부분이 있어서,..

안녕하세요, 이번 글은 클라우데라 세션 코리아 2020에 참가한 후, 그 내용을 정리하여 공유 드리려 합니다. '데이터 폭풍'이라는 언급을 하며, 2025년까지 지속적인 데이터 사이즈의 성장과 코로나 환경에서도 우수한 클라우데라의 매출 지표로 환영사를 시작하였는데요. Dell과 Redhat이 협력사로 참가하고 AWS, Azure가 자주 언급되는만큼 클라우데라가 온프레미스와 Cloud, 그리고 Hybrid 시장에서 중심적인 위치를 차지하기 위해 동분서주하고 있다는 느낌이 드는 것 같습니다. 먼저, 클라우데라가 이번 년도에 기획한 내용을 바탕으로 데이터 플랫폼 시장의 방향성을 정리해보고, 세션에서 소개된 신규 구현 내용을 하나씩 검토해 보며 짤막한 개인적인 생각을 전달 드리겠습니다. The Perfect D..

이번 글에서는 이전 편에 이어서 패스트캠퍼스의 온라인 강의 'THE RED: 데이터사이언티스트 하용호'의 강의내용을 요약한 것을 전달 해드리려 합니다. 10년이 넘게 지난 현재의 데이터 업계에서 데이터사이언티스트가 하는 일 (#1) 데이터 팀을 일구기 위해 가장 먼저해야할 데이터 수집하기, 그리고 팀을 단계별로 발전시켜가기 (이번글) 개인의 데이터사이언티스트로써 문제를 찾고 해결하는 법(분석), 비주얼라이제이션과 커뮤니케이션 방법 (#3) 이번 편에서는 많은 회사에 입사하게 되면 마주할 데이터 '제대로' 수집하기와 데이터 팀의 발전 단계와 각 단계별 특징에 대해 기술합니다. 데이터 '제대로' 수집하기 데이터 팀은 회사에 매출에 기여할 데이터 상품을 만드는 것이 목표입니다. 그렇기에 무엇보다도 데이터가 목..