Kaden Sungbin Cho Kaden Sungbin Cho

이번 글에서는, B2B 또는 B2C와 같이 외부고객과의 접촉은 소프트웨어 전반의 서비스와 비슷한 형태를 가지기에(데이터 판매와 같은 경우 빼고) 제외하고, 한 기업 내에서 어떤 형태로 데이터가 생성되고, 소비 및 이용되는지 알아보겠습니다. 관련글: 데이터 엔지니어란? '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 데이터 엔지니어의 업무범위(하는 일) 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) 생산(Producers)과 소비(Consumers)의 측면 한 기업 내에서 데이터는 대부분 '생성 -> 수집 -> 저장 -> 가공 -> 사용'되는 일방향 패턴을 보입니다(일부 사용에서 생성한 데이터가 다시 저장될 때가 있기도 하나). 그렇기에 이러한 형태를 액체를 한곳에서 다른 ..

새로운 직무는 보통 기존의 직무에서 어떤 요구사항이 지속적으로 발생하면서 점점 복잡해지며 기존의 직무에서 떨어져나와 탄생하게 됩니다. 데이터 엔지니어라는 직무가 어떻게 탄생하게 되었는지 알기위해 지난 20년 동안 어떤 요구사항들이 발생하고 어떤 도구들이 쓰였으며, 그러한 부분이 시간이 지남에 따라 어떻게 변화했는지 살펴보려 합니다. 그것을 통해 최종적으로 데이터 엔지니어의 컨택스트(Context)와 본질을 알아보겠습니다 [1]. 관련글: 데이터 엔지니어란? 기업 내의 데이터 환경은 어떤 모습인가 데이터 엔지니어의 업무범위(하는 일) 데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건) 현재 데이터 시스템에 대한 좀 더 상세한 도구들이 궁금하신 경우 아래와 같은 글(또는 책)을 참고하시면 좋을 것 같..

데이터 환경이 고도화되면서 데이터 엔지니어(Data Engineer)의 역할도 넓어지고 있습니다. 빠르게 발달하는 역할에 대해 적절한 정의와 함께 구체적으로 하는 일이 무엇인지 기술한 글을 찾기 어려웠습니다. 또는, 존재하더라도 제가 경험한 실무와는 다른 ETL이나, 데이터 정제 등 국소적인 부분에 한정된 관점의 글만 존재하였습니다. 그렇기에 이 글에서는 개발자가 아닌 분들도 데이터 엔지니어가 어떤 직무인지 아실 수 있도록, 제 경험에 기반해 데이터 엔지니어는 무엇이고 무엇이 아닌지와 관련해 전달드리려 합니다. 이 글의 범위를 넘는 부분인 다음과 같은 내용들은 다른 글에 자세히 적어두었습니다: '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이..

코딩초보 파이썬(Python) 공부법, 공부자료 (파이썬입문, 파이썬강좌) 안녕하세요. 이번 글에서는 파이썬을 첫 언어로 코딩에 입문하고자 하시는 분들을 대상으로 지난 3년간 파이썬을 공부하며 느낀 공부법과 엄선한 공부자료를 공유하려고 합니다. 공부법 먼저 kadensungbincho.tistory.com 파이썬 딕셔너리는 다양한 상황에서 많이 사용됩니다. 파이썬 3.6 버젼 이후, 딕셔너리 순서가 보장되면서 루프 안에서도 더 많이 되고 있는데요. 루프 안에서 파이썬 딕셔너리를 사용하는 기본적인 4가지 방법을 알아보겠습니다. 루프 안에서 파이썬 딕셔너리 사용하기: 4가지 for, List Comprehension과 같은 순회 시에, 파이썬 딕셔너리는 아래와 같은 4가지 방법으로(뷰에 접근하여) 가능합니다..

스탠퍼드 심리학 교수인 캐럴 드웩은 '누구나 경험과 노력을 통해 성장하고 변화할 수 있다고 믿는 것'이 중요하다고 말합니다. 이 '성장 마인드셋'은 개인의 인내심과 회복력, 성취, 성공적인 관계에 긍정적 영향을 미친다고 하는데요. 반대로 그 대척점에 있는 '고정 마인드셋'은 그만큼 부정적인 영향을 주게 됩니다. 왜 비견 단순해보이는 '성장하고 변화할 수 있다는 믿음'이 그러한 결과를 이끈다고 말하는 걸까요? '성장 마인드셋'으로 빚어지는 메타인지, 인내심과 회복력 통찰력이 뛰어난 사람들은 '자신의 능력을 잘 파악하는 능력', 즉 메타인지가 뛰어나다고 합니다. 많은 자기계발서에서도 '메타인지'에 대한 부분을 강조하고 있는데요. '성장 마인드셋'은 '능력은 언제든지 배우면 향상시킬 수 있다'고 믿기 때문에 ..

이번 글에서는 이전 편에 이어서 패스트캠퍼스의 온라인 강의 'THE RED: 데이터사이언티스트 하용호'의 강의내용을 요약한 것을 후기와 함께 전달 해드리려 합니다. 10년이 넘게 지난 현재의 데이터 업계에서 데이터사이언티스트가 하는 일 (#1) 데이터 팀을 일구기 위해 가장 먼저해야할 데이터 수집하기, 그리고 팀을 단계별로 발전시켜가기 (#2) 개인의 데이터사이언티스트로써 문제를 찾고 해결하는 법(분석), 비주얼라이제이션과 커뮤니케이션 방법 (이번글) 이번 편에서는, 한 개인의 데이터 사이언티스트의 문제정의와 해결, 효과적인 시각화와 커뮤니케이션 방법(특히 임원과)을 요약해드리며, 짤막한 감상과 함께 강의 후기를 마치려 합니다. 중간중간 예전에 교육으로 들었던 데이터 분석 강의와 연결되는 부분이 있어서,..

안녕하세요, 이번 글은 클라우데라 세션 코리아 2020에 참가한 후, 그 내용을 정리하여 공유 드리려 합니다. '데이터 폭풍'이라는 언급을 하며, 2025년까지 지속적인 데이터 사이즈의 성장과 코로나 환경에서도 우수한 클라우데라의 매출 지표로 환영사를 시작하였는데요. Dell과 Redhat이 협력사로 참가하고 AWS, Azure가 자주 언급되는만큼 클라우데라가 온프레미스와 Cloud, 그리고 Hybrid 시장에서 중심적인 위치를 차지하기 위해 동분서주하고 있다는 느낌이 드는 것 같습니다. 먼저, 클라우데라가 이번 년도에 기획한 내용을 바탕으로 데이터 플랫폼 시장의 방향성을 정리해보고, 세션에서 소개된 신규 구현 내용을 하나씩 검토해 보며 짤막한 개인적인 생각을 전달 드리겠습니다. The Perfect D..

이번 글에서는 이전 편에 이어서 패스트캠퍼스의 온라인 강의 'THE RED: 데이터사이언티스트 하용호'의 강의내용을 요약한 것을 전달 해드리려 합니다. 10년이 넘게 지난 현재의 데이터 업계에서 데이터사이언티스트가 하는 일 (#1) 데이터 팀을 일구기 위해 가장 먼저해야할 데이터 수집하기, 그리고 팀을 단계별로 발전시켜가기 (이번글) 개인의 데이터사이언티스트로써 문제를 찾고 해결하는 법(분석), 비주얼라이제이션과 커뮤니케이션 방법 (#3) 이번 편에서는 많은 회사에 입사하게 되면 마주할 데이터 '제대로' 수집하기와 데이터 팀의 발전 단계와 각 단계별 특징에 대해 기술합니다. 데이터 '제대로' 수집하기 데이터 팀은 회사에 매출에 기여할 데이터 상품을 만드는 것이 목표입니다. 그렇기에 무엇보다도 데이터가 목..