전체 글
-
데이터 엔지니어란?Data 2021. 1. 2. 11:12
데이터 환경이 고도화되면서 데이터 엔지니어(Data Engineer)의 역할도 넓어지고 있습니다. 빠르게 발달하는 역할에 대해 적절한 정의와 함께 구체적으로 하는 일이 무엇인지 기술한 글을 찾기 어려웠습니다. 또는, 존재하더라도 제가 경험한 실무와는 다른 ETL이나, 데이터 정제 등 국소적인 부분에 한정된 관점의 글만 존재하였습니다. 그렇기에 이 글에서는 개발자가 아닌 분들도 데이터 엔지니어가 어떤 직무인지 아실 수 있도록, 제 경험에 기반해 데이터 엔지니어는 무엇이고 무엇이 아닌지와 관련해 전달드리려 합니다. 이 글의 범위를 넘는 부분인 다음과 같은 내용들은 다른 글에 자세히 적어두었습니다: '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들 기업 내의 데이터 환경은 어떤 모습인가 데이..
-
파이썬 딕셔너리 루프 - 파이썬 딕셔너리 순회하기 (Python Dictionary Iteration)Python 2021. 1. 1. 21:29
코딩초보 파이썬(Python) 공부법, 공부자료 (파이썬입문, 파이썬강좌) 안녕하세요. 이번 글에서는 파이썬을 첫 언어로 코딩에 입문하고자 하시는 분들을 대상으로 지난 3년간 파이썬을 공부하며 느낀 공부법과 엄선한 공부자료를 공유하려고 합니다. 공부법 먼저 kadensungbincho.tistory.com 파이썬 딕셔너리는 다양한 상황에서 많이 사용됩니다. 파이썬 3.6 버젼 이후, 딕셔너리 순서가 보장되면서 루프 안에서도 더 많이 되고 있는데요. 루프 안에서 파이썬 딕셔너리를 사용하는 기본적인 4가지 방법을 알아보겠습니다. 루프 안에서 파이썬 딕셔너리 사용하기: 4가지 for, List Comprehension과 같은 순회 시에, 파이썬 딕셔너리는 아래와 같은 4가지 방법으로(뷰에 접근하여) 가능합니다..
-
성장 마인드셋 (Mindset) - 캐럴 드웩Mental Model 2020. 12. 28. 21:55
스탠퍼드 심리학 교수인 캐럴 드웩은 '누구나 경험과 노력을 통해 성장하고 변화할 수 있다고 믿는 것'이 중요하다고 말합니다. 이 '성장 마인드셋'은 개인의 인내심과 회복력, 성취, 성공적인 관계에 긍정적 영향을 미친다고 하는데요. 반대로 그 대척점에 있는 '고정 마인드셋'은 그만큼 부정적인 영향을 주게 됩니다. 왜 비견 단순해보이는 '성장하고 변화할 수 있다는 믿음'이 그러한 결과를 이끈다고 말하는 걸까요? '성장 마인드셋'으로 빚어지는 메타인지, 인내심과 회복력 통찰력이 뛰어난 사람들은 '자신의 능력을 잘 파악하는 능력', 즉 메타인지가 뛰어나다고 합니다. 많은 자기계발서에서도 '메타인지'에 대한 부분을 강조하고 있는데요. '성장 마인드셋'은 '능력은 언제든지 배우면 향상시킬 수 있다'고 믿기 때문에 ..
-
(FASTCAMPUS) 패스트캠퍼스 온라인 'THE RED: 데이터사이언티스트 하용호' 후기 - 강의내용요약 #3Data 2020. 12. 24. 16:03
이번 글에서는 이전 편에 이어서 패스트캠퍼스의 온라인 강의 'THE RED: 데이터사이언티스트 하용호'의 강의내용을 요약한 것을 후기와 함께 전달 해드리려 합니다. 10년이 넘게 지난 현재의 데이터 업계에서 데이터사이언티스트가 하는 일 (#1) 데이터 팀을 일구기 위해 가장 먼저해야할 데이터 수집하기, 그리고 팀을 단계별로 발전시켜가기 (#2) 개인의 데이터사이언티스트로써 문제를 찾고 해결하는 법(분석), 비주얼라이제이션과 커뮤니케이션 방법 (이번글) 이번 편에서는, 한 개인의 데이터 사이언티스트의 문제정의와 해결, 효과적인 시각화와 커뮤니케이션 방법(특히 임원과)을 요약해드리며, 짤막한 감상과 함께 강의 후기를 마치려 합니다. 중간중간 예전에 교육으로 들었던 데이터 분석 강의와 연결되는 부분이 있어서,..
-
'Cloudera Sessions Korea 2020'으로 보는 데이터 플랫폼의 변화 방향성Data 2020. 12. 23. 17:53
안녕하세요, 이번 글은 클라우데라 세션 코리아 2020에 참가한 후, 그 내용을 정리하여 공유 드리려 합니다. '데이터 폭풍'이라는 언급을 하며, 2025년까지 지속적인 데이터 사이즈의 성장과 코로나 환경에서도 우수한 클라우데라의 매출 지표로 환영사를 시작하였는데요. Dell과 Redhat이 협력사로 참가하고 AWS, Azure가 자주 언급되는만큼 클라우데라가 온프레미스와 Cloud, 그리고 Hybrid 시장에서 중심적인 위치를 차지하기 위해 동분서주하고 있다는 느낌이 드는 것 같습니다. 먼저, 클라우데라가 이번 년도에 기획한 내용을 바탕으로 데이터 플랫폼 시장의 방향성을 정리해보고, 세션에서 소개된 신규 구현 내용을 하나씩 검토해 보며 짤막한 개인적인 생각을 전달 드리겠습니다. The Perfect D..
-
(FASTCAMPUS) 패스트캠퍼스 온라인 'THE RED: 데이터사이언티스트 하용호' 후기 - 강의내용요약 #2Data 2020. 12. 21. 21:34
이번 글에서는 이전 편에 이어서 패스트캠퍼스의 온라인 강의 'THE RED: 데이터사이언티스트 하용호'의 강의내용을 요약한 것을 전달 해드리려 합니다. 10년이 넘게 지난 현재의 데이터 업계에서 데이터사이언티스트가 하는 일 (#1) 데이터 팀을 일구기 위해 가장 먼저해야할 데이터 수집하기, 그리고 팀을 단계별로 발전시켜가기 (이번글) 개인의 데이터사이언티스트로써 문제를 찾고 해결하는 법(분석), 비주얼라이제이션과 커뮤니케이션 방법 (#3) 이번 편에서는 많은 회사에 입사하게 되면 마주할 데이터 '제대로' 수집하기와 데이터 팀의 발전 단계와 각 단계별 특징에 대해 기술합니다. 데이터 '제대로' 수집하기 데이터 팀은 회사에 매출에 기여할 데이터 상품을 만드는 것이 목표입니다. 그렇기에 무엇보다도 데이터가 목..
-
데이터 엔지니어 공부를 위한 5권의 책Data 2020. 12. 19. 18:16
| Check English Version Here 3년 전, 식품연구원에서 직무전환하여 데이터 엔지니어로 시작해 온라인 강의, 책, 유투브, 블로그 등을 뒤져가며(?) 하루하루 업무를 진행하고 고민해 왔던 것 같습니다. 데이터와 관련해 (특히 온프레미스 환경에서) 업무를 진행하면서, 대학교 수업 전공에서 배우는 것과 같이 좀 더 잘 정리된 이론적인 체계가 있으면 좋겠다는 생각을 많이 했는데요. 이 글에서는 지난 시간 동안 데이터 엔지니어링과 관련한 사항들을 공부하며 데이터 업무를 진행할 때에 관점의 토대가 될 정도로 많이 참고할 수 있었던 책 5권을 추천해보려고 합니다. 먼저 보시는 분들이 자신의 상황에 맞게 어떤 책이 도움이 될지 고르실 수 있도록, 5권의 책 중에 선택할 때 사용할 관점(Level ..
-
(FASTCAMPUS) 패스트캠퍼스 온라인 'THE RED: 데이터사이언티스트 하용호' 후기 - 강의내용요약 #1Data 2020. 12. 19. 16:30
이번 글에서는 패스트캠퍼스의 온라인 강의 'THE RED: 데이터사이언티스트 하용호'의 강의내용을 요약한 것과 개인적인 후기를 전달 드리려고 합니다. 위 강의는 Tmax, KT, SKT에서 데이터 관련 직무로 일하시고 데이터 관련 회사 창업 후 Kakao에 성공적으로 매각하신 하용호 님이 데이터사이언티스트라는 부분에 중점적으로 진행하신 강의입니다. 총 강의시간이 6시간이 조금 넘는데 20만원 가까이 되는 가격에 고민이 있으신 분이 있을 것 같아서, 제 주관을 더하여 강의내용을 상세히 요약하고 제 경험을 더해 후기를 작성하겠습니다. 결론적으로 말씀드리면, 짧은 강의시간이 오히려 컴팩트 해서 좋았으며, 데이터사이언티스트 뿐만 아니라 저와 같이 데이터 엔지니어로 일하는 분들을 포함한 데이터 관련 직종에 일하는..