데이터 엔지니어 역량 (feat. 구인구직사이트 자격요건)

먼저, 구인구직 사이트를 크롤링해서 얻은 자격요건의 주요 단어들을 살펴보고, 개인적으로 중요하다고 생각되는 부분들을 살펴보겠습니다.

 

관련글:

• 데이터 엔지니어란?
• '데이터 엔지니어'라는 직무는 어떻게 탄생되었나: 요구사항과 도구들
• 기업 내의 데이터 환경은 어떤 모습인가
• 데이터 엔지니어의 업무범위(하는 일)

자격요건 크롤링 결과

기존에 StitchData와 같은 곳에서 아래와 같은 'Data Engineer Skills - Top 20' 같은 자료는 있었으나, 저도 멘토링을 하면서 한국 실정은 어떠한가?라는 의문이 항상 있었습니다. 

DE Top 20 Skills- Image from StitchData

 

그래서 이번 기회에 스크래핑을 통해 자격요건을 긁어서 주요 기술 단어만 살펴보기로 마음 먹었습니다. 

 

그 결과 총 200 여건의 데이터 관련 JD(Job Description) 중 68건이 'Data Engineer' 또는 '데이터 엔지니어'라는 타이틀을 가지고 있었습니다(2020.01.06 기준). 그러한 JD의 '자격요건' 항목들을 파싱하여 단어들을 word count로 얻어낸 결과 주요 기술단어들을 아래와 같습니다:

 

DE 자격요건 Word Count Sort - Image from Author

모수가 적어서 한국 고용시장을 모두 대표하지는 못하나, 어느 정도 추세를 살펴보자면 파이썬과 SQL(데이터베이스와 같이)은 StitchData 자료와 유사하게 꽤나 상위에 있는 모습을 볼 수 있습니다. 또한, Spark 및 Scala에 대한 선호도 눈에 띄는 것 같습니다. 그리고 Cloud 관련 단어들이 주요 요건으로 나와있는 것 같습니다.

 

기술 외적인 단어들을 조금 살펴보자면, 데이터(106), 프로그래밍(13), ETL(11), 커뮤니케이션(10)이라는 업무 관련 용어들과 경험 또는 경력이라는 단어(66)가 두드러지게 나왔습니다. 

 

(Update - 20210826)

115개 기업 데이터 엔지니어 채용 자격요건 분석 시 기술 관련 사항은 아래와 같습니다.

Image from Author

 

 

개인적으로 중요하다고 생각하는 역량

우선, 지난 3년여간의 데이터 엔지니어의 업무들과 경험한 3곳의 회사로 미루어 볼 때, 위의 자격요건 분석을 통해 나오는 수치가 꽤나 적절하다고 생각됩니다. 그렇기에 위에서 언급되지 않은 추가적인 역량을 말하기보다는, 위의 역량들에서 좀 더 구체화하고자 합니다.

 

자격요건에서 언급된 역량들을 최종적으로 데이터 환경에서 데이터 엔지니어 업무를 잘 진행할 수 있는가를 평가하기 위함이기에, 위 역량들은 1) 유기적으로 연결되어 어떤 문제를 해결할 수 있어야 하고 2) 그 문제들은 주로 데이터 컨택스트에서 발생하는 문제들이어야 합니다.

 

파이썬이라는 한 가지 언어도 매우 다양하게 사용되기에, 한 사람이 어떤 부분에는 익숙한 반면 데이터와 연관된 문제를 푸는 데에는 좀 더 경험이 필요할 수도 있습니다. 언어 한 가지를 넘어서, 위의 다양한 역량들과 그 조합을 사용해 데이터 환경의 문제를 잘 풀 수 있을지에 대한 부분은 결국 데이터 환경의 문제와 유사한 케이스를 풀어본 것이 가장 큰 역량이며 증명이 될 듯 합니다. 

 

과거에 구직 시, 위와 같은 생각으로 포트폴리오를 준비했었는데요. 패스트캠퍼스 스쿨 취업 포트폴리오 준비하기에 자세히 기술해두었습니다.

[WIP] 패스트캠퍼스 스쿨 취업 포트폴리오 준비하기 (FASTCAMPUS SCHOOL, 데이터사이언스)