New York (2017 – 2021)

[2019.02.17]데이터 사이언스의 미래

Author
Irealist
Date
2019-02-18 09:26
Views
860
여차저차해서 직명이 데이터 사이언티스트다 보니, 데이터 사이언스의 미래에 대해 가끔은 생각해 보기도 한다. 이 산업은 어떻게 흘러갈 것이며, 그런 흐름 속에서 내가 취해야 할 루트는 어떻게 되는가에 대해 곰곰히 고민해 보는 것이다. 그에 대한 내 생각을 정리해 본다.
 
먼저, 데이터 사이언티스트의 미래는 밝지 않다. 현재 데이터 사이언스가 지나치게 과평가 되어 있고, 몇 차례 찾아왔던 AI 겨울이 다시 찾아오리라고 주장하는 것은 아니다. 지난 몇 번의 AI 붐과 그에 뒤따른 침체기와 이번의 붐은 질적으로 다르다. 지금의 호황은 데이터화된 정보의 양과 그 데이터를 다룰 수 있는 기술 발전이 맞물리면서 폭발적으로 일어나고 있는 제 4차 산업 혁명의 초입이 확실히 맞다. 그렇다면 왜 그 중심에 있는 데이터 사이언티스트의 미래는 밝지 않은가?
 
먼저, 데이터 사이언스에 필요한 스킬이 1) 평준화되고, 2) 간소화되며, 3) 자동화되어가고 있다. 평준화라 함은 그 인재공급이 넘쳐남을 말한다. 수학, 물리, 통계, 데이터 과학, 컴퓨터 과학, 컴퓨터 공학 등등, 데이터 사이언티스트의 커리어를 밟을 수 있는 루트의 전공자들이 차고 넘치는 것은 둘째치고, Udacity, Coursera에 이어 조지아텍의 OMSCS 등과 같은 프로그램들로 인해 데이터 사이언스 스킬을 습득하기가 매우 쉬워지고 있다. 간소화된다함은 데이터 사이언스 코딩 라이브러리들이 매우 잘 짜여져서, 진입장벽이 거의 없다시피함을 말한다. 텐서플로우만해도 '배워야'하는 것이지만, fastai와 같은 패키지에 이르면 한두시간 짜리 투토리얼을 마치면 최신 딥러닝 모델을 피팅할 수 있다. 마지막으로 자동화라함은 페이스북, 구글, 마이크로소프트 등에서 대규모로 진행하고 있는 AutoML 등의 플랫폼 개발이다.
 
특히 마지막 부분이 중요한데, 구글이나 마이크로소프트, 아마존 등의 주 수입원이 어디인가를 보면 앞으로 업계가 나아갈 방향을 짐작할 수 있다. 어떻게 보면 그들이 보유한 경쟁력 중에서도 두드러지는 것이 그런 머신러닝, 딥러닝 스킬들인데, 왜 고객들에게 무료 강좌를 제공하고, 플랫폼을 개발하여 누구나 머신러닝, 딥러닝 모델을 사용하기가 편하도록 하는 것일까? 그건 바로 그들의 차세대 주 수입원이 클라우드 서비스에 있기 때문이다. 머신러닝, 딥러닝으로 프로덕트를 만들어 파는 것보다, 이를 평준화시키고 널리 쉽게 쓰이게 하여 클라우드 사용률을 올리는 것이 훨씬 더 거시적으로 좋은 전략이다.
 
주요 IT 기업들의 동기가 그러하기 때문에, 근미래에는 아무리 머신러닝, 딥러닝 스킬을 갈고 닦는다고 해도 구글에서 개발한 플랫폼에서 자동으로 피팅되는, 쉽게 사용가능한 모델의 성능을 따라가기가 힘들게 된다. 또한, 기업의 입장에서 굳이 연봉 2~3억에 달하는 데이터 사이언티스트들을 팀 단위로 고용할 필요성이 사라지게 되는 것이다. 마치 2000년대 초가 금융 퀀트들의 황금기였다가, 금융 위기 이후에는 이미 개발된 모델들을 자유자재로 수정하고 커스튜마이징 할 수 있는 박사급 인력을 제외하고는 취직조차 어렵게 된 것처럼, 현재는 데이터 사이언티스트들의 황금기지만 수년 후에는 알고리즘을 수정하거나 부가가치를 추가할 수 있는 박사급 인력만이 위상을 유지할 것이다.
 
그렇게 흘러가는 업계에서 데이터 사이언티스트가 살아남는 방법은 세 가지가 있다.
 
1. 분야를 리드하는 박사/교수급 인력이 되는 것이다. 물론 말처럼 쉽지 않다. 더군다나 CS분야는 한의학과 도자기처럼 경험과 연륜이 중시되는 분야가 아니라, 정반대로 팽팽하게 잘 돌아가는 젊은 뇌를 가지고 최신 경향을 부단히 좇아가야 하는 분야다. 쉽지 않은 길이다.
 
2. 분야 전문성(domain expertise)를 기르는 것이다. 데이터 사이언티스트에게 필요한 세 가지 요소는 1) 통계 스킬(머신러닝 포함), 2) 코딩 스킬, 3) 분야 전문성이다. 위에서 말했듯이 1과 2는 기하급수적인 노력과 젊음이 필요하지만, 3은 반대로 경험과 연륜이 쌓일 수록 엣지가 있는 파트다. 고로 데이터 사이언스 고급 스킬을 갖춘, 특정 분야 전문가가 되는 방법이 살아남기 가장 쉬운 방법이다. 마찬가지 맥락에서, 지금 이 시기에 데이터 사이언티스트를 직업 목표로 삼고 직장 경력없이 학사에 이어 석사를 가려는 학생들은 죽도 밥도 안될 가능성도 크다.
 
3. 타분야와의 융합지점에 포지셔닝하는 것이다. 위의 분야 전문성은 업계를 말한다면, 이는 학계를 이야기한다. 사실상 1번 루트를 탈 희망이 보이지 않는 나같은 문돌이 출신 데이터 사이언티스트들이 딱히 2번 루트만으로는 충분치 않아서 택할 수 있는 길인데, 현재 일어나고 있는 바이오와 데이터 사이언스, 파이낸스와 데이터 사이언스의 융합 뿐만 아니라 점점더 문과적인 분야와 데이터 사이언스의 융합들이 일어날 것이다. 그런 부분에서 양쪽의 전문성을 갖춘다면 충분히 경쟁력이 있다고 생각한다. 가끔 가다 1번의 역량을 가지고 있으면서 문과적 소양까지 갖춘 사기케들이 생겨나긴 하지만, 1번 루트를 타는 대다수의 이공계 박사들은 문과적 소양이 부족한 경우가 대부분이다. 문과의 특징은 논리에서의 도약, 즉 단계를 밟아나간 증명이 아니라 어느 즈음에서 직관적으로 건너뛰면서도 그 간극을 연결짓는 능력이 중요한데, 이공계 박사들이 훈련되어온 사고 체계 내에서는 그러한 점프가 불가능하다. 고로 거기에 문돌이들의 니치가 생겨나게 된다. 하지만 장기적으로 문과적 소양 없는 공돌이나, 이공계적 스킬이 없는 문돌이나 둘다 두각을 나타내긴 힘든 시대가 오리라 생각한다.
 
내가 현재 준비하고 있는 것은 2와 3의 어느 간극에 있는데, 보다 3에 가깝다고 생각한다. 아니, 사실 1도 기웃거려 볼 수도 있는 루트를 짜고 있긴 하지만 가능성은 희박하다고 하겠다.
Total 0

Total 175
Number Title Author Date Votes Views
Notice
[공지]뉴욕 재학 및 재직 중 블로그 글입니다
Irealist | 2016.09.11 | Votes 0 | Views 7536
Irealist 2016.09.11 0 7536
129
[2019.10.21]아귀지옥 II
Irealist | 2019.10.21 | Votes 0 | Views 741
Irealist 2019.10.21 0 741
128
[2019.10.20]육아
Irealist | 2019.10.20 | Votes 0 | Views 535
Irealist 2019.10.20 0 535
127
[2019.09.06]홍콩에서 있었던 일 - 8: 룸살롱, 유흥
Irealist | 2019.08.29 | Votes 0 | Views 3807
Irealist 2019.08.29 0 3807
126
[2019.08.27]홍콩에서 있었던 일 - 7: 면담
Irealist | 2019.08.27 | Votes 0 | Views 846
Irealist 2019.08.27 0 846
125
[2019.08.06]CFA
Irealist | 2019.08.06 | Votes 0 | Views 1143
Irealist 2019.08.06 0 1143
124
[2019.07.17]일상
Irealist | 2019.07.17 | Votes 0 | Views 683
Irealist 2019.07.17 0 683
123
[2019.06.04]홍콩에서 있었던 일 - 6: 도덕적 해이
Irealist | 2019.06.04 | Votes 0 | Views 557
Irealist 2019.06.04 0 557
122
[2019.05.19]살아가는 시간
Irealist | 2019.05.19 | Votes 0 | Views 809
Irealist 2019.05.19 0 809
121
[2019.05.04]현재 하고 있는 일들
Irealist | 2019.05.04 | Votes 0 | Views 919
Irealist 2019.05.04 0 919
120
[2019.04.27]재편
Irealist | 2019.04.26 | Votes 0 | Views 542
Irealist 2019.04.26 0 542
119
[2019.03.05]해킹
Irealist | 2019.03.05 | Votes 0 | Views 626
Irealist 2019.03.05 0 626
118
[2019.02.17]데이터 사이언스의 미래
Irealist | 2019.02.18 | Votes 0 | Views 860
Irealist 2019.02.18 0 860
117
[2019.02.08]악의
Irealist | 2019.02.09 | Votes 0 | Views 599
Irealist 2019.02.09 0 599
116
[2019.01.21]홍콩에서 있었던 일 - 5: 내부자 거래
Irealist | 2019.01.22 | Votes 0 | Views 725
Irealist 2019.01.22 0 725
115
[2019.01.04]의식과 인식의 지평
Irealist | 2019.01.04 | Votes 0 | Views 529
Irealist 2019.01.04 0 529