지난 포스팅에서는 데이터 과학을 공부하기에 앞서 선행되어야 할 과목에 대해 알아보았습니다. 이번 포스팅에서는 본격적으로 데이터 사이언스의 공부 방법에 대해 알아보도록 하겠습니다.

1. 데이터 사이언스의 정의

먼저, 데이터 사이언스란 무엇일까요? 아래는 유익한 데이터 사이언스 포스팅이 많은 Toward Data Science라는 사이트에 올라온 도표입니다. 전통적으로 데이터 분석이라함은 컴퓨팅 파워보다는 통계 지식과 해당 분야의 전문 지식이 훨씬 중요한 작업이었습니다.

출처: Toward Data Science

2010년대 들어 이러한 흐름을 바꿔 컴퓨터 과학이 데이터 분석의 필수 요건으로 대두하게 되는 두 가지의 혁신이 일어났는데, 첫째가 데이터의 폭발적인 증가이며, 두번째는 연산 능력의 비약적인 발전이었습니다. 연산 능력의 급격한 증가는 GPU, 즉 그래픽을 처리하기 위한 그래픽 카드의 이용으로 인해 가능해 졌습니다. 코어로 불리는 매우 높은 성능을 가진 프로세서 몇 개를 가진 CPU와는 달리, GPU는 모니터의 수많은 픽셀들의 값을 빠르게 병렬 처리해야 하기 때문에 사칙 연산만 가능한 수준의 저레벨 프로세서를 수백에서 수천개 가지고 있습니다. 공교롭게도 머신 러닝과 딥러닝에서도 선형 대수의 행렬 연산처럼, 단순한 사칙 연산인데 수많은 행과 열에서 수만 번씩 반복 처리되는 연산들이 많습니다. 그리하여 GPU가 데이터 사이언스계에서 전격적으로 사용되기 시작하면서 알고리즘의 계산 속도가 기하급수적으로 빨라졌습니다.

사실 현재 쓰이고 있는 머신러닝, 딥러닝 알고리즘 중 대다수는 20세기에 발명된 것들입니다. 그러나 알고리즘 설계 자체는 이미 있었어도 그 복잡도로 인해 실제 적용하기에는 연산 속도가 비현실적으로 느렸을 뿐만 아니라, 그 알고리즘 복잡도에 상응하는 데이터량을 구하기가 힘들었습니다. 그러나 이제는 연산 속도와 데이터, 두 가지 조건이 맞아떨어지면서 바야흐로 데이터 사이언스의 전성기가 열리게 된 것입니다.

2. 머신 러닝의 알고리즘

마찬가지로 Toward Data Science의 포스팅 중에 머신러닝 알고리즘이 잘 정리된 도표가 아래에 있습니다.

출처: Toward Data Science

머신러닝은 크게 세 가지로 나뉩니다.

• 지도 학습(Supervised Learning): 지도 학습은 모델링하려는 데이터의 실제 정답 데이터(labeled data)도 가지고 있는 경우를 이야기합니다. 예를 들어, 학생들의 언어 영역 점수 데이터 X를 가지고 수리 영역 점수 Y를 예측하려 한다고 가정할 때, 학생들의 실제 수리 영역 점수값들을 알고 있으면 지도 학습을 통해 수리 영역 예측 모델을 만들 수 있습니다. 만약 예측하려는 Y값이 연속적인 숫자일 경우 Regression, 참/거짓 등의 카테고리 값일 경우 Classification이라고 분류합니다.
• 비지도 학습(Unsupervised Learning): 비지도 학습은 X로 Y를 예측 혹은 분류하는 것이 아니라, X만 가지고 있을 경우 그 X만을 분석하여 어떤 그룹으로 나뉘는지 (Clustering), 혹은 X가 고차원의 데이터일 경우 차원을 줄여서(Dimensionality Reduction) 시각화 해본다던지하는 것을 비지도 학습이라고 합니다.
• 강화 학습(Reinforcement Learning): 강화 학습에서는 주어지는 보상에 따라, 어떤 상황에서 어떤 행동을 취하는지가 최선인지를 학습합니다. 얼핏 보면 지도 학습과 닮아 있지만, 강화 학습은 즉각적인 정답 값이 주어지는 것이 아니라 시간 지연(temporal delay)이 있다는 점, 그리고 에이전트가 취하는 행동에 따라 차후 들어오는 데이터의 분포가 바뀐다는 점 등의 여러 가지 난점들이 있습니다. 이에 대해서는 강화 학습편에서 자세히 다루도록 하겠습니다.

데이터 사이언티스트로서 기초적인 부분은 세 가지 모두 알고 있으면 좋지만, 워낙 폭발적으로 연구 결과가 쏟아져 나오고 있는 분야라 세 분야 다 최신 경향을 따라가기는 힘든 실정입니다. 대다수의 데이터 사이언스 실무가 현재는 지도 학습에 한정되어 있으니 먼저 지도 학습을 집중해서 공부를 하고, 비지도 학습의 기본 알고리즘들을 익히며, 곁들여 강화 학습을 공부해보는 것이 가장 현실적인 루트가 아닐까 합니다. (그렇다고 해서 비지도 학습과 강화 학습의 잠재력이 결코 지도 학습보다 작은 것은 아닙니다)

3. 머신러닝 공부

머신러닝 공부는 보통 다음과 같은 순서로 진행하는 것이 일반적입니다.

1. 선행 과목 (이전 포스팅 참조): 미적분, 선형대수, 기초 통계, 코딩
2. 회귀 분석: 참고로 회귀 분석 또한 머신러닝 지도 학습의 범주에 들어가지만, 특히 중요하고 보편적으로 쓰이기에 별도로 공부를 많이 합니다.
3. 머신 러닝: 엄밀히 말하면 이 모든 것이 머신러닝이지만, 여기서 머신 러닝이라 함은 딥러닝과 강화학습을 제외한 지도 학습 / 비지도 학습 알고리즘들을 칭합니다.
4. 딥 러닝: 자연어 처리, 컴퓨터 비전 등이 있습니다.
5. 강화 학습: 실무적인 측면에서 강화 학습은 위의 방식들과는 적용 분야가 방향성이 조금 다른 면이 있습니다. 따라서 강화 학습을 공부한다는 가정하의 학습 순서가 그렇다는 것이지 반드시 딥러닝에 이어지는 커리큘럼은 아닙니다.
6. 기타: 데이터 시각화(Data Visualization)가 은근 배우기 귀찮으면서도 실무에서 많이 쓰이는 파트입니다. Python의 경우 Dash, R의 경우 Shiny를 익혀두시면 많은 도움이 됩니다.

4. 왜 회귀분석을 공부해야 하는가?

혹자는 딥러닝이 대세이고, 딥러닝이 가장 강력한 알고리즘인데, 도대체 왜 철지난 회귀 분석을 공부해야 하냐는 의문을 가지기도 합니다. 이에 대해 조금 더 부연 설명을 하고자 합니다.

출처: Imgflip

먼저, 머신러닝이란 무엇일까요? 기계가 학습한다는 뜻입니다. 무엇을 학습하는가하면, 어떤 특정 모델의 파라미터를 학습하는 것입니다. 단순 회귀 분석의 경우, 우리는 모델의 형태를 Y = aX+b로 정의합니다. 예를 들어, X가 지하철역까지의 거리(km)이고 Y가 집값(억원)이라고 하면, Y = -0.2X + 10의 수식은 지하철역 바로 근처(X=0)의 집은 10억원이고 거기서 1km 떨어질 때마다 2천만원씩 집값이 낮아진다는 의미입니다. 단순 회귀 분석 모델에서 파라미터는 a와 b이고, 기계 학습(Machine Learning)에서 "학습"이라함은 다름아닌 저 a와 b의 가장 알맞은 값이 얼마인지 데이터에서 알아낸다는 뜻입니다.

출처: Wikipedia

단순 회귀 분석 모델 Y = aX + b는, 2차원에서 직선 하나로 된 모델을 학습할 수 있을 뿐이고, 바꿀 수 있는 것은 기울기(a)와 절편(b)뿐입니다. 그러나 여기서 조금 더 복잡한 모델을 설정하면 어떨까요? Y = aX^2 + bX + c 로 설정된 모델을 봅시다. 이 모델의 경우 a = 0으로 둘 수도 있기 때문에, 기존의 직선 형태은 물론이고 U자 혹은 거꾸로된 U자의 모델도 학습할 수가 있습니다. 여기서 파라미터의 숫자가 a, b의 두개에서 a, b, c의 세 개로 늘어난 것에서 알 수 있는데, 파라미터는 쉽게 말해 모델의 자유도라고 생각하시면 됩니다. 파라미터가 늘어나면 늘어날 수록, 모델의 선을 자유자재의 곡선으로 할 수 있는 유연성이 늘어나는 것입니다.

출처: Wikipedia

실제 데이터가 직선이 아니고 구불구불한 곡선일 경우, 회귀 분석만으로는 정확한 모델링을 할 수 없지만 파라미터를 늘려 더욱더 복잡한 모델을 학습시킬 수록 구불구불한 곡선까지도 맞출 수 (fit) 있습니다. 하지만 무조건 복잡한 모델이 좋은 것일까요?

출처: Wikipedia

위의 그래프는 11개의 데이터를 보여줍니다. 검은 선분은 단순한 모델을 학습한 것이고, 파란 곡선은 훨씬 더 파라미터가 많은 복잡한 모델을 학습한 것입니다. 복잡한 모델은 11개의 데이터에 완벽하게 맞춰져 있지만, 과연 이게 좋은 모델일까요? 이 11개의 데이터가 집값이라고 가정할 때, 이미 조사한 11개의 집값에는 완벽히 들어맞지만, 추가적으로 11개의 다른 집값들을 이 모델로 예측해보면 많이 어긋날 것을 알 수 있습니다. 이 파란 선은 이미 가지고 있는 데이터에 과도하게 맞춰져 있다, 오버피팅(overfitting)되어 있다고 합니다. 오버피팅된 모델은 실제로 현실 세계에서 사용하려고 하면 예측 값이 엉망으로 나옵니다.

이 개념을 머신 러닝 분야 용어로는 Bias - Variance Tradeoff 라고 합니다. Bias는 직역하면 선입견인데, 직관적으로 생각할 때 특정된 모델이 데이터에 대해 가지고 있는 가정이 얼마나 강한가입니다. Y = aX + b의 모델의 경우, X와 Y의 관계가 선형(linear)이라는, 아주 센 가정을 하고 있습니다. Variance는 데이터에 따라 파라미터 값이 얼마나 불안정한지를 나타내주는 지표입니다. 위 그래프를 예로 들어, 새로운 집값 데이터 11개를 추가로 조사한다고 하여 모델을 학습시킨다고 가정해 봅시다. 검은 선의 모델의 경우 또 다른 11개에 맞춰 본다 해도 기울기(a)와 절편(b)의 파라미터가 이전의 11개 데이터에 학습한 값에 비해 크게 변하지는 않을 것입니다. 그러나 파란 선의 모델의 경우 다른 11개의 데이터를 샘플링한다면, 그 새로운 데이터에 맞춰 저 구불구불한 곡선들과 그에 상응하는 파라미터 값들이 엄청 달라질 것입니다. 좋은 모델은 Bias도 적고 Variance도 적은 모델이겠지만, 둘다 줄이는 방법은 데이터를 더 모으는 방법밖에 없습니다. 세상사에는 자유를 가지면 그에 따른 책임도 따르기 마련이듯이, 이미 주어진 데이터 하에서 Bias를 줄이려면 Variance가 늘어나고, 그 반대도 마찬가지기 때문에 서로가 상충된다(Tradeoff)고 합니다.

이러한 관점에서 볼 때, 회귀 분석은 Bias가 높고 Variance가 낮은 모델에 속하고, 딥러닝은 Bias가 낮고 Variance는 낮지 않은 모델에 속합니다. 알고리즘들을 이 Bias Variance 프로필에 따라 줄세우면 둘은 거의 양극단에 있다고 해도 무방합니다. (엄밀히 말하면 회귀 분석도 극도로 단순화된 딥러닝이라고 주장할 수도 있지만, 여기서 딥러닝은 흔히 말하는 다층 신경망을 말합니다) 어떤 경우에 어떤 모델을 사용해야 할까요? 깊게 들어가면 한도끝도 없지만, 쉽게 생각해서 데이터가 많으면 많을수록 딥러닝처럼 파라미터가 많고 유연한 모델을 사용할 수 있습니다.

가장 단순한 Y = aX의 모델은 학습해야할 파라미터가 a밖에 없습니다. 무조건 (0, 0)을 지나는 직선밖에 학습할 수 없고, 어떤 데이터에 대한 최적의 a를 구하기 위해서는 단 1개의 점이면 충분합니다. 그 1개의 데이터가 (2, 7)이라고 한다면 그 선은 (2, 7)과 (0, 0)을 지나는 Y = 3.5X가 될 것입니다. 조금 더 복잡한 Y = aX + b의 모델은 학습해야 할 파라미터가 2개이고, 이제는 (2, 7) 하나만 가지고는 이 점을 지나가는 Y = aX + b 형태의 직선이 무수히 많기 때문에 최적의 파라미터를 정할 수가 없습니다. 그래서 최소한 2개의 데이터가 필요합니다. Y = aX^2 + bX + c의 경우에는 최소한 3개의 데이터가 있어야 하지요. 통계학에서 자유도(degrees of freedom)라고 불리는 개념과 관련되어 있는데, 직관적으로 요약하면 배워야할 파라미터가 많을수록 데이터도 그에 상응하게 많아야한다는 것입니다.

Source: Reddit
(딥러닝이 만병통치약이라고 과도하게 찬양하는 사람이 있다면 의심해 보시기 바랍니다)

딥러닝은 아직 이론적으로 활발히 연구가 진행되고 있는 분야라 정확한 수치는 없지만, 흔히들 딥러닝 알고리즘을 사용하기 위해서 필요한 최소한의 데이터 숫자는 1만개라고 합니다. 그러나 실무에서 여러 가지 프로젝트를 진행하다보면 1만개 이상의 데이터가 없는 케이스도 숱하게 많습니다. 그런 소규모의 데이터를 가지고 모델링을 할 경우 사용할 수 있는 적합한 툴 중 하나가 바로 회귀 분석입니다. 딥러닝은 마치 코끼리를 잡는 칼이라고 할 수 있습니다. 닭을 잡는데 코끼리를 잡는 칼을 쓴다면 오늘 치맥은 없는 것입니다.

5. 데이터 사이언스 학습 사이트 정리

아래는 필자가 데이터 사이언스를 공부하면서 참고했던 사이트들입니다.

• Coursera.org: 머신러닝계의 슈퍼스타, 스탠포드의 앤드류 응 교수님께서 창업한 사이트입니다. 숱하게 좋은 온라인 강의들이 있으며 그 중 앤드류 응 교수님께서 직접 가르치신 머신러닝 수업과 딥러닝 수업은 이 분야의 정석책과 같은 존재입니다. 참고로, 강의들이 유료이지만 자세히 찾아보시면 청강(Audit) 옵션을 찾을 수 있습니다.
  
  • 앤드류 응 교수 머신러닝 수업
  • 앤드류 응 교수 딥러닝 수업 시리즈
• edX.org: 코세라와 비슷한 사이트인데, 여러 대학들과 협연을 맺고 Micromasters라는 프로그램을 운영하고 있습니다. 이 Micromasters는 수료증같은 느낌인데, 어떤 대학의 edX 수업을 몇 개 듣게 되면 향후 그 대학의 석사를 갔을 때 일정 학점을 면제해주는 식입니다. 예를 들어 콜럼비아 대학의 AI Micromasters 프로그램의 경우, 4개의 edX 수업을 $1200 가량을 내고 수료하면, 콜럼비아 컴퓨터 과학 석사에 진학하게 되면 졸업 요건인 30학점 중 7.5학점을 면제해주는데, 콜럼비아 학비가 학점당 $2000이상이니 거의 $15000를 면제받는 셈입니다.
• Udemy.com: 위의 두 사이트가 대학이나 기관에서 제작한 수업들이라면, Udemy는 아무나 본인의 강좌를 업로드할 수 있는 플랫폼입니다. 장점은 거의 모든 수업이 만원 정도로 쌉니다. 수업의 질은 위의 두 사이트에 비해 떨어지는 편이지만, 워낙 숱하게 많은 강좌들이 있어 천차만별이라, 좋은 강의들도 다수 포진해 있습니다.
• Udacity.com: 유다시티는 플랫폼이 아니라 그 자체가 학원과 같은 업체로, 여러 가지 Nanodegree 프로그램을 운영하고 있습니다. 필자도 여러 개를 들어보았는데, 솔직한 후기로는 인터페이스는 좋은데 언제나 가성비가 좋지 않다는 기분이 듭니다. Nanodegree 자체도 크게 이력서에 도움이 되지도 않기 때문에, 코세라나 edX를 추천하는 편입니다.
• Lynda.com: 취업계의 페이스북이라 할 수 있는 링크드인(Linkedin)에서 운영하는 온라인 강의 플랫폼입니다.
• Datacamp.com: 월 25달러 정도의 가격으로 여러 데이터 사이언스 수업들을 들을 수 있습니다. 위의 사이트들이 플랫폼이라면, 이 사이트는 이 사이트의 컨텐츠만 올라오는 온라인 학원 느낌입니다. 직접 들어본 적이 없어 수업의 질은 어떠한지 모르지만, 아주 초창기에 파이썬 투토리얼을 유익하게 봤던 기억이 납니다.
• Kaggle.com: 데이터 사이언스 관련 대회들이 올라오는 사이트입니다. 머신러닝, 딥러닝을 재미있게 공부하려면 이만한 사이트가 없다고 해도 과언이 아닙니다. 대회별 게시판도 많이 활성화되어 있고, 토론 게시판 점수 랭킹 제도도 있어서 많은 사람들이 본인의 모델을 게시판에 포스팅하고 친절히 설명도 하기 때문에 캐글 대회 몇 번 참가하게 되면 얻는 것이 정말 많을 것입니다.
• Fast.ai: 제레미 하워드라는 캐글 성적으로 유명한 사람이 운영하는 사이트입니다. 이곳에서 제러미 하워드가 직접 강연한 머신러닝과 딥러닝 강의를 무료로 들을 수 있습니다. 다만, 앤드류 응 교수님의 수업이 매우 기초적인 것부터 차근차근 배운다면, 제러미 하워드 수업은 일단 실전 적용부터 돌려보는 것부터 시작해서 점차적으로 이론으로 넘어갑니다. FastAI라는 딥러닝 라이브러리도 자체적으로 개발해서, 이 라이브러리를 많이 사용하기 때문에 처음 배우시는 분들께는 추천하지 않습니다.
• AICrowd.com: 캐글과 비슷한 대회 사이트인데 캐글의 경우 딥러닝 관련 대회가 많은 반면 여기서는 조금 더 강화학습에 관련된 대회들이 올라옵니다.

6. 데이터 사이언스 석사 과정

데이터 사이언스를 하기 위해서 꼭 석사가 필요한 것은 아닙니다. 그러나 이 분야는 수요가 많은 만큼 공급도 많기 때문에 학위가 취업 전선에서는 큰 역할을 합니다.

• 오프라인 석사: 만약 오프라인으로 풀타임 석사를 생각하시는 분들은 큰 투자인만큼 직접 오프라인 프로그램을 하나하나 비교해보시길 권장합니다. 최근 3년 간 데이터 사이언스학과는 우후죽순처럼 많이 생겨나서 비교가 불가능한 면이 있는데, 일반적으로 컴퓨터 사이언스 학과가 좋은 대학이 데이터 사이언스 학과도 좋을 것으로 생각됩니다.
• 조지아텍 컴퓨터 사이언스 석사: OMSCS라고 불리는 프로그램으로 여러 모로 장점이 많습니다. 대부분의 수업들이 Udacity 사이트에 들어가면 무료로 청강 가능합니다.
  
  • 장점1: 수업의 질이 좋습니다. 사실 오프라인 석사를 할 때, 훌륭한 교수님께 수업을 들으면 얼마나 좋을까 싶지만 해당 분야에서 뛰어난 교수님들 중 많은 분들이 리서치에 관심이 있지 가르치는 것에는 큰 관심이 없는 케이스가 많습니다. 그리고 똑똑한 사람이 항상 잘 가르치는 것은 아니라는 부분도 있습니다. 그런 점에서 미뤄볼 때, 조지아텍 프로그램은 교수님들이 매번 라이브 강의를 해야하는 것이 아니라 단 한번의 녹화를 하기 때문에, 녹화할 때 신경써서 녹화하는 경향이 있습니다. 또한 인터페이스가 잘 갖춰진 Udacity와 협업했기 때문에 인터페이스도 좋습니다. 사람마다 호불호가 있겠지만, 저는 개인적으로 칠판에 적는 교수님보다는 여러 가지 그래픽으로 갖춰진 영상을 보는 것을 훨씬 선호합니다. 2)
  • 장점2: 가격이 졸업까지 $7000밖에 하지 않습니다. 다른 미국 석사들이 5만달러에서 9만달러까지 하는 것을 감안하면, 그 10분의 1 가격에 석사를 할 수 있고 졸업장도 오프라인과 동일하게 나옵니다. 그리고 조지아텍 컴퓨터 학과는 미국에서 8위 정도 됩니다.
  • 단점: 학생이 수천 명에 달하고 그에 상응해서 TA도 많지만, 일반적인 석사에서의 그런 커뮤니케이션을 기대하기는 힘듭니다. 또한 워낙 많은 학생들을 배출하기 때문에 석사 졸업장의 가치가 희석되고 있다는 평도 있습니다.
• Coursera 석사: 최근 Coursera에서 대학들과 협업하여 석사를 내놓기 시작했습니다. 미시간대, 일리노이대 등이 있고, 가격은 조지아텍보다는 비싼 15000~20000불선으로 생각됩니다. 아직 초창기 프로그램들인데, 이런 실험적 프로그램들의 경우 3년은 지나야 괜찮아 지는 것 같으니 참고하시기 바랍니다.
• edX: 위에서 언급했듯이 edX에서 Micromasters를 하고 해당 대학 석사를 가는 것도 돈을 절약하는데 탁월한 선택이라고 생각합니다. 또한 edX도 코세라와 마찬가지로 대학과 협업한 석사 프로그램을 내놓기 시작했습니다.
• 스탠포드 온라인 석사: 스탠포드에서도 온라인 석사를 제공하는데, 이는 조지아텍이나 Coursera 석사와는 달리, 정말 오프라인 석사 수업과 동일한데 비디오로 수업에 참여하는 방식입니다. 장점으로는 교수가 해당 학기에 실시간으로 가르치는 걸 볼 수 있다는 점, 학위가 온라인 석사가 아닌 오프라인 석사 학위로 나온다는 점, 뭐니뭐니해도 컴퓨터 학과 1위라는 점이 있고, 단점으로는 거의 8만불에 달하는 비싼 학비가 있습니다. 스탠포드 강의 중에 대중에 공개된 강의 리스트는 여기에 있습니다.
• Columbia 온라인 석사: 스탠포드와 마찬가지입니다. 학비도 7만불 가까이 드는데, 수업의 질은 스탠포드가 살짝 앞선다고 평가됩니다.
• 버클리 온라인 석사: 버클리에도 데이터 사이언스 온라인 석사가 있는데, 너무 쉽다는 평이 많고, 이 석사도 6만불 가까이 듭니다. 사실 스탠포드, 콜럼비아, 버클리 온라인 석사의 경우 가격이 오프라인 석사와 동일하기 때문에, 회사에서 지원해주지 않는 한 가성비면에서 추천하지 않습니다.

이상 데이터 사이언스를 공부하는데 있어 전체적인 구도와 유용한 사이트들을 정리해 보았습니다. 다음 포스팅에서부터는 조금 더 세부적으로 들어가보도록 하겠습니다.