아직까지 머신러닝, 딥러닝, 인공지능 같은 단어들이 보고서를 통과시켜주는 마법의 단어인 2류 시장 대한민국과 달리, 미국, 서유럽에서는 이런 계산과학 방법론을 다른 학문들이 어떻게 받아들여야하는지 이미 한번의 웨이브가 지나가고, 어떤 방식으로 쓰는게 합리적인지 내부 토론으로 정리가 되어 있다.

출신이 경제학이라 석사 이후로 발을 뺀지 오래되었음에도 불구하고 습관처럼 유명한 경제학자들 웹페이지에 올라온 Working paper나 기고를 훑어보는데, 오늘은 경제학에서 ML 방법론을 어떻게 받아들이고 쓰고 있는지에 대한 정리글을 소개한다.

Machine Learning Methods Economists Should Know About

참고로 원 글의 저자는 Stanford 경제학 교수 2명이고, 글이 외부에 공개된 시점은 2019년 3월이다. (대략 2017-2018년에 이미 논의가 정리되었었다고 봐도 된다.) - 글 링크

Model-based vs. Algorithmic Approach

기존의 통계 모델링을 하는 사람들이 대체로 Model-based 접근을 하는 반면, 계산과학을 하는 사람들(중 일부)은/는 모델을 못 정하고 시작해도 Algorithm이 데이터 속의 관계를 찾아내줄 수 있다는 관점을 갖고 데이터에 접근한다.

어느 쪽이건 실제 데이터가 갖고 있는 숨겨진 구조를 찾아내고, 그 구조를 미래 예측이나 자신의 문제를 해결하는 용도로 쓰려고 한다는 "Listen to Data"라는 최종 목적지는 동일하지만, 출발점을 어디로 두느냐가 다를 뿐이다.

그간 파비클래스 강의에서부터 여러 경로로 꾸준히 반복해왔던 말이기도 한데, 데이터의 실제 구조를 어느 정도 예측할 수 있다면, 계산비용을 과다하게 지불하면서 적절한 모델을 찾아줄 것이라는 막연한 기대를 갖고 접근할 필요없이, 알고 있는 모델을 바탕으로 데이터를 활용하면 된다.

가장 단순한 계산이 OLS 같은 선형 계산법이고, 그 외에도 데이터의 분포함수를 알고 있다면 쓸 수 있는 Maximum Likelihood Estimation (MLE), 혹은 데이터가 반드시 충족해야하는 Expectation (ex. E(x) = 1)을 활용하는 Method of Moments Estimation (MME) 등의 계산법이 있다.

데이터가 정규 분포를 따르고 있지 않으면 OLS = MLE가 깨지면서 MLE가 우월한 계산법이 되고, 데이터의 입력 변수가 2개 이상일 경우에 (Decision Theory 논리에 따르면) 일반적으로 MME가 OLS보다 우월한 계산법이다.

그런데, 데이터의 분포함수도 모르고, Expectation도 확신이 없다면?

그렇다고 데이터 속에 Endogeneity 같은, 반드시 IV 등을 이용한 데이터 전처리가 굳이 필요없는 데이터를 모았는데, 그 데이터 속에서 패턴을 찾아내야한다면? 그 관계가 선형 구조가 아닐 것이라는 매우 강한 확신이 있다면? (ex. 이미지 인식, 자연어 처리)

이 때 Algorithmic approach가 엄청난 파워를 발휘할 수 있다.

기존의 OLS, MLE, MME 등의 통계학 계산법들이 못 찾아냈던 패턴을 찾아내주니까.

통계학에서는 "Need to move away from exclusive dependence on data models, and adopt a more diverse set of tools"라는 표현으로 Algorithmic approach를 반긴다.

단, 언제 쓴다? "Listen to Data"를 해야되니까, Data의 구조상 Algorithmic approach가 필요한 경우에만!

(데이터만 있으면 무조건 Algorithmic approach 중 가장 많이 알려진 Deep Neural Net만 쓴다는 사람들에게 바치는 문장이다.)

 

왜 경제학계에서는 Algorithmic approach를 안 or 늦게 받아들였나?

첫째, 경제학, 특히 계량경제학 하는 사람들은 수학적인 Formal Property를 너무 좋아한다. 수학적으로 딱 떨어지는 결과, ex. consistency, efficiency, normality, 값이 없으면 그 논문은 발표 자리에 한번 나갈 기회 얻기가 힘들다. ML 쪽에서 DNN이 항상, 언제나, 무조건 Random forest보다 우월하다는 증명이 가능할까? 아직까지 된 적도 없고, Empirical test는 안 된다는 걸 보여주고, 무엇보다 어느 모델이 다른 모델보다 Universal하게 우월할 수 없다는, 데이터에 따라 적절한 모델은 달라질 수 밖에 없다는 인식은 ML 연구자들이 공통적으로 갖고 있는 인식이다. (비전문가인 국내 개발자 집단만 DNN이 무조건 제일 좋은 줄 안다.) 그러니까 더더욱 Formal Property 좋아하는 사람들이 싫어하겠지.

둘째, 결과값의 정확도를 검증하는 방법이 1차원적이기 때문이다. 통계학 방법론들은 분산을 찾고, t-test를 위시한 평균-분산 구조에서 결과값의 검증이 가능하다. 1st moment인 평균만 쓰는게 아니라, 2nd moment인 분산까지 쓰니까, 분포함수가 정규분포라면 확정적인 결론을 얻을 수 있고, 그 외의 데이터라고해도 해당 분포함수 기반의 t-test 값이 있다면 신뢰구간에 대해 높은 확신을 가질 수 있다. 반면, ML 방법론들로는 분산을 찾는다는게 수만번 비슷한 계산을 돌려서 각각 다른 1st moment가 나오는걸 보는 방법 이외에 달리 합리적으로 분산을 얻어낼 수가 없다. 그러니까 training set, test set으로 데이터를 분리한 다음, test set에서의 정확도를 쳐다보는, 신뢰구간을 구할 수 없는 계산법에 의존하는 것이다. 이쪽에서는 Beta hat을 구하는게 아니라 Y hat을 구하고, Y hat과 실제값의 차이만 본다. 상황이 이렇다보니, 결과값의 Robustness에 논문 쓰는 능력을 검증받는 경제학계에서 ML 방법론을 쓴다는 것은, 자신의 논문이 Robustness 검증을 안 했다는 걸 스스로 인정하는 꼴이 되기 때문에, ML 방법론을 알아도 쓸 수가 없는 것이다.

셋째 이후는 배경 지식이 좀 (많이) 필요한 관계로 글 마지막에 추가한다.

약간 개인 의견을 추가하면, Algorithmic approach 중 하나로 활용 가능한 Network theory를 이용해 연구를 하던 무렵 (Network은 행렬로 정리했을 때 같은 Network이어도 눈에 보이는 Representation은 얼마든지 달라질 수 있다 - Isomorphism 참조), 이런 Network이 얼마나 Robust한 설명인지를 따지려면 여러가지 경우의 수를 놓고 봐야할텐데, 모델이 완전히 달라질 것 같고, 아니면 아예 못 푸는 문제가 될 것 같은데, 과연 논문을 Publish하는게 가능하겠냐는 우려 섞인 걱정을 해준 분이 있었을 정도였다.

요즘 DNN에서 Node-Link 구조가 조금만 바뀌어도 모델이 완전히 바뀌는데, 거기다 데이터만 바뀌어도 Link값들이 크게 변하는데 과연 믿고 쓸 수 있느냐는 질문이 나오는데, 이런 질문이 1990년대 후반, 2000년대 초반에 Neural Network에 Boltzmann 스타일의 Gibbs sampling + Factor Analysis 접근이 시도되었을 때도 나왔던 질문이다. 현재까지 Boltzmann 구조보다 더 효과적인 Network의 Layer간 Link 값 계산을 정리해주는 계산법이 없으니 현재도 유효한 질문이고, 사실 Network이라는 구조 그 자체가 이런 "코에 붙이면 코걸이, 귀에 붙이면 귀걸이"라는 반박을 이겨내기 힘든 구조를 갖고 있기도 하다.

 

Ensemble Methods vs. Model Averaging

무조건 Algorithmic approach를 피했던 것은 아니고, 실제로 Algorithmic approach라고 생각하는 계산법들을 경제학계에서 이용한 사례도 많다. 대표적인 경우가 ML에서 쓰는 Ensemble 모델과 경제학에서 흔히 쓰는 Model Averaging 방법이다.

예를 들어, Random Forest, Neural Network, LASSO를 결합하는 Stacking 계열의 Ensemble을 진행한다고 생각해보자. 이걸 Model Averaging이 익숙한 계량경제학의 관점으로 다시 표현하면,

$latex (\hat{p}^{RF}, \hat{p}^{NN}, \hat{p}^{LASSO}) = \underset{p^{RF},p^{NN}, p^{LASSO}} {\text{arg min}} \sum_{i=1}^{N^{test}} (Y_i - p^{RF} \hat{Y}_i^{RF} - p^{NN} \hat{Y}_i^{NN} - p^{LASSO} \hat{Y}_i^{LASSO})^2 \\ \\  \text{subject to } p^{RF} + p^{NN} + p^{LASSO} = 1, \text{  and } p^{RF}, p^{NN}, p^{LASSO} \geq 0 $

이라고 쓸 수 있다.

원래의 Y값을 가장 잘 설명하는 모델을 찾고 싶은데, 3개 모델의 가중치 합계가 1이 된다는 조건 (& 양수 조건) 아래, 셋 중 어떤 모델을 써서 오차를 최소화하는지에 맞춘 최적화 계산을 하는 것이다.

(아마 일반 유저들이 활용하는 Stacking Library도 위의 방식으로 최적화 계산이 돌아가고 있을 것이다.)

단순히 위의 3개 ML 계산법 뿐만 아니라, MLE, MME, OLS 등등의 통계학 계산법을 활용할 수도 있고, 어떤 계산법이건 합리적이라고 판단되는 계산법들을 모아서 Model Averaging을 하고 있으면, Ensemble과 이론적으로, 실제로도 동일한 계산이 된다.

단, 합리적이라고 판단할 수 있는 계산이 경제학에서는 Bias-Variance trade off를 놓고 볼 때, Bias가 없는 쪽만 따지는게 아니라, Confidence interval (또는 Inference)도 중요하게 생각하는 반면, ML에서는 분산 값 자체가 없으니까 철저하게 Out-of-sample performance, 즉 Bias가 없는 쪽에만 집중한다.

그래서 Stacking 또는 Model Averaging에 넣는 후보 계산법들도 달라질 수 있고, 결과값의 Inference에 대한 요구치도 다르다.

독자들의 이해를 돕기 위해 약간의 개인 견해를 덧붙이면, 선거 여론조사 여러개를 평균해서 가장 실제에 가까운 값을 찾는다고 했을 때, ML 방법론을 쓰는 사람들은 1,000명이건, 500명이건, 10,000명이건, 몇 명에게 물었건 상관없이 평균값 = 실제값으로 일단 가정하고, 그 값 근처에 있는 여론조사를 우선 갖다 쓰고, 틀렸으면 다른 여론조사로 갈아 끼운다는 관점이라고 볼 수 있다. 반면 경제학 방법론을 쓰는 사람들은 500명이면 분산이 너무 크기 때문에, 분산이 큰 경우에는 가중치를 낮게 주고, 분산이 작은 경우에 가중치를 높게 준 다음 가중 평균을 해서 기대값을 구하고, 그 때 +- x.y% 라는 신뢰구간을 꼭 붙여야된다고 생각하는 것이다.

어차피 신뢰구간 그거 누가보는거냐고 생각할 수도 있고, 신뢰구간이 +- 20% 이렇게 터무니없게 나오면, 아무리 여러 여론조사를 모아서 평균값을 썼다고해도, 그 숫자를 누가 믿고 선거 결과 예측에 쓰냐는 반박을 할 수도 있다.

파비클래스 수업 시간에도 항상 강조하는 내용이지만, Ensemble / Stacking / Model Averaging 그 어떤 단어를 쓰건 상관없이, 기본 모델 N개를 결합할 때는 계산의 오차 (Bias)가 작은 경우만 집중할게 아니라, 믿을 수 있냐 (Variance)는 질문에 답이 나오는 모델들을 결합해야 된다고 지적한다. 이름을 어떻게 붙여서 어느 학문에서 쓰고 있건 상관없이, 수학적인 Property는 어차피 같은데, 결과값을 내가 쓸 수 있느냐 없느냐가 바로 "Listen to Data"를 제대로 했는지 아닌지에 따라 결정되기 때문이다. 모델의 Variance가 크다는 말은 Listen to Data를 하지 않은 모델이라는 뜻이니까. (혹은 너무 샘플 데이터만 곧이곧대로 믿었다는 이야기니까.)

 

Decision Tree vs. Regression Tree

ML 계산법을 처음 보는 사람들은 Decision Tree라는게 Regression보다 압도적으로 우월한 계산 아니냐는 질문을 하는 경우가 종종 있다. 근데, 기본형 Tree도, 확장버전인 Random Forest도 모두 UC Berkeley 통계학자가 1984년, 2001년에 쓴 논문에 정리되어 있는 계산법들이다. 정리되기 오래 전부터 이미 다들 알고 있는 계산법이기도 했고.

위에서 보듯이, Regression에 기반한 모델을 여러개 Regression으로 구분하도록 구간별 평균값을 다르게 잡는게 Regression tree의 시작점이다.

역시 파비클래스 강의에서 계속 설명해왔던 내용인데, 여러 구간에 나눠서 Regression하는게 의미가 있는 경우(ex. 약에 반응하는 몸무게 구간이 여러개 나뉘어 있다는 가정)에만 Tree 계열의 모델이 의미가 있다. 예를 들어, c보다 작은 구간에서는 Regression이 별로 효과가 없는 반면, c보다 큰 구간에서는 Regression으로 특정 변수간 유의미한 관계가 두드러지게 나타날 수 있다.

Decision Tree라고 외부에 알려진 모델은 Y와 Y평균값 차이를 1개 변수에 한정해서 여러 스텝으로 반복하고, 구간을 나눌 때 0/1 형태로 구분하는 Step function을 Kernel로 활용하는 Regression Tree의 특수형태 중 하나다. 일반적으로 Regression Tree라는 명칭은 1 -> N개 변수에 대응할 수 있는 일반형 Tree 모델을 오랫동안 통계학에서 불러왔던 명칭이다. (참고로 이 모델을 중첩형으로 쌓으면 Neural Network가 된다)

위의 식에 Alpha값이라는 모델별 가중치에서 보듯이, Random Forest란 그런 여러 Tree 모델들에 각각 얼마만큼의 가중치를 배분해주느냐, 그래서 Stacking을 어떻게 하느냐는 계산이다. 차이가 있다면, Tree가 진화하는 구조 속에 데이터에서 알려주는대로 가중치를 나눠 배분하면서 구간을 쪼개가기 때문에, 좀 더 복잡한 구조를 가진 데이터일 경우에 적합한 모델을 얻을 가능성이 높아진다.

이해도를 높이기 위해 복잡한 구조를 가진 데이터의 예시를 하나만 들어보자. 몸무게 특정 구간 A, B, C, D, E 그룹 중 B와 D 그룹에서만 반응하는 약물이라고 생각하면, A, C, E 그룹과 데이터가 혼재된 상태에서의 Regression보다 구간을 여럿으로 쪼갤 수 있는 Tree가 더 효율적인 계산이고, 그런 구조가 단순히 몸무게 하나에서만 나타나는게 아니라, 키, 팔 길이, 다리 길이 등등의 다양한 신체 구성 요소의 범위에 제각각으로 영향을 받는다면, 이걸 Regression 하나로 찾아낸다는 것은 데이터 구조에 맞지 않는 계산이다. Tree로 모델을 만들고, 다양한 샘플에서 비슷하게 계속 맞아들어갈 수 있는 모델을 찾겠다면, Decision Tree 하나만 찾고 끝나는게 아니라, Random Forest를 이용해 여러 모델을 Model averaging하는게 적절한 계산법이다.

결론이 팔 길이 40cm - 45cm, 다리 길이 80cm - 85cm, 키 175cm - 180cm 구간과 각 값이 20%씩 더 뛴 구간에서만 약물이 효과가 있고, 그 외에 나머지 구간에서는 아예 효과가 없다면? 각 값이 10% 작은 구간과 10% 큰 구간에서는 아무런 효과가 없었다면? 일반적인 Regression은 그 약물이 그다지 효과가 없다고 결론 내리겠지만, Regression을 Tree를 이용해 구간으로 나눠보면 위의 특정 2개 구간에서만 두드러진 효과가 있음을 좀 더 쉽게 찾아낼 수 있다.

이런 구간별 효과는 Monotonic increase/decrease를 가정하는 기존 Regression 모델로 풀어내는데 한계가 있으니, 구간을 하나하나 다 뒤져보겠다는 관점에서 Algorithmic approach를 통해 (More specifically, Tree 모델을 통해) 그런 구간을 찾아낼 수 있도록 컴퓨터에 의존하는 것이다. (다만 Monotonic이 깨지는 경우가 그렇게 일반적이지는 않다. 팔 길이가 40cm, 50cm, 60cm +-1cm 인 구간에서만 효과가 있고, 나머지 팔 길이에서는 효과가 없는 약물이 과연 얼마나 될까?)

 

Neural Network vs. Factor Analysis

K개의 변수 X가 있다고 가정해보자. 그 중 실제로 숨겨진 변수 (Latent / Unobserved variable)인 Z는 총 K_1개가 있다고 하면,

Sigmoid 함수를 Kernel, 또는 (ML쪽 용어로) Activation Function으로 쓴다고 했을 때, 첫번째 Hidden Layer를 바로 위의 식으로 정리할 수 있다.

위에서 Beta는 ML에서 이야기하는 가중치이고, g(.)는 Activation function, K는 입력하는 변수의 숫자, K_1은 Node의 숫자, Z는 숨겨진 변수, epsilon은 회귀분석에서 말하는 오차항이다.

같은 논리로 Hidden Layer 1에서 Hidden Layer 2로 가는 식을 세울 수도 있다.

이런 식이 반복되는 구조가 Neural Network로 알려진 계산법인데, 파비클래스에서 설명해왔던대로, Activation Function을 단순 선형 함수로 쓰는 경우는 Linear Factor Analysis이고, 비선형 함수를 쓰는 경우는 Non-linear Factor Analysis이다. Factor Analysis와 동치인 이유는 Hidden Layer라고 부르는 곳에 있는 Node가 모두 숨겨진 변수 (Latent / Unobserved variable)이라는, 전형적인 Factor Analysis 계산의 결과값이기 때문이다. 숨겨진 변수를 정확하게 특정할 수 없기 때문에, FA 계산은 많은 경우에 "코에 걸면 코걸이, 귀에 걸면 귀걸이"라는 비난을 받는다. 글 앞 부분에 Network 모델이 가진 한계를 지적하던 부분과 일맥 상통한다.

정규분포의 합과 차는 정규분포이기 때문에, 입력 데이터가 정규분포인 경우에 출력값도 정규분포라고 가정한다면, 단순한 Linear Factor Analysis로 충분한 계산이다. 말을 바꾸면, Neural Network라는 계산이 필요한 데이터 프로세스는 입,출력 데이터가 모두 정규분포가 아닌 경우에 제한된다. Non-linear Factor Analysis가 필요하다는 뜻이기 때문이다.

같은 맥락에서 Deep Neural Network가 필요한 경우는, 여러번의 Factor Analysis가 반복되어야 하는 계산인 경우인데, 위의 정규분포 -> 정규분포 구조에서는 의미가 없다. 정규분포의 합과 차는 계속해서 정규분포를 결과값으로 내보낼 것이기 때문이다. DNN이라는 계산법이, 데이터가 위상구조를 띄고 있어서 Factor를 단번에 찾아내는게 어려운 구조, 그래서 여러 번의 Factor Analysis를 반복해서 위상구조의 깊숙한 곳을 찾아가야 원하는 데이터의 숨겨진 구조를 찾아낼 수 있는 경우에만 필요한 계산법이라는 것이 바로 이런 맥락이다.

 

경제학에서 Algorithmic approach를 안 쓴 셋째, 넷째 이유

위의 지식이 갖춰졌으니 경제학계에서 Algorithmic approach를 왜 안 다뤘을까에 대한 이유를 추가하면,

셋째, 경제학의 많은 데이터들이 Non-linear 패턴이나 구간별 효과값이 다른 경우가 거의 없기 때문이었다. 대부분의 X -> Y 관계는 Monotonic increase/decrease 관계를 갖고 있고, 그 패턴이 Non-linear하다고해도 Log값 기준으로 변화율간 관계, 특정 구간 (Equilibrium 근처)에서의 움직임을 보고 있으면 non-linearity가 대부분 제거된 구조를 보는 경우가 대부분이다. 위에서 보듯이, 대부분의 ML 방법론들이 기존의 통계학을 "단순히 다르게" 쓰는 계산법들이라 계량경제학을 하는 사람들이 몰랐을리가 없었음에도 불구하고 이용하지 않았던 가장 궁극적인 이유다. 필요가 없었으니까. 다루는 데이터가 달라지거나, 목적이 달라지는 경우에만 눈을 돌리겠지.

넷째, 사회과학 데이터는 Endogeneity가 있는 경우가 많기 때문에, Simultaneity, Mis-specification, Measurement error 등등을 다뤄주거나, Time series에서 Endogeneity 같은 모델 구조적인 문제가 아니어도 Noise를 제거해줘야하는 경우를 먼저 고민한다. 일단 알려진 or 짐작할 수 있는 문제를 제거하지 않고 데이터 작업에 들어가면 학자 자격을 의심 받는다. 반면, Algorithm approach는 그런 데이터 전처리를 깊게 고민하지 않고도 데이터 속의 패턴을 찾아낼 수 있다는 관점에서 활용되는 계산법인데, 데이터에 Endogeneity를 비롯한 모델 구조적인 문제 및 각종 Noise를 제거하지 않고 무작정 Algorithmic approach에만 기대봐야 원하는 값을 찾을 수도 없고, 우연히 찾아낸다고 해도 우연일 뿐이지, 계속 반복적으로 쓸 수는 없는, 즉 학문적 가치, 아니 지식의 가치가 없다고 판단하기 때문이다.

실제로 경제학자들이 모인 연구소에 ML, DL, RL 같은 Algorithm approach를 IT학원처럼 코드만 주워담는게 아니라, 제대로 수학적으로 빌드해서 강의하면,

에이~ 그걸 어떻게 써~

라는 말이 먼저 나온다. Noise 데이터에서 Noise를 제거하지 않고 Pattern을 찾을 수 있다는 "Algorithm approach"가 "사기"라는걸 바로 인지했기 때문에 즉, 사회과학 데이터에는 "틀린" 접근이라는걸 바로 인지하기 때문이다. Noise가 없고, 인과 관계 및 데이터 구조에 모델 구조적인 문제가 없는 데이터, 그런 고민 자체가 필요없는 데이터, 즉 이미지 인식, 자연어 처리 등등, Algorithm approach가 맞는 데이터에만 써야하는데, 그걸 모든 영역에 다 쓸 수 있다고 주장하는 국내 몇몇 공학도들의 우물 안 개구리 같은 모습을 경제학자들이 어떤 눈으로 볼지 충분히 이해되지 않나?

 

나가며 - ML방법론이 하늘에서 떨어진 방법론이 아니다

이 정도면 링크 건 Summary paper의 약 1/3 정도를 다룬 것 같다. 위의 설명이 어느 정도 길잡이가 됐을테니, 이해하는 독자 분들은 나머지 부분도 링크의 논문을 직접 읽고 이해할 수 있을 것이다. SIAI의 학부 고학년 수준 과목인 Machine Learning, Deep Learning, Reinforcement Learning 등의 수업 일부에서 위의 Summary paper를 다룬다. 그 수업 전에 배우는 다른 통계학 수업에서 배우는 방법론과 위의 설명처럼 하나하나 비교하며, 언제 어떤 경우에만 ML방법론을 쓸 수 있는지를 최대한 직관적으로 이해시키는 것이 그 계산과학 수업들의 목표다. (잘못 배워 나가면 Decision Tree 변형한 모델로 주가 예측하는 변수를 자동으로 찾아낼 수 있다고 망상하는 로보 어드바이저 회사 차리고 투자 받으러 돌아다닐 수도 있다.)

그런 이해도를 갖추게되면, 시장에서 ML, DL, RL을 적용해서 뭔가 엄청난 걸 해 냈다고 주장하는 언론 홍보의 실상을 좀 더 깊이있게, 냉혹한 시선으로 파악할 수 있을 것이다. 아마 학위 과정이 끝나는 무렵이 되면, MBA건 MSc 과정이건 상관없이, 위의 이해도 없이 코드만 갖다 붙여서 만든 결과물이 왜 제대로 작동하지 않는지, 그런 결과물에 시간과 인력과 돈을 쏟아붓는 작업이 얼마나 사회적 자원의 낭비인지, 그래서 제대로 된 지식을 볼 수 있는 시야를 갖춘다는 것이 단순히 연구 작업 뿐만 아니라 기업의 의사 결정과 생존, 발전에 얼마나 결정적인 영향을 미치는지 좀 더 열린 시야로 이해할 수 있게 될 것이다.

하늘 아래 새로운 것은 없다

라는 표현이 있다. ML방법론들, 좀 더 일반화해서 Algorithmic approach라는 것들이, 모델을 기반으로 하지 않고 모델이라고 판단되는 기본 식을 정리해보겠다는, 접근 관점의 차이만 있을 뿐, 사실 방법론들은 모두 기존의 통계학을 활용하는 계산법들에 불과하다. 즉, 기존의 통계학 계산법들이 못하는 걸 해내는 마법도 아니고, 기존의 방법론들이 가진 한계를 벗어나지도 못한다. 그냥 좀 "다른 관점"일 뿐이다.

단지, (특정한 몇몇 경우에만) 모델을 기반으로 하지 않고도 모델을 찾아내는 장점을 가진 반면, 분산, 검정력 등등의 수많은 통계학 도구들을 포기하는 계산법에 불과하다.

그런 한계를 명확하게 이해하고, Listen to Data를 하기 위해 현재 내가 가진 Data의 상황, 내 작업 목적 등등을 두루두루 감안해서 적절한 계산법을 선택하는 것이 진짜 Data Science아닐까?

---

 

믿을 수 없겠지만, 저 Summary Paper는 내가 석사했던 학교의 학부 2학년 Introduction to Econometrics 라는 수업의 읽기자료 및 Problem Set이다. 석사 레벨도 아니고, 학부 졸업반도 아니고, 학부 2학년 때 이미 ML, DL, RL이라고 불리는 계산과학적 접근법을 기초 계량경제학 수업 때 (Side로) 듣고(도) 이해하고, Problem Set을 풀 수 있는 수준의 교육을 받는다.

석사 공부하던 시절 내내 그들의 교육 수준에 충격 먹었었지만, 저 논문을 학부 2학년 수업 읽기자료와 연습문제에서 보고 말로 형용할 수 없는 충격을 받았었다. 우리나라 공대에서 자칭 AI한다는 교수들 중에 저 논문으로 만든 고급 연습문제 풀이는 커녕, 논문 자체를 이해하는 비율이 한 자리 숫자가 안 될텐데...

지극히 개인적인 견해를 덧붙이면, 경제학계에서 ML, DL, RL 으로 대표되는 Algorithm approach를 안 쓴 가장 결정적인 이유 (My version of 다섯째)는, 계량경제학자들이 통계학 훈련이 잘 되어 있어서 (최소한 공대보다는 잘 되어 있어서), 통계학 훈련을 하나도 안 받고 무조건 컴퓨터 신(神)님이 모든 문제를 해결해주실 것이라고 중세 신앙적 믿음을 갖는 공학도들보다, 인간의 지성을 더 중요시했던 르네상스 시대에 조금은 더 가까운 공부를 했기 때문이 아닐까 싶다.

필자에게 데이터 사이언스로 해외 유학을 준비한다면서 한국 대학과 차별되는 해외 대학의 차이는 무엇이며, 어떤 기준으로 학교를 선택해야하는지를 묻는 분들이 있다. 그 분들께 데이터 사이언스를 가르치는 커리큘럼을 먼저 보시라 조언을 드리면, 해당 학과의 교수진이 누구인지를 먼저 파악해야되는게 아니냐고 반문을 하신다. 마음 속에는 교수진이 누구인지 그렇게 중요하지 않은데, 왜 저런 질문들이 나올까하는 궁금증이 있었다.

질문주신 분들이 아마 일반 학원들처럼 1명의 스타 강사 의존형 시스템이 아니라, 학교가 갖는 커리큘럼의 위력을 보지 못하셨기 때문이라는 생각이 들기도 했다. 우리나라 대학들이 커리큘럼을 탄탄하게 운영하는 곳이 거의 없고, 노력하는 극소수의 교수 몇몇의 고급 강의 컨텐츠가 아니면 학생들이 알아서 공부해야하는 교육 시스템을 갖고 있기 때문이다.

적어도 1류 교육 시스템 아래에서는 교육의 질은 연구 분야처럼 소수의 엄청난 실력자 몇 명에 의존하는 부분을 제외하면, 모두 학교 자체가 보유한 커리큘럼의 역량에 달려있는데, 오늘은 이 부분을 좀 더 구체적으로 지적해본다.

국내에서 대학원이 설립되는 방식

특정 산업이 트렌드라며, 그 트렌드를 밀어주는 정치인이 되고 싶은 분들이 정부 지원금을 배정한다. 교육부는 흐름에 맞춰 어떤 이름을 가진 전공을 만들고, 특정 조건을 충족시키는 교수진을 뽑고, 학생을 뽑으면 지원금을 준다고 공문을 보낸다. 이제 교수들끼리 전쟁이 시작된다. 학교 간 경쟁은 당연하고, 교내에서 전공 간 경쟁, 전공 내 경쟁에 피가 튄다. 특히 자기 전공에서 그 지원금을 가져와서 학생 숫자를 유치해야 학내 정치에서 승리하는 몇몇 관련 전공 교수진들이 치열하게 '교내 정치'를 시작한다.

그렇게 자기 전공으로 그 신규 전공을 만들게 된 리더급 교수진들은 미국의 비슷한 프로그램에 맞춰 그럴듯한 이름의 과목들을 만들고, 조교수들에게 수업들을 배정한다. 그러다 인력 채용에 한계가 오면, 외부 채용으로 '강사' 또는 '겸임교수'를 채용한다. 강의료는 시간당 15만원, 많게는 25만원, 그래서 한 학기 3 x 16 = 48시간에 약 1,000만원 남짓을 쓴다. 그러나, 한 학기 1,000만원에 세계적인 수준의 강의를 해 줄 수 있는 인력은 존재하지 않을 것이다. 이를 위해 어떤 학교 교수 타이틀을 준다는 식으로 회유하거나, 교수 자리를 구하고 있는 연구실 출신 대학원생들에게 자리를 배정해줄 것이다.

이렇게 채용된 '교수'들이 제대로 된 강의를 구성할 확률은 적을 것이다. 그동안 가르치던 내용, 본인의 지도교수가 작성한 강의노트를 그대로 가져온다. 본인이 배웠던 내용과 신규 전공의 관점이 다르지만, 학생들의 의아해하지만, 강의에 대한 보상이 적으므로 이를 보완하려고 하지 않는다. 정부지원금 선정된 학교도 몇 군데 없기에 경쟁도 없고, 특별히 경쟁해봐야 학교 명성이 올라가지도 않는다. 결정적으로, 학생들을 쉽게 가르치고, 좋은 학점을 주면 강의평가가 좋게 나오고, 윗 사람들과 좋은 관계를 유지하면 자기 자리는 탄탄하게 지켜진다.

몇 년이 지나서 학생들이 취직해보니, 학교에서 배운 지식들이 유용하지 않다고 불평하지만, 강의 교수는 이를 모른체하고 정부 과제・기업 프로젝트를 따서 돈을 많이 벌었으면 상관없다는 태도로 일관한다. 그런데, 성과물이 나오지 않으니 트렌드가 끝나 교육부가 지원금을 끊고, 해당 학과는 폐과 절차를 밟게 되고, 학생들은 선・후배도 없는 낙동강 오리알 신세로 전락한다.

이런 이유로 학생들이 XXXX융합학과 라는 전공 어떻게 생각하는지 선배들에게 조언을 구하면, 선배들은 차라리 통계학과, 컴퓨터공학과 처럼 평범한 학과가서 혼자서 공부하라고 조언한다. 그 전공들을 가봐야 교수와 강의 수준이 같기 때문이다. 우리나라 교육 구조상 공부는 교수가 시켜주는 것이 아니라, 학생이 알아서 해야한다. 우리나라 대학들의 CS가 AI라는 전공을 '잡아먹은' 구조가 위의 설명과 정확히 맞아들어간다.

 

해외에서 대학원이 설립되는 방식

해외 대학원 설립방식은 국내와는 상황이 다르게 흘러간다. 물론 정부가 지원금을 많이 주기도 하지만, 일단 하버드, MIT, 예일, 스탠포드 급의 초특급 명문대는 글로벌 시장 트렌드를 보고, 그 외에 지역별 주립대들은 각 주별 시장 수요를 보고 전공 인원, 월급 줄 수 있는 교수진 숫자 등을 판단한다. 학교는 정부 지원금으로만 운영되는게 아닌, 학생들 등록금과 동문 후원금으로 운영되기 때문이다. 주변에 좋은 학교들이 많기 때문에 경쟁 대학에서 무슨 과목을 개설하는지 유심히 지켜보고, 더 좋은 커리큘럼을 개발하기 위해 고민하다가 그런 주제를 가르칠 수 있는 교수진도 모색한다.

자기 학교에 있는 교수들, 타 대학에 있는 교수들만 찾아다니는게 아니라, 업계에 있는 뛰어난 실력자들에게도 적극적인 러브 콜을 보낸다. 업계 경쟁만해도 치열한데, 교수 오퍼까지 들어가니 실력자들의 몸 값은 몇 배로 뛴다. 그렇게 뽑아온 교수진의 강의 퀄리티가 기대 이하라면 학생들이 떨어져나가기 때문에 프로그램 관리자(Program Coordinator)가 강의 진행 상황을, 최소한 첫 해에는, 매우 세심하게 확인한다. 이 덕분에, 학생들이 따라올 수 있는 한계치와 받을 수 있는 학생의 훈련도에 맞추는 미세조정이 끝나기 전까지는 강의 퀄리티가 계속 올라가는 경쟁이 꾸준히 이어진다.

특정 주립대가 아니면 학교도 사업의 일환이기 때문이고, 학생이 고객이기 때문에 교수 또한 좋은 교육을 공급하기 위해 굉장히 많은 노력들을 한다.

 

고급 커리큘럼이란?

강의력이 뛰어난 교수진이 받쳐준다면 개별 강의의 퀄리티는 끌어올릴 수 있다. 그러나, 좋은 강의를 모두 합친다고 커리큘럼 전체의 퀄리티가 좋아지는 것은 아니다. 그 전공의 목적에 맞는 강의가 되어야하기 때문이고, 이런 지식들은 단계별로 쌓아올려야하기 때문이다. 따라서 강의 순서를 맞추고, 그 순서를 학생들이 하나씩 밟아갈 수 있도록 모든 교육이 알차게 짜여져야 고급 커리큘럼이 된다.

이러한 목표를 달성하기 위해, 다음과 같은 절차를 밟는다.

1. 특정 교육과정이 반드시 가르쳐야하는 대주제들, 소주제들을 뽑는다.
2. 그걸 가르칠 수 있는 기초 지식을 정리한다.
3. 프로그램이 공식 학위인정 기관에서 승인 받을 수 있도록 학점 요건, 커리큘럼 이름 등을 확정한다.
4. 학점 요건에 맞게 기간을 설정한 뒤,
   1. 시장 경쟁력과 장기 생존이 가능한 가격 설정
   2. 신입생의 훈련도 레벨을 어디로 정할지 확정 후 신입생 요강 공개
   3. 졸업생이 어느 퀄리티로 배워서 졸업할지 확정 후 졸업 요건 확정
5. 대주제, 소주제를 각 과목별로 분배
6. 각 과목별로 세부 커리큘럼 확정
   1. 시험문제들 목록 도출
   2. 연습문제 목록 도출
   3. 강의노트 작성
7. 신임 교수진 채용시
   1. 연습문제, 시험문제를 보여준 후, 그걸 풀 수 있도록 강의노트를 만들라고 지정

 

시험문제 ⇒ 연습문제 ⇒ 강의노트

위의 커리큘럼 구성 절차에서 한국인의 눈에 의아한 부분은 강의의 방향이 시험문제 ⇒ 연습문제 ⇒ 강의노트 로 이어지는 구조일 것이다. 그러나, 이와 같이 구성되어야 교수가 바뀌어도 교육과정이 유사한 형태로 계속 이어질 수 있다. 즉, 시험문제 스타일과 내용이 이미 나와있고, 연습문제도 정해져있기 때문에, 교수자는 약간의 자기 스타일이 추가된, 학교 커리큘럼에 맞춘 강의노트를 만들게 된다.

이를 위한 필수적인 사항은 프로그램 관리자가 커리큘럼을 완벽하게 파악하고 있어야한다는 것이다. 어떤 과목이 어떤 실력을 테스트하고, 다른 어떤 과목과 어느 부분에서 겹치도록 만들고, 그 과목을 들었을 때 어느 정도의 지식이 있어야 그 다음 레벨로 도전할 수 있는지를 세부적으로 지정할 수 있어야 한다. 우리나라는 어떤 사건이 발생하면 부하직원들이 대응해야되는 구조지만, 영미권은 윗 사람이 나와서 대응하고, 부하직원은 정말 급한 일이 아니라면 대기하는 구조다. 위의 시스템도 마찬가지로, 프로그램 관리자에게 막중한 부담이 가해지는 반면, 과목별 교수들은 자기 일만 집중하면 되는 구조가 된다. 필자의 그간 사업 경험상, 잘 모르는 분야를 새로 도전하면 시행 착오를 겪어야하니 기획이라는게 거의 불가능했기에 구성원들이 힘들어질 수 밖에 없었다. 반면 '기획'에서 모든 지식을 꿰고 있으면, 미래 발생 가능한 상황에 맞춰 유연한 '기획서'를 뽑아낼 수 있게 된다.

필자가 봐왔던 고급 커리큘럼들은 공통적으로 오랜 세월의 경험치가 쌓인 결과물들이었다. 그 학교들도 초창기에는 교수 1-2명의 역량에 많이 의존할 수밖에 없었겠지만, 그렇게 몇 년간 학생들을 배출하면서 순서를 조절하고, 필요한 내용을 추가하면서 지금의 커리큘럼이 나왔을 것이다. 이를 가르칠 수 있는 교수진을 구성하다보면 나중에는 학교마다 '색채'라는게 정해지기도 했을 것이다.

 

유럽 최상위권 대학들은 기말고사가 매년 (거의) 똑같네요?

유럽 최상위권 대학들을 보면 매년 기말고사 시험 문제 유형이 거의 동일하다. 심지어 가르치는 교수진이 거의 다 바뀌어도 유형을 고정한 상태에서 교수들에게 약간의 옵션을 주는 방식이다. 졸업하는 학생들이 직장에서 해야하는 업무를 예측하고 수요에 맞춘 커리큘럼이기 때문이다.

교수들이 임의대로 강의내용을 바꾸게 되면, 학생들이 시험 문제를 풀지 못해 교수는 해고된다. 수능 문제를 못 푸는 교육을 하면 학원 선생님이 퇴출되는 것과 같은 구조다.

이런 짜여진 교육 시스템은 교수가 누구인지가 상대적으로 덜 중요해진다. 핵심은 커리큘럼의 퀄리티다. 이는 주로 Teaching school이 교육 프로그램을 만드는 방법인데, Teaching school 교수는 연구를 잘 해서 노벨상을 노리는 사람이 아니라, 주어진 커리큘럼을 학생들에게 잘 전달하는 사람이다. 이런 Teaching school에는 연구실적이 화려한 교수가 올 필요가 없다. 커리큘럼에서 가르치라고하는 내용을 무사히 다 가르칠 수만 있으면 충분하다. 되려 학교의 커리큘럼에 적합한 교수를 찾는게 중요해진다.

 

Teaching school이라는 개념이 안 익숙한 한국인들의 오해

이렇게 문제 유형이 정해져있다고 하면, 한국식으로 교육 받은 사람들은 기출문제가 쌓이기 때문에 학점 받기 유리하지 않겠냐고 반문하기도 한다. 필자의 석사 시절, 10년치 기출문제 풀고 기말고사를 들어갔는데도 여전히 어려웠다. 전 세계에서 탁월한 학생들을 모았던 필자의 석사 프로그램에서 최소 30%는 학위 과정 중에 퇴출됐고, 또 30%는 졸업을 못했다.

필자도 국내에서 암기만 하면 학점을 잘 받는 것을 알만큼 훈련을 받은 사람이었는데, 석사 과정에서는 새로운 문제 하나는 항상 새로운 도전 하나였다. 마치 방법론은 다 알고 있는데, 데이터가 달라져서 마치 새 논문을 쓰는 난이도와 같았다고 느껴졌었다. 기말고사의 4문제를 3시간 안에 전부 풀기 위해서는 눈은 변형된 문제 구조를 순식간에 파악하고, 손은 쉬지않고 계속 써야한다. 이렇게 좋은 문제를 만들면, 답안지 쓸 시간도 부족할 뿐만 아니라 시험자의 서술 답안에 논리의 구멍이 뚫릴 수 밖에 없다. 즉, 기출문제를 아무리 보더라도 지식의 깊이 수준에 따라 점수의 최대치가 결정된다.

이것이 국내 방식의 교수의 개인 역량 의존형 커리큘럼보다 시험문제 ⇒ 연습문제 ⇒ 강의노트 형태로 컨텐츠를 만드는 Teaching school 시스템의 교육 결과물이 더 좋은 이유다. 문제 유형 자체가 문제 출제를 하는데 엄청난 노력을 요구하고, 그 문제를 풀도록 답을 외워도 답안지에 논리적 결함이 생기고, 엄청난 시간을 투입하면서 개념을 이해하는 과정을 거쳐야 겨우 합격점을 받고 졸업하게 된다.

 

국내 대학원의 현실 - Fail in Research, Fail in Teaching, and Fail in Education

냉정하게 국내 대학원의 현실을 한번 돌아보자. 평균적으로 대학원생들의 95%는 학벌 세탁을 위해, 5%는 박사 유학 추천서를 위해 석사 2년을 희생한다. 공대는 정부 과제, 기업 프로젝트를 완수하기 위한 작은 컨설팅 업체 방식으로 운영된다. 면접 때 전공 지식이 얼마나 있는지를 치밀하게 면접하는 학교, 전공은 거의 없다. 파이썬 할 수 있는지 면접 질문하고, 그 질문 후 곧바로 면접이 종료되는 수 많은 데이터 사이언스 석사 학위 면접 후기들은 필자의 한국 대학에 대한 편견을 확인시켜 줄 뿐이었다.

우리나라 대학은 교육부의 압박이 있기 때문에 Teaching school이 아닌, 연구 성과가 좋은 학교를 목표로 해야한다. 그런데, 필자의 경험상 한국의 대학은 수준 낮은 학회지를 K-SCI으로 인정해느냐의 싸움, 그래서 교수들의 논문 실적으로 인정되느냐로 교수들끼리 싸우는 정치판이 되었다고 언급해왔다. 또한 글로벌 경쟁력이 없는 절망적인 연구에, 교육에 신경써서 커리큘럼을 잘 만드는 것은 더더욱 아니라는 사실을 장기간 언급해왔다.

K-SCI가 글로벌 학계에서 논문 실적이 낮은 한국 교수들을 대상으로 논문을 인정해주는 저널이고, 대부분은 연구가 아닌 정도의 논문들이 주를 이루고 있다는 것을 고려해보면, 대학교라는 곳이 정부에서 연구를 위해 국민의 혈세로 지원금을 출자해주었더니 기업의 하청 프로젝트도 연구라고 포장하는 기관이 되어 버린 것이 씁쓸한 작금의 현실이다.

 

나가며 - 학교 이름값? 교수가 유학한 학교? Teaching의 퀄리티!

필자가 여러차례 언급한대로, 우리나라는 지식후진국이다. 최근 AI 열풍에 대학들이 'Data Science', 'Artificial Intelligence'라는 이름을 넣은 학위・비학위 과정들을 만들면서 교수진이 어느 학교에서 공부했는지를 홍보해오는 것을 볼 수 있다. Teaching의 퀄리티를 제대로 인지할 수 없는 일반 대중에게 그나마 합리적인 잣대가 될 수 있다는 공감대는 있지만, 교수진 대학원 학위 이름에 의존하는 학원식 홍보는 우리가 얼마나 '지식후진국'인지를 단적으로 보여준다.

최소한 대학 교수로 이름을 내세우려면 암기식 학점으로 덕에 갔던 대학원 학교 이름이 아니라, 1타 강사의 대학 교수 버젼에 해당하는 네이처(Nature), 사이언스(Science) 같은 자기 학문에서 존경 받을 수 있는 탑 저널에 논문이 있는 분을 내세워야되는 것 아닌가 생각이 든다.

지식 선진국들의 교육은 교수 몇 명에 대한 의존형 아닌, 커리큘럼의 파워에 좌우된다. 교수들은 언제든지 그 학교를 떠날 수 있지만 커리큘럼은 영원히 남는 '시스템'이 되기 때문이다. 그리고 소비자인 학생들은 커리큘럼으로 공부하지, 교수 이름과 학교로 공부하지 않는다. 학생들의 인생을 바꿔주는 것은 배운 지식이기 때문이다. 그렇게 지식선진국들이 대학 교육을 높은 퀄리티로 유지할 수 있는 '시스템'을 만들어왔다.

그간 한국에서는 보기 힘들었을 교육 방식이라고 생각되는데, 한국에서도 지식인들이 힘을 합쳐 위처럼 수준 높은 Teaching school 하나 나왔다는 이야기를 들어봤으면 좋겠다.

아래는 합격점을 받은 학부 통계학과 출신의 수강후기다.

초반부 답안지는 굉장히 열심히 공부한 티가 났지만, 후반부로 가면서 구멍이 좀 많이 났다 싶었던 답안지였는데,

후기를 보니, 이런 종류의 시험을 처음 치렀을 때 흔히 겪는 대로, 시간 배분에 실패한 듯 싶다.

본인의 부족함을 알고 더 열심히 공부하고 있는만큼, 더더욱 발전할 수 있는 여지가 있으리라 생각한다.

---

(중략)

저는 시험을 치고 50점도 못 받을 거라고 생각했습니다. 그래서 점수를 받고는 정말 어안이 벙벙했습니다. 50점도 못 받을 거라고 생각했던 이유는 크게 두 가지였는데 첫 번째는 시간 배분을 잘 못해서 Dynamic Optimization의 3, 4, 5번 답안을 거의 못 쓴 것과 두 번째는 모든 problem 속에 담겨있는 insight에 대한 답안을 작성하지 못했다는 것이었습니다(물론 멀쩡히 답을 썼는데 틀린 부분도 있고요). 시험 준비는 개인적으로 복습을 여러 번 하고 problem에 들어있는 의도를 대표님의 설명과 더불어 직관적으로 이해하려고 하다보니 솔직히 재밌었습니다. 아 이런 idea가 숨어져있구나 와 미쳤다.. 문제 속에 담겨있는 수식이 이론을 위한 이론이 아니라 현실에 적용되기 위한 이론임을 제대로 이해하는 순간에 대표님이 말하는 sense가 왜 중요한지도 어림짐작으로 이해하게 됐었던 것 같습니다.

준비해 간 내용이 많으니 그걸 다 적으려고 욕심을 부린 탓에 1번 문제를 푸는 데만 1시간을 넘게 사용하고 그 뒤로는 빨리 푸느라 insight 혹은 point를 적지 못했습니다. 시간 분배에 실패하고 마지막 문제를 많이 못 풀었으니 대표님이 평소에 강조하신 기준대로 채점하면 50점도 안 나오겠구나 라는 생각이 들었고 정말 눈물이 났습니다. 미국식 채점기준과 성실성 반영이 없었다면 50점을 못 받았을 거라고 지금도 확신(?)합니다.

이렇게 시험 문제에 대해 반추하다보니 통계학과 친구가 내년에 시험 쳐서 MSDS바로 들어가면 안되냐는 기억이 떠올랐습니다. 실은 이 친구가 저에게 한 번 Trinity까지 강의를 받고 어렵지 않게 이해를 해서 그런 생각을 하게 된 것 같았습니다. MSDS 입학 시험을 혼자서 준비할 수 있냐는 물음에 저는 불가능하다고 생각합니다. 단순히 시험의 난이도가 어렵다기 보다는 시험 문제와 같이 좋은 논문을 재구성해 그 속에 담긴 논리와 아이디어를 깨달을 수 있게 만드는 problem은 얻기도 힘들 뿐만 아니라 얻을 수 있더라도 그 속에 담긴 의미까지 이해하기에는 실력을 갖춘 멘토의 지도 없이는 정말 많은 시간과 노력이 필요할 것이기 때문입니다. 대표님이 입시설명회에서 말씀하셨듯이 미적분하는데 미적분 개념을 뉴턴과 라이프니츠처럼 처음부터 증명하고 발전시키는 것처럼요. 물론, 시험을 잘 못 친 제가 이런 말을 할 자격은 없는 것 같습니다.

대표님의 직관적이고 핵심적인 설명 덕분에 수업 내용이 정말 머릿속으로 계속 박히는 경험을 했습니다. 하지만 대표님이 질문할 때마다 정답보다는 엉뚱한 대답을 많이 해서 부끄러웠던 경험도 많이 했습니다. 저의 경우는 아마 수업 시간 내에 지식을 저의 것으로 승화하지 못했기에 엉뚱한 대답을 많이 했던 것이라고 생각합니다. 그래서 제가 제대로 이해한 것인지 궁금하거나 이해가 안 되는 부분이 있으면 계속 질문을 했습니다. 당시에 다른 사람들이 질문이 없으시길래 대부분 이해하고 있다고 생각해서 나는 모르니까 그냥 여쭤보자 라고 생각했습니다. 물론 스스로 공부하다보면 깨달을 수 있는 내용들이 대부분이었지만 대표님의 친절한 설명 덕에 더욱 제대로 이해할 수 있었습니다.

수업을 따라가는 데 있어서 시간을 가장 많이 들였던 부분은 머릿 속 이미지로 떠올리면서 이해하는 것이었습니다. 저의 경우는 Dynamic Optimization 부분이 머릿속으로 잘 그려지지가 않았었는데 당시 Continuous type에서 자연수 e에 대해 잘 이해하지 못했던 것과 difference equation에서 beta와 rho의 관계를 제대로 이해하지 못했기 때문인 것 같습니다. 웃기게도 시험 전 날 다시 한 번 개념을 정리하다보니 딱 정리가 되더군요. 그래서 그런지 Dynamic Optimization 문제 점수를 만점을 받을 수 있도록 열심히 준비했는데 제가 망친 것 같아 속상하기도 했습니다.

수업 시간 내내 개념들을 직관적으로 이해할 수 있도록 설명해주고 그것들을 스스로 이해하고 연결할 수 있도록 질문을 던지는 수업 방식 덕분에 저의 사고방식이 많이 바뀐 것 같습니다. 다시 생각해보면 올해 초만 하더라도 이런 사고방식을 가질 거라고는 전혀 상상도 못했습니다(그리고 대표님이 말씀하신 좋은 problem이 왜 필요한지도 이제야 절실히 느끼게 됐네요).

현재는 운이 좋게 시험에 합격했으니까 면접을 볼 수 있다면 정말 제가 준비한 것의 100%를 보여드리고 싶어서 배웠던 내용들과 문제의 인사이트를 연결하면서 따로 정리해보고 있습니다. 저에게 MSDS 시험에 대해 물어봤던 그 친구에게 다시 한 번 강의를 해달라고 부탁을 받기도 해서 이번에는 제가 정리한 자료로 IV까지 한 번 강의를 해볼까 합니다. 그리고 이 때까지 정말 빈약하게 공부를 했다는 반성이 들어 수리통계학과 해석학개론에 대해서도 다시 정리를 하고 있습니다. 대표님 수준까지는 아니어도 가능하다면 누군가 통계 개념에 대해 물어봤을 때 수식을 써서 derivation하고 대답하는 것보다는 우선은 직관적으로 어떤 개념이 어떻게 연결이 돼서 이런 결론이 나오게 됐다는 대답을 할 수 있는 수준을 목표로 삼고 있습니다. 다시 한 번 열심히 공부해보겠습니다.

그동안 좋은 강의를 제공해주시고 부족한 학생의 질문에 항상 친절히 답해주셔서 감사했습니다.

---

제일 고맙게 느껴지는 점은, 문제를 낸 사람의 의도를 잘 파악해주는 점이다.

한 문제 한 문제를 그냥 성의없이 시험을 위한 시험으로 냈던게 아니라,

논문을 써나간다고 생각했을 때 어떤 난관이 있을 수 있고, 배운 지식의 범위 안에서 그런 문제들을 어떻게 해결하면 될까,

같은 생각을 하면서, 큰 방향을 잡아주는 형식으로 문제를 만들었는데, 그 생각을 따라가며 문제를 푼다는 것,

즉, 대화하며 문제를 풀면서 자기도 모르게 논문을 읽는 능력을 기르고, 궁극적으로는 논문을 쓰는 능력, 연구를 하는 능력,

아니, 사물을 바라보고 판단하는 능력을 기르는데 눈을 뜬 것 같다.

 

MSc Data Science, MSc Artificial Intelligence 교육 목표

내 교육, 아니 내가 겪어서 비슷한 방식으로 공급하고 싶은 교육이 딱 이런 교육이다.

열심히 외우는 공부만 해서는 뉴턴, 라이프니츠 같은 천재가 아니라면 혼자서 도달하는게 거의 불가능한 걸 잡아주는 교육,

그래서 끊임없이 생각하는 훈련을 반복하다보면 논문 쓰기 => 연구 하기 => 일상의 문제 풀어내기 를 따라가는

"사고력"과 "논리력"을 키워서 졸업하는 교육이다.

 

위의 후기에서 느껴지겠지만, 이걸 수학적인 도구를 쓰면 분명히 더 효과적으로, 깊이있게 전달할 수 있다.

학계에서는 이렇게 간략한 수식으로 많은 의미를 전달하는 염화미소 같은 상황을 "Elegant"한 연구라고 표현한다.

"양놈"들이 연구를 잘하는 걸, 아니 공부를 잘하는 걸 평가하는 기준이 저기에 있다는 걸 석/박 학위 중에 깨달았었는데,

이걸 전달해서, 우리 학생들도 글로벌 시장에 경쟁력 있는 인재로 키워내는게 MSc 석사 학위 과정의 목표다.

 

Global MBA in AI/BigData 프로그램 교육 목표

약간 덧붙이면, 그런 수학 없이, 완벽하지는 않겠지만, 최대한 직관적인 이해에 초점을 맞춰서 스토리를 써 내려가는게

역시 위의 후기에서 느껴지겠지만 불가능한 교육 방법이 아니다.

저 후기 작성자도 수식으로 다 이해하고 난 다음에는 스토리를 쓰고, 그 스토리를 남에게 들려주겠다는 생각으로

수식을 써서 derivation하고 대답하는 것보다는 우선은 직관적으로 어떤 개념이 어떻게 연결이 돼서 이런 결론이 나오게 됐다는 대답을 할 수 있는 수준을 목표로 삼고 있습니다

라는 표현을 쓰는걸 봐라.

이게 내가 Global MBA in AI/BigData 프로그램에서 교육하려는 방식이다.

수식이 핵심이 아니라, 직관적으로 이해할 수 있는 "이야기"가 핵심이기 때문이다.

수학은 그런 결론을 얻어낼 수 있도록 해 주는 "도구"에 불과하다.

수학은 "언어"라니까. 마치 지금 내가 쓰고 있는 "한국어"처럼.

 

단지 신의 언어인 수학 대신 인간의 언어를 쓰면 깊이가 얕고, 전달력이 떨어질 뿐이다.

 

왜 국내 교육으로는 안 될까?

이런 교육을 받아보면 알겠지만, 강의 노트를 구한다고 내용을 쉽게 따라갈 수 있지도 않고,

국내에서 암기식 교육을 받았으면 사고가 닫혀 있어서, 생각하는 방식을 따라가기는 더더욱 어렵다.

어느 국내 토종 박사 한 분이 학부 3학년 수준에 맞춘 파비클래스 DS 강의 동영상을 30번이나 봤다는 이야기도 기억난다.

 

예를 들어, 어떤 지식을 담은 노트의 특정 부분을 이해하려는데

1. 미분, 적분이 필요하다는 걸 추측하는 것도, 2. 미분, 적분 개념을 증명하고 만들어내는 것도

이미 수 백년 전에 인류 역사의 물줄기를 바꾼 천재들이 해 놨던 업적인데,

그걸 제대로 가르쳐주는 사람 없이 혼자서 만들고 이해할 수 있는 수준의 천재가 과연 몇 명이나 될까?

당신이 17세기에 태어났으면 인류 역사의 물줄기를 바꿀 수 있는 레벨의 천재일까?

나 역시 어린시절부터 천재 소리 많이 들으면서 자랐지만, 천재 소리 듣는 집단에서도 그런 진짜 천재는 드물었다.

 

이미 파비블로그에서 여러차례 밝히는 내용이지만, 이런 교육을 받고 난 다음부터

해외의 유명 대학을 나온 또래들이 내가 꿈꾸던 직장에서 더 선호되었던 걸 당연하다고 생각했다.

본인의 지적 능력이 얼마나 차이가 나건 상관없이, 한 쪽은 거인의 어깨 위에 서 있고, 다른 한 쪽은 혼자 서 있으니까.

 

우리 교육은 황야의 방목식 교육이 아닌, 거인의 어깨 위에서 출발하도록 돕는 교육이다.

우리 학생들이 나처럼 혼자만의 힘겨운 싸움, "도와줘요, 나가게 해줘요", 을 하지 말았으면 좋겠다.

나도 도움을 받았었더라면 조금은 덜 힘들게 공부했을텐데.

 

前 MSDS, 현 MSc Artificial Intelligence 입시시험 후기 시리즈

• 입시 문제 및 해설
• MSDS Boot Camp 수강 후기 (1)
• MSDS Boot Camp 수강 후기 (2)
• MSDS Boot Camp 수강 후기 (3)
• MSDS Boot Camp 수강 후기 (4)

MSDS Boot Camp 시험을 치르고 나니 몇 개 후기를 더 받았는데,

프로그램 결정하는데 or 업무하는데 도움 될 것 같아보이는 구절들만 몇 개 골라봤습니다.

---

(중략)

제가 이번 강의를 들었던 가장 큰 이유는 MSDS 과정을 밟기 위해서가 아니라, (*주: MSDA 지원하겠다고 미리 말씀하신 분)
데이터 사이언스라는 분야에 발을 들이기 위해선
최소한 어떤 학문 또는 역량, 훈련이 필요한지 알기 위해서였습니다.

강의를 들었을 땐 조각이 맞춰지는 기분이었는데,
이상하게 시험을 치뤘을 땐 '아 그 때 다 맞춰진 게 아니라 그냥 기분이었구나. 아직 멀었구나'라고 생각했습니다. 웃프네요.

12년 동안 수학은 암기과목이다 생각하고 살아온 탓에,
수학, 통계학을 직관적으로 바라볼 수 있는 훈련(혹은 교육)을 받고 싶었습니다.
직관적인 시각, 훈련을 기르기에 2달이라는 기간은 제게 조금 짧았던 것 같아요.
(중략)

---

(중략)

대표님 강의는 항상 느끼는 것이 많지만, 금번 강의 및 시험은 특히나 와 닿는 것이 더 많았습니다.

(중략)

문제와는 별개로, 시험을 준비하면서 잊고 있었던 수리통계 지식들을 복구하는 과정은 힘들었지만 재밌었습니다.

예전에는 단순히 개념/증명을 외우고 문제를 푸는데 집중했다면,

현업에 있고 & 대표님 강의를 듣고 난 지금은 이 성질 / 정리들이 왜 중요하고, 어디에 어떻게 쓰일 수 있을 지를 고민하다보니 더 좋았던 것 같습니다.

(중략)

말씀주셨던 대로, 더욱 열심히 공부하라는 뜻으로 받아들이고 그만 좌절하고 더욱 정진하겠습니다.

어차피 통계 / 데이터 사이언스 공부는 끝이 없기 때문에 갈 길도 멀고,

당장의 조급함에 치우쳐 전체를 그르치는 것 보다 한 계단 한 계단 내공을 쌓아올리는 데 집중하겠습니다.

(중략)

---

표면적 사고에 적응해서 깊이있는 논리적 사고가 부족한 제 분수를 알게된 시험 덕분에 마음이 많이 아프지만..

어떻게 공부하고 생각해야 하는가에 대한 방향을 이제 좀 알 것 같습니다.

부끄럽지만 앞으로 더 열심히 하겠습니다 ㅜ.ㅜ

---

 

먼저, 두 달 동안 좋은 강의를 해주셔서 감사합니다.

Prep class를 들으면서 시험을 쳐야하나 말아야하나 고민이 많았지만,
스스로가 얼마나 심각한지 느끼고 각성해야겠다는 마음으로 시험장에 들어갔네요.

저는 산업공학으로 학사, 석사를 마쳤는데 Prep class 8번의 통계학 수업은 전부 다 처음 다뤄본 내용이었습니다..
(Wald, LR 등 parameter의 variance에 대한 test나 heteroskedasticity, endogeneity가 존재할 경우...)
동적최적화 부분 역시도 마찬가지지만요..

첫 수업을 듣자마자 흔히 말하는 멘붕이 왔지만 작년 들었던 DS 수업을 떠올리며 버텼습니다.
DS 수업도 어찌저찌 흐름만 따라가고 실제는 반도 이해못했었지만, 다 듣고 나니 깨닫는게 많았던 수업이었고
당시 데이터 업무를 어떻게 해나가야 되는지 모르는 저에게 방향성과 지식의 깊이가 어느정도 돼야 하는지 가늠자가 됐었습니다.
(그 전에도 여러 강의를 찾아봤지만 다 코드 기반의 수업들만 있어서 회피하다가 진짜 없어서 그나마 하나 선택해서 들었었는데 크게 도움은 안됐었습니다. 그렇게 떠돌다가 결국 파비클래스를 알게 되긴 했지만요ㅎㅎ)

이번 Prep class를 들으면서 선형대수, 통계도 다시 공부하게 됐고 그 후에 다시 수업내용을 따라가느라 많이 버거웠던 것 같습니다.
그래도 추천해주신 김창진 교수님의 계량경제학 노트 덕분에 많은 도움이 됐었습니다. 확실히 이 노트를 보고 수업 내용을 복기하면서
'대표님께서 이 정도는 알고 있다는 가정 하에 수업을 진행하시는구나'를 많이 느꼈습니다. 부끄럽습니다..

그리고 전공에서 왜 이러한 관점에서는 안 다룬건지 너무 화가 나서 일부 과목들의 교재를 살펴보고 생각을 해봤는데,
그냥 품질, 실험계획 과목이나 제조 데이터 특성상 데이터 분석 영역의 대부분이 one variable로 확률분포 분석을 하거나
반복 측정으로 measurement error를 줄일 수 있거나 regression을 해도 보통 A3F와 A5N인 상황이 많기 때문이라는 것을 깨달았습니다.

산업공학이라는 학문이 흔히들 넓고 얕게 많은 걸 배운다라고 하는데 그러다보니
정말 딱 그 프레임 안에서 필요한 것만 가르칠 수 밖에 없었던 건가 싶지만
Prep class로 다양한 주제를 배우고 나니 뭔가 아쉬움이 남았습니다.
특히나 이제는 기존 분석 외에도 다양한 데이터를 다룰 기회들이 많아지고 요구할텐데
이러한 직무로 오는 전공자들이 경쟁력이 있을까 싶네요.
물론 산업에 따른 도메인 지식도 중요하지만 부족한 수학적 논리로 인해 필드 데이터와 분석결과 간 괴리감이 클 것 같습니다.

(중략)

이러한 환경에서 제가 잘못된 지식이 쌓여가면 어떻게 하나 염려가 되면서도 저의 부족함을 한탄했습니다.

그래서 파비 대학원이 생긴다고 했을 때 많은 생각을 했던 것 같습니다.
(제가 다른 기업으로 이직한다한들 이 직무에 대해 제대로 알려 줄 선배나 시니어를 만날 확률이 극히 낮을 것이고
그런 운에 기댈 바에는 파비 대학원 가서 제대로 공부하는게 빠르지 않을까.. 이런 생각들..)
Prep class 모집 초기 당시에는 사실 대학원 과정이 이렇게 세분화될 줄은 몰랐지만 DS 수강 경험상 어려울 걸 알았기에
더욱 더 수준을 알아야 저에게 맞는 과정 선택을 할 수 있다고 생각하여 등록을 했는데 역시나 저에겐 어려웠네요..

아마 채점을 하면서 한숨을 많이 쉬셨을 생각을 하니 죄송해집니다.
저 또한 미리 포기하고 메일을 드려야하나, 망하더라도 시험을 봐야 하나 등등 머리 터질 듯 고민했습니다. (그 와중에 동적 최적화는 너무 어렵고..ㅠ)
그래도 어떤 과정이든 대학원을 가고 싶기 때문에 부딪혀보는게 맞다고 생각해서 시험을 지원했습니다.
(시험장에서의 많은 빈자리와 오전에 블로그 Boot camp 후기를 읽으면서 저와 같이 생각하는 분들도 있구나라는 생각이 드네요.)

---

 

이런 유형의 시험이 익숙하지 않아서 좀 얼어 있던거 같습니다..

동적최적화 부분은 아직 이해못한 내용도 있지만 다른 문제들은 저 또한 아쉬움이 큰 것 같습니다..

(준비가 그만큼 미흡했다는 것이겠지만요..)

---

 

+ 간단 의견

전반적으로 보면, 내용이 어려운 부분도 있었겠지만, 시험 준비 방식이 시험 점수를 결정했지 않나 싶다.

 

나 역시 처음 이런 지식을 이런 방식으로 배울 때 그림을 하나로 그려내면서 문제 풀이를 하지 못했던 탓에 고생이 많았었다.

계속 문제들을 풀면서 어느 시점엔가 이게 문제를 만들려고 문제를 만든게 아니라,

굉장히 좋은 논문이 구성된 방식을 정리하고, 그 정리한 내용을 문제로 바꾼거라는걸 깨닫는 순간이 있었는데,

딱 그 때부터 시험 점수의 레벨이 완전히 달라졌던 것 같다.

 

이런 전환이 단기간에 쉽게 일어나려면 이미 수학적으로 준비가 굉장히 많이 된 상태거나,

아니면 원래부터 논리를 쌓는 훈련도가 높고, 최소한의 수학 지식을 갖췄어야 할 것이다.

 

그 둘을 우리나라 대학들이 제대로 못 시켜준다는걸 느낄 수 있는 후기이기도 했고,

강의 끝나고 조교 수업을 붙여서 문제들을 풀어주는 훈련이 반드시 필요하겠다는 확신을 갖게되는 후기이기도 한 것 같다.

 

MSDA (-> 변경 MSc in Data Science) 첫 학기에 배울 Mathematical Statistics 1 (-> 변경 Regression Analysis) 수업은 아예 교수님 두 분에게 본인들 방식으로 하나씩 만들어달라고 부탁을 했다.

한 수업을 듣고 잘 이해가 안 되면 같은 내용을 다룬 다른 교수님 수업을 들으면서 좀 더 보완을 해 보는거다.

이렇게까지해도 MSDA의 첫번째 관문을 넘을 수 없으면 Science DNA가 부족하다는 걸 스스로 인정하고

MBA in AI BigData에서 공부를 조금이라도 더 즐겁게 하면 좋겠다.

 

논문을 정리해서 문제를 만들었다는 걸 깨닫고 갑자기 문제를 푸는 길, 논문을 쓰는 길이 눈에 확~ 들어오던 그 무렵,

너무 기분이 좋아서 구글링으로 여러 학교 문제들을 뒤져서 한동안은 못 푸는 문제가 없다고 자뻑감에 좀 사로잡혔었는데,

우리 학생들도 어느 레벨에서 공부하건 그런 즐거움을 만끽하는 순간을 경험하면 좋겠다.

 

前 MSDS, 현 MSc Artificial Intelligence 입시시험 후기 시리즈

• 입시 문제 및 해설
• MSDS Boot Camp 수강 후기 (1)
• MSDS Boot Camp 수강 후기 (2)
• MSDS Boot Camp 수강 후기 (3)
• MSDS Boot Camp 수강 후기 (4)

MSDS 입학시험 문제가 공개되고 난 다음에 또 말들이 돌던데, 무슨 박사 시험 문제를 냈다는 둥 어쨌다는 둥ㅋㅋ

학부 4학년 경제학과 고급계량 정도, 통계학과 학부 고학년 시계열 정도에 나올만한 내용들에 불과하다.

나중에 대학원 박사 수업 문제들 공개하면 무슨 말이 나올려나? ㅋㅋ

문제가 AI랑 아무 관계 없다는 둥 그러던데, 일부러 Deep Neural Net, Reinforcement Learning이 쓰일 수 있는 DGP가 얼마나 제한적인지를 확인하는 항목을 추가했다.

암튼, 이번에는 어문계열 출신인데 정말 이 악물고 열심히 공부해서 이 모든 걸 이해하고 시험 잘 치신 분의 후기를 공유한다.

---

학부는 XX과 (*주-어문계열)를 나왔고요, 석사는 대표님께서 익히 알고 계시는 빅데이터 석사를 나왔습니다.

(중략)

이러나 저러나 대학원 시절에 대표님을 만났더라면 대학원 수준의 통계수업도 도전해보고 했을텐데 너무 아쉽다는 생각을 하게 되네요.

하지만 지금이라도 만나뵙게 된 것을 너무나도 감사하게 생각하고 있습니다.

(중략)

 

어쨌든 이렇게 부족한 문과 출신이 감히... 어떻게... MSDS에 가겠다고 이 수업을? 이라고 충분히 생각하실 수 있을 것 같아요.

그게 참 무섭고 두려워서 지금까지 딱히 저의 배경에 대해 정확하게 말씀을 못드리고 있다가

이제서야 admission을 앞두고 어차피 알게 되실테니 조심스럽게 메일 드립니다.

 

당연히 제가 MSDS에 직행할 수 있을거라는 오만하고 가벼운 생각으로 수강을 한 것이 아니었어요.

다른 분께서 쓰신 후기를 봤는데 저랑 비슷한 마음이셨더라고요.

신청을 하면서 제 마음은 딱 뱁새의 마음이었습니다. 황새를 너무나도 따라가고 싶은 뱁새의 마음이요.

황새를 따라가다 가랑이가 찢어질 지 언정 출발점에 누워있는 뱁새보다는 나을 것이다 라는 생각으로 MSDS prep class를 신청했습니다.

 

첫 수업부터 되게 멘붕이었어요. 이런 스타일의 교육을 받아본 적도 없고 저 말고 대부분의 다른 황새 분들은 A1~A5 이런건 당연히 모두 알고계시며 heteroskedascity, heteroskedasticity, OLS, MLE, Asymptotic, CUAN, BLUE 등등 용어들은 쏟아져 나오는데 제가 아는건 하나도 없었기 때문에요. 대표님께서 따라 오냐고 물어보시는데 제가 따라가고 있는 것인지 아닌 것인지를 분간하기조차 힘들었습니다. 황새분들의 발목을 잡으며 민폐를 끼칠 순 없으니 뱁새로서 수업시간은 대부분 조용히 넘어갔고 복습으로 부족한 부분을 메우려고 노력했어요. 모르는 용어가 나오면 일단 적어두었다가 수업이 끝나면 김창진 교수님 노트라든가, 유튜브, 블로그 등등을 활용해서 개념에 대해 다시 익혔고 그런 후 문제를 보니까 서서히 익숙해지더라고요. 검색하다가 찾은 UCL의 Econometrics 강의노트도 뱁새인 제겐 많은 도움이 되었습니다.

Dynamic Optimisation 부분은 대표님께서 겁주신(?) 것에 비하면 훨씬 괜찮았습니다. 당연히 대표님께서 강의를 너무 잘 해주셨기 때문이겠죠. 수업시간에 수식을 바로바로 따라가기는 어려웠지만, 개념적으로 BE (*주 - Bellman Equation)는 어떤 것이다, Hamiltonian은 어떤 것이다, Phase diagram은 어떤 것이다 이런 것들은 수업을 들으면서 이해를 했고, 끝난 후에 다시 하나하나 derivation을 따라가보면서 Lecture note를 꼼꼼히 따라가니까 깊이있는 이해까지는 아니겠지만 내주신 문제를 풀 수 있을 정도는 가능했습니다. 막히는 부분은 또 유튜브 등을 통해서 메웠구요.

시험 준비를 위해서 2주 정도는 잠을 제대로 잔 날이 없었어요. 회사가서 몽롱하게 있을지언정 거의 밤을 새고... 공부를 했고 몬스터, 글루콤 같은 약물에 의존해 공부를 했습니다. 제가 뱁새라는 것을 알고 있었기에 대표님께서 아... 진짜 얘는 시험을 너무 못봐서 블랙리스트감이다 이렇게 생각하지 않으셨으면 좋겠다고 생각해서 열심히 했어요. 바보같이 수준 낮은 질문들을 office hour에 들고가야 했던 게 쪽팔렸지만 그래도 지금 쪽팔린 게 낫다 하는 마음으로... 질문을 드렸습니다. office hour에 거의 제 질문만 다뤄주실땐 아....... 황새분들께 폐를 끼친 것은 아닌가 하고 굉장히 죄송한 마음이었고요.

시험은 말씀해주신대로 어려웠습니다.

첫 문제부터 예상치 못한 OVB (*주 - Omitted Variable Bias)가 나와서 많이 당황했어요. Measurement Error를 다루는 문제들이 많았다보니 그 위주로 나올거라고 생각했었거든요. 참 바보같은 생각이었습니다. 그래도 배운 내용, 공부한 내용을 떠올리며 열심히 풀어보았습니다. 한 문제 푸는데 이미 1시간이 지났더라고요. 이러다 답안 작성을 다 못하겠다 싶어서 크게 흔들렸던 것 같아요. MA(5)까지는 상상도 못했는데 그런 내용이 나와서 너무 놀랐고 x_2t=y_(t-2)라는 조건도 상상도 못한 조건이라 많이 당황했던 것 같아요. 그러는 사이 2시간이 지났다고 하셔서 정말 마음이 너무 급해졌습니다. 4번은 너무나 감사하게도 평이하게 바꿔주신 관계로 보자마자 풀 수 있다는 확신이 있었는데, 3번을 고민하다가 답안을 다 못쓸까봐 4번부터 답안을 썼던 게 기억납니다. 여러모로 부랴부랴 쓰느라 되게 두서없이 엉망으로 써서 쓰면서도 죄송했습니다.

그렇게 시험이 끝나고 나오면서 40점은 나오려나? 하면서 자책을 많이 했어요. 주말엔 부족했던 잠을 몰아잤는데 시험점수 나오면 이제 대표님께 뭐라고 말씀을 드려야 하나 나 혼자 말도 안되는 점수를 받아서 대표님께서 대노하시면 어떡하지... 하고 걱정을 계속 했습니다. 오늘은 출근길에 블로그에 MBA와 MSDA 설명을 해두신걸 보고는 대표님께서 나는 역시 MBA를 가라고 하실까? 하면서 아침 내내 계속 고민했습니다. 어떤 과정으로 가든 개강 전 공부를 더 해가고 싶은데 수리통계학을 보고 갈까 하고 강의도 알아보던 중이었고요.

그런데 너무나 감사하게도 미국식 채점기준을 적용해주신 덕에, 성실성 점수를 반영해 주신 덕에 저에게 예상치 못한 합격목걸이가 쥐어진 걸 알게 되었어요. 솔직히 성적표를 보고는 너무 기뻐서 회사에서 소리지르면서 뛰어다닐 뻔 했습니다. 커트라인을 간신히 턱걸이로 넘은 수준이지만 저 따위가........ 뱁새가.... 감히.......? 합격을 해도 되는 것인지 어안이 벙벙합니다.

뱁새지만 그래도 폐를 최소한으로 끼치면서 턱걸이지만 완주를 해낸 거 아닐까 하는 뿌듯한 마음도 있지만 사실 내가 이래도 되나? 하는 두려움이 앞섭니다. 대표님께서 이건 그냥 기초라고. 그 다음에 훨씬 어려운 것들이 MSDS에서 우릴 기다리고 있다고 몇 번이고 말씀해 주셨으니까요.

그래서 지금 굉장히 혼란스럽습니다. 대표님도 메일 보고 많이 당혹스러우실 것 같아요. 이런 애는... 당연히 걸러져야 하는데 왜 여기에? 싶으실 것 같고요. 혹은 그럼에도 불구하고 제가 감히 이 시험을 턱걸이지만 통과는 한 것이니 자랑스러워해도 되는 것 일까요. 통과를 해서 기쁘기는 한데 잠이 안옵니다....... 통과한다는 것 자체를 감히 상상조차 한적이 없어서요.......... 부디 노여워 마시고 ㅠ_ㅠ 뱁새 주제에 용케도 여기까지 왔네... 라는 관점으로 봐주셨으면 합니다.............ㅠㅠ

지난 한달 반 동안 내용이 버겁긴 했지만 (제가 감히 이런 말씀을 드려도 될지 모르겠지만) 참 재밌었습니다. 몰랐던 새로운 언어들을 배워가면서 아! 이게 이거였구나! 하는 순간들이 많아서 세계가 확장되는 기분과 더불어 즐거움을 느낄 수밖에 없었던 것 같아요. 저 같은 뱁새조차도 그렇게 느낄 수 있도록 어디가서 배우기 힘든 이런 좋은 강의 해주셔서 너무너무 감사드립니다.

메일이 너무 길었죠?ㅠㅠ 찔리는게 많아서 구구절절 쓰게 되었습니다.......

빅데이터 석사를 했지만 항상 마음속에 의구심이 있었어요. 졸업 논문도 쓰레기 같은 걸 쓰고 졸업해서... 너무너무 부끄러운 마음이 항상 있었고요. 대표님께 배운 한달 반 덕에 이제 아주 조금은 어깨를 살짝 펴도 되지 않을까 하는 생각을 해봅니다. 어디가서 부끄럽지 않기 위해서, 이제 참새에서 비둘기가 되기 위해서 계속 열심히 공부할게요.

---

 

감동의 쓰나미가 몰려와서 한동안 말을 잃었습니다.

주변에 이런 케이스들이 드물게 있기는 했습니다.

경영학과 출신에 대기업 다니다가 그만두고 와서는 대학원 통계 수업 한번에 따라가고 그런 애들.

제가 평소에 말하는대로, DNA가 다른 애들이었습니다.

저보다 덜 고생해도 더 빨리, 더 많은 지식을 익힐 수 있는 축복받은 인재들이죠.

(중략)

---

진짜 농담이 아니고 메일 받고 울었다. 공부하느라 얼마나 고생했을지, 내가 딱 저 부분 공부하던 시절이 떠오르더라.

나도 그 때 생긴 중지 손가락의 펜 자국이 몇 년간 안 없어질만큼 펜을 놓질 않고 또 쓰고 또 쓰면서 겨우겨우 이해했었으니까.

Office Hour 질문이라고 장문의 이메일을 몇 차례 받으면서, 정말 이 악물고 열심히 공부하는 중이구나 싶었는데,

답안 채점하는 내내, 문제 상황을 제대로 이해하고 접근하는 훈련, 수업 내용을 활용하는 능력이 잘 갖춰진 답안지라고 생각했고,

Office Hour 까지 진행해가며 가르친 보람(?)이 느껴지는 답안지였다.

 

충분히 어깨를 펴고 자랑해도 된다... 가 아니라 열정과 학습 속도에 고개 숙이고 존경심을 표하고 싶다.

이런 인재 분들이 2류 교육을 받고, 자신의 가치와 역량을 영원히 모르고 사는 그런 인생 대신,

자신의 역량을 마음껏 발휘할 수 있는 토대를 닦는 1류 교육을 제공해서,

내가 공급하는 교육을 2류, 3류로 추락시킬 수 있도록 청출어람 하기를 바라 마지않는다.

 

前 MSDS, 현 MSc Artificial Intelligence 입시시험 후기 시리즈

• 입시 문제 및 해설
• MSDS Boot Camp 수강 후기 (1)
• MSDS Boot Camp 수강 후기 (2)
• MSDS Boot Camp 수강 후기 (3)
• MSDS Boot Camp 수강 후기 (4)

MSDS Boot Camp 시험을 치르기도 전에 아래의 후기를 받았습니다.

학생들의 프로그램 선택 및 수학/통계학에 대한 접근 방식에 좋은 정보가 될 것 같아,

본인 동의 하에 개인정보를 생략하고 공유합니다.

---

안녕하세요. 이번 MSDS Prep 강의 수강자 XXX입니다.

준비가 너무 미흡하여 입학시험을 포기하겠습니다. 죄송합니다.

아직 미련이 남아 시기를 정확히 말씀드리지는 못하지만 이번 MBA 코스 혹은 내년 MSDA를 목표하고 있어 이하 변명의 글을 적습니다.

저는 CS학부를 졸업하고 현재 데이터 직종에 종사하고 있습니다. 사내 분류상 DS직무로 분류되지만 본 업무는 데이터 모델링 및 분석 업무가 주된 업무입니다.

파비클래스를 알기 전 타 DS 온라인 강의를 수강했고, XXX 주최의 작은 AI경진대회의 한 분야에서 우승을 했었습니다. (그 때 사용했던 모델은 랜덤포레스트였습니다ㅎ) 그냥 라이브러리 가져와서 돌리고, 점수 낮으면 설정값 바꿔서 돌리고 다시 점수내고.. DS를 이런 식으로 배우고 쓰는 건 아니다라는 생각을 하며 찾다가 파비블로그를 접하게 되었습니다.

블로그 글을 보며 부족함과 깨달음을 얻고 제대로 된 DS를 배우고 싶어 대학원 설립 전 MSDS수업을 목표로 베이스가 되는 수학 및 통계학 공부를 시작했습니다.

미적분, 선형대수, 수리통계를 공부하고 Math & Stat for MSDA를 들으며 괜찮을지도 모른다는 오만한 생각을 했습니다. (이번 강의를 들으며 문제풀이와 암기에만 급급한 잘못된 방법으로 공부를 했다는 것을 깨달았습니다. 괜찮을지도 모른다고 생각한 것도 사고의 깊이가 얕아 그 의미를 정확하게 이해하지 못했기 때문일거 같습니다. 그냥 단순히 그런가보다 하고 아는 용어 나오니까 안다고 착각하고 넘어갔겠죠.. 부끄럽습니다..)

처음부터 MSDS는 언감생심으로 MSDA를 생각하고 있었지만 혹시나 하는 마음이 없었다고 한다면 거짓말입니다. 그리고 좋은 강의를 듣고 싶다는 욕심에 무리임을 알면서도 수강 신청을 했습니다.

수학은 언어라고 하셨던 것처럼 수학으로 내 논리를 탄탄하게 앃아올리는 연습을 해야하는데 숫자 보기에만 연연했던지라 응용 및 사고의 확장이 자유롭게 되지 않았습니다. (추가로 정규 과정이 아닌 자율학습으로 공부한지라 첫 시간에는 영어로 표현되는 용어에 멘붕이 와서 수업 내용이 잘 기억이 나지 않습니다.)

수강을 취소하지 않았던 것은 그래도 다행히 전혀 못 알아듣지는 않았고, 공부하는 과정이 힘들지만 단순 노가다성 암기가 아닌 즐거움과 성취감이 있었기 때문입니다.

시험을 준비하며 시간이 조금만 더 있었으면 하는 마음이 들었습니다. 그리고 혹시나 운이 엄청나게 좋을수도 있지 않을까하는 허황된 생각도 해보기는 했지만 주어진 시간 안에 소화할 수 없다는 것은 결국 수업을 따라갈 수 없는 수준이라 판단하였습니다.

더 공부를 하면 벽을 넘을 수 있을까 꽤 오랜시간 고민을 하고 있지만 아직 답을 내지 못했습니다. 미련이고 지금보다 훨씬 괴로운 길일 것이라 생각하지만 포기를 하기에는 아직 덜 깨진 것 같습니다.

마지막으로 제 분수에 맞지 않는 좋은 강의를 들을 수 있는 기회를 주셔서 감사하다는 말씀을 꼭 드리고 싶었습니다. 개인적인 레벨에서 첫 강의를 들었을 때와 마지막 강의까지 들은 지금을 비교하면 정말 문제를 대하는 방법부터 사고의 흐름 및 관점까지 많은 발전이 있었습니다. 만약 강의를 듣지 않았다면 여전히 계산에만 집착 하거나 그마저도 못한 라이브러리 가져다가 안 맞으면 다른 라이브러리 찾는 짓을 하고 있었을 거라 생각합니다.

다시 한 번 죄송하다는 말씀과 염치 불구하고 감사하다는 말씀 드립니다.

 

사담입니다. SNS를 하지 않아 올라오는 글로만 보았지만 논지를 이해 못하는 분들과 억지로 눈을 돌리려고 하시는 분들이 계신 것 같습니다. 맞는 말을 하고 계시니 아마 자연스레 사라질 것이라 생각합니다. 힘든 길을 가주시는 덕분에 저 같은 사람은 감사하고 있습니다. 나아가시는 길 존경을 담아 응원하겠습니다.

---

 

안녕하세요 XXX님,

 

많은 고민이 느껴지는 장문의 이메일을 받고 안타까운 마음이 커집니다.

CS출신 직장인이라는 알려주신 스펙만 놓고봤을 때는 MBA vs. MSDA 놓고 고민하는 것조차 버거울 것 같은데

MSDA 수업 요약에 해당하는 Prep을 단기간에 들으셨으니 보통 난이도가 아니었을겁니다.

그럼에도 불구하고 Math & Stat for MSDA까지 들으며 준비하신 열정에 고개를 숙입니다.

 

직접적인 타겟이 아닌 분이었음에도 짧은 수업을 거치며 제 의도가 많은 부분 전달되었던 것 같아

한편으로는 다행으로 생각하고, 다른 한편으로는 선악과를 준 뱀이 된 것 같아 되려 찜찜해지는군요.

 

비슷한 상황이신 분들께 MBA in AI BigData를 하면서 MSDA와 수업이 겹치는 몇 과목의 과제/시험을 MSDA로 하라고 권유합니다.

XX님께도 같은 추천을 드리고 싶습니다.

 

살짝 맛보기를 해 봤으니 어느 정도 느껴지겠지만, 수학, 통계학의 고학년/대학원을 위한 수업들 앞에 놓인 벽은

그리고 제가 고생해서 배운 후 전달하고 있는 직관적, 추론적, 추상화된 사고력을 기르는 방식의 또 하나의 벽은

국내의 계산 위주로 구성된 공학 or 유사한 수준의 교육과정을 거친 분들이 직장 다니면서 쉽게 넘을 수 있는 벽이 아닙니다.

 

직장에서 제대로 쓰지도 못하는 Scientific 지식을 굳이 욕심내서 공부하려고 돌아가는 길을 선택하는 대신,

주어진 상황에 적절한 선택을 하시는 편이 맞지 않나 생각합니다.

 

옷도 무조건 큰 옷, 무조건 유명 브랜드의 옷이 예쁜게 아니라, 자기 체형과 분위기에 맞아야 좋은 옷이잖아요.

 

수업 듣느라 고생 많으셨습니다.

---

 

안녕하세요.

진심어린 조언 감사드립니다. 과정 선택에 많은 도움이 될 것 같습니다!

메일 내용은 편하신대로 공개하셔도 괜찮습니다.

답변 주셔서 부족함으로 수업 목적에 부합하지 못해 죄송스러웠던 마음이 조금이나마 가벼워졌습니다.

감사합니다.

---

(Note: 여태 이런 수준 교육에만 헛 돈을 썼으니ㅠㅠ)

 

아예 한 마디도 못 알아듣고 코드만 달라고 하거나, 욕하면서 강의장을 엉망으로 만들었던 CS 출신들이 은근 있었는데,

저 분은 실력의 격차를 메우려면 수학/통계학이 필요하다는 사실을 (막연하게나마) 인지하고 수업을 찾아온 것 같고,

하필이면 준비상태에 맞지 않은, 너무 무리한 도전을 했다고 생각된다.

 

아마도 Data Scientist를 꿈꾸는 국내 공학도들 거의 대부분이 영미권 학부 3,4학년 수준인 이번 MSDS 입학시험 문제에 손도 못 댈 것이다.

국내 비전공 학부 출신이 1년간 MSDA 과목들을 듣는다고 해도 이번 입학시험 정도의 난이도 문제들을 풀기 쉽지 않을 것이다.

기본에 해당하는 수학, 통계학 교육, 직관적 추상화 교육이 사실상 전무한 상황인데, 그걸 1년만에 따라잡는건 기적이니까.

(그 정도 지식이 있어야 왜 수학, 통계학, 직관적 추상화가 Data Science에 핵심인지 알텐데, 그걸 모르니 맨날 우리를 욕하는거겠지.)

(아니면 그렇게 욕해야 자기네 코딩 학원에 학생들이 많이오는 마케팅 담당자들의 교묘한 바이럴 마케팅이었을지도?)

(어쩌면 그런 사리사욕만 챙기는 바이럴 마케팅에 속아 넘어간 불쌍한 짝퉁 Data Scientist였을지도 모르겠다.)

 

3년 남짓 국내에서 데이터 사이언스 교육을 하면서 느꼈지만, 교육 연구를 해서 제대로 가르치는 교수들은 정말 드물더라.

못하는게 딱히 학생들 잘못은 아닌 것 같고, 교수들의 책임 방기라고 지적하고 싶지만, 교수들이라고해서 제대로 안 가르치고 싶을까?

 

학부시절에도, 심지어 S대 최상위권 학과에, 수학, 통계학 지식이 중요하다는걸 과 전체가 느끼면서 공부하는 전공이었는데도

같은 과목을 쉽게/어렵게 가르치는 교수 2명이 강의하고 있으면 학점 잘 받아서 교환학생, 취직에 활용하려는 애들이

쉽게 가르치는 수업에 우르르 몰려갔었다. 학점 바닥을 깔더라도 어려운 수업 찾아가는 나같은 Psycho는 그 때도 괴물 취급 받았으니까.

고집 피우며 어렵게 (즉, 제대로) 가르칠 수 있는 분위기가 조성된 전공과 학교에서도 그랬는데, 하물며 다른 곳들이야.

 

반값 등록금의 파장이 낳은 쥐꼬리 월급을 받는 교수들의 현실, 돈 되는 프로젝트에 양심을 팔 수 밖에 없는 현실들이 이해되는터라,

그런 와중에 제대로 고민해서 수업 만들어봐야 소수만 살아남아서 학장에게 돈 안 된다고 꾸중만 듣는 수업이 되는데, 왜 고생해야되지?

어차피 대학 교수들의 직위는 단순히 노동3법 정도가 아니라 사립학교법, 고등교육법으로 보장될만큼 안정적인데?

월급 잘 나오는데, 강의 잘해서는 월급 말고 돈 더 나올 구석이 없는데 왜 오버함?

 

그냥 안타깝다.

직장가서도 저렇게 열정을 갖고 공부하는 학부 졸업생이 영미권 학부 3-4학년 수준 지식 공부하려면

직장 그만두고 몇 년을 쏟아부어야 할 만큼 우리나라 학부 교육이 부실하다는 사실이.

내 자식이 저런 상황이었으면 교수들에게 분노가 치밀고, 자식을 국내 대학 보낸 나 자신의 어리석음에 자책감만 생길듯

 

前 MSDS, 현 MSc Artificial Intelligence 입시시험 후기 시리즈

• 입시 문제 및 해설
• MSDS Boot Camp 수강 후기 (1)
• MSDS Boot Camp 수강 후기 (2)
• MSDS Boot Camp 수강 후기 (3)
• MSDS Boot Camp 수강 후기 (4)

업계에서 필자의 컬럼에 대해 "코딩은 필요없다는건가", "현업에서 수학의 효율은 기대하기 어렵다", "통계학은 평균,분산 구하는것 아닌가", "수학・통계학의 시대는 지났고, 인공지능에게 맡기면 된다"등의 지적들을 하고 있는 것으로 안다. 그러나, 이는 단지 필자만의 주장이 아닌, 영미권 응용 수학・통계학(Applied Mathematics & Statistics) 전공에서 운영하는 데이터 사이언스 프로그램이 선도하고 있는 AI라는 학문의 전반적인 흐름이다. 필자는 지금까지 많은 글들을 통해 관련 오해들을 지적해왔는데, 이와 비슷한 관점을 대한민국에서 유일하게 S대 계산과학 연계전공에서도 볼 수 있다는 점을 이번 글에서 전하고자 한다.

아래 소개하는 교수님과는 개인적인 친분이 전혀 없고, 순수하게 구글링을 통해 찾은 정보임을 미리 밝힌다.

 

S대 컴퓨터 공학과에서 수학・통계학 기반의 AI 관련 교육을 하시는 장병탁 교수님이시다. 그동안 필자가 봐왔던 우리나라 컴퓨터 과학(Computer Science) 교수님들의 강의 목차 중 처음 볼츠만 머신(Boltzmann Machine)을 가르치시고 계셨다. 또, 볼츠만 머신을 이해하기 위해 마르코프 연쇄 몬테카를로(Markov Chain Monte Carlo, MCMC), 깁스 샘플링(Gibbs sampling)으로 이어지는 베이지안(Bayesian) 계산통계학의 한 축과 네트워크 이론(Network theory)에서 랜덤 워크(random walk)와 같은 주제, 그리고 이를 다루기 위한 마르코프 과정(Markovian process), 그리고 요인 분석(Factor Analysis)을 가르치시는 강의 노트를 확인할 수 있었다.

그간 필자는 역전파(Back-propagation)은 80년대 계산법이고, 90년대 후반 이후에 문제점을 보완한 볼츠만 머신을 쓰지 않는 이상, 그 한계로 인해 신경망(Neural Net) 계산을 신뢰하기는 어렵다고 강조해왔다. S대 대학원 수업에 볼츠만을 가르치시는 위 교수님의 커리큘럼이 필자의 신경망에 대한 견해와 같은 선상에 있다는 것을 확인할 수 있다.

 

위 교수님이 남들은 고개를 한번쯤은 숙일 S대 컴퓨터 공학과 교수, S대 AI 연구원장, 그리고 N사에서 연구원 100명이 참여하는 수백억원대 공동 프로젝트를 맡기는 핵심 인력이니, 충분히 설득이 될 것이다. 우선, 이런 분을 못 찾고 그동안 컴퓨터 과학 분야를 비난한 부분에 대해서 고개 숙여 사과드린다. 대신, 이런 글로벌 수준 지식을 갖고 있는 분이 아니라면, 인공지능에 대한 오해를 불러일으키는 언행은 자제해주셨으면 좋겠다. 이와 비슷한 수학・통계학 훈련을 받아 연구 주제만 전환하면 짧은 시간 안에 적응할 수 있는 분들이 문과인 경제학에만도 국내 최소 수백명은 있다는 점을 상기시켜드리고 싶다.

영미권의 유수 대학 데이터 사이언스 프로그램들과 비교해서, 위 교수님의 커리큘럼과 관련해서 공유할만한 포인트가 크게 3가지가 있다.

 

1. 영미권에서는 여러 과목에 나눠서 가르치는 내용을 1-2과목에 압축했다

해외 대학의 플래그십(flagship)에 해당하는 데이터 사이언스 프로그램들을 살펴보면,

• Graph Theory,
• Information Theory,
• Machine Learning,
• Reinforcement Learning,
• Bayesian Time Series

에 걸쳐 나눠넣은 교육 과정을 1-2과목에 다 가르치시고 있다. 필자 또한 필요한 수학은 스스로 찾아가며 공부하면 된다고 생각하기에, 이런 1-2과목 압축형 커리큘럼에 동의한다.

그러나, 비슷한 수업을 여러 주제를 필요한 수학・통계학 기준에 맞춰 12시간의 수업으로 묶어 필자의 '데이터 사이언스 모델링'이라는 수업으로 운영한 적이 있었는데, 대부분의 수강생이 좌절하고 한 학기 수업으로 만들어달라고 요청하는 경우가 대부분이었다.

꽤 준비되신 분들마저도 수업 중반부에 들어서면서 퍼지시는 모습을 지켜봤는데, 위처럼 1-2과목에 내용을 모두 몰아넣으면 충분히 지식이 전달 되었을지 우려스러운 부분이 있다. 해당 커리큘럼을 소화하기 위해 수강생들이 그 전에 상당한 수준의 수학・통계학 훈련을 받았어야 할 것이다.

 

2. 얼마나 지식을 소화할 수 있었을까?

필자가 3년간 '데이터 사이언스 모델링' 강의를 총 3번 진행했던 경험이 있다. 약 50명의 인원을 가르치면서, 수학 및 통계학으로 일정 수준 이상의 훈련을 받은 분들만 수강생으로 받았고, 상당수는 국내외 대학의 박사과정을 거치셨던 분들이었음에도 불구하고, 대부분이 지식을 완전히 소화하기 버거워하셨던 것으로 기억한다.

S대 컴퓨터 공학과 전공 커리큘럼 상 수학・통계학을 훈련하는 수업이 주를 이루고 있지는 않다보니, 얼마나 많은 수의 학생들이 제대로 듣고 이해했을지 우려스럽다.

남의 전공 상황을 함부로 재단하고 싶지는 않으나, 배운 지식에 대한 측정이 가능한, 볼츠만 머신과 관련된 질문에 대답을 제대로 하셨던 분이 거의 없었던 필자의 경험상, 다른 기초 훈련없이 해당 수업을 제대로 이해한 분이 있을지, 고급 지식을 이해하기 위한 추가적인 기초 수업들이 필요하진 않을지 걱정되는 부분이 있다.

 

3. 체계적인 커리큘럼의 중요성

필자가 견지하고 있는 AI에 대한 견해는 필자의 석・박 유학 시절 혹독하게 받은 영미권 교육 및 해외 유수 대학의 데이터 사이언스라는 학문의 전반적인 흐름에 기반하고 있다. S대 계산과학 연계전공이 위 흐름을 유일하게 이해하고 있는 것으로 보이나, 학부 사정 및 커리큘럼의 구성을 고려했을 때, 혹독한 교육과정에서 제대로 살아남을 수 있는 인재는 몇 안될 것으로 짐작된다.

어느 유명 해외의 데이터 사이언스 프로그램의 경우, 위 커리큘럼 스타일을 유지하면서도, 이를 더 자세하게 가르쳐 주는 커리큘럼을 제공하고 있다. 더불어 많은 데이터 셋에서 데이터 생성 과정(Data Generating Process, DGP)에 맞춘 적절한 모델링을 할 수 있도록 경제학의 계량경제학 도구, 방법론, 활용처 일부까지 가르치는 커리큘럼을 제공하는 경우도 있다. 이러한 교육과정을 거쳐야 수학, 통계학을 해당 교육기관이 가르치는 레벨로 이해하고, 나아가 데이터 사이언스 업계에서 복잡한 현실 상황을 맞닥뜨려도, 배운 수학・통계학적 지식과 도구들로 문제들을 논리적으로 해결할 수 있는 능력을 갖추게 될 것이다.

그러나, 아직 우리나라의 AI 교육기관은 위와 같은 지식선진국의 체계적인 교육 커리큘럼이 구성된 바가 없어 아쉬울 따름이다. 언젠가는 '진짜' 전문가들이 힘을 합쳐 경제학, 수학, 통계학의 기반을 단단히 다져 계산과학 및 인공지능 전문가를 양성할 수 있는 체계적인 커리큘럼을 갖춘 데이터 사이언스, 인공지능 교육 기관이 출범할 수 있기를 바래본다.

 

+AI를 제대로 공부하고 싶은 분들께

AI를 제대로 공부하고 싶다면, 수학・통계학적 훈련은 일정 수준 이상으로 필요할 것이다. 다른 양적(Quantative) 학문의 상황도 별반 다르지 않다.

경영학과를 예로 들면, 경영학과에서 재무(Finance) 교수님들이 다루는 수학・통계학 훈련이 된 경우는 경영학과 학・석사를 마친 분들이 아닌, 수학・통계학을 복수전공 하신 분들이다. 이런 훈련을 받았어야 대학원에서 재무 전공과 관련된 논문들을 이해할 수 있기 때문이다. 수학・통계학 공부를 자체적으로 하는 경제학과 또한 상황은 다르지 않다. 수학, 통계학과의 해석개론, 수리통계학 이수기록 및 학점이 있어야 대학원 추천서를 받을 수 있다.

위의 CS 대학원 수업 커리큘럼 또한 AI로 이름을 달아놓은 주제도 위와 맥락을 같이한다. 수학・통계학을 어느 정도 깊이 이상으로 공부해야하는 전공의 대학원은 누구나 다 괴로운 벽을 넘어야한다. 다루는 내용이 이미지 인식, 언어 처리인지, IT업계의 개인 행동 데이터인지, 금융데이터인지 등으로 도메인의 차이만 있을 뿐이다. AI라고 불리는 계산과학을 제대로 공부하고 싶다면, 수학적인 도전은 반드시 필요할 것이다.

지난 글 이후로 많은 의견을 받았는데, 답변차원에서 2번째 글타래를 이어가본다.

지난 글에서 이미 컨설턴트의 '케이스 풀이법'에서 선형적 비지니스 접근의 한계에 대해서는 언급했으므로, 이번에는 실제 현업에서 비지니스 하는 사람들과 컨설턴트들의 차이를 살펴보자.

케이스 풀이법에서 슈퍼마켓 예시를 들었으니 같은 산업에서 스토리를 이어가보려 한다.

컨설팅 vs. 슈퍼마켓 지점장 사례

당신이 대형슈퍼마켓 지점장이라고 해보자. 컨설팅 회사 출신 본사의 전략기획 실장님께서 우리 지점 매출액 목표치가 '동네인구 x 시장점유율 x 1인당 장바구니 사이즈 x 52주'로 정리해서 보내주셨다. 이제 매출액을 어떻게 끌어올릴 수 있을까?

여기서 동네인구를 끌어올릴 수 있는 방법은 없다. 52주를 104주로 늘릴 방법도 없다. 1인당 장바구니 사이즈를 늘릴 수 있는 방법은 일시적으로 인기 상품을 들여와 가능할 수는 있으나, 장기적으로는 불가능에 가깝다. 결국 사람들이 집에서 요리를 해먹도록 만들어야 1인당 장바구니 사이즈가 늘어날텐데, 이는 본사에서도 하기 쉽지 않은, 트렌드의 변화를 불러일으켜야하는 일이다. 문화 현상에 대한 도전은 이 글에서 논외로 하기로 한다.

 

시장 점유율 끌어올리기

결국 지점장인 당신에게 필요한 내용은 우리동네에서 우리 슈퍼마켓이 경쟁마트보다 조금이라도 더 많은 고객을 끌어들이도록 해야한다는 것이다. 여기서 당신은 아래와 같은 세 가지 정도의 마케팅 전략을 취할 수 있을 것이다.

• 미끼 상품 몇 개로 사람들 유혹하기
• 상품 팜플렛 돌리기
• 입소문 내기

미끼 상품은 뭘로 고르면 될까?

컨설팅의 하향식 접근방식에 따라, 우리 동네에는 4인가구가 많고, 요리를 많이하고, 부자동네라서 고급 음식을 많이 먹으므로 1등급 한우의 비싼 부위를 싸게 판다고 결론 내리는 방식과, 지난 주에 제일 많이 팔린 상품 리스트 중 아직 재고가 많이 남은 상품 1-2개를 골라 재고를 처리하는 방식 중 당신은 어느 쪽을 더 선호하겠는가?

컨설팅의 접근 방식을 취하려면, 1등급 한우의 비싼 부위를 얼마의 가격에 팔아야할지, 몇 %의 손실을 감수해야할지, 홍보효과가 충분해서 사람들이 많이 올지, 방문해서 다른 상품도 많이 사갈지에 대한 구체적인 수치가 있어야하고, 해당 수치를 뒷받침하기 위한 충분한 근거가 필요하다. 예컨대 우리 마트 또는 옆 마트에서 비슷한 미끼 상품을 썼던 기록 데이터가 필요하다.

만약 데이터가 없는 상황이라면 직접 시행착오를 겪으며 숫자가 나오는 것을 봐야한다. 그러나 이러한 시행착오를 겪으며 매몰비용을 지불하는 것보다, 재고 남은 상품을 처리하는 것이 더 합리적일 수 있다. 최소한 이를 통해 할인판매에 얼마나 많은 사람이 반응하는지 알 수 있는 소중한 근거자료를 얻을 수 있기 때문이다. 이는 다음에 다른 미끼 상품을 기획할 때 사용할 수도 있을 것이다.

자, 다음 포인트를 보자. 팜플렛은 어떻게 만들어야되는가? 입소문은 어떻게 내야할까?

미끼 상품 케이스와 똑같다. 플랜을 만들어내려면 오랜세월 마트를 운영해온 경험이 있거나, 아니면 남들이 하는 것을 벤치마크로 삼아 내실이 들어찰 때까지 왜 그렇게 했을까 고민하면서 모방하는 수 밖에 없다.

 

싸게 파는데도 사람들이 안 온다

조금 더 깊게 들어가서, 아무리 싸게 상품을 내놔도 사람들이 우리 마트에 안 온다고 해보자. 마트 직원들이 고객들에게 설문한 결과 주차장이 불편해서 장보는 아주머니들이 낮에 차를 끌고 오지 못해서 불만의 목소리를 높이고 있다고 한다. 나아가 마트 차원에서 더 많은 주차가 가능하도록 하려고 차 간격을 좁게 했더니 문콕이 자주 발생하고 있다고 한다.

이를 컨설팅 방식의 하향식 접근법을 적용하면, 문 앞에서 고객들에게 설문지를 돌리면서 정보를 수집할 것이다. 그러나 고객이 솔직하게 답변을 하지 않을 가능성도 있으며, 문항 구성에 따라 답변에 대한 신뢰도가 천차만별로 달라진다.

주차장 문제를 해결했다고 하더라도, 최초 설계부터 잘못되었기 때문에 건축설계사무소를 고소하고, 설계 변경 비용 내고, 지방정부기관 건축팀 승인 및 안전 평가, 건설업체 결정 문제 등 매우 많은 시간과 비용이 투입되겠지만, 양보해서 해당 문제를 빠르게 해결해서 고객들이 마트에 많이 오게 되었다고 가정해보자.

 

오게 만들어 놔도 돈을 안 쓴다

고객들이 매장에 들어왔는데, 다른 마트보다 장바구니 금액이 적다.

컨설턴트는 우리 동네가 우리 동네는 어떤 소득, 소비 수준을 갖춘 사람들이 살고 있고, 그래서 상품은 어떤 종류를 소비하고, 그 중 어떤 상품은 브랜드 이미지가 어떻고, 그래서 어떤 종류의 상품을 더 많이 입점시켜야하는지 등의 '솔루션'을 제안할 것이다.

힌퍈 현장 경험이 많은 노련한 지점장은 고객들의 동선을 먼저 확인해볼 것이다. 특히 주차장 문제를 해결한 지점장이면 직접 장바구니를 들고, 혹은 가족 동반으로 장바구니를 들고 1주일치 장을 볼 것이다. 이를 통해 먹고 싶은 상품이 없다거나, 먹고 싶었던 상품이 잘 안보인다거나, 배치에 대한 설명이 부족해 고객이 헷갈리거나 포기하는 경우가 있다는 것을 파악할 것이다.

분석이 끝났으면 고객이 움직이는 동선을 의도적으로 조절할 수 있도록 매대의 폭을 조절하거나, 상품이 잘 팔리는 코너에 더 주력 상품을 배치하거나, 리베이트를 많이 주는 상품들 위주로 홍보 마크를 달아놓는 방향으로 매장 안에서 고객들이 장바구니를 더 풍성하게 채울 수 있도록 하는 환경을 조성할 것이다.

이런 지식을 공부하는 산업공학의 분과학문을 소매 인체공학(Ergonomics in Retail)이라고 하고, 이런 종류의 수업과 교재도 찾아볼 수 있다. 우리가 마트에서 보는 상품 배치는 관련 주제의 학문을 하는 연구자들이 기하학적 지식을 동원해 무수히 많은 시행착오로 만들어낸 결과물인 것이다.

현장 경험이 많은 노련한 업계 종사자들은 이런 것을 경험으로 익히고 있는 것이고, 박사들은 기하학이라는 수학 지식과 실험 기반의 통계적 연구로 그런 지식을 쌓은 차이가 있을 뿐이다.

 

머신러닝이 쓰일 곳

실제 건물에서 사람들의 움직이는 경로에 대한 데이터를 얻고, 그걸 바탕으로 추론을 하던 기존의 연구 방식이 혁명적인 변화를 맞은 건 역설적이게도 움직임을 잘 추적해주는 전파기기(Beacon)이 설치되어서가 아니라, 추적 자체가 매우 간편한 온라인으로 구매의 중식축이 이동했기 때문이다. 마트 산업에서 상품 위치를 어떻게 배치하는 것이 합리적인지 밝혀내기 위해 위의 사진처럼 기계를 착용하고 가짜 고객들이 직접 쇼핑을 하도록 데이터를 모으던게 불과 10년 전의 상황이었다.

온라인 쇼핑몰에서는 고객이 어떤 검색어로 어떤 상품을 봤고, 얼마나 긴 시간동안 그 페이지를 보다가 다른 페이지로 이동했는지에 대한 '지문'을 전부 보유하고 있다. 그 상품 하나만 보고 안 사고 나가버린 데이터 밖에 없으면 문제의 원인이 뭔지 알아내기 힘들 수 있으나 다른 상품을 결국 구매하는걸 보고, 두 상품 간의 차이에 대한 정보를 알아낼 수만 있으면 앞 상품이 왜 안 팔렸는지 쉽게 이해할 수 있게 된다. 고객들의 상품들을 구매하는 데이터가 쌓이기 시작하면, 상품의 가격이 문제였는지, 또는 어떤 특징이 문제였는지를 구분하는 정확도가 가파르게 올라가게 된다.

나아가 같은 카테고리의 상품 N개를 묶고 그 중 가격과 판매량 간의 상관관계가 얼마나 높은지 잡아내면, 해당 상품군은 상품 품질이 중요한지, 또는 가격이 중요한지에 대한 인사이트를 얻을 수 있을 것이다. 이는 산업조직론이라는 경제학의 분과 학문에서 오랫동안 해 오던 작업이고, 온라인 쇼핑몰에서는 시스템만 갖춰져있으면 불과 클릭 몇 번에 같은 정보와 결론을 얻을 수 있다.

좀 더 발전하면 상품 소개 문구 하나, 썸네일 사진에 쓰이는 색상, 썸네일 사진의 모델, 글자 폰트, 화면 색상 비지니스 운영자로서 해야할 고민들을 상당히 합리적인 숫자로 확정지을 수 있게 된다. 최근 이러한 내용을 산업공학과의 소매 인체공학에서 학생들에게 가르치고 있다.

즉 유저들의 행동을 뒤에서 보고, 설문지를 나눠주고, 질문을 하고 답을 얻어가면서 비싸게 얻었던 유저 행동 데이터를 온라인 마케팅 서비스에서 실시간으로 얻어낼 수 있다는 것이다. 물론 서비스가 제대로 작동되어야 유의미한 데이터를 얻을 수 있고, 그 전까지는 정보가 없는 상태에서 시작해야한다는 단점이 있다. 이 때는 온라인 마케팅 또한 시행착오를 겪으며 서비스를 구축해야한다.

필자는 짧지 않은 기간동안 학문과 비지니스를 하면서 한 분야의 지식이 성숙되어 가는 과정에 큰 공통점이 있다는 것을 발견했다. 지식은 어떤 단계에 있든 상관없이 작은 차이를 읽고 이를 어떻게 추상화하여 다른 분야에 적용할 수 있을까, 혹은 이 문제를 어떻게 해결할 수 있을까와 같은 문제의식에서 출발한다는 것이다.

두 영역간의 차이는 그 문제를 해결하는데 수학, 통계학 같은 학문을 쓰느냐, 직관과 경험을 쓰느냐의 차이일 뿐이다.

 

비즈니스 의사결정 구조의 진화 by 데이터 사이언스

설문지보다 훨씬 더 정확하게 인간의 선호를 보여주는 데이터, 현시선호 (Revealed preference)가 표시된 데이터를 손쉽게 얻을 수 있는 세상이 되었기 때문에 컨설턴트의 하향식 접근방식의 가치가 급격하게 떨어지는 시대가 도래했다. 오히려 통계학적 방법론을 이해하고, 더 복잡한 비선형 패턴을 찾아내는 머신러닝 지식을 가지고 있는 인재들에 대한 수요가 늘어날 수 밖에 없게 되었다.

위의 그림을 보면,

• A타입: Top-down 형태의 컨설팅 형태의 지식 생성 과정
• B타입: Bottom-up 형태의 하나하나 벽돌을 쌓아올려서 삼각 피라미드를 완성하는 과정
• C타입: 삼각형 2개를 겹치는 복잡 구조물을 만드는데 하나하나 데이터의 검증을 받는 과정

이 있다. 지금까지 비지니스가 B타입이었기 때문에 대부분이 A 방법론으로 접근해도 될 것이라고 생각해왔다. 그러나 최근들어 C타입처럼 복잡하고 특화된 업무가 생겨나면서 내가 맞는지에 대한 시행착오가 비약적으로 늘어나게 됐고, 시행착오를 비싼 비용을 들여 가짜 유저를 투입시키지 않고도 데이터를 이용해서 높은 정확도를 기대할 수 있게 되었다. 업무는 C타입으로 복잡해졌고, 검증은 온라인 유저 데이터를 이용하면 빠르게 진행되므로 B타입 시절에 A 방법론을 쓰던 컨설턴트가 가지는 엣지가 급격하게 감소하게 된 것이다.

t-Test, A/B Test 같은 1회성의 1변수, 2변수 테스트가 흔히 알려져 있는 통계 테스트 방식이고, 베이지안 방법론을 이용해서 Bandit problem을 풀어내는 연속성의 테스트도 같은 클래스의 통계학 이용법이라고 볼 수 있다.

지난 글에서 선형적인 결과만을 내놓는 업무를 하는 직장에 있으면 2000년대 초반의 지식 체계에 머무를 것이라고 언급한 바 있었다. 요즘 데이터 사이언스 붐이 생기는 이유, 이런 붐이 지속되기 위한 필요조건은 C 타입의 업무가 얼마나 많아지고 사람들에게 받아들여지느냐에 달려있다. 단순한 이미지 인식이나 자연어 처리는 연구실에서 고민한 함수를 적용하는데 그치지만, C 타입의 업무는 본인의 데이터 사이언스 내공을 실무에 적용하는 비지니스 감각에도 영향을 받을 것이다.

 

나가며 - 전략 컨설턴트 접근법의 몰락

컨설팅 스타일의 Top-down 접근법 자체가 틀린 것은 아니다. 그러나 그 접근법은 지식을 체계적으로 쌓아 올리는 과정이 아니라, 정확도를 희생하고 속도를 올리려는 접근법이다. 이는 현실상황이 복잡해질 수록 그 한계가 명확하게 두드러질 수 밖에 없다.

우리 시대에 더 이상 컨설팅적 접근법이 효과적이지 않은 가장 큰 이유는 이제는 더 이상 해당 접근법이 적용될 수 없을 만큼 사회가 다원화, 복잡화되었기 때문일 것이다. 좁은 구역 주차를 수천번해보던 전문가가 아니라면, 주차장 모양만 보고 바로 문제점을 지적할 수 있는 소매 인체공학 전문가가 아니라면, 자기 마트 주차장의 문제는 직접 주차 실패를 겪으며 몇번 차를 긁어봐야 알 수 있을 것 같다.

우리 회사에 전략 컨설팅 방식의 비즈니스 접근 방식을 좋아하고, 그 방법으로 비지니스 의사결정을 안 하고 있는 상황을 잘못되었다고 지적하는 직원이 하나 있다.

그 분의 접근 방식이 왜 잘못되었는지를 설명하다보니, 해당 설명이 왜 선형 회귀에서 비선형 회귀 또는 머신러닝으로 계산 알고리즘의 중심축이 이동하고 있는지와 맞닿아있는 것 같아 글을 한번 정리해본다.

 

전략 컨설팅에서 하는 '케이스 풀이법'

우선 전략 컨설팅에서 하는 '케이스 풀이법'을 한번 살펴보자. 우리 동네 대형 슈퍼마켓의 매출액을 가늠한다고 할 때, 1가구 4인으로 가정하고, 각 가구별로 1주일에 한번 장을 보러 간다고 가정하고, 한번 장을 보러갈 때 고기, 야채, 우유 등등 기본 품목과 가끔씩 사는 품목을 생각하면 약 20만원의 장바구니가 나온다고 가정해보자. 우리 동네 인구는 120만명이고, 대형 슈퍼마켓이 3개 있고, 각각의 시장 점유율은 33%씩이라고 하면, '30만 가구 X 시장점유율 33% X 장바구니 20만원 X 52주' 라는 방정식을 통해 그 대형 슈퍼마켓의 매출액을 가늠할 수 있다.

조금 더 세부적으로는 인구, 가구별 인원 수, 시장점유율, 장바구니 사이즈 등등에 대해 더 많은 자료를 붙여서 좀 더 정확한 예측을 해 볼 수 있을 것이다. 해당 방식에 대해서는 시대 상황이 많이 달라졌기 때문에 방법론이 달라졌을 수는 있겠으나 컨설팅 업계에서 논리를 구조화하는 방법은 여전히 동일하다고 알려져있다. 이를 가정하고 전략 컨설팅에서 하는 '케이스 풀이법'에 지적을 하자면, 해당 접근법은 매우 많은 영역에서 틀린 이야기를 담고 있다.

 

모든 것은 가정에 불과

첫 번째로 위의 방정식은 수많은 가정 위에 만들어졌는데, 그 가정이 맞는지 확인된 바가 없다는 사실이다. 예컨대 우리 동네 인구 12만명, 대형 슈퍼마켓 3개와 같은 실제 숫자를 제외하면 확실하게 사용할 수 있는 수치가 하나도 없다. 즉, 불완전한 가정을 기반으로 하고 있는 위 방정식은 다음과 같은 질문에 맞부딪치게 된다.

• 1가구는 4인으로 구성되는가?
• 1인당 소비하는 장바구니는 (최소한 합계금액이라도) 비슷한가?
• 1주일에 한번 방문하는 것이 맞는가? 다른 주기로 방문한다면 1주일 평균 장바구니 금액은 비슷한가?
• 대형 슈퍼마켓 대신 편의점이나 집 앞 소형 마트에서 구매하는 비중은 얼마인가?
• 시장 점유율은 항상 고정인가? 수시 판촉 행사로 매일처럼 널뛰기 하는건 아닌가?
• 설, 추석, 연말 등의 시즌에도 매출액 비중은 비슷한가?

위 방정식은 52주를 곱하고 있기 때문에, 제기된 질문에 조금만 다른 답을 하더라도 이는 전체 매출액 예측치에 매우 큰 영향을 주게 된다.

 

각 변수간 연관관계는 곱셉이나 덧셈같은 선형(Linear) 관계인가?

앞서 30만 가구 중 33%가 우리 슈퍼마켓을 방문한다고 가정했다. 그렇다면 우리 동네 30만 가구의 소득 수준은 비슷할까? 소득 수준이 비슷하다면, 혹은 다르더라도 소비 수준은 비슷할까? 소비 수준이 비슷하다고 가정하더라도, 소비 수준이 평균과 분산만 쳐다보면 되는 단순한 정규분포 구조를 따르고 있을까?

경제학 교과서에 나와있는 소득 구조에 대한 그래프들은 최상위 층이 대부분의 소득을 독점하고 있다고 입을 모아 말하고 있다. 또한 각 국가별 분배구조가 어떻게 이루어지고 있는지를 밝히는 수 많은 지표들이 존재한다. 일각에서는 지니계수를 반영하여 해당 방정식을 계산하면 된다고 지적하지만, 소득구조는 대부분 포아송 분포 또는 로그 정규분포 형태를 갖기 때문에 지니계수를 반영한다고 해서 계산이 정확해지기는 어렵다. 또한 정규분포, t분포와 같은 좌우대칭형 종 모양 분포가 아닌 분포들은 3차 모먼트(moment) 이상의 정보를 반영해야 정확한 계산이 가능해진다. 예컨대 자료의 대부분이 왼쪽으로 치우친 분포에서는 평균과 최빈값의 차이가 발생한다. 이 상황에서 단순 평균을 계산한다면 과다계상된 매출액이 나올 것이다.

시장이 고정적일 것이라는 가정 또한 비판의 여지가 존재한다. 동네 마트 주변에 수시로 다른 업체가 진입하고 있거나, 주민들이 다른 동네 마트를 쉽게 다녀올 수 있는 구조거나, 이커머스 회사들의 할인 쿠폰 마케팅 한번에 매출액이 엄청나게 크게 움직일만큼 시장 상황이 다변수에 영향을 받고 있다면 해당 방정식을 통한 예측 정확도는 현저히 낮아질 것이다.

 

선형 방정식으로는 더 이상 불가능한 도전

앞서 언급했듯 위 방정식의 각 변수간 연관관계는 단순 곱셈이나 덧셈으로 표현해서는 안된다. 수학을 이용한 모델링을 하는 분야의 경우 단순 곱셈, 덧셈으로 구성된 인과 관계를 선형(Linear) 관계가 있다고 표현하고, 평균 및 분산 이외의 3차, 4차 모먼트를 확인하거나 제곱, 세제곱과 같은 고차항을 포함한 여러 변수들의 결합된 영향을 보거나, 지수 함수 수, 로그함수 등의 형태를 이용해야하는 경우에는 비선형(Non-linear) 관계를 가지고 있다고 표현한다.

해당 예시로 돌아와서 2인 가구일때 10만원의 장바구니였다고 4인 가구에 20만원의 장바구니를 구성하는게 아닐 수 있다. 식구가 늘어나면 집에서 요리해 먹는게 저렴하고, 2인가구는 맞벌이 부부라면 외식을 하는 일이 잦을 수 있기 때문이다. 나아가 6인 가구의 경우 아파트 단지 평수 및 도시-농촌 거주 여부에 따라 2인가구에서 4인가구로 갔던 장바구니 니 구매액 관계가 4인 가구에서 6인 가구로 갈 때 그대로 성립하지 않을 것이다.

아래의 그래프를 하나 보자.

• 직선이 A
• 거의 진폭이 없는 그래프가 B
• 가장 아래 위 진폭이 심한 그래프가 C

이다.

선형 관계를 가진 A 함수를 이용해서 진폭이 매우 심한 C 함수를 매칭하는 경우, 위의 그래프에서는 가로축 좌표값이 (0,1,2,3,4,5)인 경우, 6번만 일치한다. 다시 말해서 전략 컨설팅의 선형 '케이스 풀이'를 통해 변수간 비선형관계를 복잡한 현실 세계를 예측한다고 했을 때, 높은 수준의 정확도를 기대하기는 어렵다는 것이다.

그동안 인류가 선형 관계식으로 대부분의 문제를 풀 수 있었던 이유는 많은 문제들이 B 정도의 현실복잡도를 갖고 있었기 때문이거나, 우리가 목표하는 단위가 분기, 년 등으로 시점이 정해져 있어 특정 포인트(위 그래프에서는 1,2,3,4,5에 해당한다)들만 예측하면 되었기 때문이다.

 

시간을 더 들여서 예측 정확도를 높일 수 있다?

일각에서는 제대로 시간과 노력을 들여 모델(방정식)을 만든다면 C 그래프를 만들어 낼 수 있다고 말한다. 그러나, 제 3자의 개입이 비주기적으로 나타나면서 시장을 바꾸는 상황을 위 단순 예측 모형으로 맞추려고 하는 것 자체가 근본적으로 잘못된 접근에 해당한다. 또한 C 그래프 또한 평면 위에 있기 때문에 1변수 모델의 한계를 뛰어넘지 못하고 있다. 3, 4, 5차원 공간으로 그려야할 다양한 변수가 영향을 미치고, 각 변수들이 본인이 통제할 수 없는 상황에서 위와 같은 단순 방정식이 좋은 퍼포먼스를 보여주기는 어렵다.

위와 같은 상황의 경우 시간을 더 들여서 A 그래프를 C 형태 그래프로 맞추는 것이 아니라, 마르코프 결정 과정(Markov Decision Process)의 Action, Strategy, Outcome 조합을 두고 시뮬레이션을 하는 Q-learning과 같은 절차로 복잡한 변수간 비선형 관계를 갖는 현실 세계를 모델링하는 작업이 필요하다. 다시 말해서, 시간을 더 들여서 고민해보는 문제가 아니라, 완전히 다른 레벨의 지식이 필요하다는 것이다. 이를 더 구체적인 예시로 확인해보자.

 

중앙은행이 통화정책을 결정하는 보고서를 만드는 프로세스

방법1. 경제학자가 풀어내는 방식

당신이 거시경제학에서 초저금리 중에 팽창 통화 정책은 실물 경제에 직접 영향을 미치지는 못하지만 초단기채권 금융시장에 교란을 줘서 투자자들이 장기채에 투자하게 되도록 만드는, 결국 장기채 금리가 내려가서 기업들의 장기채 발행을 유발할 수 있다는 종류의 논문을 쓰고 경제학 박사 학위를 받은 다음, 중앙은행의 금융통화정책 결정팀 핵심 연구위원으로 취직했다고 가정해보자.

금융통화위원회 위원이 당신에게 이번에 금리를 올리자고 이야기를 하고 싶은데, 어떤 효과가 있는지 보고서를 하나 만들어 달라고 했다고 해 보자. 이를 위해 당신은 우선 금리 올리려면 중앙은행이 취하는 정책 수단이 뭐가 있는지 살펴볼 것이다. 예를 들면 통화안정채권을 시장에 팔 수도 있고, 시중은행들에게 이연평잔을 계산하는데 압박을 줄 수도 있다.

그 중 현재 시장 상황, 특히 지난 몇 달간의 금융 시장을 보고 합리적이라고 판단되는 몇 가지 정책 수단을 골라 어떤 규모로 시장 개입을 하면 0.25%, 0.5% 금리가 오를 것이며, 거기에 맞춰 금융시장이 얼마나 위축되고, 따라서 실물 경기가 얼마나 위축될지를 계산하기 위해 거시경제모형에 수치를 입력해볼 것이다. 그 모델은 몇 백개의 변수가 뒤얽혀 있을텐데, 박사 시절에 공부할 때는 거의 대부분의 변수를 고정시켜놓고 내 연구 주제에 직접 영향을 주는 인과 변수들 몇 개만 넣은 소형 모델을 봤었는데, 현실 상황의 모델이 매우 복잡해져서 기존 연구와는 다른 새로운 도전을 하게 될 것이다.

또한 매우 높은 확률로 결과가 예상과는 다르게 출력되어 이를 보정해주어야하는데, 이를 위해 박사 시절 봤었던 논문의 시장의 특정 상황을 고려하는 변수를 추가를 해보면서 결과를 보정하는 작업을 계속 거치게 될 것이다. 심지어는 본인이 연구할 때 확인했던것처럼 장기간 초저금리가 지속되고 있기 때문에 그 논문과 본인 논문을 결합하는 새로운 모델을 만들고 테스트를 해 봐야할 수도 있을 것이다.

방법2. 컨설턴트가 풀어내는 방식

지난 10년간 금리를 올린/내린 데이터를 살펴보고, 0.25%, 0.5%씩 증감이 총 15차례 있었다는 데이터, 그 때 각각 경제성장률, 각 산업별 성장율이 어떻게 변했는지 중앙은행의 분기별 산업 보고서를 인용해서 그래프를 만들 것이다. 그 다음엔 IS-LM 같은 더 이상 경제학계에서는 잘 쓰이지 않는 그래프를 놓고 LM 커브가 좌측으로 이동하면서 경기 위축이 발생하는데, 그 움직임은 아까 위에서 구한 저 그래프의 결과값과 비슷하도록 그래프 보정을 해 놓을 것이다.

또는 초저금리로 인해 경제 정책이 반영되는 방식이 달라진다는 사실을 자사 컨설팅에 반영하기 위해 월 스트리트 저널에서 15년 경력의 기자를 전문가로 초빙해 자문을 구할 것이다. 경제 정책에는 외연이 깊지 않은 그 기자가 미국에서는 초저금리 때문에 연방준비제도(FED)에서 관련 연구를 하는 Harvard, MIT, U Chicago, Princeton 출신 경제학과들을 대규모로 초청한 프로젝트를 진행중이라며 관련 조언을 해준다면, 컨설턴트는 이자율을 올리면 각 산업별로 어떻게 영향을 받아서 산업별 성장률이 영향을 받고, 산업별 비중이 우리나라에 어떻게 나뉘어 있는데, 그 두 값을 곱한 값으로 국가의 경제성장률이 어떻게 움직일 것이라고 예측하는 단순하지만, 겉으로 보기에는 매우 화려해보이는 PPT를 준비할 것이다.

 

왜 전략 컨설팅이 사양산업이고, 머신러닝이 떴을까?

저 위의 전략 컨설팅 스타일 발표 자료와 논리 전개 방식은 높은 수준의 전문 지식을 필요로 하지 않는다. 자기 산업 분야에 특화되어 있는 몇몇 업계별 경력직 컨설턴트가 아니면, 대부분이 업계 지식 및 논리를 통해 수백개의 가정을 이용해 본인들의 논리를 만들어내고 있다.

하지만 위의 논리는 대부분은 선형 관계의 논리에 국한되어있다. 학문적인 깊이, 사고의 깊이, 지식의 깊이를 통해 남들이 보지 못하는 지점을 바라봐야하는데, 그러한 논리들은 다른 차원의 지식을 체화하면서 만들어낼 수 있는 논리, 즉 비선형관계에 기반한 논리들이기 때문이다.

머신러닝 혹은 데이터 마이닝, 데이터 사이언스는 데이터에서 쉽게 찾아낼 수 없는 다중 패턴(Mutl-pattern), 비선형 패턴을 찾아내기 위한 계산통계학적인 방법이다. 기존에는 거의 대부분의 데이터 분포가 정규분포에 수렴했고, 그래서 특별히 비선형 패턴을 찾아야할 필요가 없었다. 그러나 오늘날은 슈퍼마켓 매출액 하나를 계산하더라도 다양한 시장참여자들의 행동을 모두 고려하는 마르코프 결정 과정이 필요한 시대고, 위의 선형 방정식으로 남들이 보지 못하는 인사이트를 도출하는 것은 불가능에 가깝다.

 

나가며 - 산업계가 컨설턴트를 외면하는 이유

A를 위한 방정식을 만드느니 경험이 많은 업계 종사자들은 차라리 경험에 따른 자신의 직관을 믿고 사업을 할 것이다. 컨설턴트에게 수억원을 주고 받은 A보다 경험에서 나온 직관이 B에, 어쩌면 C에 가까울 확률이 더 높기 때문이다.

위에서 지적한대로,

• 무수히 많은 가정에 기반해야하고,
• 그 가정들이 제대로 검증되지 않은 경우가 빈번하고,
• 더 나아가서 그들의 결론은 Linear 방정식에 국한되어 있어서

오늘날의 전략 컨설턴트가 가지고 있던 엣지는 점차 사라지고 있다. 데이터는 비선형 방정식을 필수적인 접근 방법론으로 삼을만큼 고도화 되었고, 컨설턴트의 선형적 문제 접근은 우리시대의 비즈니스에 유용한 인사이트를 주기에는 명확한 한계점이 존재한다.