AI/DS 기고

서비스의 개발 논리를 이해하고 구현하는 것보다 무슨 '기술'인지 정보를 알아서 베끼는데 초점 맞춘 기업인들 많아대부분 연구직 출신들이 아니라 IT 개발자들이 머신러닝 코드 몇 줄을 배운 다음 '머신러닝 개발자'가 되었기 때문개발 직군들로 고급 AI상품 만들기 어려워, 한국 인력 상황 감안할 때 AI산업에 계속 투자하는 것은 밑빠진 독에 물 붓기 될 것 한국IT업계에서 개발자로 불리는 기술직군 관계자들을 기업 미팅에서 만날 때마다 자주 듣는 질문 중 하나로 "무슨 기술로 만들었나요?"가 있다. 특정한 사건을 관찰하고, 수식 기반으로 적절한 모델을 만들어서 그 사건 속에 담긴 문제를 해결하는 방식의 훈련을 받았던 입장에서 '무슨 기술'이라는 표현이 처음에는 잘 이해가 안 됐다. 그래서 '무슨 기술'이라는게 무슨 뜻이냐고 물으니 짜증난다는 말투로 "무슨 라이브러리로 만들었냐구요"라며 문제 해결 방식 뒤에는 개발자들에게 제공되는 코드 묶음집이 있을 것이라는 확신을 갖고 있다는 것을 보여줬다.

AI의 능력을 제대로 인지하게 되면서 AI에 대한 인식이 비관적으로 바뀌고 있어AI가 바둑처럼 저소음 데이터에서는 높은 예측력 보이지만, 주식 시장같이 고소음 데이터에서는 예측 어려워

지루한 반복 업무 대신하는 챗GPT하지만 지적이고 도전적인 업무에는 벽 느껴챗GPT, 수학적 한계 극복하지 못하면 ‘헛소리 생성기’에 불과해 지난 1년 동안 대형언어모델(LLM)을 둘러싼 과대 광고가 끊임없이 이어졌다. 처음 대형언어모델이 등장했을 때, 사람들은 자신의 일자리가 로봇으로 대체될까봐 두려워했다. 그러나 1년이 넘는 기간 동안 챗GPT를 시험한 지금, 그 걱정은 많이 사그라들었다. 미국의 유명한 언어학자인 노엄 촘스키 교수는 “챗GPT가 헛소리를 내뱉는 고급 챗봇에 지나지 않는다”라며 챗GPT의 본질을 짚었다.

서울대 A교수, 김박사넷에 올라온 평가에 명예훼손 소송했지만 패소법원, 개인정보의 공익성 판단할 때 김박사넷 위법 행위 아냐교수 사회, 제대로 연구하면 김박사넷 D급 평가 받는다 불만 제기연구 역량보다 학생들 취직 지원하는데 더 집중해야하는 대학원 세태에 대한 지적도같은 사건 계속되면 국내 귀국 고민하는 교수들 늘어날 것이라는 불만도 나와 지난달 17일, 대법원은 서울대 A 교수가 '김박사넷' 운영업체 팔루썸니를 상대로 낸 명예훼손 및 인격권 침해 손해배상 소송에서 원고 패소 판결을 내렸다. 1달 동안 서울대 A교수가 다른 법적 조치를 취하지 않으면서 이달 17일 대법원 판결이 최종 확정됐다.

통계학 방법론은 상관관계를 추론하는데 그칠 뿐, 인과관계를 추론하는데 쓸 수는 없어노벨상을 받은 그랜져(Granger) 교수의 인과 추론도 인과 관계가 없다는 것을 증명하는데만 쓰여AI가 통계학 방법론을 컴퓨터 의존형으로 풀어내는 계산이라는 이해 없는 가짜 데이터 과학자들 많아'AI로는 되는 것 아닌가요?' 같은 질문하는 학회까지 열리는 최근 실상 쌍둥이가 살고 있는 교외 외딴 시골 마을을 생각해보자. 한 아이는 아침 저녁으로 집 밖에서 흙 먼지를 뒤집어 쓰면서 놀기를 좋아하고, 다른 한 아이는 집에서 비디오 게임에만 빠져산다. 1년 후, 의사가 진찰을 해보니 게임만 하던 아이가 훨씬 더 건강했다는 이유로 밖에서 노는 것은 건강에 나쁘다고 표현하면 논리적으로 말이 될까?

'인공지능 전문가 = 코딩 전문가 = 개발자' 라는 잘못된 상식이 여전히 시장에 퍼져 있어STEM 전공으로 석·박 훈련을 받지 않은 '시민 데이터 과학자' 만으로 충분하다는 주장 여전히 상존훈련 받은 전문가들에게 조롱의 대상이 될 뿐인 결과물에 수십조원 예산 낭비 말아야 최근들어 머신러닝, 딥러닝, 생성형AI 등의 이름으로 불리고 있는 계산과학(Computational Science)을 처음 접했던 것은 박사 과정 중 시뮬레이션 관련 보조 수업을 찾던 2013년이었다. 미국 대학들의 대학원 과정 중 고학년 과정들은 해당 분야를 연구하는 교수들이 드물기 때문에, 인근 대학의 박사생들이 타 대학 수업을 들으러 가는 경우들이 종종 있는데, 당시 MIT에서 열렸던 한 계산과학 수업에 보스턴 일대 주요 대학의 학생들이 모두 모인 탓에 교실이 매우 비좁았던 기억이 있다.

학회에 간다는 것이 매우 재밌는 일이라는 걸 깨달은 것은 박사 학위 과정 2년차에 '미국 산업응용수학회(Society for Industrial and Applied Mathematics, SIAM)'에 초청 받았던 즈음으로 기억한다. 막 대학원에 들어갔던 시절에는 당장 수업을 따라가기도 버거웠고, 교수님들 논문 발표를 따라가는 것은 커녕, 가깝게 지내는 박사생들이 무슨 연구를 하는지도 제대로 이해하기 어려웠기 때문에, 그들이 마냥 대단해보이기만 했었다. 박사 1학년 시절 듣던 수업에서 교수님들이 쓰고 있는 중이라는 논문으로 수업을 하시는데, 기본 가정을 너무 부실하게 잡아서 연구 목적이 달성될 것 같지 않아보이는 논문의 가정을 별 생각없이 지적했더니, 교수님이 '너무 논문 평가자처럼 볼 필요는 없다.(You act too much like a critic. You don't have to.)'라며 받아주셨던 기억이 있다. 그 이후부터는 논문들의 수준을 좀 더 제대로 이해할 수 있게 됐고, 누군가의 논문을 지적할 수 있는 만큼, 내 논문의 조잡함도 함께 이해하게 됐던 것 같다.

WSJ, 미국 테크 기업들 AI 인재 채용 줄여, A급 인재만 채용단순 지식 뿐만 아니라 응용력, 협업 능력까지, 팔방미인 따져가며 채용국내도 늦었지만 개발자와 AI전문가 구분하기 시작해 26일 월스트리트저널(WSJ)에 따르면, 미국 테크 기업들이 AI에 막대한 투자를 이어가고 있는 와중에도 예전처럼 AI개발자 채용을 대규모로 진행하지는 않는다고 한다. 일부 A급 인재를 제외하면 해고 압박이 심하고, 재교육 부담이 가중되고 있다는 것이다. 지난 2018년부터 줄기차게 주장했던대로, 진작부터 이렇게 됐었어야 했는데, 투자금과 정부 지원금이 넘쳐났던 덕분에 시장의 교정 작업이 좀 늦어졌다고 본다. IT업계의 개발자라는 직군과 데이터 과학자, 혹은 AI 연구자(Researcher)로 불리는 직군 사이에는 아이돌과 판소리 급의 격차가 있다는 것이 조금씩 시장에 받아들여지는 모습이다.

AI 열풍에 휩쓸린 사람들은 대부분 심각한 오해에 빠져 있어현재 AI/데이터 과학은 여전히 통계적 방법론에 국한돼과장된 선전은 무지와 오해를 키울 뿐 AI/데이터 과학 교수로 일하다 보면, 이따금 AI 과대광고에 휩쓸린 사람들로부터 이메일을 받곤 한다. 그들이 '최신 AI'라고 부르는 것으로 내가 평소 비관적으로 생각해 온 문제들을 모두 해결할 수 있다고 주장하는 내용들이다. 보통 이런 사람들은 '최신 AI' 프로그램이 스스로 학습하여 인간의 지능 수준을 완전히 뛰어넘은 '인공 일반 지능'(AGI)에 근접했다고 여기는 열렬한 AI 신봉자들이다.

과거 정신 감정, 지능 검사 등에 국한됐던 직원 선별에 조직 문화 적응 역량도 추가되는 추세미국은 직원들의 SNS 활동을 추척한 조용한 퇴사 지표 개발 필요성 제기되자 논란 되기도기업들이 고용 계약 대신 프리랜서 계약을 들이미는 경우도 늘어 가깝게 지내는 국내 주요 스타트업 핵심 멤버들을 만나면, 어느 중소기업이나 마찬가지듯이 직원을 못 뽑아서 힘들다는 이야기들을 한다. 나 역시 마음에 드는 직원을 뽑기가 쉽지 않기 때문에 어떻게 선별 작업을 '인공지능(AI)'을 써서 자동화하면 좀 더 효율적으로 채용 절차를 진행할 수 있을까 고민이 많은데, 지난 1년 남짓은 직무에 직접 관련된 시험을 치는 것으로 절차를 단순화 해 왔다.

데이터 처리 기준이 열에서 행렬로, 행렬에서 텐서로 전환되면서 데이터 과학 범위 확대돼 올바른 접근 방식으로 도구를 적재적소에 적용할 때만 더 나은 결과 얻을 수 있어기술의 발전을 아무 생각 없이 받아들이기보다는 그 기술이 ‘왜’ 필요한지 생각하는 자세 필요해 학부 시절인 2000년대 초로 돌아가보면, 기초적인 회귀분석 문제를 풀기 위해 매트랩(Matlab)을 처음 배웠다. 당시 매트랩은 혁명이었는데, 그 이유는 '행렬'로 데이터를 처리하기 때문이다. 다른 소프트웨어가 '열' 단위로 데이터를 처리하는 것과 달리, 매트랩은 ‘행렬’ 단위의 큰 데이터를 한 번에 적재하기 때문에 처리 속도가 O(nxk)에서 O(n)으로 빨라졌다. 좀 더 정확하게 말하면, RAM이 소프트웨어로부터 데이터 받는 방식을 고려하면 O(k)에서 O(1)으로 빨라졌다.

전화 기반 여론조사 대체해야 한다는 목소리 높아, 인터넷 여론조사 진행하는 경우도 많아한국은 휴대전화 기반 신원 확인 시스템이 잘 갖춰져 여론조사 정확도 높고 비용 저렴한 축에 속해인터넷 조사가 비용은 저렴하지만 정확도 높이기 어려워 아직 한계 있어 이번 22대 총선 기간 내내 스마트폰을 무음으로 처리해놨었다. 주소지가 경합지역이어서인지는 몰라도, 하루에도 최소한 4번 이상의 여론조사 전화를 받았었기 때문이다. 바쁜 업무 와중에 사업상으로 중요한 전화를 놓치게 되는 위험도 있고, 무엇보다 여론조사에 응해주고 싶지 않았다. 실제로 선거철 진행되는 여론조사에 대한 응답률이 5%를 넘는 경우는 매우 드물다. 일반적으로 길거리에서 선호도를 표현하는 스티커를 붙여달라고 해도 바쁘다면서 회피하는 사람들을 많이 볼텐데, 전화는 비대면인만큼 참여를 이끌어내기가 더더욱 힘들기 때문이다. 이런 문제점을 지적하면서 이번 선거 기간 중에 해외에는 전화 기반 여론조사가 점점 줄어들고 있는데, 한국만 아직도 구시대적인 전화 조사를 진행한다는 비판이 나왔다.

사전투표일에 투표장을 찾아갈 수 있는 직업군, 접근성이 당일투표에 그대로 적용되지 않아콘크리트 지지층이 있는 지방에서도 사전투표와 당일투표 투표율 크게 다른 것도통계학적으로 분포함수가 달라진 것, 향후 선거 예측에 활용할 변수 추출에 활용해야 지난 2020년 제21대 총선부터, 2022년 대선, 2022년 지선에 이어 10일에 치뤄진 제22대 총선까지 사전투표 표심이 당일투표와 상당히 다르게 나오는 것을 보고 왜 다르게 나오는 것인지에 대한 질문을 받는 경우가 종종 있다. 특히 자기가 지지하는 정당과 후보 측이 사전투표에서 불리한 득표를 했던 것이 선거 패배의 원인인 경우에는 선거에 비리가 있었다는 주장을 하는 경우도 많다.

22대 총선의 여당 참패를 무조건 대통령 잘못으로만 설명하는 정치권 패널들의 해석 다수실제 사회 현상은 수 많은 변수들의 복합 작용으로 이뤄짐에도 단순히 쉬운 설명만 찾기 때문시민 사회 역량 성장을 위해서라도 다양한 원인을 찾아내는 분석 역량을 길러내야 지난 10일 치뤄진 제22대 총선에서 집권 여당의 참패로 결론이 나오자, 정치권 패널들 대부분이 정부 실패, 혹은 정부의 수장인 대통령에 대한 책임을 돌리는 평가를 내놨다. 기업이 잘 돌아가지 않아 상장폐지, 워크아웃, 법정관리 등의 절차를 밟게되면 모든 비난이 회사 대표에게만 쏠리고, 그 아래 모든 직원들은 불쌍한 피해자인 것처럼 취급되는 것과 비슷한 모습을 보는 것 같더라.

출구조사 오차 탓에 누군가는 웃다고 울고, 또 누군가는 울다가 웃게됐다데이터 과학은 오차가 허락되는 학문이지만, 그렇다고 오차의 원인마저 무시하는 학문은 아냐이번 오차의 원인은 지역, 연령, 성별 기반의 과거 모델이 후보별 특성을 고려 못했기 때문패널 데이터 형태로 기본 데이터 구조를 바꾸 재접근하는 것도 도전해볼만한 방법 지난 22대 총선 투표가 종료되기 약 30분 전 무렵, 서울 동작을 지역구 나경원 후보 사무실 앞에 있던 방송3사 차량들이 허겁지겁 움직이기 시작했다. 출구조사에서 앞선 것으로 나온 같은 지역구 류삼영 후보 사무실로 급하게 이동하는 모습이었다. 출구조사가 투표 종료 시각인 오후 6시보다 1시간 전에 마감됐고, 실제 방송사들이 공표한 6시 정각보다 조금 일찍 결과를 알았던 탓에 현장 기자들이 발빠른 대응을 보였기 때문일 것이다.

지역, 연령, 성별 기반 표심이 틀린 곳들 탓에 출구조사 오차 발생한 10개 선거구틀린 이유는 1주일 사이에 표심이 빠르게 바뀌었기 때문'스윙 보터'들의 표심은 단순 여론조사 데이터로 알기 어려워AI예측도 결국은 정확한 데이터 없으면 한계 지난 10일 제22대 총선 투표가 막 끝나자마자 오후 6시에 방송사들이 공개한 출구조사와 11일 오전에 확인한 투표 결과가 상당히 달랐다는 평들이 나온다. '투표함은 열어봐야 안다'며 단순한 오차라고 치부하고 넘어갈 수 있지만, 이번 개표 방송에 각 방송사들이 'AI예측'이라는 표현을 써 가면서 자신감을 보였던 것을 생각해보면, 사실은 AI가 아니었고, 통계 추론 상의 가정이 잘못된 것이 원인이라는 따끔한 지적이 필요해 보인다.

아이러니하게 노동 집약적인 인공지능 개발 과정/사진=Pixabay 구글과 네이버가 같은 날 새로운 인공지능(AI) 검색 서비스를 선보였다. 구글의 '바드(Bard)'와 네이버의 '큐:(Cue:)' 모두 한국 검색 시장에서의 점유율을 쟁탈하기 위해 심리스(seamless)한 통합 검색 경험 제공에 집중했다. 기존의 서비스들과 연결돼 복잡한 요구사항을 들어주고 후속 제안까지 연결하는 기능을 탑재한 것이 핵심이다.

GoogleNaver_GIAI_202309

20일 경기 성남시 카카오 본사에서 인공지능 분야의 세계적 석학 앤드류 응 교수가 카카오 임직원들 대상으로 일반인공지능에 대해 연설하고 있다/사진=카카오 21세기 AI(인공지능) 업계에서 가장 괄목할 만한 성과를 올렸다는 평가를 받는 앤드류 응(57) 미국 스탠퍼드 교수가 지난 20일 성남 카카오 본사에서 "일반인공지능(AGI, Artificial General Intelligence)의 등장은 아직 멀었다"고 밝혔다. 이어 그는 "AI의 발전으로 고용 충격 및 정보의 신뢰성, 윤리적 문제 등 부정적인 영향을 초래할 가능성이 있겠지만, 그럼에도 긍정적인 영향이 부정적인 영향을 상쇄할 것"이라고 강조했다.