'적당한' LLM들을 묶어 맞춤 서비스 제공하는 '오케스트레이션'
오케스트레이션이 고급 LLM보다 50~100% 비용 감축 가능
글로벌 투자자들도 새로운 수익 모델에 일제히 눈길 

최근 오픈AI의 챗GPT와 같은 고급형 대규모 언어 모델(Large Language Model, LLM)을 활용하기보다는, 오픈 소스 기반의 LLM들을 활용해 수익화를 꾀하는 생성형 AI 스타트업들이 눈에 띄게 늘었다. 첨단 LLM의 경우 오픈 소스 LLM보다 경우에 따라선 50~100%까지 비용이 더 들어가는 일이 빈번한 만큼, 오픈 소스 모델들을 엮어서 서비스를 배포하는 '멀티 LLM 서비스'가 비용 감축 측면에서도, 상품화 측면에서도 더 효과적이라는 판단에서다. 이같은 새로운 흐름에 주목, '돈 냄새'를 맡은 글로벌 투자자들도 생성형 AI 오케스트레이션 스타트업들에 뭉칫돈을 대거 투입하고 있다.

생성형 AI 서비스 수익화를 위한 오케스트레이션

글로벌 투자 전문 연구기관 피치북 따르면, 최근 들어 생성형 AI 스타트업들의 주요 화두는 배포 모델의 '수익화'인 것으로 나타났다. 이를 위해 업계에선 막대한 개발 비용이 투입되는 고급형 LLM을 구축하는 대신 '적당한' 모델들 여러 개를 선별해 하나의 파이프라인으로 통합한 서비스를 제공하는 방향으로 사업의 중심축이 옮겨가는 분위기다.

이같은 움직임을 취하는 생성형 AI 스타트업들을 업계에선 '오케스트레이션 스타트업(Orchestration startup)'이라 통칭한다. 자체 개발 모델은 사용량에 따라 추가적인 요금이 부과되는 만큼, 오케스트레이션 스타트업들은 오픈 소스 모델(Open Source Model; 공개적으로 액세스할 수 있게 설계돼 누구나 자유롭게 확인, 수정, 배포할 수 있는 모델)들을 취사 선택해 해당 모델들을 미세 조정하고 한 데 묶은 다음 하드웨어 가속화를 통해 수익화를 꾀한다.

다시 말해 저렴한 오픈 소스 모델을 선택하는 것에 그치지 않고, 고객 기업이 여러 오픈 소스 모델에 액세스하고 작업 및 쿼리를 원하는 위치로 루팅(routing·최적화)하는 서비스를 제공함으로써 최대 마진을 도모하는 것이다. 이와 관련해 브렌단 버크(Brendan Burke) 피치북 시니어 애널리스트는 '2024 IT 업계 전망(2024 Enterprise Technology Outlook)' 보고서에서 "생성형 AI 업계의 오케스트레이션 흐름이 새로운 종류의 유니콘 스타트업들을 탄생시키게 될 것"이라고 내다봤다.

글로벌 VC들도 오케스트레이션 스타트업에 주목

글로벌 벤처 캐피탈(VC) 투자자들 또한 오케스트레이션 스타트업들의 새로운 수익 모델에 주목하는 분위기다. 피치북 데이터에 따르면 미국의 오케스트레이션 스타트업 애니스케일(Anyscale)은 지난해 미국의 유수 VC인 앤드리슨 호로위츠(Andreessen Horowitz), 뉴 엔터프라이즈 어소시에이트(New Enterprise Associates, NEA), 인텔 캐피탈(Intel Capital) 등으로부터 총 2억6,000만 달러(약 3,400억원) 규모의 자금을 조달받은 것으로 나타났다. 애니스케일은 2022년 C 시리즈에서도 10억1,000만 달러(약 1조3,300억원)의 기업가치를 인정받고 1억 9,900만 달러(약 2,620억4,619만원)를 투자받은 바 있다.

애니스케일의 공동 창업자이자 이사회 의장인 이온 스토이카(Ion Stoica)는 "애니스케일을 포함한 오케스트레이션 스타트업들은 생성형 AI의 발전에 따라 더욱 발전할 것"이라며 "LLM 모델을 구축하는 데 드는 인프라 비용이 대부분 생성형 AI 기업들의 예산을 초과하는 만큼, 오픈 소스 LLM을 일종의 '앙상블' 형태로 묶어서 통합적인 서비스를 제공함으로써 공급자 입장에서 비용 감축은 물론이고, 고객사 입장에서도 데이터 과학자 등의 전문 인력이 없더라도 누구든지 작업을 수행할 수 있게 되는 등 접근성이 크게 올라가게 됐다"고 밝혔다.

VC의 주목을 받은 건 애니스케일뿐만이 아니다. 지난해 8월엔 오케스트레이션 스타트업 웨이츠&바이아스트(Weights&Biased)도 5,000만 달러(약 658억4,075만원)의 자금 조달에 성공했으며, 같은 해 12월엔 에센셜 AI(essential AI)가 5,700만 달러(약 750억5,845만원)의 투자금을 유치했다.

영어 원문 기사는 Why generative AI orchestration startups are poised for growth in 2024 | PitchBook에 게재되었습니다.