마이아는 새로운 AI 가속기 제품군 
코발트는 클라우드 용 Arm 기반 CPU
클라우드 하드웨어의 비용과 성능 최적화

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 영어 원문 공개 조건으로 콘텐츠 제휴가 진행 중입니다.

---

마이크로소프트가(MS) 15일(현지 시각) 대규모언어모델(LLM)을 위한 맞춤형 사내 칩 두 개를 공개했다. MS는 자체 칩을 개발함으로써 고객들에게 가격과 성능 측면에서 더 많은 선택권을 제공할 수 있다고 밝혔다.

사티아 나델라(Satya Nadella) CEO는 이그나이트 행사에서 첫 번째 AI 가속기 칩인 '마이아'와 범용 클라우드 워크로드를 위한 사내 CPU인 '코발트'를 소개했다. 이 두 칩은 2024년에 고객들에게 제공될 예정이다.

가트너의 애널리스트 앨런 프리스틀리(Alan Priestley) 부사장은 MS가 자체 AI 칩을 개발함으로써 '하이퍼스케일러'로서의 위치를 강화하는 것은 합리적인 결정이라는 의견을 내비쳤다. 그는 "ChatGPT와 같은 거대한 언어 모델을 운영하기 위해서는 대규모 인프라를 구축하는 데 큰 비용이 들지만, MS와 같은 하이퍼스케일러는 이를 자사 맞춤형 칩으로 최적화하여 운영 비용을 줄일 수 있으므로, LLM을 활용하려는 소비자와 기업의 비용을 절감할 수 있다"라고 설명했다.

마이아, AI 가속기

마이아는 전략적 파트너이자 ChatGPT를 개발한 OpenAI의 협력 아래 개발되었다. OpenAI를 통해 LLM이 새로운 하드웨어에서 어떻게 실행되는지를 분석했다. MS는 마이아 100 서버 보드를 위한 특별 제작된 랙을 도입했는데, 일반적인 데이터 센터 랙보다 더 넓어 전원과 네트워킹 케이블을 위한 충분한 공간을 제공한다. 그뿐만 아니라 기존 데이터 센터 설계도에 쉽게 적용되도록 디자인된 것이 큰 장점이다.

사티아 나델라 CEO는 행사에서 "우리는 마이아 100을 위한 엔드투엔드 랙을 설계했다. AI의 전력 수요는 다른 클라우드와는 확연히 다른 인프라가 필요하고, 네트워크 밀도뿐만 아니라 훨씬 더 많은 냉각 장치가 요구됐다"라고 전했다. 또한 마이아는 하드웨어와 소프트웨어를 공동 설계하기 위해 8비트 이하 데이터 유형인 MX 데이터 유형의 첫 번째 구현을 지원한다. 이를 통해 모델 학습과 추론 시간을 줄일 계획이다. MS는 이미 차세대 마이아 개발에도 박차를 가하고 있다.

범용 워크로드를 위한 코발트 CPU

Arm 아키텍처를 기반으로 한 새로운 코발트 CPU 칩은 클라우드 네이티브 제품에서 효율성과 성능을 극대화하기 위해 최적화되었다. 이미 워싱턴주 퀸시의 MS 데이터 센터 내부에 구축된 이 칩은 128개의 코어를 보유하고 있으며, 저전력을 사용하도록 설계했다.

MS는 코발트를 Microsoft Teams 및 SQL 서버와 같은 범용 컴퓨팅 워크로드에 사용하고 있으며, 앞으로는 가상 머신 애플리케이션으로 확장할 계획이다. 이그나이트 행사에서 AI 워크로드에 최적화된 AMD의 가상 머신을 강조했었다. Azure ND MI300x v5 가상 머신은 기업의 AI 혁신을 지원하기 위해 AMD의 Instinct MI300X를 탑재하고 있다.

파트너 협력 및 다각화를 통한 경쟁력 확보

MS가 자체 칩을 출시한다고 해서 엔비디아나 AMD와의 협력을 종료한다는 의미는 아니다. 여전히 엔비디아의 H100 칩을 사용한 클라우드 컴퓨팅 서비스를 제공하며, 새롭게 발표된 H200 칩에 대한 액세스도 추가하고 있다. 또한, 내년에 AMD의 MI300 칩에 대한 액세스도 계획 중이라고 밝혔다. Azure 하드웨어시스템및인프라(AHSI) 부문의 라니 보카르(Rani Borkar) 부사장도 인터뷰에서 엔비디아와의 성능 비교 질의를 피하고 협력 관계를 강조했다.

AWS와 Google이 앞서 커스텀 칩을 공개한 것을 미루어보아 MS의 자체 칩 출시도 업계에서의 경쟁력을 강화하는 데에 목적이 있으며, 이는 기술적 혁신과 다양한 선택권 제공에 초점을 맞추고 있는 것으로 추정된다. 그리고 자체 칩 기술을 발전시키면서도 기존 파트너사들과의 협력을 유지하며, 공급망 다각화로 큰 이점을 누릴 것으로 전망된다.

---

Microsoft Unveils Its First Custom, In-house Chips

Microsoft developed two new chips, including an AI accelerator, to better control the cost and performance of its Azure hardware stack.

At a Glance

• Microsoft unveiled two new chips, one specially made for intense AI workloads, to better control its infrastructure stack.
• Maia is a new line of AI accelerators while Cobalt is its Arm-based CPU meant for general purpose cloud workloads.
• Microsoft said developing its own chips makes it easy to control the cost and performance of its cloud hardware stack.

Microsoft today unveiled its first two custom, in-house chips including an AI accelerator designed specifically for large language models. The tech giant said developing its own chips would let it “offer more choice in price and performance for its customers.”

At the company’s Ignite event, CEO Satya Nadella showed off Maia, its first internally developed AI accelerator chip, and Cobalt, its first custom, in-house CPU meant for general purpose cloud workloads. Both chips are set to be available to customers in 2024.

Alan Priestley, vice president analyst at Gartner, said it makes sense for Microsoft to join other hyperscalers who have developed their own AI chips. "Deploying large scale infrastructure to host large language models like ChatGPT is expensive and hyperscalers like Microsoft can leverage their own custom-designed chips, optimized for these applications to lower operational costs – reducing cost to consumers and businesses that want to use these large language models."

Maia, the AI accelerator
The Maia 100 AI Accelerator is designed to power internal AI workloads running on Azure. Microsoft enlisted the help of OpenAI, its strategic partner and maker of ChatGPT, to provide feedback on how its large language models would run on the new hardware.

Sam Altman, CEO of OpenAI, said in a blog post: “We were excited when Microsoft first shared their designs for the Maia chip, and we’ve worked together to refine and test it with our models.”

Microsoft had to build racks specifically for the Maia 100 server boards. These racks (pictured below) are wider than what typically sits in the company’s data centers. The company claims that the expanded design “provides ample space for both power and networking cables, essential for the unique demands of AI workloads.”

Next to the Maia racks are “sidekicks” that supply cold liquid to cold plates that are attached to the surface of Maia 100 chips, to remove heat.

"We've designed Maia 100 as an end-to-end rack for AI," Nadella said at the event. "AI power demands require infrastructure that is dramatically different from other clouds. The compute workloads require a lot more cooling as well network density."

Microsoft is already working on the next generation of Maia AI chips. Pat Stemen, partner program manager on the Microsoft AHSI team, said in a blog post: “Microsoft innovation is going further down in the stack with this silicon work to ensure the future of our customers’ workloads on Azure, prioritizing performance, power efficiency and cost.”

Cobalt CPUs to power general purpose workloads
Cobalt CPUs are built on Arm architecture and is optimized for greater efficiency and performance in cloud native offerings. These chips already are powering servers inside Microsoft’s data center in Quincy, Washington (pictured below). Each chip has 128 cores and is designed to use less energy.

The company is using Cobalt for general purpose compute workloads, like Microsoft Teams and SQL servers, but is also planning on expanding its scope to virtual machine applications. At Ignite, Microsoft highlighted virtual machines from AMD that are optimized for AI workloads. The Azure ND MI300x v5 Virtual Machine features AMD’s Instinct MI300X as it is designed to support AI innovation for enterprises including AI model training and generative inferencing.

The goal of making custom chips
Rani Borkar, corporate vice president for Azure Hardware Systems and Infrastructure (AHSI), said in a blog post that “the end goal is an Azure hardware system that offers maximum flexibility and can also be optimized for power, performance, sustainability or cost."

AI workloads can be expensive to run. Building its own custom chips lets Microsoft ensure they perform optimally on its most important workloads, testing different frequency, temperature and power conditions. “By controlling every facet – from the low-power ethos of the Cobalt 100 chip to the intricacies of data center cooling – Microsoft can orchestrate a harmonious interplay between each component,” the company said.

Microsoft already builds its own servers and racks to drive down costs and give customers a “consistent” experience. Chips were the final missing piece. Prior to 2016, Microsoft had bought most layers of its cloud hardware off the shelf.