HBM 사업화 지연 속 불붙은 '재설계' 논의
D램 설계 안정화부터 차근차근 다시 진행
HBM4에 집중해 시장 선점해야 한다는 주장도

삼성전자가 SK하이닉스에 뒤쳐진 경쟁력을 되찾기 위해 D램 기술력 회복에 총력을 기울이고 있다. 고대역폭메모리(HBM)에서 엔비디아의 퀄테스트를 통과하지 못하는 것이 D램 본딩 공정뿐 아니라 로직 다이(die)인 10나노급 1a(4세대), 1b(5세대) D램에서 제대로 된 수율이 안 나오고 있기 때문으로 분석되면서다.

삼성전자, HBM 부진에 대응책 마련

17일 반도체업계에 따르면 삼성전자 내부에서는 최근 HBM3E(5세대 HBM) 제품의 엔비디아 퀄테스트 통과가 연기되면서 D램의 설계 안정화부터 차근차근 다시 진행해야 한다는 이야기가 나오고 있다. 퀄 테스트 통과를 위해 총력을 기울이고 있지만 기존 방식에서 벗어난 새로운 돌파구를 찾지 못하면 연내 통과는 힘들 것이라는 분석이다.

HBM은 D램 스택의 가장 아래 위치한 로직다이의 설계와 수율, 성능이 매우 중요하다. 여기에 후공정, 적층 수율도 따라줘야 제대로 된 완성품을 만들 수 있다. 이러한 과정에서 하나라도 성능이 나오지 않으면 퀄 통과가 쉽지 않다. 현재 삼성전자는 가장 기본이 되는 로직다이인 1a D램에서 경쟁사 대비 전성비와 성능, 발열 등에서 밀리고 있다. 본딩 방식 또한 TC-NCF 공정을 사용하는데 SK하이닉스의 MR-MUF 방식 대비 제품 제작 시간과 낮은 수율 등이 발목을 잡는 요인으로 꼽히고 있다.

특히 1a D램은 삼성전자가 EUV(극자외선) 공정을 메모리 3사 중 가장 먼저 도입했음에도 아직 성공적인 결과를 내놓지 못하고 있다. 삼성전자가 D램 기술력 1위의 지위가 크게 흔들린 시점도 '1a D램'부터로 지목된다. 10나노급 D램은 1x(1세대)-1y(2세대)-1z(3세대)-1a(4세대)-1b(5세대) 순으로 진화해 왔다. 1a D램은 선폭이 14나노미터(nm) 수준으로, 삼성전자는 2021년 하반기부터 양산을 시작했다.

삼성전자는 1a D램을 경쟁사 대비 빠르게 양산하지는 못했으나, EUV 등 첨단 기술을 더 적극적으로 도입하는 방식으로 경쟁력을 높이고자 했다. 삼성전자가 1a D램에 적용한 EUV 레이어 수는 5개로, 경쟁사인 SK하이닉스(1개) 대비 많았다. 그러나 이 같은 시도가 성공적인 결과로 이어지지 않았다는 평가가 지배적이다.

EUV는 기존 노광(반도체에 회로를 새기는 공정) 공정인 ArF(불화아르곤) 대비 선폭 미세화에 유리하기 때문에 공정 효율성을 높여 메모리의 핵심인 제조 비용을 저감할 수 있다는 게 EUV가 지닌 장점이었다. 그러나 EUV는 기술적 난이도가 높아, 실제 양산 적용 과정에서 공정의 안정성을 떨어뜨리는 요인으로 작용했다. 이로 인해 삼성전자 1a D램의 원가도 당초 예상대로 낮아지지 않았다. D램 설계 자체 역시 완벽하지 못했다는 평가다. 특히 서버용 제품 개발에서 차질을 겪으면서 경쟁사 대비 더블데이터레이트(DDR)5 적용 시점이 늦어진 것으로 알려졌다. 실제로 SK하이닉스는 지난해 1월 인텔로부터 1a D램 기반의 서버용 DDR5 제품을 가장 먼저 인증받았다.

EUV 선제 적용했지만, 1a D램 경쟁력 흔들

삼성전자가 최근 부진을 겪고 있는 엔비디아향 HBM3E 양산 공급에도 1a D램의 성능이 발목을 잡고 있다. 최근 삼성전자는 평택캠퍼스에서 엔비디아와 HBM3E 8단 제품에 대한 실사를 진행했는데, 당시 엔비디아는 HBM의 데이터 처리 속도가 타제품 대비 낮다는 평가를 내린 것으로 알려졌다. 이와 관련 삼성전자 안팎의 이야기를 종합하면 삼성전자 HBM3E 8단의 데이터 처리 속도(Gbps)는 SK하이닉스·마이크론 대비 10%대 수준으로 떨어진다. 구체적인 수치는 테스트 결과 및 고객사에 따라 차이가 있으나, 1b D램을 활용하는 두 경쟁사 대비 성능이 부족하다는 데는 이견이 없다. 이에 삼성전자는 전영현 부회장 체제 하에서 서버용 D램 및 HBM의 근원적인 경쟁력 회복을 위한 초강수를 고려하고 있다.

다만 일각에서는 사실상 HBM3E의 연내 인증이 어려운 만큼 HBM4(6세대 HBM)에 집중해 시장을 선점해야 한다는 주장도 나온다. 업계 관계자들 설명에 따르면 HBM4에서는 로직다이를 고객사의 요구에 맞춰 다양한 패키징 형태로 파운드리에서 제작하고 또 본딩 방식 역시 하이브리드 기술의 일종인 '코퍼 투 코퍼 본딩(Copper to Copper Bonding)' 기술을 도입해 TC-NCF 방식을 대체할 것으로 예상된다. 이에 새로운 기술을 통한 안정성 확보로 HBM4에서는 수율을 올려 SK하이닉스와의 격차를 줄여야 한다는 것이다.

문제는 엔비디아가 신제품에 HBM4를 사용하더라도 HBM3(4세대 HBM)와 HBM3E도 기존 모델에 사용하는 만큼 HBM3E의 제대로 된 퀄 통과 없이 HBM4를 통과하기란 쉽지 않을 것이란 점이다. 그동안 삼성전자는 공정의 수율이 나오지 않았을 때 '퀀텀 점프(Quantum Jump)'라는 이름의 선단공정으로 전환하며 위기를 극복해 왔지만 더 이상 근원적인 기술 경쟁력이 회복되지 않은 채로 선단 공정과 신제품 개발에만 초점을 맞춘다면 모래성 무너지듯이 한 번에 흔들릴 수 있다는 지적이다.

다시 진화하는 D램, ‘스페셜티’ 메모리 시대 도래

그런가 하면 전문가들 사이에서는 대량 생산을 통한 물량 공세 전략 자체를 다시 고민해야 한다는 분석도 제기된다. AI(인공지능) 열풍에 맞춰 D램도 각양각색으로 진화하고 있는 만큼 찍어내기식 범용 D램 대신 ‘스페셜티(맞춤형)’ 메모리에 집중해야 하는 시기가 도래했다는 것이다. D램은 한때 폰 노이만(Von Neumann) 구조로 불리는 현대 컴퓨팅 시스템의 진보를 막는 계륵처럼 여겨지기도 했다. CPU, GPU, 신경망처리장치(NPU)와 같이 기존 메모리와 프로세서가 다른 칩에 분리돼 있는 폰 노이만 구조는 메모리 입·출력 병목에 의한 속도 저하, 전력 소모로 성능과 효율성에 한계를 보일 수밖에 없었기 때문이다.

이런 이유로 D램이 다른 형태의 ‘뉴메모리’로 대체될 것이라는 주장이 학계와 업계를 가리지 않고 꾸준히 제기돼 왔다. 자성체에 전류를 가해 발생하는 전자회전을 활용해 저항값 변화에 따라 데이터를 쓰고 읽는 비휘발성 메모리인 M램을 비롯해 인텔이 ‘3D 크로스포인트’라는 이름으로 명명한 P램 등이 후보군이었다.

하지만 이들 중 D램을 대체할 수 있는 제품은 사실상 없었다. 오히려 지금 시장 트렌드로 봤을 때는 D램의 헤게모니가 더 강화되는 추세다. D램이 대량 양산용 범용 제품을 벗어나기 시작하면서다. 곽노정 SK하이닉스 사장이 "스페셜티 메모리의 시대가 오고 있다"고 언급한 배경이다. 실제로 현재 D램은 단순히 연산처리장치와 저장장치 사이의 연결고리뿐만 아니라 데이터 연산, AI 처리 속도 가속에 혁신적인 바람을 몰고 올 메모리 풀링(Pooling)을 비롯해 연산 코어 간 거리를 좁히는 초미세설계 등으로 발전하고 있다.

D램 기술은 특히 생성형 AI의 등장으로 점점 다양화하는 모습이다. 업계에 따르면 데이터센터 애플리케이션의 경우 더 많은 데이터를 더 빨리 처리하기 위해 시스템 내 컴퓨팅 요소의 수와 밀도가 증가하고 있다. 데이터를 저장하고 처리할 공간이 필요한 만큼 더 많은 코어가 더 많은 메모리를 필요로 하기 때문이다. D램이 CPU나 GPU의 초고속 연산을 보조하는 수준을 넘어 이제는 전반적인 컴퓨팅 시스템의 성능을 끌어올리기 위한 필수재로 인식되기 시작한 것이다.