젠슨황 엔비디아 CEO "삼성전자로부터 HBM 공급받을 것"

젠슨 황 엔비디아 최고경영자(CEO).

삼성전자가 엔비디아에 HBM(고대역폭메모리)을 공급할 가능성이 높아졌다. 젠슨황 엔비디아 CEO(최고경영자)가 직접 "삼성전자 등에서 HBM을 공급받겠다"고 밝힌 만큼 조만간 품질 테스트가 마무리돼 양산을 시작할 것으로 보인다.

젠슨 황 엔비디아 CEO는 4일(현지시간) 대만 타이베이에서 열린 기자간담회에서 "SK하이닉스, 삼성전자, 마이크론(미국)에서 HBM를 공급받을 것"이라고 말했다. 황 CEO는 '컴퓨텍스 2024' 참석 차 대만을 방문 중이다.

황 CEO는 "삼성전자가 언제 엔비디아의 파트너사가 될 수 있느냐"는 질문에 "우리에게 필요한 HBM의 양은 매우 많기 때문에 공급 속도가 무척 중요하다"고 했다. 또 "이 업체들과 최대한 빨리 퀄(품질 검증)을 진행하고 우리 제조공정에 적용하기 위해 노력하고 있다"고 말했다.

황 CEO는 최근 삼성전자가 발열 문제 등으로 품질 테스트를 통과하지 못했다는 기사에 대해선 "그런 이유로 실패한 것이 아니고 그런 보도는 아무것도 아니다"며 "삼성과 작업은 잘 진행되고 있고 어제까지 끝내고 싶었지만 안 끝났다. 인내심을 가져야 한다"고 밝혔다.

황 CEO의 이런 발언은 삼성전자의 HBM 공급이 임박했음을 시사한 것으로 풀이된다. 앞서 삼성전자는 5세대 HBM인 HBM3E를 올해 상반기 양산할 계획이라고 밝혔다. 황 CEO가 3월 미국에서 열린 개발자 콘퍼런스에서 삼성전자 부스를 방문해 HBM3E 제품을 살펴본 후 '젠슨이 승인했다(Jensen Approved)'는 친필 사인을 남겨 공급 가능성이 높은 것으로 평가됐다. 그러나 최근 로이터가 "엔비디아의 품질 테스트를 통과하지 못 했다"고 보도했다.

이런 보도와 관련해 앞서 삼성전자는 "다양한 글로벌 파트너들과 HBM 공급을 위한 테스트를 순조롭게 진행 중"이라며 "다수의 업체와 긴밀하게 협력하며 지속적으로 기술과 성능을 테스트하고 있다"고 반박한 바 있다. 삼성전자는 또 "모든 제품에 대해 지속적인 품질 개선과 신뢰성 강화를 위해 노력하고 있다"며 "이를 통해 고객들에게 최상의 솔루션을 제공할 예정"이라고 했다.

엔비디아에 HBM을 공급하는 기업이 기존 SK하이닉스에서 삼성전자, 마이크론으로 늘어나면 시장 경쟁은 한층 치열해질 전망이다. 현재 엔비디아에 HBM을 공급하고 있는 회사는 사실상 SK하이닉스가 유일하다.

현재 AI(인공지능)용 GPU(그래픽처리장치)에는 주로 HBM3와 HBM3E가 쓰이는데 기존 물량을 대부분 공급하고 있는 SK하이닉스가 현재로선 유리한 상황이다. SK하이닉스는 HBM 물량이 올해는 물론이고 내년도 거의 매진됐다고 밝힌 바 있다. 삼성전자와 SK하이닉스가 나란히 개발 중인 HBM4 시장 경쟁도 격화할 것으로 보인다. 엔비디아는 내년 선보일 차세대 AI용 GPU '루빈(Rubin)'에 HBM4를 적용한다. HBM4는 루빈에는 8개, 루빈 울트라에는 12개가 각각 들어간다.

엔비디아의 루빈 출시 일정을 고려해 삼성전자와 SK하이닉스가 HBM4 개발에 속도를 낼 것으로 보인다. SK하이닉스는 HBM4 개발 시기를 당초 계획보다 1년 앞당겨 내년 양산하겠다고 밝힌 바 있다. 삼성전자도 내년 HBM4 개발을 목표로 하고 있다

 

[인터뷰] AI 시대 삼성전자 HBM이 만들어 내는 완벽한 하모니

고대역폭 메모리 'HBM(High Bandwidth Memory)'은 초거대 AI 시대라는 악곡(樂曲)의 뛰어난 오케스트라 연주자로 비유할 수 있다. 마치 능숙한 연주자가 빠르고 정확하게 멜로디를 연주하는 것처럼, HBM은 높은 대역폭을 기반으로 AI의 방대한 데이터를 효율적으로 처리한다.
삼성전자는 2024년 2월, 업계 최초로 36GB HBM3E(5세대 HBM) 12H D램 개발에 성공했다. 36GB HBM3E 12H D램은 24Gb D램 칩을 TSV(Through-silicon Via, 실리콘 관통 전극) 기술로 12단까지 적층한 메모리다. 해당 제품은 지난달 엔비디아의 연례 개발자 콘퍼런스 'GTC(GPU Technology Conference) 2024'에서 공개되어 고객들로부터 뜨거운 반응을 받기도 했다.
이에 뉴스룸은 삼성전자 HBM을 담당하는 상품기획실 김경륜 상무와 DRAM개발실 윤재윤 상무를 만나 보았다. 두 담당자의 인터뷰를 통해 기술 혁신을 이끄는 삼성전자의 HBM을 들여다보자.

삼성전자는 2016년 업계 최초로 AI 메모리 시장의 막을 연 이래 독보적인 기술 노하우를 바탕으로 AI 반도체 생태계를 확장해 왔다. 초격차 기술력으로 무한한 가능성을 열어 온 삼성전자가 그려 갈 앞으로의 미래가 기대된다.

[인터뷰] AI 시대 삼성전자 HBM이 만들어 내는 완벽한 하모니 | 삼성반도체 (samsung.com)

[인터뷰] AI 시대 삼성전자 HBM이 만들어 내는 완벽한 하모니 | 삼성반도체

삼성전자, 업계 최초 36GB HBM3E 12H D램 개발

• HBM3E 12H(12단 적층)개발 … 업계 최대 용량 36GB 구현
  • 기존 HBM3 8H(8단 적층)대비 성능과 용량 모두 50% 이상 향상
• 'Advanced TC NCF' 기술 활용해 8단과 동일한 높이로 12단 적층 구현
  • 업계 최소 7마이크로미터 칩간 간격 … 수직 집적도 개선
  • 다양한 사이즈의 범프 적용을 통한 열특성 강화 효과
• 고객사 샘플 제공 시작, 상반기 양산 예정

삼성전자가 업계 최초로 36GB(기가바이트) HBM3E(5세대 HBM) 12H(High, 12단 적층) D램 개발에 성공하고 고용

량 HBM 시장 선점에 나선다.

 

삼성전자는 24Gb(기가비트) D램 칩을 TSV(Through-Silicon Via, 실리콘 관통 전극) 기술로 12단까지 적층해 업계 최대 용량인 36GB HBM3E 12H를 구현했다.

* 24Gb(기가비트) D램 용량 = 3GB(기가바이트)

* HBM3E 12H D램 용량 : 36GB (3GB D램 x 12)

* TSV: 수천 개의 미세 구멍을 뚫은 D램 칩을 수직으로 쌓아 적층된 칩 사이를 전극으로 연결하는 기술

 

HBM3E 12H는 초당 최대 1,280GB의 대역폭과 현존 최대 용량인 36GB을 제공해 성능과 용량 모두 전작인 HBM3(4세대 HBM) 8H(8단 적층) 대비 50% 이상 개선된 제품이다.

* HBM3E 12H는 1,024개의 입출력 통로(I/O)에서 초당 최대 10Gb를 속도를 지원함. 초당 1,280GB를

처리할 수 있어 1초에 30GB 용량의 UHD 영화 40여편을 업(다운)로드 할 수 있는 속도

* 성능은 고객사 모의 환경 기반의 내부 평가 결과이며, 실제 환경에 따라 변동 가능

 

삼성전자는 'Advanced TC NCF'(Thermal Compression Non Conductive Film, 열압착 비전도성 접착 필름) 기술로 12H 제품을 8H 제품과 동일한 높이로 구현해 HBM 패키지 규격을 만족시켰다.

'Advanced TC NCF' 기술을 적용하면 HBM 적층수가 증가하고, 칩 두께가 얇아지면서 발생할 수 있는 '휘어짐 현상'을 최소화 할 수 있는 장점이 있어 고단 적층 확장에 유리하다.

 

삼성전자는 NCF 소재 두께도 지속적으로 낮춤으로써, 업계 최소 칩간 간격인 '7마이크로미터(um)'를 구현했다. 이를 통해 HBM3 8H 대비 20% 이상 향상된 수직 집적도를 실현했다.

 

특히, 칩과 칩사이를 접합하는 공정에서 신호 특성이 필요한 곳은 작은 범프를, 열 방출 특성이 필요한 곳에는 큰 범프를 목적에 맞게 사이즈를 맞춰 적용했다. 크기가 다른 범프 적용을 통해 열 특성을 강화하는 동시에 수율도 극대화했다.

* 범프(Bump): 칩 사이를 전기적으로 연결하기 위해 형성한 전도성 돌기를 통칭

 

또한, 삼성전자는 NCF로 코팅하고 칩을 접합해 범프 사이즈를 다양하게 하면서 동시에 공극(Void)없이 적층하는 업계 최고 수준의 기술력도 선보였다.

 

삼성전자가 개발에 성공한 HBM3E 12H는 AI 서비스의 고도화로 데이터 처리량이 급증하는 상황 속에서 AI 플랫폼을 활용하는 다양한 기업들에게 최고의 솔루션이 될 것으로 기대된다.

 

특히, 성능과 용량이 증가한 이번 제품을 사용할 경우 GPU 사용량이 줄어 기업들이 총 소유 비용(TCO, Total Cost of Ownership)을 절감할 수 있는 등 리소스 관리를 유연하게 할 수 있는 것도 큰 장점이다.

 

예를 들어 서버 시스템에 HBM3E 12H를 적용하면 HBM3 8H를 탑재할 때 보다 평균 34% AI 학습 훈련 속도 향상이 가능하며, 추론의 경우에는 최대 11.5배 많은 AI 사용자 서비스가 가능할 것으로 기대된다.

* 동일 GPU 인프라 조건에서 내부 데이터와 시뮬레이션을 기반으로 산출한 값

 

삼성전자 메모리사업부 상품기획실장 배용철 부사장은 "삼성전자는 AI 서비스를 제공하는 고객사의 고용량 솔루션 니즈에 부합하는 혁신 제품 개발에 힘쓰고 있다"며 "앞으로 HBM 고단 적층을 위한 기술 개발에 주력하는 등 고용량 HBM 시장을 선도하고 개척해 나갈 것"이라고 밝혔다.

 

한편, 삼성전자는 HBM3E 12H의 샘플을 고객사에게 제공하기 시작했으며 상반기 양산할 예정이다.

삼성전자, 업계 최초 36GB HBM3E 12H D램 개발 | 삼성반도체 (samsung.com)

삼성전자, 업계 최초 36GB HBM3E 12H D램 개발 | 삼성반도체