엔비디아 vs AMD vs INTEL, AI 가속기 대전

안녕하세요 퓨처링입니다.
이번에는 최근까지 지속적으로 화두가 되고 있는 AI 하드웨어 제품들에 대한 이야기를 해볼까 합니다.

최근 대만에서 열린 COMPUTEX 2024의 모습을 들여다 보면, 너나 할 것 없이 AI란 단어로 도배해 놓은 것을 알 수 있었습니다. 물론 작년에도 AI 가 화두이기는 했지만, 올해는 고객들의 관심과 거래가 커진 덕분에 좀 더 실용화되고 발전한 모습을 볼 수 있었습니다.

다소 늦은 감이 있지만, 이번 키노트에 대한 내용을 정리하면서 이번 발표들로 얼마나 달라질 수 있을지 한번 살펴 볼까요?

COMPUTEX 키노트 SUMMARY

NVIDIA

NVIDIA CEO – 젠슨 황 (출처: NVIDIA Youtube)

엔비디아는 AI 분야에서 점점 더 CPU의 의존도를 줄여가는 모습을 볼 수 있습니다. 뿐만 아니라, 게임을 좋아하시는 분들에게도 AI를 이용한 흥미로운 기능이 출시되어 키노트에 소개되었습니다.

프로젝트 G-Assist

이번 키노트에서 게이머를 위한 AI 어시스턴트인 프로젝트 G-Assist를 소개했습니다. 기능은 게임 상태를 분석하여 게임 내 이벤트를 기반으로 통찰력이나 도움, 그리고 개인화된 응답과 시스템 최적화를 제공하여 게임 경험을 향상시킨다고 합니다.

ACE(Avatar Creation Engine)

플랫폼을 통해 다양한 응용 프로그램에서 사용될 수 있는 현실감 있는 디지털 휴먼 아바타를 만들 수 있게 되었습니다. 이 기술은 RTX AI PC를 활용하여 생생한 디지털 휴먼을 구현하며, AI 구동 아바타와의 사용자 상호작용을 변혁할 가능성이 있습니다. 몇몇 유튜브는 이런 과정을 시연한 모습을 보여주기도 했는데요, 서로 대화하듯이 힌트를 얻는 게임들을 즐길 수 있는 시대가 왔네요.

Spectrum-X 네트워킹 플랫폼

AI 워크로드 증가에 대응하기 위해 설계된 Spectrum-X 네트워킹 플랫폼을 공개했습니다. Spectrum-X는 고성능 이더넷 패브릭을 제공하여 AI 애플리케이션의 네트워크 성능을 크게 향상시킨다고 합니다.

NVIDIA Inference Microservices(NIM)

생성 AI 애플리케이션 배포를 간소화하기 위해 도입되었습니다. NIM 컨테이너는 모델 성능을 최적화하여 다양한 인프라 설정에서 복잡한 AI 모델을 보다 효율적으로 실행할 수 있게 됩니다.

생성형 AI 및 AI 공장

엔비디아는 새로운 Grace Hopper 슈퍼칩 기반 플랫폼을 통해 생성 AI의 혁신을 강조했습니다. 이러한 플랫폼은 산업 자동화 및 효율성 향상을 위한 가상 모델 등 다양한 산업에 적용하도록 노력하고 있다고 하네요.

AMD

AMD CEO – Lisa Su (출처: AMD Youtube)

AMD는 모바일 CPU에 통합된 GPU와 NPU, 그리고 엔비디아를 겨냥한 AI 가속기 제품들을 공개했습니다. 다소 공격적으로 엔비디아와의 수치를 비교하면서 시장을 탈환할 기회를 노리고 있습니다.

Ryzen 9000 시리즈

AMD는 Zen 5 아키텍처 기반의 새로운 Ryzen 9000 시리즈 프로세서를 공개했습니다. 이 시리즈는 평균 16%의 IPC(Instruction Per Cycle) 성능 향상을 제공하며, Ryzen 9 9950X는 16코어 32스레드와 80MB 캐시를 탑재하여 5.7GHz 부스트 클럭을 제공합니다. 이 프로세서는 2024년 7월에 출시될 예정이라고 합니다.

Ryzen AI 300 시리즈

AMD는 3세대 Ryzen AI 300 시리즈 모바일 프로세서를 발표했습니다. 이 프로세서는 XDNA 2 NPU를 탑재하여 50 TOPS의 Int8 AI 성능을 제공하며, 새로운 Block FP16 데이터 타입을 지원하여 더 나은 정확도와 성능을 제공합니다. 이 시리즈는 AI PC 시장을 목표로 하고 있으며, Microsoft와의 협력을 통해 Copilot+ 기능을 통합한 노트북을 선보였습니다.

데이터 센터 및 AI 가속기

AMD는 데이터 센터용 5세대 EPYC 프로세서를 공개했습니다. 이 프로세서는 Zen 5 코어를 기반으로 하며, 높은 성능과 효율성을 제공하도록 설계되었습니다. 또한, AMD Instinct MI325X AI 가속기를 포함한 차세대 AI 가속기 로드맵도 발표했습니다. 이 가속기는 288GB의 고속 HBM3E 메모리를 탑재하고 있으며, 2024년 4분기에 출시될 예정이라고 합니다.

INTEL(인텔)

INTEL CEO – Pat Gelsinger (출처: INTEL Youtube)

인텔은 이번 발표에서 자신들의 특기인 CPU를 또 한번 발전시키면서 가속기인 가우디의 신제품을 발표하였습니다. 역시나 가장 큰 경쟁사인 엔비디아와의 비교를 통해 자신들의 강점을 내세우고 있고, 전통적인 회사이니 만큼 많은 파트너들과의 협력사업으로 탄탄한 환경이 조성되어 있다고 느낄 수 있는 키노트였습니다.(AMD랑은…?)

Lunar Lake (CPU)

인텔은 새로운 Lunar Lake 아키텍처를 발표했습니다. 이 아키텍처는 향상된 성능과 에너지 효율성을 제공하며, 특히 AI 연산 능력을 크게 개선한 Core Ultra 프로세서를 탑재하고 있다고 하네요.

Gaudi 3 (AI 가속기)

이번 키노트에서 인텔은 Gaudi 3 AI 가속기를 공개했습니다. 이 가속기는 대규모 언어 모델(LLM) 훈련 및 추론 작업에서 엔비디아의 H100보다 최대 2배 빠른 성능을 제공하며, 더 낮은 비용으로 높은 성능을 제공한다고 합니다.

Xeon 6 프로세서

데이터 센터와 고성능 컴퓨팅(HPC) 워크로드에 최적화된 Xeon 6 시리즈를 발표했습니다. 이 시리즈는 높은 코어 밀도와 전력 효율성을 제공하며, 특히 새로운 E-core와 P-core를 기반으로 설계되었습니다.

AI PC와 엣지 컴퓨팅

인텔은 AI PC 시장을 선도하기 위한 새로운 AI 기능을 갖춘 Core Ultra 플랫폼을 소개했습니다. 이 플랫폼은 향상된 그래픽 및 AI 처리 능력을 갖추고 있으며, AI PC가 2028년까지 전체 PC 시장의 80%를 차지할 것으로 예상됩니다.

위 내용으로 알 수 있듯이, 이번 COMPUTEX에서는 그야말로 AI가속기 대전이라고 할 정도로 AI에 대한 개발과 관심이 한층 더 높아졌습니다.

GPU 하면 엔비디아 아니야?

사실, 그래픽 시장에서 발전된 AI 가속기 시장은 자연스럽게 업계1위였던 엔비디아가 물려받을 수 밖에 없는 구조였습니다. 이런 과정에서 엔비디아는 타 회사들보다는 좀 더 수월하게 빠르게 발전할 수 있었죠. 우리가 GPU=엔비디아 라고 생각하는 것도 많은 기업들이 이미 쓰고 있는게 증명이 되었고, 다른 가속기를 쓴다고 한 업체들을 본 적이 별로 없기 때문일거에요.

현재 메모리 등의 IC 시장이 하락세가 나타날 때에도 엔비디아는 드라마틱한 성장세를 이어가고 있습니다. 2024년 5월 22일에 발표한 엔비디아의 실적발표에서 총 이익률은 78.4%로 애플, AMD 등이 40~50% 사이의 총 이익률을 낸 것을 감안하면 빅테크 기업들 중에서 상당히 높은 수치인 것을 알 수 있어요. 데이터센터의 엔비디아 보급률도 98%를 기록하는 등 엔비디아의 독주가 무서울 정도인데요, 업계에서는 우려 섞인 목소리도 나오고 있습니다.

공급이 제때에 이루어지지 않아 늘어나는 대기시간, 높아지는 가격에 AI 개발과 서비스에 집중해야 하는 많은 기업들이 GPU 하드웨어를 구하느라 많은 시간을 기다리는 경우가 많아지고 있다고 합니다.

그럼, 엔비디아만 GPU가 있어?

아닙니다. 이번 COMPUTEX 2024의 키노트를 보면, AMD와 인텔이 각각 엔비디아에 대항할만한 AI 가속기와 CPU를 들고 나왔습니다. 고객의 불편함을 파고들 수 있는 전략으로 말이죠.

AMD MI300X

AMD의 경우 엔비디아의 H100에대항마로 MI300X 라는 제품에 대한 발표가 이어졌습니다. 엔비디아의 스테디셀러인 H100과 비교를 하면서, 성능이 우수한 플랫폼이라는 자평을 하였죠. 공급도 원활한 수준인 것으로 보이며, 가격도 10,000달러 수준으로 꽤 저렴한 것으로 알려져 있어요.

인텔® Gaudi® 3

인텔은 2024년 4분기에 출시예정인 AI 가속기 Gaudi (가우디)의 3번째 버전을 발표했습니다. AMD와 마찬가지로 H100의 대항마로 전격 발표를 이어갔으며, 성능과 전력 대비 우수하다고 자평하였습니다.

인텔의 경우는 IBM이나 Bosch 등의 업체 등 기존 파트너들과의 공급망이 탄탄하기 때문에 빠르게 AI 시장에 침투하고 있어요.

또다른 방법, CPU AI

작년 말, 네이버는 자사 AI 서비스의 일부를 GPU 대신 인텔과의 계약을 통해 CPU로 대체하였고, 상당한 수준의 비용 절감 효과를 가져왔습니다. 이는 GPU만이 AI를 할 수 있다는 것이 아님을 증명하는 것이라고 할 수 있죠.

애플은 자사의 칩에 GPU를 통합하였고, 인텔과 AMD 역시 자사의 CPU에 GPU 또는 NPU를 통합하고 있어요.

엔비디아는 AI를 구현하면서 점점 CPU의 의존도를 줄여가고 있지만, 전통적인 CPU 회사들은 GPU와의 통합을 통해 “AI든 뭐든 모든지 잘 해내는” 플랫폼을 만들고 있습니다.

선택의 폭은 넓다! 알아보는 것이 번거로울 뿐

앞으로 어떤 과정을 통해 누가 승자가 될 지는 미지수 이지만, AI 플랫폼이 점점 가속화 되고 있는 지금 하드웨어 시장은 그 무엇보다 절실히 고객의 선택을 받기 위해 몸부림 치고 있습니다. 그만큼 고객은 고급화된 인프라를 도입하는데 선택의 폭이 넓어져 숨통이 트일 수도 있겠다 라는 생각을 해봅니다.

퓨처링에서는 이런 도입 과정들을 같이 고민하고 해결책을 제시해줄 많은 입점사들이 있습니다. AI 개발을 해야하는데, AI 서비스를 해야하는데 어떤 하드웨어를 선택해야 할 지 모르시겠다면 바로 지금 퓨처링에 컨설팅견적을 요청해 보세요!