OpenAI의 할라피뇨 칩, 더 빠른 추론 속도로 엔비디아에 도전장

• 공개 테스트에서 Jalapeño는 응답 속도와 전력 효율 측면에서 Nvidia GB300을 앞섰습니다.
• 700와트 프로세서는 모델 학습보다는 AI 추론에 초점을 맞추고 있습니다.
• OpenAI는 올해 배포를 계획하고 있으며, 2세대 및 3세대 버전 개발에도 박차를 가하고 있습니다.

OpenAI는 2026년 말까지 자사의 AI 인프라 전반에 OpenAI Jalapeño 칩을 배포할 계획입니다. 공개 테스트에서 이 추론 프로세서는 전력 효율과 응답 속도 면에서 엔비디아의 GB300을 앞섰습니다. OpenAI의 칩 책임자인 리처드 호는 이 설계가 높은 처리량과 낮은 지연 시간을 결합했다고 밝혔습니다. 이 결과는 모델 학습이 아닌 추론에 적용됩니다.

OpenAI 할라피뇨 칩, 두 가지 추론 테스트에서 GB300보다 우수한 성능 보여

OpenAI의 할라피뇨 칩은 700와트의 전력으로 작동합니다. 이러한 전력 수준은 데이터 센터의 전기, 냉각 및 유통 비용을 절감할 수 있습니다. 호(Ho)는 이 프로세서가 지연 시간에 민감한 작업 부하에 대해 더 빠른 응답 속도를 제공하면서 더 많은 사용자를 저렴하게 지원할 수 있다고 말했습니다.

OpenAI는 소규모 오픈소스 모델과 DeepSeek 및 Moonshot AI의 타사 모델을 사용하여 하드웨어를 테스트했습니다. 테스트에 사용된 공개 워크로드 중 가장 큰 규모인 Moonshot의 Kimi에서 가장 큰 성능 향상이 나타났습니다. 회사에 따르면 내부 테스트에는 공개되지 않은 OpenAI 모델도 포함되었습니다.하지만 Jalapeño는 이미 출시된 엔비디아의 새로운 

Vera Rubin 플랫폼과 직접 비교하지 않았습니다 . SemiAnalysis는 Jalapeño가 HBM4 메모리를 사용한다는 점을 고려할 때 GB300 비교가 불완전하다고 지적했습니다. 엔비디아의 Rubin 역시 HBM4를 사용하기 때문에 기술적으로 더 정확한 비교가 가능합니다.

OpenAI는 프로세서에서 실행할 모델을 결정합니다. 그러면 고객은 비용 절감 또는 성능 향상을 목표로 하는 옵션을 선택할 수 있습니다. 호는 이러한 접근 방식이 시간이 지남에 따라 모델 수요가 증가함에 따라 응답 시간과 서비스 가용성을 개선할 것이라고 말했습니다.

브로드컴과의 파트너십을 통해 맞춤형 AI 추론 칩 기술이 한 단계 더 발전합니다.

오픈아이얼 할라피뇨 칩은 대형 기술 기업에 맞춤형 실리콘을 공급하는 브로드컴과 협력하여 개발되었습니다. 오픈아이얼은 자사의 AI 모델이 설계 프로세스를 가속화하는 데 도움이 되었다고 밝혔습니다. 2세대 칩은 테이프아웃 단계에 가까워지고 있으며, 엔지니어들은 3세대 칩에 대한 개념 설계를 시작했습니다.

호는 할라페뇨가 일부 특수 저지연 시스템보다 더 큰 모델을 처리할 수 있다고 말했습니다. 하지만 오픈AI는 앞으로도 세레브라와 다른 컴퓨팅 제공업체를 계속 사용할 계획입니다. 오픈AI의 모든 서비스에 대한 수요가 단일 칩 프로그램으로는 감당하기에는 너무 크기 때문입니다.OpenAI의 할라피뇨 칩은 추론 단위 비용을 낮출 수 있지만, 최첨단 모델을 학습시킬 수는 없습니다. 엔비디아는 학습, 폭넓은 프로그래밍 기능, 그리고 CUDA 지원 측면에서 여전히 중요한 역할을 합니다. 호 대표는 

엔비디아를 핵심 파트너로 설명하며 OpenAI가 앞으로도 엔비디아의 하드웨어를 계속 구매할 것이라고 밝혔습니다.