OpenAI Jalapeño: primeiro chip próprio supera Nvidia em testes de inferência

3 min
OpenAI Jalapeño: primeiro chip próprio supera Nvidia em testes de inferência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu chip proprietário desenvolvido com a Broadcom, focando em eficiência energética e latência.

A OpenAI divulgou os primeiros testes do processador Jalapeño, revelando um ganho de eficiência energética de até 1,9 vezes por watt em relação a soluções de mercado, consolidando sua estratégia de desenvolver hardware próprio para reduzir custos operacionais.

O impacto do Jalapeño na infraestrutura da OpenAI

O processador Jalapeño foi projetado especificamente para acelerar a inferência, fase em que o modelo já treinado processa dados e gera respostas, permitindo que a OpenAI reduza sua dependência de hardwares de terceiros. A estratégia visa mitigar os elevados custos operacionais de seus centros de dados, onde o consumo energético representa uma despesa crítica para a escala atual da empresa.

Mas por que focar em inferência em vez de treinamento? Diferente do treinamento de modelos, que exige clusters massivos e alta largura de banda, a inferência é a carga de trabalho diária de plataformas como o ChatGPT. O Jalapeño otimiza o custo por consulta, tornando a IA mais viável financeiramente em larga escala.

Desempenho comparado e limitações dos testes

Os testes, realizados pela própria OpenAI, utilizaram o sistema de benchmarking InferenceX para comparar o Jalapeño com o processador GB300 da Nvidia. Os resultados indicaram que, operando com um consumo de 700 watts, o novo chip superou a concorrência em latência, com melhorias entre 1,7 e 3,6 vezes em tempos de resposta de ponta a ponta.

É fundamental observar que os dados fornecidos pela empresa excluem a geração mais recente de chips Vera Rubin da Nvidia, que começaram a ser comercializados recentemente. Além disso, o foco exclusivo em inferência delimita o uso do chip, deixando o treinamento de modelos, área onde a Nvidia domina, fora do escopo inicial de aplicação deste hardware.

Próximos passos e estratégia de escala

A OpenAI confirmou que já trabalha em futuras gerações do Jalapeño para atender modelos cada vez mais complexos, como as iterações do GPT. A integração com a Broadcom é o alicerce para uma plataforma de computação que a empresa pretende tornar mais acessível e rápida para seus clientes corporativos e usuários finais.

Comparativo de desempenho reportado pela OpenAI nos testes laboratoriais.
CritérioJalapeño (OpenAI)GB300 (Nvidia)
Foco principalInferênciaTreino e inferência
Eficiência (processamento por watt)1,5x a 1,9x superiorReferência
Redução de latência1,7x a 3,6xReferência

Arraste para o lado para ver toda a tabela.

A transição para hardware customizado não é um evento isolado, mas uma tendência entre empresas que operam modelos de IA em escala global. O desafio para a OpenAI será equilibrar o desenvolvimento técnico com a cadeia de suprimentos necessária para viabilizar esse hardware em nível global, reduzindo a fricção e os custos de infraestrutura no médio prazo.

D

· Editor-chefe

Especialista em tecnologia, criador de conteúdo e fundador do portal Mercado de TI e Casa do Dev. Analiso tendências de mercado, Inteligência Artificial e carreira, entregando informações precisas, tr...

LinkedIn Site

Tags relacionadas

COMPARTILHAR