Red Hat, Google e NVIDIA lançam padrão aberto para executar IA em servidores

Red Hat, Google Cloud, IBM e NVIDIA anunciaram a disponibilidade geral do llm-d 1.0, um projeto de código aberto apoiado pela Cloud Native Computing Foundation (CNCF) que padroniza como executar grandes modelos de linguagem em infraestrutura distribuída. Até agora, empresas e data centers precisavam de soluções improvisadas ou contratar plataformas fechadas com custos impredizíveis para orquestrar modelos de bilhões de parâmetros em múltiplas máquinas com aceleradores variados.

O llm-d resolve o maior gargalo da IA em produção: a inferência — quando o modelo responde a milhares de usuários simultaneamente. O projeto gerencia automaticamente a memória de vídeo (VRAM) entre servidores, distribui as camadas matemáticas do modelo de forma inteligente para respostas mais rápidas e permite aproveitar hardware misto (GPUs NVIDIA de diferentes gerações, chips AMD ou aceleradores Google TPU no mesmo cluster). Construído sobre Kubernetes, o llm-d liberta as empresas da dependência de APIs proprietárias, permitindo rodar modelos abertos como Llama, Mistral ou DeepSeek em seus próprios data centers ou em qualquer provedor de nuvem neutro, sem reescrever código.