O desafio da velocidade na era dos sistemas autônomos

À medida que a indústria de tecnologia migra de interfaces de bate-papo com humanos para ecossistemas de agentes autônomos persistentes, um obstáculo prático tornou-se o maior pesadelo dos engenheiros: a latência cumulativa. Em arquiteturas onde múltiplos agentes colaboram — delegando tarefas, conferindo saídas, decidindo rotas de execução e validando parâmetros de segurança —, cada chamada tradicional à API de modelos de linguagem exigia a geração token a token de respostas em texto livre ou objetos JSON serializados.

Quando um fluxo de trabalho envolve três ou quatro agentes em cascata, tempos de resposta individuais de 1,5 a 3 segundos acumulam-se em esperas inaceitáveis de quase dez segundos para o usuário final.

Para quebrar essa barreira de infraestrutura, a OpenAI anunciou oficialmente a disponibilização da Decisions API (/v1/decisions), um endpoint projetado especificamente para tomadas de decisão ultrarrápidas, avaliações determinísticas e roteamento lógico em sistemas multiagentes.

Como a Decisions API elimina o overhead autorregressivo

A grande sacada técnica da Decisions API não reside em treinar um modelo menor e menos capaz, mas em reformular a maneira como o modelo expressa seu veredito. Modelos de fronteira tradicionais são máquinas autorregressivas: para dizer "sim" ou gerar um { "status": "approved" }, o transformador precisa passar por decodificações sucessivas de dezenas de tokens intermediários, alocando memória de inferência (KV Cache) e aguardando ciclos de GPU.

No novo endpoint, alimentado pelo modelo especializado gpt-6-luna, a geração textual aberta é suprimida. O modelo recebe o contexto completo (que pode incluir textos, imagens ou objetos JSON nativos) e responde diretamente a uma lista delimitada de perguntas com formatos fechados:

1. Classificação (choice): Escolha de uma entre múltiplas opções pré-definidas (por exemplo, approve, reject, escalate), retornando a alternativa vencedora e as probabilidades de cada ramificação.
2. Avaliação Booleana/Predicativa (probability): Retorna o score numérico exato de probabilidade (de 0.0 a 1.0) sobre a veracidade de uma afirmação ou condição de segurança.
3. Escalonamento Ordenado (score): Pontuações em escalas arbitrárias (ex: 1 a 5) com distribuição de probabilidade calibrada por nível.

Ampliar

Capacidades de escala e processamento em lote

Projetada para cenários corporativos exigentes, a API introduz especificações técnicas pensadas para produção de alta densidade:

• Até 400 perguntas por requisição: Em vez de disparar dezenas de chamadas separadas para checar filtros de moderação, validar regras de negócio e tomar decisões de roteamento, o desenvolvedor envia uma única requisição com centenas de itens de verificação processados em paralelo.
• Prompt Caching Integrado: Se o histórico de conversa do agente ou a base de conhecimento for compartilhada entre decisões subsequentes, o cache de prefixo na infraestrutura da OpenAI elimina quase que instantaneamente o custo computacional de reprocessar o contexto.
• Redução de até 10x na latência: Em benchmarks internos da plataforma, requisições complexas de roteamento caíram da faixa média de 1.800 ms para meros 140 ms, aproximando a resposta da IA da velocidade de bancos de dados relacionais e APIs de microsserviços.

Comparativo: Chat Completions vs. Decisions API

O futuro da engenharia de agentes

A chegada da Decisions API evidencia que a disputa entre os grandes laboratórios de inteligência artificial não se limita mais a métricas teóricas em tabelas de benchmark de conhecimento geral. A corrida atual se dá na eficiência de orquestração.

Ao fornecer aos desenvolvedores uma ferramenta para avaliar intenções, mitigar riscos e ramificar execuções de software sem pagar o preço de latências proibitivas, a OpenAI aproxima a inteligência artificial da agilidade exigida pelos sistemas de missão crítica do mundo real.