A OpenAI apresentou o LifeVal, um novo benchmark de pesquisa projetado para medir o desempenho de agentes de IA em tarefas práticas da vida real, em vez de testes acadêmicos ou desafios de programação. Construído a partir de bases estatísticas de uso do tempo (American Time Use Survey e Multinational Time Use Study) e de um levantamento demográfico com 3.995 participantes, o conjunto avalia 169 tarefas cotidianas que exigem ação autônoma via navegador, controle de computador e chamadas de conectores.

Evolução dos modelos da OpenAI no LifeVal: o salto de 49,3% no GPT-5.2 para 80,6% no GPT-6 Astra reflete avanços em navegação e uso de ferramentas.

Como o LifeVal avalia agentes pessoais

  • Sete Áreas da Vida Cotidiana: As tarefas cobrem cuidados familiares (caregiving), saúde, educação, administração doméstica, finanças pessoais, compras e acesso a serviços governamentais.
  • Execução Ponta a Ponta: Os cenários foram redigidos por cerca de 100 usuários reais com rubricas específicas de avaliação (de 0 a 1). Entre os exemplos práticos, o GPT-6 Astra alcançou 100% na busca e seleção documental de um imóvel dentro do orçamento, 98% na coordenação de voluntários contra enchentes, 93,1% na matrícula escolar após uma mudança e 90,4% no planejamento alimentar para diagnóstico recente de diabetes.
  • Fronteira de Custo vs. Raciocínio: Na configuração de esforço máximo (max), o GPT-5.6 e o GPT-6 Astra superam a marca de 82,5% de recompensa média, demonstrando como o tempo adicional de raciocínio impacta diretamente a confiabilidade na execução de tarefas domésticas e administrativas.
Relação entre recompensa média no LifeVal e custo de API por tarefa ao longo de diferentes níveis de esforço de raciocínio.

O detalhamento metodológico completo e os exemplos interativos das tarefas avaliadas estão disponíveis na publicação oficial da OpenAI.