A OpenAI apresentou o BioBasicsBench, um benchmark criado em parceria com a empresa de biotecnologia Ligo para medir a capacidade de agentes de inteligência artificial na interpretação de dados brutos de laboratórios de biologia molecular e enzimática.

Análise de eletroforese em gel no BioBasicsBench: o GPT-6 Astra agrupou bandas corretamente, mas inverteu os controles de seleção de plasmídeo. Fonte: OpenAI.

Dados brutos e falhas reais de bancada

Ao contrário dos benchmarks tradicionais baseados em gráficos acadêmicos polidos, o BioBasicsBench utiliza 100 tarefas práticas com evidências experimentais brutas: imagens de eletroforese, placas de Petri com colônias, leituras de citometria de fluxo, sequenciamentos FASTQ e registros de microscopia.

  • Desempenho multimodal de fronteira: No nível de raciocínio estendido (xhigh), o GPT-6 Astra obteve 66,7% de pontuação média, superando com folga o GPT-6.1 Sol (62,0%) e o GPT-5.6 Sol (43,8%).
  • Atenção aos limites dos dados: O novo modelo demonstrou capacidade superior ao reconhecer controles trocados e evitar conclusões precipitadas em dados com canais sobrepostos de fluorescência.
  • Gargalos persistentes: A OpenAI apontou que mesmo os modelos mais avançados ainda cometem erros críticos em rotinas básicas, como contagem imprecisa de colônias bacterianas e tendência a deixar suposições teóricas prevalecerem sobre os controles negativos.
Detecção de falhas no experimento: o GPT-6 Astra identificou o rótulo incorreto de antibiótico no bordo da placa, rejeitando o controle falso. Fonte: OpenAI.

Para acessar o artigo técnico completo, critérios de avaliação e estatísticas detalhadas por modelo, consulte a publicação oficial no blog de pesquisa da OpenAI.