Carregando publicação…
Carregando publicação…
Empresa alerta contra métricas superficiais de recusa e propõe padrões estatísticos rigorosos para aferir riscos reais em modelos.
A Anthropic divulgou um compêndio metodológico detalhando padrões para desenhar, executar e reportar avaliações de segurança em modelos de fronteira. Citando lições da crise de replicabilidade vivida pela psicologia científica, a empresa defendeu que uma alegação de segurança só é válida se a metodologia do teste for estatisticamente sólida, alertando que benchmarks frágeis induzem a conclusões perigosas na indústria.
O documento aponta que usar a taxa bruta de recusa (refusal rate) como indicador primário de segurança é um equívoco conceitual. Em temas de duplo uso — como cibersegurança e biologia — ou crises de apoio psicológico, uma recusa categórica ou excessiva é uma falha operacional. O modelo deve acolher a intenção legítima da requisição sem fornecer detalhes táticos danosos, priorizando a métrica de taxa de resposta apropriada (appropriate response rate).
A equipe também estabeleceu requisitos de amostragem mínima: pelo menos 100 diálogos completos para testes multiturno complexos e 1.000 instâncias para interações pontuais. Prompts isolados já atingem saturação de 94% a 98% nos modelos atuais, mascarando vulnerabilidades que só emergem após insistência ou reformulações graduais de usuários.
Para os avaliadores automatizados (LLM judges), a diretriz recomenda critérios binários objetivos, uso de famílias de modelos distintas da avaliada e validação constante contra anotações humanas especialistas.