Avaliação de agentes: o que medir quando não há resposta certa
Todo time que coloca um agente em produção passa pelo mesmo lugar: alguém pergunta se a nova versão está melhor e ninguém sabe responder. O prompt mudou, o modelo mudou, a recuperação mudou — e a única evidência é a impressão de quem testou dez casos na mão.
O problema não é falta de métrica. É que a métrica óbvia, acurácia, pressupõe uma resposta certa. Em atendimento não existe uma: existem várias aceitáveis e muitas ruins por motivos diferentes.
Três eixos em vez de uma nota
No copiloto, separamos avaliação em três coisas que falham de forma independente: a recuperação trouxe o documento certo, a resposta se sustenta no que foi recuperado, e o agente soube parar quando não sabia. Uma nota única esconde qual das três quebrou.
retrieval ... recall@5 no conjunto rotulado
groundedness ... afirmações com fonte / total
abstention ... acerto ao encaminhar para humano
O terceiro eixo foi o que mais mudou o produto. Um agente que encaminha bem vale mais que um agente que responde bem — porque o custo de uma resposta errada com confiança é maior que o de uma transferência.
Quem rotula é quem atende
Os 400 casos do nosso conjunto foram rotulados pelo time de suporte, não por engenharia. Levou três semanas e foi o melhor investimento do projeto: mudou a discussão de “o prompt está bom?” para “o caso 217 regrediu”.