Cilada

// problema

Os benchmarks de jailbreak são todos em inglês, mas golpe brasileiro tem gramática própria: comprovante de Pix que nunca caiu, desconto arrancado no jeitinho, instrução escondida em áudio de WhatsApp transcrito. E o art. 30 do CDC transforma o que o bot promete em obrigação da empresa — como no precedente Moffatt v. Air Canada.

// decisões

• Ataques declarados em YAML, não em código — quem conhece o golpe não precisa saber programar.
• Julgamento determinístico por padrão de texto: custo zero por execução e mesmo veredito em qualquer rodada.
• Campo de veto (salvo_se) para "pagamento não confirmado" não contar como "pagamento confirmado".
• Cada achado traz a mitigação e a camada onde ela mora: prompt, aplicação ou arquitetura.

// resultado

Cinco agentes testados com o mesmo prompt de atendimento: o llama-3.3-70b, o mais usado do mercado, tirou 46/100 com 8 falhas críticas — pior que um modelo de 8B. Confirmar um Pix que nunca caiu derrubou 4 dos 5. O plano de correção que o próprio laudo gera levou um agente de 80 para 100/100.

// o que eu faria diferente

Calibrar contra saída de LLM real desde o primeiro dia. A primeira rodada acusou 36% de falso positivo — markdown quebrando os padrões, e o agente mencionando o conceito proibido justamente ao recusá-lo. Foram quatro ciclos até o juiz distinguir compromisso de palavra-chave.