O que trava projeto de IA não é o modelo errar — é quanto sobra para conferir

Um preprint mediu o que costuma ficar de fora da decisão de adotar IA: 72 configurações foram testadas em seis fluxos documentais, e a diferença entre funcionar numa demonstração e sustentar operação eliminou 25 delas. O achado útil não é a taxa de sobrevivência — é o custo de conferência. Ferramenta que não declara confiança na própria resposta obriga revisão de 100% da saída. Exigir citação de fonte e sinal de confiança derruba isso para 49%.

Todo mundo já viu a demonstração funcionar. O problema aparece depois.

Um preprint publicado esta semana resolveu medir esse "depois" com algum rigor. Seis fluxos documentais do tipo que se executa diariamente em serviços financeiros regulados foram rodados em quatro famílias de modelo e três configurações de ferramenta, três vezes cada — 5.093 elementos de saída avaliados em 72 configurações.

Cada configuração foi testada contra dois critérios. O primeiro os autores chamam de demonstração: uma execução correta, num caso. O segundo, de produção: acurácia sustentada, reprodutibilidade entre repetições, atribuição verificável, e um sinal de confiança que carregue informação.

57 of 72 configurations cleared the demonstration bar and 32 cleared the production bar, a survival rate of 56.1%.

O número que precisa de cuidado

56,1% é 32 sobre 57 — a proporção do que passou na demonstração e também chegou à produção. Sobre o total testado, são 32 em 72: 44,4%.

O estudo informa os três números e não induz a erro. Mas a taxa que vai circular é a maior, sem a base — e é assim que um dado correto vira uma impressão errada.

O achado que muda a decisão

A parte útil não é a taxa de sobrevivência. É o que os autores fizeram em seguida: calcular quanto de revisão humana cada configuração exige.

A tool that states no confidence requires review of 100% of its output, because it offers a reviewer no basis for triage. Requiring the tool to cite its sources and state a confidence reduces that to 49% while holding the residual error tolerance in 17 of 20 configurations.

Uma ferramenta que responde sem dizer o quanto tem certeza obriga a conferir tudo. Não porque erre muito — mas porque não oferece critério para decidir o que vale conferir.

Exigir que ela cite a fonte e declare a confiança corta a revisão pela metade. Em 17 de 20 configurações a tolerância de erro se manteve; em três, não.

E há uma armadilha: acrescentar um passo de autoverificação chega a 44%, custa 2,3 vezes a latência, e é a única configuração que falha em manter a tolerância de erro. Verificar-se a si mesmo saiu mais caro e menos seguro.

O contraste da mesma semana

Nos mesmos dias, a OpenAI publicou o caso de um agente de atendimento no varejo japonês: 30 mil pessoas em duas semanas, 92% de respostas positivas.

Números excelentes. E sem nenhuma metodologia: não se sabe quantas pessoas responderam à pesquisa, qual foi a pergunta, nem qual a taxa de resposta. "92% de respostas positivas" sobre base desconhecida não é comparável a nada.

Não é acusação de má-fé — é a diferença entre um estudo e um caso de sucesso. Os dois são legítimos. Só não são a mesma coisa, e a decisão de investir não deveria tratá-los como se fossem.

Leitura da ELEX

O segundo trabalho, de autoria independente, chega ao mesmo lugar por outro caminho: sustenta que aprovar sistema de IA para produção com base em benchmark é insuficiente, e que validação precisa ser disciplina contínua de sistema, não pontuação pontual de modelo.

Somando os dois, a pergunta que decide investimento em automação muda de lugar.

Não é com que frequência a ferramenta acerta. É quanto da saída alguém ainda precisa conferir — e esse custo raramente entra na conta antes da decisão.

Uma automação que acerta 95% das vezes mas não permite saber quais 5% falharam não economiza 95% do trabalho. Economiza zero, porque tudo precisa passar por revisão de qualquer jeito. Já uma que acerta 85% e sinaliza com precisão onde não confia pode economizar bastante.

Impacto por perfil

Empresa que automatiza fluxo documental: o ganho prometido pode estar inteiro no papel. Meça o tempo de revisão antes e depois, não o tempo de processamento.

Quem escolhe ferramenta: citação de fonte e sinal de confiança deixam de ser recurso desejável e viram requisito de compra.

Quem justifica o investimento: o custo de conferência é mensurável, e agora existe referência publicada para exigi-lo do fornecedor.