EP10 - Sua IA tem freio? O risco oculto dos agentes autônomos

Ouvir em: Spotify | Apple Podcasts | RSS Feed

Sobre este episódio

Três e doze da manhã, e o agente de IA de uma fintech de crédito começa a estornar um lote inteiro de cobranças legítimas, dinheiro saindo da conta da empresa de volta para clientes que deviam de verdade. Quando o plantão percebe, quase quatro horas se passaram e o estrago já está feito. O agente não travou, não deu erro, não pediu ajuda: fez exatamente o que mandaram, rápido e sozinho. A falha não foi uma resposta visivelmente burra, foi uma sequência de decisões coerentes alimentadas por um dado errado, e nada no sistema dizia até onde ele podia ir sem chamar uma pessoa.

Neste episódio do TheAgent Podcast, Mark, Lily e Raquel destrincham o conceito de limite de dano, o máximo de estrago que um agente autônomo consegue causar antes de ser obrigado a parar e pedir autorização humana. A conversa parte do caso fictício da Pague Leve, mostra por que um piloto bem-sucedido esconde justamente o caso raro que quebra na escala, e aterrissa em três travas concretas: o teto por ação, o teto agregado por janela de tempo e a parada de emergência. O passivo de verdade não é o dinheiro que sai, que volta com trabalho, é a decisão automatizada que ninguém autorizou e ninguém consegue defender depois.

O que fazer na prática

1. Pegue o agente mais autônomo que roda na sua empresa hoje e defina o teto por ação, ou seja, o maior valor que ele pode mexer numa única decisão antes que uma pessoa precise confirmar.
2. Defina o teto agregado por janela de tempo, o máximo que o agente pode fazer somando tudo num período, porque é esse teto que pega a sequência inteira de decisões certas sobre dados errados, não o caso isolado.
3. Desenhe o número de trás para frente, partindo do maior valor que a empresa aguenta perder numa noite sem virar crise, e grave isso no sistema como uma trava que o agente não consegue ultrapassar sozinho, não como recomendação num manual que ninguém abre.

Capítulos

• 00:00 O estorno em massa às 3h12 da manhã
• 00:40 O que a Pague Leve tinha montado
• 02:00 Permissão de escrita sem teto nenhum
• 03:10 Por que o piloto não pegou o risco
• 04:20 A madrugada do arquivo de conciliação trocado
• 05:40 Decisões certas sobre dados errados
• 06:50 O conceito central, o limite de dano
• 08:00 O ponto da Raquel, o passivo que não volta
• 09:20 Como aplicar, os três tetos concretos
• 10:30 Teto por ação e teto agregado por dia
• 11:20 A parada de emergência que desliga na hora
• 12:00 Quem decide os números de verdade
• 12:40 A pergunta para a sua segunda-feira

Fontes e referências

• Caso Pague Leve (fictício): fintech de crédito criada apenas para este episódio, usada para ilustrar um agente com permissão de escrita direta no sistema de pagamento e sem nenhum teto definido.
• Limite de dano: conceito central do episódio, o máximo de estrago que um agente autônomo consegue fazer sozinho antes de ser obrigado a parar e pedir autorização de uma pessoa.
• Os três tetos: teto por ação numa única decisão, teto agregado por janela de tempo somando o período inteiro e parada de emergência ao detectar uma taxa de ações muito acima do normal.
• A lente da Raquel: o passivo não é o valor que sai e volta com trabalho, é a decisão automatizada com efeito financeiro que ninguém autorizou e ninguém consegue defender perante cliente ou regulador.

Perguntas frequentes

O que é o limite de dano de um agente de IA autônomo?
É o máximo de estrago que um agente consegue causar sozinho antes de ser obrigado a parar e pedir autorização de uma pessoa. O conceito não trata de fazer o agente acertar mais, e sim de garantir que, quando ele errar, o tamanho do erro caiba dentro de um valor que a empresa decidiu de antemão que aguenta perder. Não se limita a inteligência do agente, se limita o raio de uma decisão automatizada. No caso fictício da Pague Leve, cuidaram da precisão e esqueceram justamente esse raio.

Por que o piloto bem-sucedido não revelou o risco antes de ligar pra valer?
Porque piloto roda no mundo limpo: os casos são escolhidos, o volume é baixo, os dados chegam arrumados e a equipe observa de perto por ser novidade. O caso que quebra é o que o piloto não tem, como o arquivo torto às três da manhã, o volume dez vezes maior e a combinação rara que ninguém imaginou. O piloto mede se o agente é bom no dia normal, não o que acontece no pior dia. Na Pague Leve, foi um banco parceiro enviando um arquivo de conciliação com um campo trocado que disparou o estorno em massa.

Quais são os três tetos concretos para desenhar esse limite na prática?
O primeiro é o teto por ação, o maior valor que o agente pode mexer numa única decisão sem aprovação humana. O segundo é o teto agregado por janela de tempo, o máximo que ele pode fazer somando tudo num período, e é esse que teria salvado a Pague Leve por pegar a sequência inteira em vez do caso isolado. O terceiro é a parada de emergência, um sinal que desliga o agente na hora quando a taxa de ações foge muito do normal numa janela curta de minutos. Os números usados no episódio servem só para ilustrar, não são referência de mercado.

Quem deve definir os valores desses tetos dentro da empresa?
Quem decide é quem responde pelo prejuízo, não a área técnica isolada, porque mil reais para uma empresa é pó e para outra é o caixa do mês inteiro. O número certo responde a uma pergunta de negócio: qual o maior valor que a empresa consegue perder numa noite sem que vire uma crise de verdade. O limite se desenha de trás para frente, partindo do que dói perder, e não da capacidade técnica do agente. E precisa ficar gravado no sistema como uma trava que ele não ultrapassa sozinho, nunca como recomendação num manual que ninguém abre.

Edições da newsletter que inspiraram este episódio

• Briefing: Você comprou adoção de IA achando que era resultado. A conta de 2026 chegou
• Dossiê: Edson Rigonatti e a tese AI-First: por que quase todo mundo está construindo a empresa errada

Assine a newsletter TheAgent em theagent.bz para análises sobre agentes de IA duas vezes por semana.