EP17 - Governança de agentes: o risco quando o agente toca nos seus sistemas

Ouvir em: Spotify | Apple Podcasts | RSS Feed

Sobre este episódio

A maioria das pessoas conhece a IA que responde perguntas e conversa em chatbots, mas pouca gente fala do que acontece quando essa mesma tecnologia ganha acesso aos sistemas internos da empresa e começa a executar ações sozinha. A diferença entre um texto inadequado e um estorno bancário não autorizado é o tema que move este episódio, e entender essa fronteira é o primeiro passo para usar agentes de forma segura.

Neste episódio do TheAgent Podcast, Mark, Lily e Raquel detalham por que a governança de agente segue regras diferentes da governança de modelo, mostram como o prompt intermediário funciona como um rascunho invisível que define ações irreversíveis e ensinam um passo a passo prático para separar leitura, escrita e execução com logs imutáveis, aprovações humanas e alarmes automáticos baseados em baseline operacional.

O que fazer na prática

1. Liste em uma tabela simples tudo que cada agente acessa nos seus sistemas, separando o que ele apenas lê, o que ele altera e o que ele executa sem possibilidade de desfazer, para enxergar claramente onde está o risco.
2. Divida as funções de forma que o agente que consulte dados não tenha permissão para alterar cadastros ou executar estornos, e estabeleça que toda ação irreversível passe obrigatoriamente por uma aprovação humana antes de voltar para o sistema.
3. Ative logs imutáveis desde o primeiro dia de operação, defina uma baseline com base nos últimos três meses da sua operação e configure um alarme automático que pause o agente quando o comportamento sair do padrão esperado.

Capítulos

• 00:00 Abertura sobre o risco real quando o agente deixa de conversar e começa a executar ações nos sistemas da empresa
• 00:45 Explicação sobre a diferença essencial entre governança de modelo e governança de agente com acesso a operação
• 01:30 A metáfora do carteiro que entrega mensagens versus o carteiro que assina documentos e movimenta recursos sozinho
• 02:15 Como identificar se já existem agentes ou fluxos automáticos atuando nos bastidores dos seus sistemas internos
• 03:00 O que é o prompt intermediário e por que registrar esse raciocínio é fundamental para auditar qualquer ação executada
• 04:00 O caso da Zappts com dez agentes, quatro pessoas e supervisão operacional que permite escalar sem perder o controle
• 04:45 Por que o filtro de conteúdo tradicional não resolve o risco de ações irreversíveis em múltiplos sistemas conectados
• 05:30 Camadas de monitoramento com separação física entre leitura de dados, escrita de informações e execução de transações
• 07:15 Baseline operacional e alarmes automáticos como detector de fumaça que para o agente antes que o erro se espalhe
• 08:15 Raquel traz a realidade sobre risco regulatório, responsabilidade jurídica e a importância do rastro de auditoria completo
• 09:00 Passo a passo prático e mínimo para aplicar na próxima semana sem precisar de novos softwares ou investimentos altos
• 10:00 A pergunta de fechamento sobre registro de consultas, raciocínio do agente e validação humana para ações automatizadas

Fontes e referências

• Pesquisa da MIT Sloan Review sobre frameworks de governança de IA e a falta de supervisão sobre execução de agentes
• Caso da empresa Zappts sobre escalada de agentes com controle operacional e crescimento de 33% no negócio

Perguntas frequentes

Qual é a diferença entre governança de modelo e governança de agente?
A governança de modelo cuida do que a IA fala, como um filtro que evita respostas ofensivas ou incorretas em um chatbot. A governança de agente cuida do que a IA faz nos sistemas internos, como estornar pagamentos ou alterar status, e por isso exige rastros de auditoria, aprovações humanas e limites operacionais que não deixem a execução acontecer no escuro.

O que é o prompt intermediário e por que ele importa?
É o raciocínio que o agente constrói entre a pergunta que recebe e a ação que executa, funcionando como um rascunho que define se ele consulta um cliente ou outro, soma ou subtrai valores, e aprova ou rejeita uma operação. Se esse rascunho não for registrado, você não consegue auditar por que a ação aconteceu, o que torna impossível corrigir erros ou provar conformidade para um regulador.

O que são logs imutáveis e por que ativá-los desde o primeiro dia?
Logs imutáveis são registros de operação que não podem ser alterados ou apagados depois de criados, garantindo que você tenha um rastro completo do que foi consultado, sugerido e executado pelo agente. Ativar isso desde o início evita que você dependa de prints ou da memória de alguém quando um cliente, um auditor ou um regulador pedir explicação sobre uma ação específica.

Como funciona a baseline e o alarme na prática?
A baseline é o comportamento normal da sua operação nos últimos três meses, como uma média diária de aprovações ou estornos que serve de linha de referência. O alarme, ou timeout, é um limite automático que pausa o agente quando ele ultrapassa essa linha, funcionando como um detector de fumaça que age antes que o problema se espalhe pelos sistemas financeiros.

Edições da newsletter que inspiraram este episódio

• Briefing: Zappts cortou time-to-market pela metade com agentes no dia a dia
• Dossiê: A próxima crise de IA não virá do modelo, virá do agente sem supervisão

Assine a newsletter TheAgent em theagent.bz para análises sobre agentes de IA duas vezes por semana.