Testes automatizados de agente: valide antes de entregar

Testes automatizados de agente: valide antes de entregar
Este artigo também está disponível em markdown puro pra agentes e LLMs citarem.Ver versão markdown

Agora dá para testar um agente da Zaia sem conversar com ele na mão. Você escreve cenários, um usuário simulado conversa com o seu agente real, e cada teste fica salvo com a conversa e o resultado. Serve para quem entrega agentes a clientes e precisa saber, antes de publicar e depois de cada ajuste, se o agente ainda responde como deveria.

O que são testes automatizados de agente

Teste automatizado de agente é uma conversa em que um usuário simulado (um modelo de IA) segue um cenário que você definiu e conversa com o seu agente, usando a mesma configuração, tools e provider do agente real. Cada cenário vira uma conversa de teste, e as conversas ficam organizadas em sessões no histórico de testes. Você acessa a partir do Internal Chat, na opção Teste automatizado.

O problema que ela resolve

Testar um agente à mão significa digitar as mesmas perguntas toda vez que o prompt, a base de conhecimento ou o modelo mudam. Com vários clientes, isso não escala, e o que não é testado vai para produção. Sem registro, também não há como mostrar ao cliente o que foi validado, nem comparar antes e depois de uma mudança.

Como funciona

  1. Abra o agente, entre no Internal Chat e escolha Teste automatizado.
  2. Na Biblioteca de cenários, clique em Novo cenário. Crie manualmente ou com IA: descreva a situação (por exemplo, “um cliente recebeu o pedido errado e quer uma substituição”) e a plataforma gera o cenário.
  3. Defina o máximo de mensagens do usuário simulado, até cinco.
  4. Crie uma Nova sessão de teste, escolha os cenários e o modelo do agente avaliado (e, se quiser comparar, mais de um).

Ilustração da tela Nova sessão de teste, com busca de cenários, lista de cenários e o botão Iniciar teste

  1. Clique em Iniciar teste. Cada cenário roda como uma conversa independente; você pode Pausar, Retomar ou Pausar todos.
  2. Ao terminar, veja o status de cada conversa (Concluído, Limite atingido, Falhou ou Interrompido) e use Reexecutar teste para uma nova tentativa, que fica agrupada na mesma sessão.

Ilustração do histórico de testes, com o status de cada conversa (Concluído, Em execução, Limite atingido) e o botão Reexecutar teste

Passo a passo na documentação Testes automatizados do agente. Ambiente de chat manual: Internal Chat.

O que você consegue entregar com isso

Exemplos ilustrativos:

Limites

Perguntas frequentes

O teste automatizado usa o meu agente de verdade?

Sim. A conversa passa pela mesma configuração, tools e provider do agente, e o usuário simulado só faz o papel do cliente. Por isso o teste consome créditos.

Dá para criar cenários sem escrever tudo à mão?

Sim. Em Criar com IA você descreve a situação e a plataforma gera o cenário. Cada solicitação gera um cenário, e você pode editar antes de salvar.

Posso rodar vários cenários ao mesmo tempo?

Sim. Os cenários de uma sessão rodam em paralelo, como conversas independentes, e uma falha para só a conversa afetada.

O que acontece se o agente pedir um dado que o usuário simulado não tem?

O usuário simulado usa um nome fictício estável e continua a conversa. Se não conseguir seguir, a conversa termina como bloqueada em vez de contar como sucesso.

Próximo passo

Veja o ambiente de teste em Internal Chat e como levar o agente testado a clientes em como revender agente de IA.

Iniciar teste de 7 dias — sem cartão. Planos a partir de R$125 por slot/mês no anual.