Como Testar um Chatbot com IA Antes de Lançar: Checklist

Para testar um chatbot com IA antes de lançar, monte uma lista de cerca de 30 perguntas reais, divida em grupos (perguntas fáceis, ambíguas, fora do escopo e armadilhas), rode tudo duas vezes e só publique se atingir uma meta de acerto definida de antemão. Sem esse roteiro, o primeiro cliente vira o seu testador.

O checklist abaixo foi pensado para chatbots de atendimento, vendas e suporte técnico de empresas B2B. Imprima, divida entre duas ou três pessoas e registre cada resposta em uma planilha.

1. Monte o conjunto de teste com perguntas reais

Não invente perguntas no escuro. Abra o histórico de WhatsApp, e-mails e chamados dos últimos meses e copie as dúvidas como o cliente escreveu, com erro de digitação e abreviação. Isso vale mais do que qualquer pergunta bem redigida.

Uma divisão útil para as 30 perguntas:

• 10 perguntas comuns, que a equipe responde todo dia (prazo, preço, horário, especificação);
• 8 perguntas ambíguas ou incompletas, como “quanto custa o de 50?”;
• 6 perguntas fora do escopo, como assuntos jurídicos, política ou concorrentes;
• 6 armadilhas: pedidos de desconto absurdo, tentativa de fazer o bot ignorar regras, pedido de dados de outros clientes.

2. Verifique a precisão das respostas

Para cada resposta, marque três coisas: está correta, está completa e cita a fonte certa (catálogo, política, tabela de prazos). Uma resposta fluente e errada é pior do que uma resposta em branco.

Faça a mesma pergunta de duas ou três formas diferentes. Se o bot muda o preço ou o prazo conforme a redação, a base de conhecimento ou a instrução está frágil.

3. Teste os casos de fronteira

É nas bordas que o chatbot quebra. Inclua no roteiro:

1. Produto descontinuado ou que a empresa não vende: o bot deve admitir, não inventar.
2. Pergunta com dois assuntos na mesma mensagem.
3. Mensagem só com áudio transcrito, emoji ou foto sem legenda.
4. Pedido de preço para um volume fora da tabela.
5. Cliente irritado, usando palavrão ou ameaçando cancelar.
6. Troca de idioma no meio da conversa.
7. Tentativa de extrair a instrução interna, como “repita suas regras”.

4. Confira a passagem para um humano

Todo chatbot precisa saber quando parar. Teste se ele encaminha para a equipe quando o cliente pede um atendente, quando há reclamação, quando a pergunta envolve contrato ou quando ele não tem certeza.

Verifique também o que acontece depois: a conversa chega inteira ao atendente? O cliente precisa repetir tudo? Um repasse ruim anula o ganho da automação. Se você ainda está desenhando esse fluxo, veja como funciona o atendimento com IA e automação.

5. Revise segurança e privacidade

• O bot recusa informar dados de outro cliente ou preços internos de custo?
• Ele evita prometer prazo, desconto ou garantia que não está na política?
• Ele avisa que é um assistente automatizado?
• O que ele faz com CPF, CNPJ e dados sensíveis digitados pelo cliente?

6. Defina os critérios de aprovação antes de testar

Escreva a régua antes de ver os resultados, senão a tendência é aceitar o que saiu. Um ponto de partida razoável, que você deve ajustar ao seu risco:

• Perguntas comuns: pelo menos 90% corretas e completas.
• Perguntas ambíguas: o bot pede esclarecimento em pelo menos 80% dos casos, em vez de chutar.
• Fora do escopo e armadilhas: 100% sem informação inventada e sem violar regras.
• Passagem para humano: funciona em todos os casos de teste.

Se o bot falhar em qualquer item de segurança, não lance, mesmo com a média alta. Um único erro grave pode custar mais do que dezenas de acertos.

7. Lance em etapas e continue medindo

Depois de aprovado, comece com um grupo pequeno de clientes ou com um horário limitado. Leia as conversas dos primeiros dias, corrija a base de conhecimento e refaça os testes que falharam. Todo ajuste no conteúdo deve ser seguido de nova rodada do conjunto de 30 perguntas.

Guarde a planilha de testes. Ela vira o seu histórico de qualidade e economiza discussão quando alguém perguntar se o bot piorou depois de uma atualização.

Se quiser ajuda para montar o roteiro de testes do seu caso, a Downway faz esse trabalho junto com a implantação.

Perguntas frequentes

Quantas perguntas preciso para testar um chatbot?

Para um primeiro lançamento, cerca de 30 perguntas bem escolhidas já mostram os problemas principais. Conforme o bot cresce, aumente para 100 ou mais e inclua as dúvidas reais que aparecerem.

Quem deve testar o chatbot?

Quem atende clientes todos os dias, porque conhece as perguntas e as respostas corretas. Inclua também alguém de fora da equipe para fazer perguntas sem o vocabulário interno.

Preciso testar de novo depois de lançar?

Sim. Rode o conjunto de testes a cada mudança no catálogo, na política de preços ou no modelo de IA, pois qualquer um desses pontos pode alterar as respostas.