Prompts em produção: versionar, testar e medir

Na fase de protótipo, o prompt é ajustado na tentativa e erro até a resposta parecer boa. Em produção, o mesmo prompt recebe milhares de variações que ninguém testou — e começa a falhar de formas inesperadas.

Prompts são código

• Versione: cada mudança no prompt registrada, com data e motivo.
• Separe do código da aplicação: facilita ajustes e comparações.
• Revise como código: uma palavra a mais muda o comportamento.

Crie um conjunto de testes

Reúna dezenas de perguntas reais — inclusive as difíceis, ambíguas e maliciosas — com o resultado esperado. A cada mudança no prompt ou no modelo, rode o conjunto e compare.

Peça formatos estruturados

Quando a resposta alimenta o sistema, peça JSON com campos definidos e valide com um esquema antes de usar — o mesmo princípio de Validação rigorosa de dados: prevenindo falhas de segurança e dados inconsistentes com Zod e TypeScript.

Estruture o prompt

1. 1.Papel e objetivo.
2. 2.Regras e limites ("se não souber, diga que não sabe").
3. 3.Contexto relevante (documentos, dados do cliente).
4. 4.Formato da resposta.
5. 5.Exemplos de boas respostas.

Meça em produção

Taxa de respostas aceitas, correções humanas, reclamações e custo por chamada (Custo de API de IA: como não levar susto na fatura). Sem métrica, não há como saber se a nova versão é melhor.

Segurança

Usuários vão tentar manipular o prompt. As defesas estão em Prompt injection: o novo SQL injection, e o risco de respostas inventadas em Alucinação de IA: como reduzir o risco em sistemas de negócio.

A We Codex desenvolve funcionalidades de IA com esse processo em CRMs inteligentes e sistemas. Fale com a gente.