A demo com IA leva uma tarde e impressiona a diretoria. O produto com IA em produção leva meses, e a distância entre os dois é exatamente a lista de cuidados que ninguém menciona na demo.

Não é só chamar a API do modelo. Colocar um LLM diante de clientes reais é engenharia de sistema, com categorias novas de falha que o software tradicional não tinha. Estas são as que separam a demo do produto.

1. O modelo vai errar com confiança (projete para isso)

LLMs alucinam: afirmam com fluência coisas que não são verdade. Não é bug que se corrige; é propriedade estatística da tecnologia, e a mitigação é de desenho de produto:

• Aterre as respostas nos seus dados (RAG, tema do próximo artigo da série): o modelo responde com base em documentos recuperados e cita as fontes.
• Dê saída para a incerteza: "não encontrei essa informação" precisa ser uma resposta aceitável e incentivada, não uma falha.
• Calibre o caso de uso ao risco: sugerir rascunho que um humano revisa tolera erro; responder cliente sobre cobrança sozinho, não. Comece pelo primeiro tipo.

2. Entrada de usuário é entrada hostil

O usuário vai tentar tirar seu chatbot dos trilhos, por diversão ou por lucro, e a injeção de prompt é o novo vetor: instruções maliciosas escondidas na conversa (ou em documentos que o modelo lê) para sequestrar o comportamento. O OWASP mantém um Top 10 específico para aplicações com LLM, e injeção é o item nº 1 (OWASP LLM Top 10).

As defesas práticas: separar instruções de dados nas mensagens, validar saídas antes de agir sobre elas, limitar as ferramentas e permissões do modelo (menor privilégio, como sempre) e filtrar conteúdo nas duas direções.

3. Custo e latência são decisões de arquitetura

A fatura de LLM escala com uso e com o tamanho dos contextos, e é prima da fatura de nuvem: cresce em silêncio. Os controles que precisam nascer com o produto:

• Modelo do tamanho do problema: classificar um e-mail não precisa do modelo topo de linha. Roteie por complexidade; a diferença de custo é de 10 a 100 vezes.
• Cache do que se repete, orçamento por usuário/feature e alertas de anomalia.
• Latência como UX: resposta de LLM leva segundos. Streaming de tokens e estados de carregamento honestos mudam a percepção; os 100ms de feedback continuam valendo.

4. Sem avaliação, todo ajuste é um chute

A parte menos glamourosa e mais decisiva: como você sabe que a versão nova do prompt é melhor que a antiga? "Testei três exemplos e pareceu bom" não sobrevive a produção.

Times maduros tratam avaliação como tratam testes: um conjunto de casos reais com respostas esperadas, rodado a cada mudança de prompt, modelo ou parâmetro, com métricas definidas (precisão factual, formato, recusa correta). Mudou o fornecedor de modelo? A suíte de avaliação diz em minutos o que quebrou, como um CI.

5. Observabilidade ganha uma dimensão nova

Além dos três pilares de sempre, aplicações com LLM precisam registrar: prompt enviado, resposta recebida, modelo e versão, tokens e custo, feedback do usuário (o joinha que alimenta a melhoria). Sem esse rastro, o "por que o bot respondeu isso?" da reunião de segunda não tem resposta.

E atenção redobrada à privacidade: prompts carregam dados de clientes. Contratos de não-treinamento com o fornecedor, mascaramento de dados sensíveis e retenção definida são LGPD aplicada, não paranoia.

O caminho que funciona

Os produtos com IA que chegam bem em produção seguem o mesmo padrão: começam por um caso de uso estreito e tolerante a erro, com humano no circuito, avaliação desde o dia um e expansão guiada por evidência. É o Discovery aplicado à IA: validar valor antes de escalar risco.

Esse é o desenho que fazemos no nosso serviço de Engenharia de IA e Agentes: do caso de uso à operação, com os cinco cuidados acima como fundação, não como remendo.

Quer testar na prática? Você está falando com o nosso exemplo favorito agora: a IA da Rabelo Digital, aqui no canto da tela, roda exatamente sobre essa fundação. Pergunte a ela como seu caso de uso se encaixa. Sem formulário, sem espera.

---

Leia também

• Agentes de IA: o que são e quando usar
• RAG: busca semântica para o seu produto
• Como medir ROI de projetos de IA