Ir para o conteúdo

IA dentro de um sistema.

Agentes são úteis quando as ferramentas, os dados e a aprovação são desenhados. São um risco quando um prompt é tratado como produto.

  • Recuperação antes de fine-tuning
  • Ferramentas com permissão
  • Avaliação antes de escala

Um agente é um fluxo com um modelo dentro.

Nomeie os passos que uma pessoa conseguiria auditar. Se não conseguir, não publique.

  1. Intenção

    Qual decisão ou rascunho o modelo pode produzir? O que ele está proibido de enviar?

  2. Contexto

    Quais documentos, tickets ou transcrições estão no escopo, e com a permissão de quem?

  3. Ferramentas

    Cada ferramenta tem nome, esquema e raio de dano. MCP é um jeito de expô-las, não uma estratégia.

  4. Aprovação

    Ações irreversíveis param para uma pessoa. O registro diz quem aprovou o quê.

  5. Avaliação

    Um conjunto de casos que você consegue reexecutar quando o modelo, o índice ou o prompt muda.

Recuperação é uma superfície de produto.

Se a resposta depende dos seus documentos, o índice faz parte do sistema sob teste.

Fundamentação

O modelo deve conseguir apontar a passagem que usou. Uma resposta fluente sem fonte não é evidência.

Atualidade e permissão

Trechos velhos e acesso amplo demais são como um bot prestativo vaza ou mente.

Quando não fazer fine-tuning

Fine-tuning muda estilo ou formato. Não substitui uma fonte de verdade que você pode atualizar amanhã.

RAG e avaliação

MCP é uma porta, não uma promessa.

O Model Context Protocol permite que um cliente chame ferramentas e leia recursos por um padrão. O risco continua sendo seu.

Menor privilégio

Um servidor que pode ler tudo uma hora será pedido para isso. Limite as ferramentas ao trabalho.

Injeção de prompt

Texto não confiável, inclusive documentos recuperados e tickets, pode instruir o modelo a abusar de uma ferramenta. Trate saída de ferramenta e texto de documento como dado.

Gates humanos

Escrever, apagar, pagar e enviar ficam atrás de uma aprovação até a avaliação dizer o contrário.

Detalhe de orquestração

Modelos são substituíveis. O aparato, não.

Escolha um modelo para a tarefa. Mantenha um jeito de perceber quando um mais barato está mentindo.

Uma hierarquia, não um mascote

Um modelo pequeno para classificação, um mais forte para síntese, uma pessoa para o passo irreversível.

Casos que você pode reexecutar

Perguntas com fontes conhecidas, casos de recusa e rastros de uso de ferramenta. Não uma única transcrição de demo.

Controle de mudança

Prompt, índice e versão de modelo são releases. Recebem a mesma desconfiança que código.

Os riscos que não vamos dispensar.

Não alegamos um programa de segurança certificado. Mesmo assim desenhamos para estas falhas.

Dados saindo da fronteira

Conteúdo de cliente, gravações e transcrições precisam de um propósito e de uma permissão. Conveniência não é um propósito.

Ações silenciosas

Um agente que pode abrir um pull request ou enviar uma mensagem precisa de um registro e de um freio.

Teatro de avaliação

Uma nota de ranking não é um teste dos seus documentos. Se você não consegue falhar um caso, você não tem uma avaliação.

Perguntas que esperamos.

O agente pode aprovar a própria mudança?

Não para uma ação relevante. Uma pessoa aprova. O modelo não se avalia.

Vocês prometem posição em respostas de IA?

Não. Páginas claras ajudam pessoas e máquinas a ler a oferta. Isso não é promessa de citação.

Traga o fluxo, não o nome do modelo.

Dizemos se recuperação, um limite de ferramenta ou a decisão de esperar é o próximo passo honesto.

Engenharia de IA e agentes · Solid Solutions