Acervo
Quais documentos entram, quem é dono e como um arquivo apagado sai do índice.
Respostas precisam de fonte.
Geração aumentada por recuperação é como um modelo usa o seu material sem fingir que memorizou. A qualidade está no índice, nas permissões e nos casos que você reexecuta.
- Fatiar o texto é uma decisão de desenho
- A permissão viaja com o trecho
- A avaliação usa as suas perguntas
O que a recuperação precisa acertar.
Uma janela de contexto maior não substitui saber qual passagem era permitida.
Consulta
A pergunta do usuário nem sempre é a consulta que deveria bater no índice. Reescreva de propósito e teste a reescrita.
Citação
Mostre a passagem. Se a interface esconde, você não consegue revisar a resposta.
Avaliação que consegue falhar.
Uma avaliação é uma suíte de testes para respostas. Ela precisa de acertos conhecidos e erros conhecidos.
Casos de fundamentação
Perguntas cuja passagem de apoio você consegue apontar. A resposta precisa usá-la, não um mito vizinho.
Casos de recusa
Perguntas que o acervo não consegue responder. Uma invenção confiante é um teste falho.
Casos de permissão
Um usuário que não deveria ver um documento não pode recebê-lo por meio de uma paráfrase.
RAG, prompt ou fine-tune.
Escolha o mecanismo mais barato que pode ser atualizado quando os fatos mudarem.
Prompt
Basta para formato, tom e uma instrução estável. Não basta para uma biblioteca de política.
RAG
O padrão quando os fatos vivem em documentos que você vai editar.
Fine-tuning
Uma escolha posterior para estilo ou uma classificação estreita, depois de você já conseguir medir a tarefa.
Traga dez perguntas que você gostaria que ele respondesse.
Dizemos se você tem um problema de recuperação, de permissão ou se ainda não há acervo.