Os pesos do modelo não mudam quando você conversa com ele. O que ele aprendeu no treino fica congelado. Tudo que parece "lembrança" num chat é texto que o produto colocou de volta no pacote.
Isso deixa três lugares onde uma memória pode morar.
- 1
Na janela
A conversa atual. Some quando a conversa acaba ou quando a janela enche. É a aula anterior.
- 2
Num arquivo que volta
CLAUDE.md, as instruções de um projeto, o perfil de um Bot. Entra inteiro em todo pedido. Bom para regras curtas que valem sempre.
- 3
Numa memória buscada
Um arquivo grande de notas que não cabe inteiro no pacote. A cada pedido, o produto busca só as notas parecidas com a pergunta e coloca essas.
A terceira é a mais interessante, e a que mais falha em silêncio. Veja por quê.
Notas guardadas
- A padaria não abre aos domingos.0.00
- A cliente Ana prefere receber pelo WhatsApp.0.00
- Tom da marca: curto, sem emoji, com horário.0.00
- O pedido de farinha ao Moinho Sul sai às terças.0.00
- A fornada de pão de queijo sai às 7h e às 16h.0.00
- Senha do Wi-Fi da loja fica com o gerente.0.35
O pacote que vai ao modelo
A nota certa ficou de fora. Sem ela, o modelo vai chutar.
DesafioFaça a memória certa entrar no pacote.
Na primeira pergunta, "dia de folga da loja", a busca por palavra igual não acha nada: a nota certa fala "padaria" e "não abre aos domingos". Nenhuma palavra em comum. O modelo recebe o pacote sem a nota e vai chutar.
A busca por sentido transforma pergunta e notas em vetores, os embeddings da aula 9. "Folga" fica perto de "não abre", e "loja" perto de "padaria". A nota certa sobe para o topo e entra no pacote.
Dica do ProdBot
Quando o Bot "esqueceu" algo que você contou, pergunte onde essa informação mora. Se era só conversa, ela já saiu. Se é importante, ela vai para as instruções ou para a memória do Bot.
Glossário da aula
- Memória
- Texto que o produto guarda e coloca de volta no pacote. O modelo em si não guarda nada entre conversas.
- RAG
- Buscar os trechos mais parecidos com o pedido e colocá-los no pacote antes de o modelo responder.
- Banco de vetores
- Um banco de dados que guarda embeddings e acha rápido os mais parecidos com um vetor dado.
Confere rapidinho
A informação está nas notas do Bot, mas ele respondeu errado. O que verificar primeiro?