Um Transformer treinado para prever a próxima peça em trilhões de tokens fica muito bom em uma coisa: continuar texto como a internet continuaria. Isso não é o mesmo que responder.
Na internet, uma pergunta costuma vir seguida de outras perguntas, de uma lista de links, de um fórum discutindo. O modelo base imita isso.
- Com que dados
- Trilhões de tokens da internet, livros e código.
- Para quê
- Prever a próxima peça. Só isso.
Como faço pão caseiro?
Como faço pão caseiro? Como faço pão de queijo? Como faço bolo de cenoura? Receitas fáceis para o fim de semana — clique aqui
Ele continua o texto como a internet continuaria. Uma pergunta costuma vir seguida de outras perguntas.
As três etapas
Pré-treino. O modelo lê uma quantidade enorme de texto e aprende a prever a próxima peça. É a etapa cara, de meses. Daqui sai quase todo o conhecimento e a habilidade com a língua.
Ajuste fino. O mesmo treino continua, agora com exemplos de conversa bem feitos: pedido, resposta boa. São muito menos exemplos. O modelo aprende o formato de assistente.
Preferência humana. Pessoas comparam duas respostas e marcam a melhor. Um segundo modelo aprende a prever essas escolhas, e o assistente é ajustado para agradar esse segundo modelo. Daqui vem o tom educado, a recusa de pedidos perigosos e, às vezes, o excesso de ressalvas.
O que isso explica
A alucinação da aula 10 fica mais clara aqui. Em nenhuma das três etapas o modelo aprendeu a checar um fato. Ele aprendeu a continuar texto, a continuar no formato de assistente, e a escrever respostas que as pessoas preferem. Uma resposta confiante e errada pode ter sido preferida muitas vezes no treino.
As partes 4 e 5 tratam do que se coloca em volta do modelo para compensar isso: contexto, memória, ferramentas e conferência.
Glossário da aula
- Modelo base
- O modelo logo depois do pré-treino. Continua texto, mas não segue pedidos.
- Ajuste fino
- Continuar o treino com exemplos específicos, para mudar o comportamento.
- Corte de conhecimento
- A data até onde vão os textos do treino. O modelo não sabe nada depois dela sem ferramenta.
Confere rapidinho
Você pergunta ao modelo base “Qual a capital da França?” e ele responde “Qual a capital da Alemanha? Qual a capital da Itália?”. O que aconteceu?