A reta da aula anterior tinha dois números. Um modelo de linguagem tem bilhões. Entre um e outro existe uma peça que se repete: o neurônio artificial.
Ele se inspira, de longe, no neurônio do cérebro. Recebe alguns sinais, dá um peso para cada um, soma tudo e decide se "dispara". Peso alto quer dizer "esse sinal importa muito". Peso negativo quer dizer "esse sinal me desliga".
O primeiro a funcionar foi o perceptron, de Frank Rosenblatt, em 1958. Vamos usá-lo para imitar portas lógicas: duas entradas, cada uma ligada (1) ou desligada (0), e uma saída.
Só acende quando as duas entradas estão ligadas.
| x₁ x₂ | saída | queria |
|---|---|---|
| 0 0 | 0 | 0 |
| 0 1 | 1 | 0 |
| 1 0 | 1 | 0 |
| 1 1 | 1 | 1 |
DesafioFaça o neurônio acertar as 4 linhas da porta E.
Na porta E, a saída só acende quando as duas entradas estão ligadas. Na OU, basta uma. Nas duas, dá para achar pesos que acertam tudo, e o botão "Corrigir pelos erros" chega lá sozinho em poucos cliques.
A reta roxa mostra o que o neurônio faz: ele divide o quadro em dois lados. Um lado acende, o outro apaga.
Agora escolha XOU (ou exclusivo): acende quando só uma das entradas está ligada. Os pontos cheios ficam em cantos opostos. Nenhuma reta separa os cheios dos vazios, por mais que você gire.
O golpe de 1969
Marvin Minsky e Seymour Papert publicaram o livro "Perceptrons" mostrando exatamente isso: um neurônio sozinho só resolve problemas que uma reta separa. O XOU é o menor exemplo que não dá.
A resposta era conhecida: empilhar neurônios em camadas. Uma camada escondida pode traçar duas retas, e a saída combina as duas. O que faltava era um jeito de treinar os pesos das camadas escondidas. Esse jeito só se popularizou em 1986, e é a próxima aula.
Glossário da aula
- Peso
- O quanto uma entrada conta na soma do neurônio. É um dos números que o treino ajusta.
- Viés
- Um número somado no fim. Muda o limite a partir do qual o neurônio dispara.
- Função de ativação
- O que o neurônio faz com a soma antes de passar adiante: um degrau, uma curva em S, ou cortar os negativos.
Confere rapidinho
Por que um neurônio sozinho não resolve o XOU?