10.4: Neural Networks: Multilayer Perceptron Part 1 - The Nature of Code

Olá novamente

Talvez você tenha assistido aos meus
últimos vídeos sobre

Como codificar um Perceptron

E agora eu quero fazer "A pergunta":

Por que não já parar por aqui?

Nós temos esse cenário bem simples

Onde temos um canvas

Que tem vários pontos

E desenhamos uma linha no meio

E tentamos classificar alguns pontos

Que estão em um lado da linha e

Outros pontos que estão do outro
lado da linha

Esse seria o cenário onde temos

apenas um Perceptron como uma

unidade de processamento

Você pode chama-lo de
neurônio ou processador

E ele recebe entradas
Como x0 e x1

Que são o as coordenadas x e y
do ponto

Ele tem também essa coisa chamada bias

E então ele gera uma saída

Cada uma dessas entradas é conectada
ao processador com um peso

Como peso 1, peso 2, tanto faz

Peso, peso, peso

E o processador cria uma soma ponderada de
todas as entradas multiplicadas pelos pesos

E essa soma ponderada passa por uma função
de ativação

Para gerar a saída

Então, por que isso não é
bom o suficiente?

Vamos primeiramente pensar sobre
quais são os limitantes aqui

A ideia é: e se eu quiser que qualquer
número de entradas

Gere qualquer número de saídas?

Essa é a essência do que eu quero fazer
em várias outras aplicações

De aprendizado de máquina

Então vamos ver um algoritmo
clássico de classificação

Que consiste em: e se eu tiver digito
escrito à mão como o número 8

E eu tenho todos os pixels desse dígito

E eu quero que eles sejam a entrada
deste Perceptron

E eu quero que a saída me forneça
um conjunto de probabilidades

De qual dígito é

Então a saída deveria parecer
algo como isso

Existe uma chance de 0.1 de ser 0

Existe uma chance de 0.2 de ser 1

Existe uma chance de 0.1 de ser 2

0 para 3, 4, 5, 6, 7

Oh! Existe algo como uma
chance de 0.99 de ser 8

E uma chance de 0.5 de ser 10

E eu não acho que eles somam 1
Mas você entendeu a ideia

Então a ideia aqui é que nós queremos poder
ter algum tipo de unidade de processamento

Que pode receber uma quantidade arbitrária
de entradas

Por exemplo, isso sendo uma imagem de 28 por 28 pixels

Então existem 784 valores em
escala de cinza

Eles chegam no processador que é uma soma
ponderada e todas essas coisas

Nós temos uma saída que é uma quantidade
arbitrária de probabilidades

Para nos ajudar a estimar que isso é um 8

Este modelo. Por que nós não podemos só
ter mais um monte de entradas

E então mais um monte de saídas

Mas ainda ter uma única unidade
de processamento?

E o motivo pelo quão eu não posso é. Uh.
Vem de um artigo

Desculpe. Um livro

Que foi publicado em 1969 por
Marvin Minsky e Seymour Papert

Chamado Perceptrons

No livro Perceptrons, Marvin Minsky e
Seymour Papert

Apontaram que um Perceptron simples

A coisa que eu construi nós últimos
dois vídeos

Pode apenas resolver problemas
linearmente separáveis

Então, o que isso significa
afinal de contas?

E por que eu deveria me importar com isso?

Vamos pensar sobre isso

Isso aqui é um problema
lineaments spearável

O que significa que eu preciso classificar
essa coisa

E se eu fosse visualizar toda essa coisa
eu posso desenhar uma linha no meio

Essa coisa é dessa classe e
essa coisa é dessa classe

A coisa por si só é separável por uma linha

Em três dimensões eu poderia colocar
um plano e isso seria linearmente separável

Porque eu posso meio que dividir o espaço
ao meio e entendê-lo dessa forma

O problema é que a maioria dos problemas
interessantes não são linearmente separáveis

Pode existir algum dado que se concentra
aqui no centro

Que é uma classe, mas tudo fora dele é
de uma outra classe

E eu não consigo desenhar uma
linha para separar essa coisa

E você pode estar pensando
????

Muita coisa. Você pode fazer muita com
coisas linearmente separáveis

Bem, vejam

Eu vou mostrar agora para você um
problema particular

Eu estou procurando um apagador

Estou andando por aí como um maluco

Eu vou mostrar para você um problema
particular chamado XOR