Perceptron multicamadas - Multilayer perceptron

Um perceptron multicamadas ( MLP ) é uma classe de rede neural artificial feedforward (ANN). O termo MLP é usado ambiguamente, às vezes vagamente para significar qualquer RNA feedforward, às vezes estritamente para se referir a redes compostas de múltiplas camadas de perceptrons (com ativação de limiar); veja § Terminologia . Perceptrons multicamadas às vezes são chamados coloquialmente de redes neurais "vanilla", especialmente quando têm uma única camada oculta.

Um MLP consiste em pelo menos três camadas de nós: uma camada de entrada , uma camada oculta e uma camada de saída . Exceto para os nós de entrada, cada nó é um neurônio que usa uma função de ativação não linear . O MLP utiliza uma técnica de aprendizado supervisionado chamada backpropagation para treinamento. Suas múltiplas camadas e ativação não linear distinguem o MLP de um perceptron linear . Ele pode distinguir dados que não são linearmente separáveis .

Teoria

Função de ativação

Se um perceptron multicamadas tem uma função de ativação linear em todos os neurônios, ou seja, uma função linear que mapeia as entradas ponderadas para a saída de cada neurônio, então a álgebra linear mostra que qualquer número de camadas pode ser reduzido a uma entrada de duas camadas. modelo de saída. Em MLPs, alguns neurônios usam uma função de ativação não linear que foi desenvolvida para modelar a frequência dos potenciais de ação , ou disparos, de neurônios biológicos.

As duas funções de ativação historicamente comuns são sigmóides e são descritas por

.

Em desenvolvimentos recentes de aprendizagem profunda, a unidade linear retificadora (ReLU) é mais frequentemente usada como uma das formas possíveis de superar os problemas numéricos relacionados aos sigmóides.

A primeira é uma tangente hiperbólica que varia de -1 a 1, enquanto a outra é a função logística , que é semelhante em forma, mas varia de 0 a 1. Aqui está a saída do ésimo nó (neurônio) e é a soma ponderada das conexões de entrada. Funções de ativação alternativas foram propostas, incluindo as funções do retificador e softplus . Funções de ativação mais especializadas incluem funções de base radial (usadas em redes de base radial , outra classe de modelos de rede neural supervisionada).

Camadas

O MLP consiste em três ou mais camadas (uma camada de entrada e uma camada de saída com uma ou mais camadas ocultas ) de nós de ativação não linear. Como as MLPs estão totalmente conectadas, cada nó em uma camada se conecta com um certo peso a cada nó na camada seguinte.

Aprendendo

O aprendizado ocorre no perceptron alterando os pesos da conexão depois que cada parte dos dados é processada, com base na quantidade de erro na saída em comparação com o resultado esperado. Este é um exemplo de aprendizagem supervisionada , e é realizado através de retropropagação , uma generalização do algoritmo de mínimos quadrados no perceptron linear.

Podemos representar o grau de erro em um nó de saída no ésimo ponto de dados (exemplo de treinamento) por , onde é o valor alvo e é o valor produzido pelo perceptron. Os pesos dos nós podem então ser ajustados com base em correções que minimizam o erro em toda a saída, dado por

.

Usando gradiente descendente , a mudança em cada peso é

onde é a saída do neurônio anterior e é a taxa de aprendizado , que é selecionada para garantir que os pesos convergem rapidamente para uma resposta, sem oscilações.

A derivada a ser calculada depende do campo local induzido , que por sua vez varia. É fácil provar que para um nó de saída esta derivada pode ser simplificada para

onde é a derivada da função de ativação descrita acima, que por si só não varia. A análise é mais difícil para a mudança de pesos para um nó oculto, mas pode ser mostrado que a derivada relevante é

.

Isso depende da mudança nos pesos dos ésimos nós, que representam a camada de saída. Portanto, para alterar os pesos da camada oculta, os pesos da camada de saída mudam de acordo com a derivada da função de ativação e, portanto, este algoritmo representa uma retropropagação da função de ativação.


Terminologia

O termo "perceptron multicamadas" não se refere a um único perceptron que possui múltiplas camadas. Em vez disso, ele contém muitos perceptrons que são organizados em camadas. Uma alternativa é a "rede perceptron multicamadas". Além disso, os "perceptrons" do MLP não são perceptrons no sentido mais estrito possível. Perceptrons verdadeiros são formalmente um caso especial de neurônios artificiais que usam uma função de ativação de limiar, como a função de degrau de Heaviside . Os perceptrons MLP podem empregar funções de ativação arbitrárias. Um verdadeiro perceptron realiza a classificação binária , um neurônio MLP é livre para realizar a classificação ou regressão, dependendo de sua função de ativação.

O termo "perceptron multicamadas" mais tarde foi aplicado independentemente da natureza dos nós / camadas, que podem ser compostos de neurônios artificiais arbitrariamente definidos, e não perceptrons especificamente. Esta interpretação evita o afrouxamento da definição de "perceptron" para significar um neurônio artificial em geral.

Formulários

MLPs são úteis em pesquisa por sua capacidade de resolver problemas estocasticamente, o que geralmente permite soluções aproximadas para problemas extremamente complexos , como aproximação de aptidão .

MLPs são aproximadores de função universal, conforme mostrado pelo teorema de Cybenko , portanto, podem ser usados ​​para criar modelos matemáticos por análise de regressão. Como a classificação é um caso particular de regressão quando a variável de resposta é categórica , as MLPs são bons algoritmos de classificação.

MLPs eram uma solução popular de aprendizado de máquina na década de 1980, encontrando aplicativos em diversos campos, como reconhecimento de voz , reconhecimento de imagem e software de tradução automática , mas depois disso enfrentou forte concorrência de máquinas de vetores de suporte muito mais simples (e relacionadas) . O interesse em redes de retropropagação voltou devido aos sucessos do aprendizado profundo .

Referências

links externos