Máquina de vetores de relevância - Relevance vector machine

Parte de uma série sobre
Aprendizado de máquina e mineração de dados
Problemas Classificação Clustering Regressão Detecção de anomalia AutoML Regras de associação Aprendizagem por reforço Previsão estruturada Engenharia de recursos Aprendizagem de recursos Aprendizagem online Aprendizagem semissupervisionada Aprendizagem não supervisionada Aprendendo a classificar Indução gramatical
Aprendizagem supervisionada ( classificação  • regressão ) Árvores de decisão Conjuntos Ensacamento Boosting Floresta aleatória k -NN Regressão linear Baías ingénuas Redes neurais artificiais Regressão logística Perceptron Máquina de vetor de relevância (RVM) Máquina de vetores de suporte (SVM)
Clustering BÉTULA CURA Hierárquico k- significa Expectativa-maximização (EM) DBSCAN ÓPTICA Mudança média
Redução de dimensionalidade Análise Fatorial CCA ICA LDA NMF PCA PGD t-SNE
Previsão estruturada Modelos gráficos Rede Bayes Campo aleatório condicional Markov Oculto
Detecção de anomalia k -NN Fator de outlier local
Rede neural artificial Autoencoder Computação cognitiva Aprendizagem profunda DeepDream Perceptron multicamadas RNN LSTM GRU ESN Máquina de Boltzmann restrita GAN SOM Rede neural convolucional U-Net Transformador Spiking rede neural Memtransistor RAM eletroquímica (ECRAM)
Aprendizagem por reforço Q-learning SARSA Diferença temporal (TD)
Teoria Compensação de polarização-variância Teoria de aprendizagem computacional Minimização de risco empírico Aprendizagem Occam Aprendizagem PAC Aprendizagem estatística Teoria VC
Locais de aprendizado de máquina NeurIPS ICML ML JMLR ArXiv: cs.LG
Artigos relacionados Glossário de inteligência artificial Lista de conjuntos de dados para pesquisa de aprendizado de máquina Esboço do aprendizado de máquina
v t e

Em matemática , a Relevance Vector Machine (RVM) é uma técnica de aprendizado de máquina que usa inferência Bayesiana para obter soluções parcimoniosas de regressão e classificação probabilística . O RVM tem uma forma funcional idêntica à máquina de vetores de suporte , mas fornece classificação probabilística.

Na verdade, é equivalente a um modelo de processo gaussiano com função de covariância :

${\ displaystyle k (\ mathbf {x}, \ mathbf {x '}) = \ sum _ {j = 1} ^ {N} {\ frac {1} {\ alpha _ {j}}} \ varphi (\ mathbf {x}, \ mathbf {x} _ {j}) \ varphi (\ mathbf {x} ', \ mathbf {x} _ {j})}$

onde é a função kernel (geralmente Gaussiana), são as variâncias da anterior no vetor de peso e são os vetores de entrada do conjunto de treinamento . ${\ displaystyle \ varphi}$${\ displaystyle \ alpha _ {j}}$${\ displaystyle w \ sim N (0, \ alpha ^ {- 1} I)}$${\ displaystyle \ mathbf {x} _ {1}, \ ldots, \ mathbf {x} _ {N}}$

Em comparação com as máquinas de vetores de suporte (SVM), a formulação bayesiana do RVM evita o conjunto de parâmetros livres do SVM (que geralmente requerem pós-otimizações baseadas em validação cruzada). No entanto, os RVMs usam um método de aprendizado semelhante ao da maximização da expectativa (EM) e, portanto, correm o risco de mínimos locais. Isso é diferente dos algoritmos baseados em otimização sequencial mínima (SMO) padrão empregados por SVMs , que são garantidos para encontrar um ótimo global (do problema convexo).

A máquina de vetores de relevância foi patenteada nos Estados Unidos pela Microsoft (a patente expirou em 4 de setembro de 2019).

Veja também

• Truque do kernel
• Escala de Platt : transforma um SVM em um modelo de probabilidade

Referências

Programas

• Biblioteca dlib C ++
• A Biblioteca Kernel-Machine
• rvmbinary : pacote R para classificação binária
• scikit-rvm
• fast-scikit-rvm , tutorial de rvm

links externos

• Página da web de dicas sobre modelos bayesianos esparsos e o RVM
• Um tutorial sobre RVM por Tristan Fletcher
• Tutorial aplicado em RVM
• Comparação de RVM e SVM