Matriz Hessiana - Hessian matrix

Parte de uma série de artigos sobre
Cálculo
Teorema fundamental Regra integral de Leibniz Limites de funções Continuidade Teorema do valor médio Teorema de Rolle
Diferencial Definições Derivado  ( generalizações ) Diferencial infinitesimal de uma função total Conceitos Notação de diferenciação Segunda derivada Diferenciação implícita Diferenciação logarítmica Taxas relacionadas Teorema de Taylor Regras e identidades Soma produtos Cadeia Poder Quociente Regra de L'Hôpital Inverso General Leibniz Fórmula de Faà di Bruno Reynolds
Integrante Listas de integrais Transformada integral Definições Antiderivado Integral  ( impróprio ) Integral de Riemann Integração Lebesgue Integração de contorno Integral de funções inversas Integração por Peças Discos Conchas cilíndricas Substituição  ( trigonométrica , Weierstrass , Euler ) Fórmula de Euler Frações Parciais Mudança de ordem Fórmulas de redução Diferenciando sob o signo integral Algoritmo de Risch
Series Geométrico  ( aritmético-geométrico ) Harmônico Alternando Poder Binomial Taylor Testes de convergência Limite de soma (teste de termo) Razão Raiz Integrante Comparação direta Limite de comparação Série alternada Condensação de Cauchy Dirichlet Abel
Vetor Gradiente Divergência Ondulação Laplaciano Derivada direcional Identidades Teoremas Gradiente Green's Stokes ' Divergência Stokes generalizado
Multivariável Formalismos Matriz Tensor Exterior Geométrico Definições Derivativo parcial Integral múltiplo Integral de linha Integral de superfície Volume integral Jacobiano Hessian
Especializado Fracionário Malliavin Estocástico Variações
Diversos Pré-cálculo História Glossário Lista de tópicos Integração Bee Análise
v t e

Em matemática , a matriz Hessiana ou Hessiana é uma matriz quadrada de derivadas parciais de segunda ordem de uma função de valor escalar ou campo escalar . Ele descreve a curvatura local de uma função de muitas variáveis. A matriz hessiana foi desenvolvida no século 19 pelo matemático alemão Ludwig Otto Hesse e mais tarde recebeu o seu nome. Hesse originalmente usou o termo "determinantes funcionais".

Definições e propriedades

Suponha que seja uma função tomando como entrada um vetor e gerando um escalar. Se todas as derivadas parciais secundárias de existirem e forem contínuas sobre o domínio da função, então a matriz Hessiana de é uma matriz quadrada , geralmente definida e organizada da seguinte forma: ${\ displaystyle f: \ mathbb {R} ^ {n} \ to \ mathbb {R}}$${\ displaystyle \ mathbf {x} \ in \ mathbb {R} ^ {n}}$${\ displaystyle f (\ mathbf {x}) \ in \ mathbb {R}.}$${\ displaystyle f}$${\ displaystyle \ mathbf {H}}$${\ displaystyle f}$${\ displaystyle n \ times n}$

ou, declarando uma equação para os coeficientes usando os índices i e j,

A matriz Hessiana é uma matriz simétrica , uma vez que a hipótese de continuidade das segundas derivadas implica que a ordem de diferenciação não importa ( teorema de Schwarz ).

O determinante da matriz Hessiana é denominado determinante Hessiano .

A matriz Hessiana de uma função é a matriz Jacobiana do gradiente da função ; isso é:${\ displaystyle f}$${\ displaystyle f}$${\ displaystyle \ mathbf {H} (f (\ mathbf {x})) = \ mathbf {J} (\ nabla f (\ mathbf {x})).}$

Formulários

Pontos de inflexão

Se for um polinômio homogêneo em três variáveis, a equação é a equação implícita de uma curva projetiva plana . Os pontos de inflexão da curva são exatamente os pontos não singulares onde o determinante Hessiano é zero. Segue pelo teorema de Bézout que uma curva de plano cúbico tem no máximo pontos de inflexão, uma vez que o determinante de Hessian é um polinômio de grau${\ displaystyle f}$${\ displaystyle f = 0}$${\ displaystyle 9}$${\ displaystyle 3.}$

Teste de segunda derivada

A matriz Hessiana de uma função convexa é semi-definida positiva . Refinar essa propriedade nos permite testar se um ponto crítico é um ponto máximo local, mínimo local ou um ponto de sela, da seguinte maneira: ${\ displaystyle x}$

Se o Hessiano é positivo-definido em, então atinge um mínimo local isolado em Se o Hessiano é negativo-definido em então atinge um máximo local isolado em Se o Hessiano tem autovalores positivos e negativos , então é um ponto de sela para Caso contrário, o teste é inconclusivo. Isso implica que, no mínimo local, o Hessiano é semidefinido-positivo e, no máximo local, o Hessiano é semidefinito-negativo. ${\ displaystyle x,}$${\ displaystyle f}$${\ displaystyle x.}$${\ displaystyle x,}$${\ displaystyle f}$${\ displaystyle x.}$${\ displaystyle x}$${\ displaystyle f.}$

Para Hessianos semidefinidos positivos e semidefinidos negativos, o teste é inconclusivo (um ponto crítico onde o Hessiano é semidefinido mas não definido pode ser um extremo local ou um ponto de sela). No entanto, mais pode ser dito do ponto de vista da teoria de Morse .

O teste da segunda derivada para funções de uma e duas variáveis ​​é mais simples do que o caso geral. Em uma variável, o Hessian contém exatamente uma segunda derivada; se for positivo, é um mínimo local; se for negativo, é um máximo local; se for zero, o teste é inconclusivo. Em duas variáveis, o determinante pode ser usado, pois o determinante é o produto dos autovalores. Se for positivo, os valores próprios são positivos ou negativos. Se for negativo, os dois valores próprios têm sinais diferentes. Se for zero, o teste da segunda derivada é inconclusivo. ${\ displaystyle x}$${\ displaystyle x}$

Equivalentemente, as condições de segunda ordem que são suficientes para um mínimo ou máximo local podem ser expressas em termos da sequência de principais (mais à esquerda) menores (determinantes de submatrizes) do Hessiano; essas condições são um caso especial daquelas fornecidas na próxima seção para hessianos com limites para otimização restrita - o caso em que o número de restrições é zero. Especificamente, a condição suficiente para um mínimo é que todos esses menores principais sejam positivos, enquanto a condição suficiente para um máximo é que os menores alternem em signo, com o menor sendo negativo. ${\ displaystyle 1 \ times 1}$

Pontos críticos

Se o gradiente (o vetor das derivadas parciais) de uma função é zero em algum ponto, então tem um ponto crítico (ou ponto estacionário ) em O determinante de Hessiano em é chamado, em alguns contextos, de discriminante . Se este determinante for zero, então é chamado de ponto crítico degenerado de ou ponto crítico não Morse de Caso contrário, é não degenerado, e chamado de ponto crítico Morse de${\ displaystyle f}$${\ displaystyle \ mathbf {x},}$${\ displaystyle f}$${\ displaystyle \ mathbf {x}.}$${\ displaystyle \ mathbf {x}}$${\ displaystyle \ mathbf {x}}$${\ displaystyle f,}$${\ displaystyle f.}$${\ displaystyle f.}$

A matriz Hessiana desempenha um papel importante na teoria de Morse e na teoria da catástrofe , pois seu núcleo e autovalores permitem a classificação dos pontos críticos.

O determinante da matriz Hessiana, quando avaliado em um ponto crítico de uma função, é igual à curvatura gaussiana da função considerada como uma variedade. Os autovalores do Hessiano naquele ponto são as principais curvaturas da função, e os autovetores são as principais direções de curvatura. (Veja curvatura Gaussiana § Relação com as curvaturas principais .)

Use na otimização

Matrizes Hessianas são usadas em problemas de otimização em grande escala dentro de métodos do tipo Newton porque são o coeficiente do termo quadrático de uma expansão local de Taylor de uma função. Isso é,

Onde está o gradiente Computação e armazenamento da matriz hessiana completa leva memória, o que é inviável para funções de alta dimensão, como as funções de perda de redes neurais , campos aleatórios condicionais e outros modelos estatísticos com grande número de parâmetros. Para tais situações, algoritmos de Newton truncado e quase Newton foram desenvolvidos. A última família de algoritmos usa aproximações para o Hessian; um dos algoritmos quase Newton mais populares é o BFGS . ${\ displaystyle \ nabla f}$ ${\ displaystyle \ left ({\ frac {\ partial f} {\ partial x_ {1}}}, \ ldots, {\ frac {\ partial f} {\ partial x_ {n}}} \ right).}$${\ displaystyle \ Theta \ left (n ^ {2} \ right)}$

Essas aproximações podem usar o fato de que um algoritmo de otimização usa o Hessiano apenas como um operador linear e prosseguir notando primeiro que o Hessiano também aparece na expansão local do gradiente: ${\ displaystyle \ mathbf {H} (\ mathbf {v}),}$

$${\ displaystyle \ nabla f (\ mathbf {x} + \ Delta \ mathbf {x}) = \ nabla f (\ mathbf {x}) + \ mathbf {H} (\ mathbf {x}) \, \ Delta \ mathbf {x} + {\ mathcal {O}} (\ | \ Delta \ mathbf {x} \ | ^ {2})}$$

Considerando algum escalar, isso dá ${\ displaystyle \ Delta \ mathbf {x} = r \ mathbf {v}}$${\ displaystyle r,}$

$${\ displaystyle \ mathbf {H} (\ mathbf {x}) \, \ Delta \ mathbf {x} = \ mathbf {H} (\ mathbf {x}) r \ mathbf {v} = r \ mathbf {H} (\ mathbf {x}) \ mathbf {v} = \ nabla f (\ mathbf {x} + r \ mathbf {v}) - \ nabla f (\ mathbf {x}) + {\ mathcal {O}} ( r ^ {2}),}$$

isso é,

$${\ displaystyle \ mathbf {H} (\ mathbf {x}) \ mathbf {v} = {\ frac {1} {r}} \ left [\ nabla f (\ mathbf {x} + r \ mathbf {v} ) - \ nabla f (\ mathbf {x}) \ right] + {\ mathcal {O}} (r)}$$

portanto, se o gradiente já foi calculado, o Hessian aproximado pode ser calculado por um número linear (no tamanho do gradiente) de operações escalares. (Embora seja simples de programar, este esquema de aproximação não é numericamente estável, pois deve ser reduzido para evitar erros devido ao termo, mas diminuí-lo perde a precisão no primeiro termo.) ${\ displaystyle r}$${\ displaystyle {\ mathcal {O}} (r)}$

Outras aplicações

A matriz Hessiana é comumente usada para expressar operadores de processamento de imagem em processamento de imagem e visão computacional (veja o detector de blob Laplaciano de Gaussiano (LoG), o detector de blob

determinante de Hessiano (DoH) e o espaço de escala ). A matriz Hessiana também pode ser usada na análise de modo normal para calcular as diferentes frequências moleculares na espectroscopia de infravermelho .

Generalizações

Bordered Hessian

Um Hessian com borda é usado para o teste da segunda derivada em certos problemas de otimização restrita. Dada a função considerada anteriormente, mas adicionando uma função de restrição de forma que o Hessiano com borda seja o Hessiano da

função de Lagrange${\ displaystyle f}$${\ displaystyle g}$${\ displaystyle g (\ mathbf {x}) = c,}$ ${\ displaystyle \ Lambda (\ mathbf {x}, \ lambda) = f (\ mathbf {x}) + \ lambda [g (\ mathbf {x}) -c]:}$

Se houver, digamos, restrições , então o zero no canto superior esquerdo é um bloco de zeros e há linhas de borda no topo e colunas de borda à esquerda. ${\ displaystyle m}$${\ displaystyle m \ times m}$${\ displaystyle m}$${\ displaystyle m}$

As regras acima afirmando que os extremos são caracterizados (entre pontos críticos com um Hessiano não singular) por um Hessiano definido positivo ou definido negativo não podem ser aplicadas aqui, uma vez que um Hessiano limitado não pode ser definido como negativo nem definido como positivo, como se fosse qualquer vetor cuja única entrada diferente de zero seja a primeira. ${\ displaystyle \ mathbf {z} ^ {\ mathsf {T}} \ mathbf {H} \ mathbf {z} = 0}$${\ displaystyle \ mathbf {z}}$

O teste da segunda derivada consiste aqui em restrições de sinal dos determinantes de um certo conjunto de submatrizes da Hessiana com bordas. Intuitivamente, as restrições podem ser consideradas como uma redução do problema a um problema com variáveis ​​livres. (Por exemplo, a maximização do sujeito à restrição pode ser reduzida à maximização sem restrição.) ${\ displaystyle nm}$${\ displaystyle m}$${\ displaystyle nm}$${\ displaystyle f \ left (x_ {1}, x_ {2}, x_ {3} \ right)}$${\ displaystyle x_ {1} + x_ {2} + x_ {3} = 1}$${\ displaystyle f \ left (x_ {1}, x_ {2}, 1-x_ {1} -x_ {2} \ right)}$

Especificamente, as condições de sinal são impostas na sequência de principais menores principais (determinantes das submatrizes justificadas no canto superior esquerdo) do Hessiano com bordas, para o qual os primeiros principais principais secundários são negligenciados, o menor menor consistindo nas primeiras linhas truncadas e colunas, a próxima consistindo nas primeiras linhas e colunas truncadas e assim por diante, com a última sendo todo o Hessian com bordas; se for maior que então, o menor principal menor é o próprio Hessian. Há, portanto, menores a considerar, cada um avaliado no ponto específico sendo considerado como um candidato máximo ou mínimo . Uma condição suficiente para um máximo local é que esses menores alternem no sinal com o menor tendo o sinal de Uma condição suficiente para um mínimo local é que todos esses menores tenham o sinal de (No caso irrestrito, essas condições coincidem com o condições para o Hessiano não ordenado ser definido negativo ou definido positivo, respectivamente). ${\ displaystyle 2m}$${\ displaystyle 2m + 1}$${\ displaystyle 2m + 2}$${\ displaystyle 2m + 1}$${\ displaystyle n + m,}$${\ displaystyle nm}$${\ displaystyle (-1) ^ {m + 1}.}$${\ displaystyle (-1) ^ {m}.}$${\ displaystyle m = 0}$

Funções com valor vetorial

Se, em vez disso, for um campo de vetor ou seja, ${\ displaystyle f}$ ${\ displaystyle \ mathbf {f}: \ mathbb {R} ^ {n} \ to \ mathbb {R} ^ {m},}$

então, a coleção de derivadas parciais secundárias não é uma matriz, mas sim um tensor de terceira ordem . Isso pode ser considerado como uma matriz de matrizes Hessianas, uma para cada componente de : ${\ displaystyle n \ times n}$${\ displaystyle m}$${\ displaystyle \ mathbf {f}}$

$${\ displaystyle \ mathbf {H} (\ mathbf {f}) = \ left (\ mathbf {H} (f_ {1}), \ mathbf {H} (f_ {2}), \ ldots, \ mathbf {H } (f_ {m}) \ right).}$$

Este tensor degenera para a matriz Hessiana usual quando ${\ displaystyle m = 1.}$

Generalização para o caso complexo

No contexto de várias variáveis ​​complexas , o Hessian pode ser generalizado. Suponha e escreva Então o Hessiano generalizado é Se satisfaz as condições n-dimensionais de

Cauchy-Riemann , então a matriz Hessiana complexa é identicamente zero. ${\ displaystyle f: \ mathbb {C} ^ {n} \ to \ mathbb {C},}$${\ displaystyle f \ left (z_ {1}, \ ldots, z_ {n} \ right).}$${\ displaystyle {\ frac {\ partial ^ {2} f} {\ partial z_ {i} \ partial {\ overline {z_ {j}}}}}.}$${\ displaystyle f}$

Generalizações para variedades Riemannianas

Let Ser uma

variedade Riemanniana e sua conexão Levi-Civita . Deixe ser uma função suave. Defina o tensor de Hessian por ${\ displaystyle (M, g)}$${\ displaystyle \ nabla}$${\ displaystyle f: M \ to \ mathbb {R}}$

$${\ displaystyle \ operatorname {Hess} (f) \ in \ Gamma \ left (T ^ {*} M \ otimes T ^ {*} M \ right) \ quad {\ text {by}} \ quad \ operatorname {Hess } (f): = \ nabla \ nabla f = \ nabla df,}$$

onde isso tira vantagem do fato de que a primeira derivada covariante de uma função é a mesma que sua derivada ordinária. A escolha de coordenadas locais dá uma expressão local para o Hessian como ${\ displaystyle \ left \ {x ^ {i} \ right \}}$

$${\ displaystyle \ operatorname {Hess} (f) = \ nabla _ {i} \, \ partial _ {j} f \ dx ^ {i} \! \ otimes \! dx ^ {j} = \ left ({\ frac {\ parcial ^ {2} f} {\ parcial x ^ {i} \ parcial x ^ {j}}} - \ Gamma _ {ij} ^ {k} {\ frac {\ parcial f} {\ parcial x ^ {k}}} \ right) dx ^ {i} \ otimes dx ^ {j}}$$

onde estão os símbolos de Christoffel da conexão. Outras formas equivalentes para o Hessian são dadas por ${\ displaystyle \ Gamma _ {ij} ^ {k}}$

$${\ displaystyle \ operatorname {Hess} (f) (X, Y) = \ langle \ nabla _ {X} \ operatorname {grad} f, Y \ rangle \ quad {\ text {e}} \ quad \ operatorname {Hess } (f) (X, Y) = X (Yf) -df (\ nabla _ {X} Y).}$$

Veja também

• O determinante da matriz Hessiana é uma covariante; veja invariante de uma forma binária
• Identidade de polarização , útil para cálculos rápidos envolvendo Hessianos.
• Matriz Jacobiana
• Equação de Hessian

Notas

Leitura adicional

• Lewis, David W. (1991). Teoria da Matriz . Singapura: World Scientific. ISBN 978-981-02-0689-5.
• Magnus, Jan R .; Neudecker, Heinz (1999). "O segundo diferencial". Matrix Differential Calculus: With Applications in Statistics and Econometrics (Revised ed.). Nova York: Wiley. pp. 99-115. ISBN 0-471-98633-X.

links externos

• "Hessian of a function" , Encyclopedia of Mathematics , EMS Press , 2001 [1994]
• Weisstein, Eric W. "Hessian" . MathWorld .