Entropia cruzada - Cross entropy

Teoria da informação
Entropia Entropia diferencial Entropia condicional Entropia conjunta Informação mútua Informação mútua condicional Entropia relativa Taxa de entropia Limitando a densidade de pontos discretos Teoria da informação de comprimento de bloco finito
Propriedade de equipartição assintótica Teoria de taxa de distorção
Teorema de codificação de fonte de Shannon Capacidade do canal Teorema de codificação de canal ruidoso Teorema de Shannon-Hartley
v t e

Na teoria da informação , a entropia cruzada entre duas distribuições de probabilidade e sobre o mesmo conjunto subjacente de eventos mede o número médio de bits necessários para identificar um evento retirado do conjunto se um esquema de codificação usado para o conjunto for otimizado para uma distribuição de probabilidade estimada , em vez da distribuição verdadeira . ${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle q}$${\ displaystyle p}$

Definição

A entropia cruzada da distribuição relativa a uma distribuição sobre um determinado conjunto é definida da seguinte forma: ${\ displaystyle q}$${\ displaystyle p}$

${\ displaystyle H (p, q) = - \ operatorname {E} _ {p} [\ log q]}$,

onde é o operador de valor esperado em relação à distribuição . ${\ displaystyle E_ {p} [\ cdot]}$${\ displaystyle p}$

A definição pode ser formulada usando a divergência de Kullback-Leibler , divergência de de (também conhecida como a entropia relativa de em relação a ). ${\ displaystyle D _ {\ mathrm {KL}} (p \ | q)}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle q}$

${\ displaystyle H (p, q) = H (p) + D _ {\ mathrm {KL}} (p \ | q)}$,

onde está a entropia de . ${\ displaystyle H (p)}$${\ displaystyle p}$

Para distribuições de probabilidade discretas e com o mesmo suporte, isso significa ${\ displaystyle p}$${\ displaystyle q}$ ${\ displaystyle {\ mathcal {X}}}$

A situação para distribuições contínuas é análoga. Temos que assumir que e são absolutamente contínuos com respeito a alguma medida de referência (geralmente é uma medida de Lebesgue em uma σ-álgebra de Borel ). Let and be funções de densidade de probabilidade de e em relação a . Então ${\ displaystyle p}$${\ displaystyle q}$ ${\ displaystyle r}$${\ displaystyle r}$ ${\ displaystyle P}$${\ displaystyle Q}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle r}$

${\ displaystyle - \ int _ {\ mathcal {X}} P (x) \, \ log Q (x) \, dr (x) = \ operatorname {E} _ {p} [- \ log Q]}$

e portanto

NB: A notação também é usada para um conceito diferente, a entropia conjunta de e . ${\ displaystyle H (p, q)}$${\ displaystyle p}$${\ displaystyle q}$

Motivação

Em teoria da informação , a Kraft-McMillan teorema estabelece que qualquer esquema de codificação directamente descodificável para codificar uma mensagem para identificar um valor de um conjunto de possibilidades pode ser vista como representando uma distribuição de probabilidade implícito ao longo , onde é o comprimento do código para em bits. Portanto, a entropia cruzada pode ser interpretada como o comprimento de mensagem esperado por dado quando uma distribuição errada é assumida enquanto os dados realmente seguem uma distribuição . É por isso que a expectativa é assumida sobre a distribuição de probabilidade verdadeira e não . Na verdade, o comprimento esperado da mensagem na distribuição verdadeira é, ${\ displaystyle x_ {i}}$${\ displaystyle \ {x_ {1}, ..., x_ {n} \}}$${\ displaystyle q (x_ {i}) = \ left ({\ frac {1} {2}} \ right) ^ {l_ {i}}}$${\ displaystyle \ {x_ {1}, ..., x_ {n} \}}$${\ displaystyle l_ {i}}$${\ displaystyle x_ {i}}$${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle p}$

${\ displaystyle \ operatorname {E} _ {p} [l] = - \ operatorname {E} _ {p} \ left [{\ frac {\ ln {q (x)}} {\ ln (2)}} \ right] = - \ operatorname {E} _ {p} \ left [\ log _ {2} {q (x)} \ right] = - \ sum _ {x_ {i}} p (x_ {i}) \, \ log _ {2} {q (x_ {i})} = - \ sum _ {x} p (x) \, \ log _ {2} q (x) = H (p, q)}$

Estimativa

Existem muitas situações em que a entropia cruzada precisa ser medida, mas a distribuição é desconhecida. Um exemplo é a modelagem de linguagem , em que um modelo é criado com base em um conjunto de treinamento e, em seguida, sua entropia cruzada é medida em um conjunto de teste para avaliar a precisão do modelo na previsão dos dados de teste. Neste exemplo, é a verdadeira distribuição de palavras em qualquer corpus e é a distribuição de palavras conforme previsto pelo modelo. Como a distribuição verdadeira é desconhecida, a entropia cruzada não pode ser calculada diretamente. Nestes casos, uma estimativa de entropia cruzada é calculada usando a seguinte fórmula: ${\ displaystyle p}$${\ displaystyle T}$${\ displaystyle p}$${\ displaystyle q}$

${\ displaystyle H (T, q) = - \ sum _ {i = 1} ^ {N} {\ frac {1} {N}} \ log _ {2} q (x_ {i})}$

onde é o tamanho do conjunto de teste e é a probabilidade de evento estimada a partir do conjunto de treinamento. Em outras palavras, é a estimativa de probabilidade do modelo de que é a i-ésima palavra do texto . A soma é a média das palavras do teste. Esta é uma estimativa de Monte Carlo da entropia cruzada verdadeira, de onde o conjunto de teste é tratado como uma amostra . ${\ displaystyle N}$${\ displaystyle q (x)}$${\ displaystyle x}$${\ displaystyle q (x_ {i})}$${\ displaystyle x_ {i}}$${\ displaystyle N}$${\ displaystyle p (x)}$

Relação com log de probabilidade

Em problemas de classificação, queremos estimar a probabilidade de resultados diferentes. Deixe a probabilidade estimada de resultado ser com parâmetros a serem otimizados e deixe a frequência (probabilidade empírica) de resultado no conjunto de treinamento ser . Dadas N amostras condicionalmente independentes no conjunto de treinamento, então a probabilidade dos parâmetros do modelo no conjunto de treinamento é ${\ displaystyle i}$${\ displaystyle q _ {\ theta} (X = i)}$${\ displaystyle \ theta}$${\ displaystyle i}$${\ displaystyle p (X = i)}$${\ displaystyle \ theta}$${\ displaystyle q _ {\ theta} (X = x)}$

${\ displaystyle {\ mathcal {L}} (\ theta) = \ prod _ {i \ in X} ({\ mbox {probabilidade est. de}} i) ^ {{\ mbox {número de ocorrências de}} i } = \ prod _ {i} q _ {\ theta} (X = i) ^ {Np (X = i)}}$

então o log-verossimilhança, dividido por é ${\ displaystyle N}$

${\ displaystyle {\ frac {1} {N}} \ log ({\ mathcal {L}} (\ theta)) = {\ frac {1} {N}} \ log \ prod _ {i} q _ {\ theta} (X = i) ^ {Np (X = i)} = \ sum _ {i} p (X = i) \ log q _ {\ theta} (X = i) = - H (p, q)}$

de modo que maximizar a probabilidade em relação aos parâmetros é o mesmo que minimizar a entropia cruzada. ${\ displaystyle \ theta}$

Minimização de entropia cruzada

A minimização de entropia cruzada é freqüentemente usada na otimização e estimativa de probabilidade de evento raro. Ao comparar uma distribuição com uma distribuição de referência fixa , a entropia cruzada e a divergência KL são idênticas até uma constante aditiva (uma vez que é fixa): ambas assumem seus valores mínimos quando , que é para divergência KL e para entropia cruzada. Na literatura de engenharia, o princípio de minimizar a Divergência KL (" Princípio da Informação de Discriminação Mínima " de Kullback ) é freqüentemente chamado de Princípio da Entropia Cruzada Mínima (MCE), ou Minxent . ${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle p}$${\ displaystyle p = q}$${\ displaystyle 0}$${\ displaystyle \ mathrm {H} (p)}$

No entanto, conforme discutido no artigo Divergência de Kullback-Leibler , às vezes a distribuição é a distribuição de referência anterior fixa e a distribuição é otimizada para ser o mais próximo possível, sujeito a alguma restrição. Neste caso, as duas minimizações não são equivalentes. Isso levou a alguma ambigüidade na literatura, com alguns autores tentando resolver a inconsistência redefinindo a entropia cruzada como , em vez de . ${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle D _ {\ mathrm {KL}} (p \ | q)}$${\ displaystyle H (p, q)}$

Função de perda de entropia cruzada e regressão logística

A entropia cruzada pode ser usada para definir uma função de perda no aprendizado e otimização de máquina . A probabilidade verdadeira é o rótulo verdadeiro e a distribuição fornecida é o valor previsto do modelo atual. ${\ displaystyle p_ {i}}$${\ displaystyle q_ {i}}$

Mais especificamente, considere a regressão logística , que (entre outras coisas) pode ser usada para classificar as observações em duas classes possíveis (muitas vezes simplesmente rotuladas como e ). A saída do modelo para uma dada observação, dado um vetor de características de entrada , pode ser interpretada como uma probabilidade, que serve de base para a classificação da observação. A probabilidade é modelada usando a função logística onde é alguma função do vetor de entrada , normalmente apenas uma função linear. A probabilidade da saída é dada por ${\ displaystyle 0}$${\ displaystyle 1}$${\ displaystyle x}$ ${\ displaystyle g (z) = 1 / (1 + e ^ {- z})}$${\ displaystyle z}$${\ displaystyle x}$${\ displaystyle y = 1}$

${\ displaystyle q_ {y = 1} \ = \ {\ hat {y}} \ \ equiv \ g (\ mathbf {w} \ cdot \ mathbf {x}) \ = 1 / (1 + e ^ {- \ mathbf {w} \ cdot \ mathbf {x}}),}$

onde o vetor de pesos é otimizado por meio de algum algoritmo apropriado, como gradiente descendente . Da mesma forma, a probabilidade complementar de encontrar a saída é simplesmente dada por ${\ displaystyle \ mathbf {w}}$${\ displaystyle y = 0}$

${\ displaystyle q_ {y = 0} \ = \ 1 - {\ hat {y}}}$

Tendo configurado nossa notação, e , podemos usar entropia cruzada para obter uma medida de dissimilaridade entre e : ${\ displaystyle p \ in \ {y, 1-y \}}$${\ displaystyle q \ in \ {{\ hat {y}}, 1 - {\ hat {y}} \}}$${\ displaystyle p}$${\ displaystyle q}$

${\ displaystyle H (p, q) \ = \ - \ sum _ {i} p_ {i} \ log q_ {i} \ = \ -y \ log {\ hat {y}} - (1-y) \ log (1 - {\ hat {y}})}$

A regressão logística normalmente otimiza a perda de log para todas as observações nas quais é treinada, o que é o mesmo que otimizar a entropia cruzada média na amostra. Por exemplo, suponha que temos amostras com cada amostra indexada por . A média da função de perda é então dada por: ${\ displaystyle N}$${\ displaystyle n = 1, \ dots, N}$

${\ displaystyle {\ begin {alinhados} J (\ mathbf {w}) \ & = \ {\ frac {1} {N}} \ sum _ {n = 1} ^ {N} H (p_ {n}, q_ {n}) \ = \ - {\ frac {1} {N}} \ sum _ {n = 1} ^ {N} \ {\ bigg [} y_ {n} \ log {\ hat {y}} _ {n} + (1-y_ {n}) \ log (1 - {\ hat {y}} _ {n}) {\ bigg]} \ ,, \ end {alinhado}}}$

onde , com a função logística como antes. ${\ displaystyle {\ hat {y}} _ {n} \ equiv g (\ mathbf {w} \ cdot \ mathbf {x} _ {n}) = 1 / (1 + e ^ {- \ mathbf {w} \ cdot \ mathbf {x} _ {n}})}$${\ displaystyle g (z)}$

A perda logística é às vezes chamada de perda de entropia cruzada. Também é conhecido como perda de log (neste caso, o rótulo binário geralmente é denotado por {-1, + 1}).

Observação: O gradiente da perda de entropia cruzada para regressão logística é o mesmo que o gradiente da perda de erro quadrático para regressão linear . Ou seja, defina

${\ displaystyle X ^ {T} = {\ begin {pmatrix} 1 & x_ {11} & \ dots & x_ {1p} \\ 1 & x_ {21} & \ dots & x_ {2p} \\ && \ dots \\ 1 & x_ {n1} & \ dots & x_ {np} \\\ end {pmatrix}} \ in \ mathbb {R} ^ {n \ times (p + 1)}}$

${\ displaystyle {\ hat {y_ {i}}} = {\ hat {f}} (x_ {i1}, \ dots, x_ {ip}) = {\ frac {1} {1 + exp (- \ beta _ {0} - \ beta _ {1} x_ {i1} - \ dots - \ beta _ {p} x_ {ip})}}}$

${\ displaystyle L ({\ overrightarrow {\ beta}}) = - \ sum _ {i = 1} ^ {N} [y ^ {i} \ log {\ hat {y}} ^ {i} + (1 -y ^ {i}) \ log (1 - {\ hat {y}} ^ {i})]}$

Então temos o resultado

${\ displaystyle {\ frac {\ partial} {\ partial {\ overrightarrow {\ beta}}}} L ({\ overrightarrow {\ beta}}) = X ({\ hat {Y}} - Y)}$

A prova é a seguinte. Para qualquer um , temos ${\ displaystyle {\ hat {y}} ^ {i}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {0}}} \ ln {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}} = {\ frac {e ^ {- \ beta _ {0} + k_ {0}}} {1 + e ^ {- \ beta _ {0} + k_ {0}}}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {0}}} \ ln \ left (1 - {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ { 0}}}} \ right) = {\ frac {-1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}}}$

${\ displaystyle {\ begin {align} {\ frac {\ partial} {\ partial \ beta _ {0}}} L ({\ overrightarrow {\ beta}}) & = - \ sum _ {i = 1} ^ {N} \ left [{\ frac {y ^ {i} \ cdot e ^ {- \ beta _ {0} + k_ {0}}} {1 + e ^ {- \ beta _ {0} + k_ { 0}}}} - (1-y ^ {i}) {\ frac {1} {1 + e ^ {- \ beta _ {0} + k_ {0}}}} \ right] \\ & = - \ sum _ {i = 1} ^ {N} [y ^ {i} - {\ hat {y}} ^ {i}] = \ sum _ {i = 1} ^ {N} ({\ hat {y }} ^ {i} -y ^ {i}) \ end {alinhado}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {1}}} \ ln {\ frac {1} {1 + e ^ {- \ beta _ {1} x_ {i1} + k_ {1 }}}} = {\ frac {x_ {i1} e ^ {k_ {1}}} {e ^ {\ beta _ {1} x_ {i1}} + e ^ {k_ {1}}}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {1}}} \ ln \ left [1 - {\ frac {1} {1 + e ^ {- \ beta _ {1} x_ {i1 } + k_ {1}}}} \ right] = {\ frac {-x_ {i1} e ^ {\ beta _ {1} x_ {i1}}} {e ^ {\ beta _ {1} x_ {i1 }} + e ^ {k_ {1}}}}}$

${\ displaystyle {\ frac {\ partial} {\ partial \ beta _ {1}}} L ({\ overrightarrow {\ beta}}) = - \ sum _ {i = 1} ^ {N} x_ {i1} (y ^ {i} - {\ hat {y}} ^ {i}) = \ sum _ {i = 1} ^ {N} x_ {i1} ({\ hat {y}} ^ {i} -y ^ {i})}$

De maneira semelhante, eventualmente obtemos o resultado desejado.

Veja também

• Método de entropia cruzada
• Regressão logística
• Entropia condicional
• Estimativa de máxima verossimilhança
• Informação mútua

Referências

links externos

• Entropia Cruzada