Jeffreys anterior - Jeffreys prior

Na probabilidade bayesiana , o prior de Jeffreys , em homenagem a Sir Harold Jeffreys , é uma distribuição a priori não informativa (objetiva) para um espaço de parâmetros; a sua função de densidade é proporcional à raiz quadrada do determinante da informação de Fisher matriz:

${\ displaystyle p \ left ({\ vec {\ theta}} \ right) \ propto {\ sqrt {\ det {\ mathcal {I}} \ left ({\ vec {\ theta}} \ right)}}. \,}$

Ele tem a característica principal de ser invariável sob uma mudança de coordenadas para o vetor de parâmetro . Ou seja, a probabilidade relativa atribuída a um volume de um espaço de probabilidade usando um Jeffreys prior será a mesma, independentemente da parametrização usada para definir o Jeffreys prior. Isso o torna de especial interesse para uso com parâmetros de escala . ${\ displaystyle {\ vec {\ theta}}}$

Reparameterização

Caso de um parâmetro

Se e são duas parametrizações possíveis de um modelo estatístico, e é uma função continuamente diferenciável de , dizemos que o prior é "invariante" sob uma reparametrização se ${\ displaystyle \ theta}$${\ displaystyle \ varphi}$${\ displaystyle \ theta}$${\ displaystyle \ varphi}$${\ displaystyle p _ {\ theta} (\ theta)}$

${\ displaystyle p _ {\ varphi} (\ varphi) = p _ {\ theta} (\ theta) \ left | {\ frac {d \ theta} {d \ varphi}} \ right |,}$

isto é, se os antecedentes e estão relacionados pelo teorema usual da mudança de variáveis . ${\ displaystyle p _ {\ theta} (\ theta)}$${\ displaystyle p _ {\ varphi} (\ varphi)}$

Uma vez que a informação de Fisher se transforma sob reparametrização como

${\ displaystyle I _ {\ varphi} (\ varphi) = I _ {\ theta} (\ theta) \ left ({\ frac {d \ theta} {d \ varphi}} \ right) ^ {2},}$

definir os antecedentes como e nos dá a "invariância" desejada. ${\ displaystyle p _ {\ varphi} (\ varphi) \ propto {\ sqrt {I _ {\ varphi} (\ varphi)}}}$${\ displaystyle p _ {\ theta} (\ theta) \ propto {\ sqrt {I _ {\ theta} (\ theta)}}}$

Caso de múltiplos parâmetros

Analogamente ao caso de um parâmetro, sejam e sejam duas parametrizações possíveis de um modelo estatístico, com uma função continuamente diferenciável de . Chamamos o anterior de "invariante" em reparametrização se ${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ varphi}}}$${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ varphi}}}$${\ displaystyle p _ {\ theta} ({\ vec {\ theta}})}$

${\ displaystyle p _ {\ varphi} ({\ vec {\ varphi}}) = p _ {\ theta} ({\ vec {\ theta}}) \ det J,}$

onde está a matriz Jacobiana com entradas ${\ displaystyle J}$

${\ displaystyle J_ {ij} = {\ frac {\ partial \ theta _ {i}} {\ partial \ varphi _ {j}}}.}$

Uma vez que a matriz de informação de Fisher se transforma sob reparametrização como

${\ displaystyle I _ {\ varphi} ({\ vec {\ varphi}}) = J ^ {T} I _ {\ theta} ({\ vec {\ theta}}) J,}$

nós temos isso

${\ displaystyle \ det I _ {\ varphi} (\ varphi) = \ det I _ {\ theta} (\ theta) (\ det J) ^ {2}}$

e, assim, definir os antecedentes como e nos dá a "invariância" desejada. ${\ displaystyle p _ {\ varphi} ({\ vec {\ varphi}}) \ propto {\ sqrt {\ det I _ {\ varphi} ({\ vec {\ varphi}})}}}$${\ displaystyle p _ {\ theta} ({\ vec {\ theta}}) \ propto {\ sqrt {\ det I _ {\ theta} ({\ vec {\ theta}})}}}$

Atributos

Do ponto de vista prático e matemático, uma razão válida para usar este prior não informativo em vez de outros, como os obtidos através de um limite em famílias conjugadas de distribuições, é que a probabilidade relativa de um volume do espaço de probabilidade não depende de o conjunto de variáveis ​​de parâmetro que é escolhido para descrever o espaço de parâmetro.

Às vezes, o prior de Jeffreys não pode ser normalizado e, portanto, é um prior impróprio . Por exemplo, a prioridade de Jeffreys para a média de distribuição é uniforme em toda a linha real no caso de uma distribuição gaussiana de variância conhecida.

O uso do prior de Jeffreys viola a versão forte do princípio da verossimilhança , que é aceito por muitos, mas não por todos, estatísticos. Ao usar o Jeffreys anterior, as inferências sobre dependem não apenas da probabilidade dos dados observados em função de , mas também do universo de todos os resultados experimentais possíveis, conforme determinado pelo projeto experimental, porque a informação de Fisher é calculada a partir de uma expectativa sobre o universo escolhido. Consequentemente, o anterior de Jeffreys e, portanto, as inferências feitas com ele, podem ser diferentes para dois experimentos envolvendo o mesmo parâmetro, mesmo quando as funções de verossimilhança para os dois experimentos são as mesmas - uma violação do princípio de alta verossimilhança. ${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ theta}}}$${\ displaystyle {\ vec {\ theta}}}$

Comprimento mínimo da descrição

Na abordagem de comprimento de descrição mínimo para estatísticas, o objetivo é descrever os dados da forma mais compacta possível, onde o comprimento de uma descrição é medido em bits do código usado. Para uma família paramétrica de distribuições, compara-se um código com o melhor código com base em uma das distribuições da família parametrizada. O principal resultado é que em famílias exponenciais , assintoticamente para grandes tamanhos de amostra, o código baseado na distribuição que é uma mistura dos elementos da família exponencial com a anterior de Jeffreys é ideal. Este resultado é válido se restringirmos o conjunto de parâmetros a um subconjunto compacto no interior de todo o espaço de parâmetros. Se o parâmetro completo for usado, uma versão modificada do resultado deve ser usada.

Exemplos

A prioridade de Jeffreys para um parâmetro (ou um conjunto de parâmetros) depende do modelo estatístico.

Distribuição Gaussiana com parâmetro médio

Para a distribuição gaussiana do valor real${\ displaystyle x}$

${\ displaystyle f (x \ mid \ mu) = {\ frac {e ^ {- (x- \ mu) ^ {2} / 2 \ sigma ^ {2}}} {\ sqrt {2 \ pi \ sigma ^ {2}}}}}$

com fixo, o Jeffreys anterior para a média é ${\ displaystyle \ sigma}$${\ displaystyle \ mu}$

${\ displaystyle {\ begin {alinhados} p (\ mu) & \ propto {\ sqrt {I (\ mu)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ mu}} \ log f (x \ mid \ mu) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {x- \ mu} {\ sigma ^ {2}}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ int _ {- \ infty} ^ {+ \ infty} f (x \ mid \ mu) \ left ({\ frac {x- \ mu} {\ sigma ^ {2}}} \ right) ^ {2} dx}} = {\ sqrt {1 / \ sigma ^ { 2}}} \ propto 1. \ end {alinhado}}}$

Ou seja, o prior de Jeffreys para não depende ; é a distribuição uniforme não normalizada na linha real - a distribuição que é 1 (ou alguma outra constante fixa) para todos os pontos. Este é um prévio impróprio , e é, até a escolha da constante, a única distribuição -invariante de translação nos reais (a medida de Haar em relação à adição de reais), correspondendo à média sendo uma medida de localização e invariância de translação correspondendo a nenhuma informação sobre a localização. ${\ displaystyle \ mu}$${\ displaystyle \ mu}$

Distribuição Gaussiana com parâmetro de desvio padrão

Para a distribuição gaussiana do valor real${\ displaystyle x}$

${\ displaystyle f (x \ mid \ sigma) = {\ frac {e ^ {- (x- \ mu) ^ {2} / 2 \ sigma ^ {2}}} {\ sqrt {2 \ pi \ sigma ^ {2}}}},}$

com fixo, o Jeffreys anterior para o desvio padrão é ${\ displaystyle \ mu}$${\ displaystyle \ sigma> 0}$

${\ displaystyle {\ begin {alinhados} p (\ sigma) & \ propto {\ sqrt {I (\ sigma)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ sigma}} \ log f (x \ mid \ sigma) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {(x- \ mu) ^ {2} - \ sigma ^ {2}} {\ sigma ^ {3}}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ int _ {- \ infty} ^ {+ \ infty} f (x \ mid \ sigma) \ left ({\ frac {(x- \ mu) ^ {2} - \ sigma ^ {2}} {\ sigma ^ {3}}} \ right) ^ {2} dx}} = {\ sqrt {\ frac {2} {\ sigma ^ {2}}}} \ propto {\ frac {1} {\ sigma}}. \ fim {alinhado}}}$

Equivalentemente, o prior de Jeffreys para é a distribuição uniforme não normalizada na linha real e, portanto, essa distribuição também é conhecida como${\ textstyle \ log \ sigma = \ int d \ sigma / \ sigma}$ anterior logarítmico . Da mesma forma, o prior de Jeffreys paratambém é uniforme. É o único (até um múltiplo) anterior (nos reais positivos) que évariável deescala(amedida de Haarem relação à multiplicação de reais positivos), correspondendo ao desvio padrão sendo uma medida deescalae invariância de escala correspondente a nenhuma informação sobre a escala. Tal como acontece com a distribuição uniforme nos reais, é umprior impróprio. ${\ displaystyle \ log \ sigma ^ {2} = 2 \ log \ sigma}$

Distribuição de Poisson com parâmetro de taxa

Para a distribuição de Poisson do número inteiro não negativo , ${\ displaystyle n}$

${\ displaystyle f (n \ mid \ lambda) = e ^ {- \ lambda} {\ frac {\ lambda ^ {n}} {n!}},}$

o Jeffreys anterior para o parâmetro de taxa é ${\ displaystyle \ lambda \ geq 0}$

${\ displaystyle {\ begin {alinhados} p (\ lambda) & \ propto {\ sqrt {I (\ lambda)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ lambda}} \ log f (n \ mid \ lambda) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {n- \ lambda} {\ lambda}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ sum _ {n = 0} ^ {+ \ infty} f (n \ mid \ lambda) \ left ({\ frac {n- \ lambda} {\ lambda}} \ right) ^ {2}}} = {\ sqrt {\ frac {1} {\ lambda}}}. \ end { alinhado}}}$

De forma equivalente, a prioridade de Jeffreys para é a distribuição uniforme não normalizada na linha real não negativa. ${\ textstyle {\ sqrt {\ lambda}} = \ int d \ lambda / {\ sqrt {\ lambda}}}$

Julgamento de Bernoulli

Para uma moeda que é "cara" com probabilidade e "coroa" com probabilidade , para um dado a probabilidade é . O Jeffreys anterior para o parâmetro é ${\ displaystyle \ gamma \ in [0,1]}$${\ displaystyle 1- \ gamma}$${\ displaystyle (H, T) \ in \ {(0,1), (1,0) \}}$${\ displaystyle \ gamma ^ {H} (1- \ gamma) ^ {T}}$${\ displaystyle \ gamma}$

${\ displaystyle {\ begin {alinhados} p (\ gamma) & \ propto {\ sqrt {I (\ gamma)}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac { d} {d \ gamma}} \ log f (x \ mid \ gamma) \ right) ^ {2} \ right]}} = {\ sqrt {\ operatorname {E} \! \ left [\ left ({\ frac {H} {\ gamma}} - {\ frac {T} {1- \ gamma}} \ right) ^ {2} \ right]}} \\ & = {\ sqrt {\ gamma \ left ({\ frac {1} {\ gamma}} - {\ frac {0} {1- \ gamma}} \ right) ^ {2} + (1- \ gamma) \ left ({\ frac {0} {\ gamma} } - {\ frac {1} {1- \ gamma}} \ right) ^ {2}}} = {\ frac {1} {\ sqrt {\ gamma (1- \ gamma)}}} \,. \ fim {alinhado}}}$

Esta é a distribuição arco - seno e é uma distribuição beta com . Além disso, se então ${\ displaystyle \ alpha = \ beta = 1/2}$${\ displaystyle \ gamma = \ sin ^ {2} (\ theta)}$

${\ displaystyle \ Pr [\ theta] = \ Pr [\ gamma] {\ frac {d \ gamma} {d \ theta}} \ propto {\ frac {1} {\ sqrt {(\ sin ^ {2} \ theta) (1- \ sin ^ {2} \ theta)}}} ~ 2 \ sin \ theta \ cos \ theta = 2 \,}$

Ou seja, o prior de Jeffreys para é uniforme no intervalo . Equivalentemente, é uniforme em todo o círculo . ${\ displaystyle \ theta}$${\ displaystyle [0, \ pi / 2]}$${\ displaystyle \ theta}$${\ displaystyle [0,2 \ pi]}$

Dado de N lados com probabilidades tendenciosas

Da mesma forma, para o lançamento de um dado lateral com probabilidades de resultado , cada um não negativo e satisfatório , o Jeffreys anterior para é a distribuição de Dirichlet com todos os parâmetros (alfa) definidos para a metade. Isso equivale a usar uma pseudocontagem de metade para cada resultado possível. ${\ displaystyle N}$${\ displaystyle {\ vec {\ gamma}} = (\ gamma _ {1}, \ ldots, \ gamma _ {N})}$${\ displaystyle \ sum _ {i = 1} ^ {N} \ gamma _ {i} = 1}$${\ displaystyle {\ vec {\ gamma}}}$

Equivalentemente, se escrevermos para cada um , então a prioridade de Jeffreys para é uniforme na esfera unitária ( N  - 1) dimensional ( ou seja , é uniforme na superfície de uma esfera unitária N- dimensional ). ${\ displaystyle \ gamma _ {i} = \ varphi _ {i} ^ {2}}$${\ displaystyle i}$${\ displaystyle {\ vec {\ varphi}}}$

Referências

Leitura adicional

• Jeffreys, H. (1946). "Uma forma invariável para a probabilidade prévia em problemas de estimativa" . Proceedings of the Royal Society of London. Série A, Ciências Matemáticas e Físicas . 186 (1007): 453–461. doi : 10.1098 / rspa.1946.0056 . JSTOR  97883 . PMID  20998741 .
• Jeffreys, H. (1939). Teoria da Probabilidade . Imprensa da Universidade de Oxford.
• Kass, Robert E .; Wasserman, Larry (1996). "A Seleção de Distribuições Prévias por Regras Formais". Journal of the American Statistical Association . 91 (435): 1343–1370. doi : 10.1080 / 01621459.1996.10477003 .