Independência condicional - Conditional independence

Parte de uma série de estatísticas
Teoria da probabilidade
Probabilidade Axiomas Determinismo Sistema Indeterminismo Aleatoriedade
Espaço de probabilidade Espaço amostral Evento Eventos coletivamente exaustivos Evento elementar Exclusividade mútua Resultado Singleton Experimentar Julgamento de Bernoulli Distribuição de probabilidade Distribuição Bernoulli Distribuição binomial Distribuição normal Medida de probabilidade Variável aleatória Processo Bernoulli Contínuo ou discreto Valor esperado Cadeia de Markov Valor observado Caminhada aleatória Processo estocástico
Evento complementar Probabilidade conjunta Probabilidade marginal Probabilidade Condicional
Independência Independência condicional Lei da probabilidade total Lei dos grandes números Teorema de Bayes Desigualdade de Boole
Diagrama de Venn Diagrama de árvore
v t e

Na teoria da probabilidade , a independência condicional descreve situações em que uma observação é irrelevante ou redundante ao avaliar a certeza de uma hipótese. A independência condicional é geralmente formulada em termos de probabilidade condicional , como um caso especial em que a probabilidade da hipótese dada a observação não informativa é igual à probabilidade sem. Se for a hipótese, e e forem observações, a independência condicional pode ser declarada como uma igualdade: ${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$

${\ displaystyle P (A | B, C) = P (A | C)}$

onde é a probabilidade de dado e . Visto que a probabilidade de dado é a mesma que a probabilidade de dado ambos e , essa igualdade expressa que nada contribui para a certeza de . Neste caso, e são disse a ser condicionalmente independentes dado , escrito simbolicamente como: . ${\ displaystyle P (A | B, C)}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle B}$${\ displaystyle A}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle (A \ perp \! \! \! \ perp B | C)}$

O conceito de independência condicional é essencial para as teorias de inferência estatística baseadas em gráficos, pois estabelece uma relação matemática entre uma coleção de declarações condicionais e um grafóide .

Independência Condicional de Eventos

Let , e be eventos . e são considerados condicionalmente independentes, dados se e somente se e: ${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle P (C)> 0}$

${\ displaystyle P (A \ mid B, C) = P (A \ mid C)}$

Esta propriedade é muitas vezes escrito: . ${\ displaystyle (A \ perp \! \! \! \ perp B \ mid C)}$

De forma equivalente, a independência condicional pode ser declarada como:

${\ displaystyle P (A, B | C) = P (A | C) P (B | C)}$

onde é a probabilidade conjunta de e fornecida . Esta formulação alternativa afirma que e são eventos independentes , dados . ${\ displaystyle P (A, B | C)}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$

Prova da definição equivalente

${\ displaystyle P (A, B \ mid C) = P (A \ mid C) P (B \ mid C)}$

iff      (definição de probabilidade condicional )${\ displaystyle {\ frac {P (A, B, C)} {P (C)}} = ({\ frac {P (A, C)} {P (C)}}) ({\ frac {P (B, C)} {P (C)}})}$

iff       (multiplique ambos os lados por )${\ displaystyle P (A, B, C) = {\ frac {P (A, C) P (B, C)} {P (C)}}}$${\ displaystyle P (C)}$

iff       (divida os dois lados por )${\ displaystyle {\ frac {P (A, B, C)} {P (B, C)}} = {\ frac {P (A, C)} {P (C)}}}$${\ displaystyle P (B, C)}$

iff       (definição de probabilidade condicional)${\ displaystyle P (A \ mid B, C) = P (A \ mid C)}$${\ displaystyle \ portanto}$

Exemplos

A discussão no StackExchange fornece alguns exemplos úteis. Veja abaixo.

Caixas coloridas

Cada célula representa um resultado possível. Os eventos , e são representadas pelas áreas sombreadas vermelho , azul e amarelo , respectivamente. A sobreposição entre os eventos e está sombreada em roxo . ${\ displaystyle \ color {red} R}$${\ displaystyle \ color {blue} B}$${\ displaystyle \ color {gold} Y}$${\ displaystyle \ color {red} R}$${\ displaystyle \ color {blue} B}$

As probabilidades desses eventos são áreas sombreadas em relação à área total. Em ambos os exemplos e são condicionalmente independentes, dados porque: ${\ displaystyle \ color {red} R}$${\ displaystyle \ color {blue} B}$${\ displaystyle \ color {gold} Y}$

${\ displaystyle \ Pr ({\ color {red} R}, {\ color {blue} B} \ mid {\ color {gold} Y}) = \ Pr ({\ color {red} R} \ mid {\ color {gold} Y}) \ Pr ({\ color {blue} B} \ mid {\ color {gold} Y})}$

mas não condicionalmente independente dado porque: ${\ displaystyle \ left [{\ text {not}} {\ color {gold} Y} \ right]}$

${\ displaystyle \ Pr ({\ color {red} R}, {\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y}) \ not = \ Pr ({\ color {red} R} \ mid {\ text {not}} {\ color {gold} Y}) \ Pr ({\ color {blue} B} \ mid {\ text {not}} {\ color {gold} Y })}$

Tempo e atrasos

Sejam os dois eventos as probabilidades das pessoas A e B chegarem em casa a tempo para o jantar, e o terceiro evento é o fato de que uma tempestade de neve atingiu a cidade. Embora A e B tenham uma probabilidade menor de chegar em casa a tempo para o jantar, as probabilidades mais baixas ainda serão independentes uma da outra. Ou seja, saber que A está atrasado não indica se B chegará atrasado. (Eles podem estar morando em bairros diferentes, viajando distâncias diferentes e usando meios de transporte diferentes.) No entanto, se você tiver informações de que eles moram no mesmo bairro, use o mesmo meio de transporte e trabalhem no mesmo lugar, então os dois eventos NÃO são condicionalmente independentes.

Dados rolando

A independência condicional depende da natureza do terceiro evento. Se você lançar dois dados, pode-se presumir que os dois dados se comportam independentemente um do outro. Olhar para os resultados de um dado não dirá sobre o resultado do segundo dado. (Ou seja, os dois dados são independentes.) Se, no entanto, o resultado do primeiro dado for 3, e alguém lhe contar sobre um terceiro evento - que a soma dos dois resultados é par - então esta unidade extra de informação restringe o opções do 2º resultado para um número ímpar. Em outras palavras, dois eventos podem ser independentes, mas NÃO condicionalmente independentes.

Altura e vocabulário

A altura e o vocabulário são dependentes, pois pessoas muito pequenas tendem a ser crianças, conhecidas por seus vocabulários mais básicos. Mas, sabendo que duas pessoas têm 19 anos (ou seja, com base na idade), não há razão para pensar que o vocabulário de uma pessoa é maior se nos dizem que ela é mais alta.

Independência condicional de variáveis ​​aleatórias

Duas variáveis ​​aleatórias e são condicionalmente independentes, dada uma terceira variável aleatória discreta, se e somente se elas forem independentes em sua distribuição de probabilidade condicional dada . Isto é, e são condicionalmente independentes, dados se e somente se, dado qualquer valor de , a distribuição de probabilidade de for a mesma para todos os valores de e a distribuição de probabilidade de for a mesma para todos os valores de . Formalmente: ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle Z}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$${\ displaystyle Z}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Y}$${\ displaystyle X}$

onde é a função de distribuição cumulativa condicional de e fornecida . ${\ displaystyle F_ {X, Y \, \ mid \, Z \, = \, z} (x, y) = \ Pr (X \ leq x, Y \ leq y \ mid Z = z)}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle Z}$

Dois eventos e são condicionalmente independentes, dada uma σ-álgebra se ${\ displaystyle R}$${\ displaystyle B}$ ${\ displaystyle \ Sigma}$

${\ displaystyle \ Pr (R, B \ mid \ Sigma) = \ Pr (R \ mid \ Sigma) \ Pr (B \ mid \ Sigma) {\ text {as}}}$

onde indica a esperança condicional da função do indicador do evento , , dada a álgebra sigma . Isso é, ${\ displaystyle \ Pr (A \ mid \ Sigma)}$${\ displaystyle A}$${\ displaystyle \ chi _ {A}}$${\ displaystyle \ Sigma}$

${\ displaystyle \ Pr (A \ mid \ Sigma): = \ operatorname {E} [\ chi _ {A} \ mid \ Sigma].}$

Duas variáveis aleatórias e são condicionalmente independentes dado um σ-álgebra se a equação acima é válido para todos no e no . ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle \ Sigma}$${\ displaystyle R}$${\ displaystyle \ sigma (X)}$${\ displaystyle B}$${\ displaystyle \ sigma (Y)}$

Duas variáveis ​​aleatórias e são condicionalmente independentes, dada uma variável aleatória, se forem independentes, dado σ ( W ): a σ-álgebra gerada por . Isto é comumente escrito: ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W}$${\ displaystyle W}$

${\ displaystyle X \ perp \! \! \! \ perp Y \ mid W}$ ou

${\ displaystyle X \ perp Y \ mid W}$

Isso é lido como " é independente de , dado "; o condicionamento se aplica a toda a afirmação: "( é independente de ) dado ". ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W}$

${\ displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$

Se assume um conjunto de valores contáveis, isso é equivalente à independência condicional de X e Y para os eventos do formulário . A independência condicional de mais de dois eventos, ou de mais de duas variáveis ​​aleatórias, é definida analogamente. ${\ displaystyle W}$${\ displaystyle [W = w]}$

Os dois exemplos a seguir mostram que nem implica nem está implícito por . Primeiro, suponha que seja 0 com probabilidade 0,5 e 1 caso contrário. Quando W  = 0 tome e seja independente, cada um tendo o valor 0 com probabilidade de 0,99 e o valor 1 em caso contrário. Quando , e são novamente independentes, mas desta vez assumem o valor 1 com probabilidade de 0,99. Então . Mas e são dependentes, porque Pr ( X  = 0) <Pr ( X  = 0 | Y  = 0). Isso ocorre porque Pr ( X  = 0) = 0,5, mas se Y  = 0, então é muito provável que W  = 0 e, portanto, que X  = 0 também, então Pr ( X  = 0 | Y  = 0)> 0,5. Para o segundo exemplo, suponha , cada um tomando os valores 0 e 1 com probabilidade de 0,5. Deixe ser o produto . Então , quando Pr ( X  = 0) = 2/3, mas Pr ( X  = 0 | Y  = 0) = 1/2, então é falso. Este também é um exemplo de explicação. Veja o tutorial de Kevin Murphy onde e tome os valores "inteligente" e "esportivo". ${\ displaystyle X \ perp \! \! \! \ perp Y}$ ${\ displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ displaystyle W}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle W = 1}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle X \ perp \! \! \! \ perp Y}$${\ displaystyle W}$${\ displaystyle X \ cdot Y}$${\ displaystyle W = 0}$${\ displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ displaystyle X}$${\ displaystyle Y}$

Independência condicional de vetores aleatórios

Dois vetores aleatórios e são condicionalmente independentes dado um terceiro vetor aleatório se e somente se eles são independentes na sua distribuição cumulativa condicional dada . Formalmente: ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {l}) ^ {\ mathrm {T}}}$${\ displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {m}) ^ {\ mathrm {T}}}$${\ displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {n}) ^ {\ mathrm {T}}}$${\ displaystyle \ mathbf {Z}}$

onde , e e as distribuições cumulativas condicionais são definidos como se segue. ${\ displaystyle \ mathbf {x} = (x_ {1}, \ ldots, x_ {l}) ^ {\ mathrm {T}}}$${\ displaystyle \ mathbf {y} = (y_ {1}, \ ldots, y_ {m}) ^ {\ mathrm {T}}}$${\ displaystyle \ mathbf {z} = (z_ {1}, \ ldots, z_ {n}) ^ {\ mathrm {T}}}$

${\ displaystyle {\ begin {alinhados} F _ {\ mathbf {X}, \ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x} , \ mathbf {y}) & = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l}, Y_ {1} \ leq y_ {1}, \ ldots , Y_ {m} \ leq y_ {m} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {X} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x}) & = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {y}) & = \ Pr (Y_ {1} \ leq y_ {1}, \ ldots, Y_ {m} \ leq y_ {m } \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \ end {alinhado}}}$

Usos na inferência bayesiana

Seja p a proporção de eleitores que votarão "sim" em um próximo referendo . Ao fazer uma pesquisa de opinião , escolhe-se n eleitores aleatoriamente da população. Para i  = 1, ...,  n , vamos X _i  = 1 ou 0 correspondente, respectivamente, para se ou não o i th eleitor escolhido vai ou não vai votar "sim".

Em uma abordagem frequentista de inferência estatística , não se atribuiria nenhuma distribuição de probabilidade a p (a menos que as probabilidades pudessem ser de alguma forma interpretadas como frequências relativas de ocorrência de algum evento ou como proporções de alguma população) e dir-se-ia que X ₁ , ..., X _n são variáveis ​​aleatórias independentes .

Por outro lado, em uma abordagem bayesiana para inferência estatística, alguém atribuiria uma distribuição de probabilidade a p, independentemente da não existência de qualquer interpretação de "frequência", e seria interpretado as probabilidades como graus de crença de que p está em qualquer intervalo de ao qual uma probabilidade é atribuída. Nesse modelo, as variáveis ​​aleatórias X ₁ , ...,  X _n não são independentes, mas são condicionalmente independentes dado o valor de p . Em particular, se um grande número de X s é observado como sendo igual a 1, isso implicaria em uma alta probabilidade condicional , dada essa observação, que p é próximo de 1 e, portanto, uma alta probabilidade condicional , dada essa observação, que o o próximo X a ser observado será igual a 1.

Regras de independência condicional

Um conjunto de regras que regem as declarações de independência condicional foi derivado da definição básica.

Essas regras foram denominadas " Axiomas Graphoid " por Pearl e Paz, porque se prendem em gráficos, onde é interpretado como significando: "Todos os caminhos de X a A são interceptados pelo conjunto B ". ${\ displaystyle X \ perp \! \! \! \ perp A \ mid B}$

Simetria

${\ displaystyle X \ perp \! \! \! \ perp Y \ quad \ Rightarrow \ quad Y \ perp \! \! \! \ perp X}$

Decomposição

${\ displaystyle X \ perp \! \! \! \ perp A, B \ quad \ Rightarrow \ quad {\ text {e}} {\ begin {cases} X \ perp \! \! \! \ perp A \\ X \ perp \! \! \! \ Perp B \ end {casos}}}$

Prova

• ${\ displaystyle p_ {X, A, B} (x, a, b) = p_ {X} (x) p_ {A, B} (a, b)}$      (significado de )${\ displaystyle X \ perp \! \! \! \ perp A, B}$
• ${\ displaystyle \ int _ {B} p_ {X, A, B} (x, a, b) \, db = \ int _ {B} p_ {X} (x) p_ {A, B} (a, b) \, db}$      (ignore a variável B integrando-a)
• ${\ displaystyle p_ {X, A} (x, a) = p_ {X} (x) p_ {A} (a)}$     

Uma prova espectáculos semelhantes a independência de X e B .

União fraca

${\ displaystyle X \ perp \! \! \! \ perp A, B \ quad \ Rightarrow \ quad {\ text {e}} {\ begin {cases} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ Perp B \ mid A \ end {casos}}}$

Prova

• Por suposição ,.${\ displaystyle \ Pr (X) = \ Pr (X \ mid A, B)}$
• Devido à propriedade de decomposição , .${\ displaystyle X \ perp \! \! \! \ perp B}$${\ displaystyle \ Pr (X) = \ Pr (X \ mid B)}$
• Combinando as duas igualdades acima dá , o que estabelece .${\ displaystyle \ Pr (X \ mid B) = \ Pr (X \ mid A, B)}$${\ displaystyle X \ perp \! \! \! \ perp A \ mid B}$

A segunda condição pode ser provada de forma semelhante.

Contração

${\ displaystyle \ left. {\ begin {alinhado} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ perp B \ end {alinhado}} \ right \ } {\ text {e}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp A, B}$

Prova

Esta propriedade pode ser provada observando , cada igualdade da qual é afirmada por e , respectivamente. ${\ displaystyle \ Pr (X \ mid A, B) = \ Pr (X \ mid B) = \ Pr (X)}$${\ displaystyle X \ perp \! \! \! \ perp A \ mid B}$${\ displaystyle X \ perp \! \! \! \ perp B}$

Interseção

Para distribuições de probabilidade estritamente positivas, o seguinte também é válido:

${\ displaystyle \ left. {\ begin {alinhado} X \ perp \! \! \! \ perp Y \ mid Z, W \\ X \ perp \! \! \! \ perp W \ mid Z, Y \ end {alinhado}} \ right \} {\ text {and}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp W, Y \ mid Z}$

Prova

Por suposição:

${\ displaystyle P (X | Z, W, Y) = P (X | Z, W) \ land P (X | Z, W, Y) = P (X | Z, Y) \ implica P (X | Z , Y) = P (X | Z, W)}$

Usando esta igualdade, juntamente com a Lei da probabilidade total aplicada a : ${\ displaystyle P (X | Z)}$

${\ displaystyle {\ begin {alinhados} P (X | Z) & = \ sum _ {w \ in W} P (X | Z, W = w) P (W = w | Z) \\ [4pt] & = \ sum _ {w \ in W} P (X | Y, Z) P (W = w | Z) \\ [4pt] & = P (X | Z, Y) \ sum _ {w \ in W} P (W = w | Z) \\ [4pt] & = P (X | Z, Y) \ end {alinhado}}}$

Desde e , segue-se isso . ${\ displaystyle P (X | Z, W, Y) = P (X | Z, Y)}$${\ displaystyle P (X | Z, Y) = P (X | Z)}$${\ displaystyle P (X | Z, W, Y) = P (X | Z) \ iff X \ perp \! \! \! \ perp Y, W | Z}$

Nota técnica: uma vez que estas implicações segurar para qualquer espaço de probabilidade, eles ainda irá realizar se se considera um sub-universo pelo condicionamento tudo em outra variável, digamos  K . Por exemplo, também significaria isso . ${\ displaystyle X \ perp \! \! \! \ perp Y \ Rightarrow Y \ perp \! \! \! \ perp X}$${\ displaystyle X \ perp \! \! \! \ perp Y \ mid K \ Rightarrow Y \ perp \! \! \! \ perp X \ mid K}$

Veja também

• Graphoid
• Dependência condicional
• teorema de Finetti
• Expectativa condicional

Referências

links externos

• Mídia relacionada à independência condicional no Wikimedia Commons