Independência (teoria da probabilidade) - Independence (probability theory)

A independência é uma noção fundamental na teoria da probabilidade , como na estatística e na teoria dos processos estocásticos .

Dois eventos são independentes , estatisticamente independentes ou estocasticamente independentes se a ocorrência de um não afetar a probabilidade de ocorrência do outro (equivalentemente, não afeta as probabilidades ). Da mesma forma, duas variáveis ​​aleatórias são independentes se a realização de uma não afetar a distribuição de probabilidade da outra.

Ao lidar com coleções de mais de dois eventos, uma noção fraca e uma forte de independência precisam ser distinguidas. Os eventos são chamados de pares independentes se quaisquer dois eventos na coleção forem independentes um do outro, enquanto dizer que os eventos são mutuamente independentes (ou coletivamente independentes ) significa intuitivamente que cada evento é independente de qualquer combinação de outros eventos na coleção. Uma noção semelhante existe para coleções de variáveis ​​aleatórias.

O nome "independência mútua" (o mesmo que "independência coletiva") parece o resultado de uma escolha educacional, apenas para distinguir a noção mais forte de "independência de pares", que é uma noção mais fraca. Na literatura avançada de teoria da probabilidade, estatística e processos estocásticos, a noção mais forte é simplesmente chamada de independência sem modificador. É mais forte porque a independência implica a independência dos pares, mas não o contrário.

Definição

Para eventos

Dois eventos

Dois eventos e são independentes (muitas vezes escritos como ou ) se e somente se sua probabilidade conjunta for igual ao produto de suas probabilidades:

 

 

 

 

( Eq.1 )

Por que isso define independência fica claro reescrevendo com probabilidades condicionais :

e similarmente

Assim, a ocorrência de não afeta a probabilidade de e vice-versa. Embora as expressões derivadas possam parecer mais intuitivas, não são a definição preferida, pois as probabilidades condicionais podem ser indefinidas se ou forem 0. Além disso, a definição preferida deixa claro por simetria que quando é independente de , também é independente de .

Probabilidade de log e conteúdo de informação

Declarado em termos de probabilidade de log , dois eventos são independentes se e somente se a probabilidade de log do evento conjunto é a soma da probabilidade de log dos eventos individuais:

Na teoria da informação , a probabilidade de log negativo é interpretada como conteúdo de informação e, portanto, dois eventos são independentes se e somente se o conteúdo de informação do evento combinado é igual à soma do conteúdo de informação dos eventos individuais:

Consulte o conteúdo da informação § Aditividade de eventos independentes para obter detalhes.

Chances

Declarado em termos de probabilidades , dois eventos são independentes se e somente se a razão de chances de e for unitária (1). Analogamente com a probabilidade, isso é equivalente às probabilidades condicionais sendo iguais às probabilidades incondicionais:

ou às probabilidades de um evento, dado o outro evento, ser igual às probabilidades do evento, dado o outro evento não ocorrer:

O odds ratio pode ser definido como

ou simetricamente para probabilidades de dado , e portanto é 1 se e somente se os eventos forem independentes.

Mais de dois eventos

Um conjunto finito de eventos é independente de pares se cada par de eventos for independente - isto é, se e somente se para todos os pares distintos de índices ,

 

 

 

 

( Eq.2 )

Um conjunto finito de eventos é mutuamente independente se cada evento for independente de qualquer interseção dos outros eventos - isto é, se e somente se para cada e para cada subconjunto de elementos de eventos de ,

 

 

 

 

( Eq.3 )

Isso é chamado de regra de multiplicação para eventos independentes. Observe que não é uma condição única envolvendo apenas o produto de todas as probabilidades de todos os eventos únicos; deve ser verdadeiro para todos os subconjuntos de eventos.

Para mais de dois eventos, um conjunto de eventos mutuamente independente é (por definição) independente de pares; mas o inverso não é necessariamente verdadeiro .

Para variáveis ​​aleatórias de valor real

Duas variáveis ​​aleatórias

Duas variáveis ​​aleatórias e são independentes se e somente se (sse) os elementos do sistema π gerado por elas são independentes; ou seja, para todo e , os eventos e são eventos independentes (conforme definido acima na Eq.1 ). Ou seja, e com funções de distribuição cumulativa e , são independentes se a variável aleatória combinada tem uma função de distribuição cumulativa conjunta

 

 

 

 

( Eq.4 )

ou equivalentemente, se as densidades de probabilidade e e a densidade de probabilidade conjunta existir,

Mais de duas variáveis ​​aleatórias

Um conjunto finito de variáveis ​​aleatórias é independente de pares se e somente se cada par de variáveis ​​aleatórias for independente. Mesmo que o conjunto de variáveis ​​aleatórias seja independente de pares, não é necessariamente independente mutuamente, conforme definido a seguir.

Um conjunto finito de variáveis ​​aleatórias é mutuamente independente se, e somente se, para qualquer sequência de números , os eventos são eventos mutuamente independentes (conforme definido acima na Eq.3 ). Isso é equivalente à seguinte condição na função de distribuição cumulativa conjunta . Um conjunto finito de variáveis ​​aleatórias é mutuamente independente se e somente se

 

 

 

 

( Eq.5 )

Observe que não é necessário aqui exigir que a distribuição de probabilidade fatoração para todos os subconjuntos de elementos possíveis, como no caso de eventos. Isso não é necessário porque, por exemplo, implica .

O inclinado teoricamente à medida pode preferir substituir eventos por eventos na definição acima, onde está qualquer conjunto de Borel . Essa definição é exatamente equivalente à anterior, quando os valores das variáveis ​​aleatórias são números reais . Ele tem a vantagem de funcionar também para variáveis ​​aleatórias de valor complexo ou para variáveis ​​aleatórias tomando valores em qualquer espaço mensurável (que inclui espaços topológicos dotados de σ-álgebras apropriadas).

Para vetores aleatórios de valor real

Dois vetores aleatórios e são chamados de independentes se

 

 

 

 

( Eq.6 )

onde e denotam as funções de distribuição cumulativa de e e denotam sua função de distribuição cumulativa conjunta. Independência de e geralmente é denotada por . Escrito por componentes, e são chamados de independentes se

Para processos estocásticos

Para um processo estocástico

A definição de independência pode ser estendida de vetores aleatórios para um processo estocástico . Portanto, é necessário para um processo estocástico independente que as variáveis ​​aleatórias obtidas pela amostragem do processo em qualquer momento sejam variáveis ​​aleatórias independentes para qualquer um .

Formalmente, um processo estocástico é denominado independente, se e somente se para todos e para todos

 

 

 

 

( Eq.7 )

onde . A independência de um processo estocástico é uma propriedade dentro de um processo estocástico, não entre dois processos estocásticos.

Para dois processos estocásticos

A independência de dois processos estocásticos é uma propriedade entre dois processos estocásticos e que são definidos no mesmo espaço de probabilidade . Formalmente, dois processos estocásticos e são ditos independentes se para todos e para todos , os vetores aleatórios e são independentes, ou seja, se

 

 

 

 

( Eq.8 )

Σ-álgebras independentes

As definições acima ( Eq.1 e Eq.2 ) são generalizadas pela seguinte definição de independência para σ-álgebras . Let Ser um espaço de probabilidade e Let e ser duas sub-σ-álgebras de . e são considerados independentes se, quando e ,

Da mesma forma, uma família finita de σ-álgebras , onde é um conjunto de índices , é considerada independente se e somente se

e uma família infinita de σ-álgebras é considerada independente se todas as suas subfamílias finitas forem independentes.

A nova definição se relaciona com as anteriores muito diretamente:

  • Dois eventos são independentes (no antigo sentido) se e somente se as σ-álgebras que eles geram são independentes (no novo sentido). A σ-álgebra gerada por um evento é, por definição,
  • Duas variáveis ​​aleatórias e definidas sobre são independentes (no antigo sentido) se e somente se as σ-álgebras que elas geram são independentes (no novo sentido). A σ-álgebra gerada por uma variável aleatória tomando valores em algum espaço mensurável consiste, por definição, em todos os subconjuntos da forma , onde é qualquer subconjunto mensurável de .

Usando esta definição, é fácil mostrar que se e são variáveis ​​aleatórias e são constantes, então e são independentes, uma vez que a σ-álgebra gerada por uma variável aleatória constante é a σ-álgebra trivial . Os eventos de probabilidade zero não podem afetar a independência, portanto, a independência também é válida se for apenas Pr- quase certamente constante.

Propriedades

Auto-independência

Observe que um evento é independente de si mesmo se e somente se

Assim, um evento é independente de si mesmo se e somente se ocorrer quase com certeza ou seu complemento ocorrer quase com certeza; este fato é útil ao provar leis zero-um .

Expectativa e covariância

Se e forem variáveis ​​aleatórias independentes, o operador de expectativa tem a propriedade

e a covariância é zero, como segue de

O inverso não é válido: se duas variáveis ​​aleatórias têm uma covariância de 0, elas ainda podem não ser independentes. Veja não correlacionado .

Da mesma forma para dois processos estocásticos e : Se forem independentes, não estão correlacionados.

Função característica

Duas variáveis ​​aleatórias e são independentes se e somente se a função característica do vetor aleatório satisfaz

Em particular, a função característica de sua soma é o produto de suas funções características marginais:

embora a implicação inversa não seja verdadeira. Variáveis ​​aleatórias que satisfazem a última condição são chamadas de sub-independentes .

Exemplos

Dados de rolamento

O evento de obter um 6 na primeira vez que um dado é lançado e o evento de obter um 6 na segunda vez são independentes . Em contraste, o evento de obter um 6 na primeira vez que um dado é lançado e o evento em que a soma dos números vistos na primeira e na segunda tentativa é 8 não são independentes.

Cartas de sacar

Se duas cartas forem sacadas com a substituição de um baralho de cartas, o evento de tirar um cartão vermelho na primeira tentativa e o de tirar um cartão vermelho na segunda tentativa são independentes . Por outro lado, se duas cartas são tiradas sem substituição de um baralho de cartas, o evento de tirar uma carta vermelha na primeira tentativa e o de tirar uma carta vermelha na segunda tentativa não são independentes, porque um baralho que teve um vermelho cartão removido tem proporcionalmente menos cartões vermelhos.

Independência de pares e mútua

Eventos independentes entre pares, mas não mutuamente independentes.
Eventos mutuamente independentes.

Considere os dois espaços de probabilidade mostrados. Em ambos os casos, e . As variáveis aleatórias no primeiro espaço são independentes pairwise porque , e ; mas as três variáveis ​​aleatórias não são mutuamente independentes. As variáveis ​​aleatórias no segundo espaço são independentes entre pares e mutuamente independentes. Para ilustrar a diferença, considere o condicionamento em dois eventos. No caso de pares independentes, embora qualquer evento seja independente de cada um dos outros dois individualmente, não é independente da interseção dos outros dois:

No caso mutuamente independente, no entanto,

Independência mútua

É possível criar um exemplo de três eventos em que

e, no entanto, nenhum dos três eventos é independente de pares (e, portanto, o conjunto de eventos não é mutuamente independente). Este exemplo mostra que a independência mútua envolve requisitos sobre os produtos de probabilidades de todas as combinações de eventos, não apenas os eventos únicos como neste exemplo.

Independência condicional

Para eventos

Os eventos e são condicionalmente independentes, dado um evento quando

.

Para variáveis ​​aleatórias

Intuitivamente, duas variáveis ​​aleatórias e são condicionalmente independentes, dados se, uma vez conhecido, o valor de não adiciona nenhuma informação adicional sobre . Por exemplo, duas medições e da mesma quantidade subjacente não são independentes, mas são condicionalmente independentes, dados (a menos que os erros nas duas medições estejam de alguma forma conectados).

A definição formal de independência condicional é baseada na ideia de distribuições condicionais . Se , e são variáveis aleatórias discretas , então nós definimos e ser condicionalmente independentes dado se

para todos , e tal . Por outro lado, se as variáveis ​​aleatórias são contínuas e têm uma função de densidade de probabilidade conjunta , então e são condicionalmente independentes, dados se

para todos os números reais , e tal .

Se forem discretos e forem condicionalmente independentes , então

para qualquer , e com . Ou seja, a distribuição condicional para dado e é a mesma que aquela dada sozinho. Uma equação semelhante é válida para as funções de densidade de probabilidade condicional no caso contínuo.

A independência pode ser vista como um tipo especial de independência condicional, uma vez que a probabilidade pode ser vista como um tipo de probabilidade condicional sem eventos.

Veja também

Referências

links externos