Taxa de entropia - Entropy rate
Teoria da informação |
---|
Na teoria matemática da probabilidade , a taxa de entropia ou taxa de informação da fonte de um processo estocástico é, informalmente, a densidade de tempo da informação média em um processo estocástico. Para processos estocásticos com índice contável , a taxa de entropia é o limite da entropia conjunta dos membros do processo dividido por , pois tende ao infinito :
quando o limite existe. Uma alternativa, quantidade relacionada é:
Para processos estocásticos fortemente estacionários ,. A taxa de entropia pode ser considerada uma propriedade geral de fontes estocásticas; esta é a propriedade de equipartição assintótica . A taxa de entropia pode ser usada para estimar a complexidade dos processos estocásticos. É usado em diversas aplicações, desde a caracterização da complexidade de linguagens, separação cega de fontes, até a otimização de quantizadores e algoritmos de compressão de dados. Por exemplo, um critério de taxa de entropia máxima pode ser usado para seleção de recursos no aprendizado de máquina .
Taxas de entropia para cadeias de Markov
Uma vez que um processo estocástico definido por uma cadeia de Markov que é irredutível , aperiódica e recorrente positivo tem uma distribuição estacionário , a taxa de entropia é independente da distribuição inicial.
Por exemplo, para uma cadeia de Markov definida em um número contável de estados, dada a matriz de transição , é dado por:
onde está a distribuição assintótica da cadeia.
Uma conseqüência simples dessa definição é que um processo estocástico iid tem uma taxa de entropia que é igual à entropia de qualquer membro individual do processo.
Veja também
- Fonte de informação (matemática)
- Fonte de informação Markov
- Propriedade de equipartição assintótica
- Caminhada aleatória de entropia máxima - escolhida para maximizar a taxa de entropia
Referências
- Cover, T. e Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]