preguntar acerca de information-theory

la théorie de l'Information entre en jeu là où l'encodage et le décodage sont présents. Par exemple: compression(multimédia), cryptographie. dans la théorie de l'Information, nous rencontrons des termes comme "entropie", "Auto-Information", "Inform …

j'ai deux images en noir et blanc et j'ai besoin de calculer l'information mutuelle. Image 1 = X Image 2 = Y je sais que l'information mutuelle peut être défini comme suit: MI = entropy(X) + entropy(Y) - JointEntropy(X,Y) MATLAB a déjà des f …

j'ai récemment commencé un cours sur la compression de données à mon université. Cependant, je trouve l'utilisation du terme "entropie" tel qu'il s'applique à l'informatique plutôt ambiguë. Pour autant que je sache, cela se traduit en gros par le "ca …

y a-t-il un moyen standard de faire cela? Googling -- "approximate entropy" bits -- découvre plusieurs documents académiques, mais je voudrais juste trouver un morceau de pseudocode définissant l'entropie approximative pour une chaîne …