Explication pratique de la théorie de L'Information"
la théorie de l'Information entre en jeu là où l'encodage et le décodage sont présents. Par exemple: compression(multimédia), cryptographie.
dans la théorie de l'Information, nous rencontrons des termes comme "entropie", "Auto-Information", "Information mutuelle" et tout le sujet est basé sur ces termes. Qui vient de son rien de plus que de l'abstrait. Franchement, ils n'ont pas vraiment de sens.
Est-il un livre/matériel/explication (si vous pouvez), ce qui explique ces choses en pratique façon?
EDIT:
Une Introduction à la Théorie de l'Information: les symboles, signaux et bruit par John Robinson Pierce Le Livre cela explique la façon dont je veux (pratiquement). C'est trop bon. J'ai commencé à le lire.
7 réponses
Shanon du papier d'origine "Une théorie mathématique de la communication " est une ressource très importante pour l'étude de cette théorie. Personne ne devrait le rater.
En le lisant, vous comprendrez comment Shanon est arrivé à la théorie qui doit effacer la plupart des doutes.
étudier Aussi fonctionnement de L'algorithme de compression de Huffman sera très utile.
EDIT:
une Introduction à la théorie de L'Information
John R. Pierce
semble bonne en fonction de l'amazonie commentaires (je n'ai pas essayé).
[par Googleing "la théorie de l'information laïc" ]
mon propre point de vue sur la "théorie de l'Information" est qu'il s'agit essentiellement de mathématiques appliquées / statistiques, mais parce qu'il est appliqué aux communications / signaux, il a été appelé "théorie de l'Information".
La meilleure façon de commencer à comprendre les concepts, c'est vous une tâche réelle. Par exemple, prenez quelques pages de votre blog préféré enregistrer comme un fichier texte et ensuite essayer de réduire la taille du fichier tout en vous assurant que vous pouvez toujours reconstruire le fichier complètement (c.-à-d.. la compression sans perte). Vous commencerez par exemple par remplacer toutes les instances de et par un 1 par exemple....
je suis toujours de l'avis de l'apprentissage par la pratique sera la meilleure approche
J'allais recommander Feynman pour le pop-sci, mais à la réflexion je pense que ce pourrait être un bon choix pour faciliter une étude sérieuse aussi bien. Vous ne pouvez pas vraiment savoir ce genre de choses sans comprendre le calcul, mais Feynman est tellement évocateur qu'il se faufile dans le calcul sans effrayer les chevaux.
couvre un peu plus de terrain que juste l'information théorie, mais bonne matière et agréable à lire. (En plus, je suis obligé de tirer pour la physique de L'équipe. Rah! Rah! Rhee!)
je me souviens d'articles dans, je pense, le monde de L'ordinateur personnel qui a présenté une version de ID3 pour identifier les pièces, bien qu'il ait utilisé une alternative heuristique à la formule de log. Je pense qu'il a minimisé les sommes de carrés plutôt que de maximiser l'entropie - mais c'était il y a longtemps. Il y avait un autre article dans (je pense) Byte qui a employé la formule de log pour l'information (pas entropie) pour des choses semblables. Des choses comme ça m'ont donné une poignée qui a rendu la théorie plus facile à gérer avec.
EDIT - par " pas d'entropie "je veux dire que je pense qu'il a utilisé des moyennes pondérées des valeurs de l'information, mais n'a pas utilisé le nom"entropie".
je pense que la construction d'arbres de décision simples à partir des tables de décision est une très bonne façon de comprendre la relation entre la probabilité et l'information. Il rend le lien de la probabilité à l'information plus intuitif, et il fournit des exemples de la moyenne pondérée pour illustrer l'effet entropie-maximisation de équilibrée des probabilités. Une très bonne journée-une sorte de leçon.
et ce qui est bien aussi, c'est que vous pouvez alors remplacer cet arbre de décision par un arbre de décodage Huffman (qui , après tout, un "quel jeton dois-je décoder?"arbre de décision) et de faire ce lien avec le codage.
BTW - jetez un oeil à ce lien...
Mackay a un manuel téléchargeable gratuit (et disponible en version imprimée), et même si je n'ai pas tout lu, les parties que j'ai lues semblaient très bonnes. L'explication de "l'explication loin" dans Bayes, en commençant la page 293, en particulier, reste à l'esprit.
CiteSeerX est une ressource très utile pour la théorie de l'information documents (entre autres choses).Deux articles intéressants être...
- http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
- http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672
bien que CN2 n'est probablement pas du premier jour.
la théorie de l'Information a des applications très efficaces, par exemple dans l'apprentissage automatique et l'exploration de données. en particulier la visualisation des données, la sélection des variables, la transformation des données et les projections, les critères théoriques de l'information sont parmi les approches les plus populaires.
voir par exemple
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf ou http://www.mdpi.com/1424-8220/11/6/5695
Informations la théorie nous permet d'aborder le compactage optimal des données de manière formelle, par exemple en termes de distributions postérieures et de couvertures Markov:
http://www.mdpi.com/1099-4300/13/7/1403
il nous permet de récupérer des limites supérieures et inférieures sur la probabilité d'erreur dans la sélection des variables:
http://www.mdpi.com/1099-4300/12/10/2144
Un des avantages de l'utilisation de la théorie de l'information par rapport à des statistiques est que l'on n'a pas nécessairement besoin de mettre en place des distributions de probabilité. On peut calculer l'information, la redondance, l'entropie, le transfert d'entropie sans essayer d'estimer les distributions de probabilité. L'élimination Variable sans perte d'information est définie en termes de préservation des probabilités postérieures conditionnelles, en utilisant la théorie de l'information on peut trouver des formulations similaires...sans devoir calculer les densités de probabilité. Les Caculations sont plutôt en termes d'information mutuelle entre les variables et la littérature a fourni beaucoup d'estimateurs efficaces et des approximations dimensionnelles inférieures pour ceux-ci. Voir: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695
j'ai pu suggérer ce livre par Glynn Winskel. Il a été utilisé dans mon université pour le cours de théorie de l'Information. Il part de la théorie de la logique, puis définit un langage impératif simple, appelé IMP, Et il suit avec de nombreux concepts sur la sémantique formelle dans le langage.
La Sémantique Formelle des Langages de Programmation
http://mitpress.mit.edu/books/formal-semantics-programming-languages
cependant, les concepts peuvent être abstraits, mais ils trouvent une bonne utilisation dans les temps récents en apprentissage Machine/intelligence artificielle. Cela pourrait servir comme une bonne motivation sur le besoin pratique de ces concept théorique. En résumé, vous voulez estimer dans quelle mesure votre approximateur fonctionnel (LSTM, RNN ou CNN ou régression linéaire) fonctionne bien dans la modélisation de la distribution vraie -- il s'agit d'informations mutuelles ou d'entropie relative, par exemple, minimiser l'entropie croisée dans cnn ou minimiser la distorsion fonction / distance en régression linéaire..
en outre, vous ne construirez pas une communication utile ou un système en réseau sans une analyse théorique de la capacité et des propriétés du canal.
au fond, cela peut sembler théorique, mais c'est au cœur de l'ère de la communication actuelle.
pour obtenir un point de vue plus élaboré sur ce que je veux dire, je vous invite à regarder cette conférence ISIT: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s par Prof David TSe