Théorie de l’information et du codage

Objectifs de l’enseignement:

Introduction aux modèles probabilistes et à leurs principales propriétés. Formalisation de la notion d’information et introduction aux méthodes de codage de l’information utiles dans différents contextes

Connaissances préalables recommandées:

Calcul des probabilités, statistiques et algèbres.

Contenu de la matière :

La théorie de l’information fournit une mesure quantitative de la notion d’information apportée par un message (ou une observation). Cette notion fut introduite par Claude Shannon en 1948 afin d’étudier les limites du possible en matière de compression de données et de transmission d’informations au moyen de canaux bruités. Elle a trouvé depuis lors de nombreuses applications en télécommunications, en informatique et en statistique notamment. Le cours se compose de trois parties :

1. Les bases     de     la     théorie     de     l’information     et     du     raisonnement
2. Le grand théorème de Shannon (limites théoriques en matière de codage de source et de
3. Une introduction aux techniques de codage dans le domaine de la compression de données, des codes correcteurs d’erreurs et de la
4. Une revue de différentes applications de la théorie de l’information en dehors du domaine de l’informatique et des transmissions de données.

Mode d’évaluation : 60% examen et 40% travail personnel

Références:

• B. Ash, Information Theory, Dover Publications, Inc, New-York,1990.
• Battail, Théorie de l’Information. Application aux techniques de comunication, Masson, 1997.
• -P. Béal, Codage Symbolique, Masson, 1993.
• E. Blahut, Digital Transmission of Information, Addison Wesley,1990.
• Crochemore, C. Hancart, and Th. Lecroq, Algorithmique du Texte, Vuibert, Paris, 2001.