Les questions composant ce test ont pour objet de vérifier que vous avez correctement assimilé certaines notions de base du cours de théorie de l'information. Le principe de "notation" associé aux questions consiste à attribuer (resp soustraire) un point à une réponse juste (resp fausse). L'absence de réponse se traduit par "0". La "note" finale est arrondie au demi point supérieur, mais ne tient pas compte de la difficulté des questions : certaines réponses ne demandent que peu de reflexion tandis que d'autres nécessitent des développements plus complexes. Le nombre (1 à 4) d'étoiles (*) attribué à chaque question est proportionnel à son degré de difficulté.



INCERTITUDE ET INFORMATION LIEES A LA REALISATION D'EVENEMENTS

On extrait au hasard et sans remise deux cartes d'un jeu de 52.

Quelle est, en bits, l'incertitude liée à l'obtention :
du roi de coeur?

(question 1 *)

1,70

2,70

3,70

4,70

d'au moins un coeur?

(question 2 *)

0,18

0,80

1,18

1,80

Quelle est, en bits, l'information apportée par le fait de savoir qu'au moins un trèfle figure parmi les deux cartes sur l'éventualité d'avoir exactement un coeur?

(question 3 **)

-0,404

0

0,404

1,04

1,40

Les événements "obtenir au moins un trèfle" et "obtenir exactement un coeur" sont-ils indépendants?

(question 4 *)

oui

non

Pourquoi?


ENTROPIE

L'entropie d'une variable aléatoire à trois valeurs possibles est toujours supérieure à l'entropie d'une variable à deux valeurs possibles :

(question 5 **)

oui

non

L'entropie d'une source binaire sans mémoire équidistribuée est (en bits) :

(question 6 *)

0

0,5

1

2

L'entropie d'une source binaire avec mémoire est :

(question 7 *)

<1 bit

>1 bit

CODES

Le code {0,111,10} est préfixe :

(question 8 *)

oui

non

Le code {0,01,11} est uniquement déchiffrable :

(question 9 *)

oui

non

On peut associer un code préfixe équivalent (en termes de distribution des longueurs) au code {1,11,101,010,0000} :

(question 10 **)

oui

non

CODAGE DE SOURCE SANS PERTE D'INFORMATION

On considère une source quaternaire sans mémoire S d'entropie par symbole 1,5 bit et de débit symbole égal à 1000 symboles par seconde.

Quel est, en bits par seconde, le débit binaire minimum de la nouvelle source obtenue à partir de S par un code binaire de longueur fixe?

(question 11 *)

500

1000

2000

4000

Existe-t-il un code binaire uniquement déchiffrable permettant d'obtenir un débit binaire moyen inférieur à 1400 bits/sec?

(question 12 **)

oui

non

On se propose d'appliquer un codage de Huffman sur l'extension d'ordre n de S afin d'obtenir un débit binaire moyen ne dépassant pas 1600 bits/sec. Quelle doit être la valeur minimum de n pour être sûr, a priori, de satisfaire cette condition?

(question 13 **)

4

6

8

10

12

14

Un codage de source a pour effet de :

(question 14 *)

réduire le débit symbole

augmenter le débit symbole

Après un codage de source, le débit d'entropie de la nouvelle source ainsi obtenue est :

(question 15 *)

supérieur au débit d'entropie initial

égal au débit d'entropie initial

inférieur au débit d'entropie initial

CAPACITE D'UN CANAL

La capacité (en bits) du canal représenté ci dessous

est :
(question 16 *)

1	1,5	1,585	2

La capacité (en bits) du canal représenté ci dessous

est :
(question 17 ***)

1	1,5	1,585	2

La capacité (en bits) du canal représenté ci dessous

est :
(question 18 ***)

1,12	1,23	1,31	1,52

On considère un canal à 2⁸ entrées et 2⁸ sorties. L'alphabet commun aux symboles d'entrée et de sortie correspond aux mots binaires de longueur 8. Ce canal modélise un système de transmission pour lequel le mot reçu diffère du mot émis par un et un seul élément binaire, mais on ne sait pas lequel, chacun des huit bits ayant la même probabilité d'être erroné.
Quelle est la capacité, en bits, de ce canal? (d'après David Mac Kay)

(question 19 ****)

3	4	5	6	7

L'entropie d'une source S est de 2,70 bits et son débit symbole de 1000 symboles 8-aires par seconde. On souhaite transmettre le contenu de S par le biais d'un canal binaire symétrique de probabilité d'erreur égale à 0,001. Le débit d'utilisation de ce canal ne doit pas dépasser 3000 éléments binaires par seconde. Est-il possible, si on utilise les moyens appropriés, de transmettre le contenu de S avec une probabilité aussi petite que souhaitée?

(question 20 **)

oui

non

		Votre note : /20

	Vos réponses	Les bonnes réponses	Votre score
Question 1
Question 2
Question 3
Question 4
Question 5
Question 6
Question 7
Question 8
Question 9
Question 10
Question 11
Question 12
Question 13
Question 14
Question 15
Question 16
Question 17
Question 18
Question 19
Question 20

Cette page a été réalisée par Marc Uro
avec l'aide de Yann Meurisse.
Derniére mise à jour le 27 mars 2003.