Comment calculer la quantité d'informations. Leçon d'informatique et de TIC "La quantité d'informations comme mesure de réduction de l'incertitude des connaissances. Détermination de la quantité d'informations." Approche alphabétique pour déterminer la quantité d'informations

Quantité d'informations(de l'anglais information content) - une mesure d'information communiquée par la survenance d'un événement d'une certaine probabilité ; une mesure d'évaluation des informations contenues dans le message ; une mesure caractérisant la réduction de l'incertitude contenue dans une variable aléatoire par rapport à une autre.
En 1928, l'ingénieur américain R. Hartley considérait le processus d'obtention d'informations comme la sélection d'un message parmi un ensemble fini prédéterminé de N messages équiprobables, et la quantité d'informations I contenue dans le message sélectionné était définie comme le logarithme binaire N. I = log 2 N En 1948, le scientifique américain Claude Shannon a proposé une autre formule pour déterminer la quantité d'informations, en tenant compte de l'éventuelle inégalité des probabilités des messages dans l'ensemble.
I = ― (p 1 log 2 p 1 + p 2 log 2 p 2 + . . . + p N log 2 p N) = Н, où p i est la probabilité que le i-ième message soit sélectionné dans un ensemble de N messages , et N est l'entropie de l'information, qui caractérise le degré d'incertitude de l'état de la source, le degré de chaos. L'incertitude est réduite lorsque le message est reçu, c'est-à-dire recevoir des informations. Par conséquent, les informations reçues, en moyenne par symbole de la source du message, quantifient le degré de réduction de l'incertitude.
Il est facile de voir que si les probabilités p i , ..., p N sont égales, alors chacune d’elles est égale à 1/N, et la formule de Shannon se transforme en formule de Hartley.
Claude Shannon a proposé de prendre un bit comme unité d'information. dans la théorie de l'information, il s'agit de la quantité d'informations nécessaires pour distinguer deux messages également probables (tels que « face » - « face », « pair » - « impair », etc.). En informatique, un bit est la plus petite « partie » de la mémoire de l’ordinateur nécessaire pour stocker l’un des deux caractères « 0 » et « 1 » utilisés pour représenter les données et les commandes en interne.
Un bit est une unité de mesure trop petite. Dans la pratique, une unité plus grande est plus souvent utilisée - un octet, égal à huit bits. Ce sont précisément huit bits qui sont nécessaires pour coder l'un des 256 caractères de l'alphabet du clavier de l'ordinateur (256 = 2 8).
Des unités d’information dérivées encore plus grandes sont également largement utilisées :
■ 1 kilo-octet (Ko) = 1 024 octets = 2 à 10 octets,
■ 1 mégaoctet (Mo) = 1 024 Ko = 2 à 20 octets,
■ 1 Gigaoctet (Go) = 1 024 Mo = 2 à 30 octets.
Récemment, en raison de l'augmentation du volume d'informations traitées, des unités dérivées telles que :
■ 1 téraoctet (To) = 1 024 Go = 2 à 40 octets,
■ 1 pétaoctet (PB) = 1 024 To = 2 à 50 octets.
Par unité d'information, on pourrait choisir la quantité d'informations nécessaire pour distinguer, par exemple, dix messages équiprobables. Ce ne sera pas une unité d’information binaire (bit), mais décimale (dit).

Sources utilisées :
1. Gourov I.P. Théorie de l'information et de la transmission du signal ;
2. Chautsukova L.Z. Informatique 10 - 11 ;
3. glossaire.ru.

Le matériel est développé pour 2 leçons jumelées.

Objectifs de la leçon : Développer la compréhension des élèves sur la probabilité, les événements également probables et les événements avec des probabilités différentes. Apprenez à trouver la quantité d'informations en utilisant une approche probabiliste. Créez un modèle d'information dans Excel pour automatiser le processus de calcul dans les problèmes de recherche de la quantité d'informations à l'aide de la formule de Shannon.

Exigences de connaissances et de compétences :

Les étudiants doivent savoir :

• quels événements sont également probables et lesquels ne le sont pas ;
• comment trouver la probabilité d'un événement ;
• comment trouver la quantité d'informations dans un message indiquant que l'un des événements inégalement probables s'est produit ;
• comment trouver la quantité d'informations dans un message lorsque des événements possibles ont des probabilités d'occurrence différentes.

Les étudiants doivent être capables de :

• faire la distinction entre les événements également probables et inégalement probables ;
• trouver la quantité d'informations dans le message selon lesquelles l'un des événements également probables ou l'un des événements non équiprobables s'est produit ;
• créer un modèle d'information pour automatiser le processus de résolution des problèmes de recherche de quantité d'informations à l'aide de programmes d'application.

Équipement: tableau, ordinateur, projecteur multimédia, fiches de tâches, fiches de rappel, matériel de référence.

Leçon 1. Approche probabiliste pour déterminer la quantité d'informations. La formule de Shannon

Progression de la leçon

I. Moment organisationnel.

II. Vérification des devoirs.

III. Fixer l'objectif de la leçon.

Tâche: Quel message contient plus d'informations ?

• Répondre: 3 bits)
• Vasya a reçu une note de 4 à l'examen (les unités ne sont pas attribuées selon le système à 5 points). ( Répondre: 2 bits)
• Répondre: 1 peu.)
• Grand-mère a préparé 8 tartes au chou et 16 tartes à la confiture. Masha a mangé une tarte.

Les élèves résolvent les trois premières options sans difficulté. Les événements sont également probables, nous pouvons donc appliquer la formule de Hartley pour les résoudre. Mais la troisième tâche est problématique. Diverses hypothèses sont émises. Le rôle de l'enseignant : faire comprendre aux élèves que dans la quatrième option nous sommes confrontés à une situation où les événements sont inégalement probables. Toutes les situations n’ont pas la même probabilité de se produire. Il existe de nombreuses situations de ce type dans lesquelles les probabilités de réalisation diffèrent. Par exemple, s’ils lancent une pièce asymétrique ou la « règle du sandwich ».

Aujourd'hui, dans la leçon, nous devons répondre à la question : comment calculer la quantité d'informations dans un message sur un événement inégal.

IV. Explication du nouveau matériel.

Pour calculer la quantité d'informations dans un message concernant un événement inégal, utilisez la formule suivante : Je = journal 2 (1/ p)

Où je est la quantité d'informations r – probabilité d'un événement.

La probabilité d'un événement est exprimée en fractions d'unité et se calcule à l'aide de la formule : p= K/ N,

Où À– une valeur indiquant combien de fois l’événement qui nous intéresse s’est produit, N– le nombre total de résultats possibles d’un processus.

Revenons à notre tâche.

Laisser K1– c'est le nombre de tartes à la confiture, K1 =24

K2– nombre de tartes au chou, K2 =8

N– nombre total de tartes, N = K1 + K2 =24+8=32

Calculons la probabilité de choisir une tarte avec différentes garnitures et la quantité d'informations obtenues.

Probabilité de choisir une tarte avec de la confiture : p1 =24/32=3/4=0,75.

Probabilité de choisir une tarte au chou : p2 =8/32=1/4=0,25.

Nous attirons l'attention des élèves sur le fait que toutes les probabilités totalisent 1.

Calculons la quantité d'informations contenues dans le message selon lequel Masha a choisi une tarte à la confiture : je 1 =journal 2 (1/p1)=journal 2 (1/0,75)=journal 2 1,3=1,15470 peu.

Calculons la quantité d'informations contenues dans le message si une tarte au chou a été sélectionnée : je 2 =journal 2 (1/p2)=journal 2 (1/0,25)=journal 2 4=2 peu.

Explication : Si les élèves ne savent pas comment calculer la valeur d'une fonction logarithmique, les techniques suivantes peuvent être utilisées pour résoudre les problèmes de cette leçon :

• Donnez des réponses approximatives en posant aux élèves la question suivante : « À quelle puissance faut-il élever le nombre 2 pour obtenir un nombre sous le signe du logarithme ?
• Appliquez le tableau du livre-atelier à problèmes édité par Semakin I.G. etc.

Annexe 1. « La quantité d'informations dans un message sur l'un des N événements également probables : I = log 2 N. » ( Vous pouvez obtenir le dossier de candidature auprès de l'auteur de l'article.)

En comparant les résultats du calcul, on obtient la situation suivante : la probabilité de choisir une tarte avec de la confiture est plus grande qu'avec du chou, mais il y a moins d'informations. Ce n’est pas un accident, mais un modèle.

La relation qualitative entre la probabilité d'un événement et la quantité d'informations dans un message sur cet événement peut être exprimée comme suit : Plus la probabilité d'un événement est faible, plus le message sur cet événement contient d'informations.

Revenons à notre problème avec les tartes. Nous n'avons pas encore répondu à la question : combien d'informations recevrons-nous lors du choix d'une tarte, quelle qu'elle soit ?

La formule de calcul de la quantité d'informations pour des événements avec des probabilités différentes, proposée en 1948 par l'ingénieur et mathématicien américain K. Shannon, nous aidera à répondre à cette question.

Si je- quantité d'informations, N- le nombre d'événements possibles, p je- probabilités d'événements individuels, où i prend des valeurs de 1 à N, alors la quantité d'informations pour des événements avec des probabilités différentes peut être déterminée par la formule :

La formule peut s'écrire comme suit :

Regardons la formule en utilisant notre exemple :

I = - (р 1 ∙log 2 p 1 + р 2 ∙log 2 p 2)= - (0,25∙ log 2 0,25+0,75∙ log 2 0,75)≈-(0,25∙ (-2)+0,75∙(-0,42 ))=0,815 bits

Maintenant, vous et moi pouvons répondre à la question de la tâche posée au début de la leçon. Quel message contient plus d'informations ?

1. La bibliothèque dispose de 8 armoires. Le livre a été retrouvé dans le 3ème meuble ; ( Répondre: 3 bits)
2. Vasya a reçu 3 points à l'examen (ceux ne sont pas attribués selon le système à 5 points). ( Répondre: 2 bits)
3. Grand-mère a préparé 12 tartes au chou et 12 tartes à la confiture. Masha a mangé une tarte. ( Répondre: 1 peu.)
4. Grand-mère a préparé 8 tartes au chou et 16 tartes à la confiture. Masha a mangé une tarte. ( Répondre: 0,815 bits)

Répondre: dans 1 message.

Faites attention aux tâches 3 et 4. Comparez la quantité d’informations.

Nous voyons que la quantité d'informations atteint sa valeur maximale si les événements sont également probables.

Il est intéressant de noter que les formules de la théorie classique de l'information que nous étudions ont été développées à l'origine pour des systèmes de communication techniques conçus pour servir l'échange d'informations entre les personnes. Le fonctionnement de ces systèmes est déterminé par les lois de la physique, c'est-à-dire lois du monde matériel. La tâche d'optimisation du fonctionnement de tels systèmes nécessitait avant tout de résoudre le problème de la quantité d'informations transmises via les canaux de communication. Il est donc tout à fait naturel que les premiers pas dans cette direction aient été faits par les employés de Bell Telephon Company - H. Nyquist, R. Hartley et K. Shannon. Les formules ci-dessus ont servi de base à K. Shannon pour calculer la capacité des canaux de communication et l'entropie des sources de messages, pour améliorer les méthodes de codage et de décodage des messages, pour sélectionner des codes résistants au bruit, ainsi que pour résoudre un certain nombre d'autres problèmes liés à l’optimisation du fonctionnement des systèmes techniques de communication. L’ensemble de ces idées, appelé par K. Shannon « théorie mathématique de la communication », constitue la base de la théorie classique de l’information. ( Du matériel supplémentaire peut être trouvé sur le site Webhttp://polbu.ru/korogodin_information ou en lisant un livreV.I. Korogodine, V.L. Korogodina. L'information comme base de la vie. La formule de Shannon.)

Est-il possible d'appliquer la formule de K. Shannon pour des événements équiprobables ?

Si p 1 =p 2 =..=p n =1/N, alors la formule prend la forme :

On voit que la formule de Hartley est un cas particulier de la formule de Shannon.

V. Consolidation de la matière étudiée.

Tâche: Il y a 32 pelotes de laine rouge et noire dans le panier. Parmi eux se trouvent 4 pelotes de laine rouge.

Quelle quantité d’informations le message selon lequel vous avez trouvé une pelote de laine rouge véhicule-t-il ? Quelle quantité d’informations le message selon lequel vous avez obtenu une pelote de laine de n’importe quelle couleur véhicule-t-il ?

Donné: Kk =4;N=32

Trouver: Je, je

Solution:

Répondre: I k =3 bits ; I=0,547 bits

VI. Résumer la leçon.

• Expliquez avec des exemples précis la différence entre un événement également probable et un événement inégalement probable ?
• Quelle formule est utilisée pour calculer la probabilité d’un événement ?
• Expliquer la relation qualitative entre la probabilité d'un événement et la quantité d'informations contenues dans un rapport sur cet événement.
• Dans quels cas la formule de Shannon est-elle utilisée pour mesurer la quantité d'informations.
• Dans quel cas la quantité d’informations sur un événement atteint-elle sa valeur maximale ?

Leçon 2. Application de ET Excellerpour résoudre les problèmes de recherche de la quantité d'informations

Explication: Lorsqu'ils ont résolu des problèmes pour trouver la quantité d'informations, les élèves n'ont pas calculé la valeur du logarithme, car Je ne connais pas la fonction logarithmique. La leçon a été structurée de cette manière : d'abord, des problèmes similaires ont été résolus à l'aide de formules, puis un modèle tabulaire a été développé dans Excel, où les étudiants ont effectué des calculs. A la fin de la leçon, les réponses aux problèmes ont été annoncées.

Progression de la leçon

je. Fixer des objectifs de cours

Dans cette leçon, nous allons résoudre des problèmes pour trouver la quantité d'informations dans un message sur des événements inégalement probables et automatiser le processus de calcul de problèmes de ce type.

Pour résoudre les problèmes de recherche de probabilité et de quantité d'informations, nous utilisons les formules que nous avons dérivées dans la leçon précédente :

r je = Ki/N ; je je =log 2 (1/p je);

II. Résolution de problèmes.

Les étudiants reçoivent une liste de problèmes qu'ils doivent résoudre.

Les problèmes sont résolus uniquement par des dérivations de formules, sans calculs.

Tâche n°1

Le lac abrite 12 500 perches, 25 000 ménés et 6 250 carassins et brochets. Quelle quantité d'informations un message sur la capture de poissons de chaque espèce véhicule-t-il ? Quelle quantité d’informations obtiendrons-nous lorsque nous attraperons du poisson ?

Donné: Ko = 12 500 ; K p = 25 000 ; Kk = Ksch =6250

Trouver: jeÔ, jen, jeÀ, jesch, je

Solution:

1. Trouvons le nombre total de poissons : N = K o + K p + K k + K sch.
2. Trouvons la probabilité d'attraper chaque type de poisson : p Ô = K o / N ; p n = K p / N ; p À = p sch = K k / N .
3. Retrouvons la quantité d'informations sur la pêche pour chaque type de poisson : je Ô = enregistrer 2 (1/ p Ô ); je n = enregistrer 2 (1/ p n ); je À = je sch = enregistrer 2 (1/ p À )
4. Retrouvons la quantité d'informations sur la pêche de tout type de poisson : je = p Ô ∙ enregistrer 2 p Ô + p n ∙ enregistrer 2 p n + p À ∙ enregistrer 2 p À + p sch ∙ enregistrer 2 p sch

III. Explication du nouveau matériel.

Une question est posée aux étudiants :

1. Quelles difficultés surviennent lors de la résolution de problèmes de ce type ? ( représentant: Calcul des logarithmes).

2. Est-il possible d'automatiser le processus de résolution de ces problèmes ? ( représentant: possible, parce que L'algorithme de calcul dans ces problèmes est le même).

3. Quels programmes sont utilisés pour automatiser le processus informatique ? ( Répondre: ET Excel).

Essayons de créer un modèle tabulaire pour calculer des problèmes de ce type.

Nous devons décider de ce que nous allons calculer dans le tableau. Si vous examinez attentivement les problèmes, vous verrez que dans certains problèmes, vous devez calculer uniquement la probabilité des événements, dans d'autres, la quantité d'informations sur les événements qui se produisent ou la quantité d'informations sur un événement en général.

Nous ferons universel un tableau dans lequel il vous suffit de saisir les données de la tâche et les résultats seront calculés automatiquement.

La structure du tableau est discutée avec les élèves. Le rôle de l'enseignant est de résumer les réponses des élèves.

Lors de l'élaboration du tableau, nous devons prendre en compte :

1. Saisie des données (comme indiqué dans la condition).
2. Calcul du nombre total de résultats possibles (formule N=K 1 +K 2 +…+K i).
3. Calcul de la probabilité de chaque événement (formule p i = K i /N).
4. Calcul de la quantité d'informations sur chaque événement survenu (formule I i = log 2 (1/p i)).
5. Calculer la quantité d'informations pour des événements avec différentes probabilités (formule de Shannon).

Avant de montrer comment remplir le tableau, l'enseignant répète les règles de saisie des formules, des fonctions et de l'opération de copie (devoir pour cette leçon).

Lorsque vous remplissez le tableau, il montre comment saisir une fonction logarithmique. Pour gagner du temps, l'enseignant présente un tableau tout fait et donne aux élèves des cartes de rappel pour remplir le tableau.

Voyons comment remplir le tableau en utilisant la tâche n°1 comme exemple.

Riz. 1. Mode d'affichage de la formule

Riz. 2. Affichage des résultats des calculs

Écrivez les résultats des calculs dans votre cahier.

Si le nombre d'événements dans les tâches à résoudre est supérieur ou inférieur, vous pouvez ajouter ou supprimer des lignes dans le tableau.

VI. Travaux pratiques.

1 . Créez un modèle tabulaire pour calculer la quantité d'informations.

2 . A l'aide du modèle tabulaire, effectuez les calculs pour la tâche n°2 (Fig. 3), notez le résultat du calcul dans un cahier.

Riz. 3

3 . A l'aide d'un tableau modèle, résolvez les problèmes n°3, 4 (Fig. 4, Fig. 5), notez la solution dans un cahier.

Riz. 4

Tâche n°2

Il y a 30 personnes dans la classe. Pour le test d'informatique, j'ai obtenu 15 A, 6 B, 8 C et 1 D'. Quelle quantité d'informations est véhiculée par le message selon lequel Andreev a reçu un A ?

Tâche n°3

La boîte contient des cubes : 10 rouges, 8 verts, 5 jaunes, 12 bleus. Calculez la probabilité d'obtenir un cube de chaque couleur et la quantité d'informations qui seront obtenues.

Tâche n°4

Un sachet opaque contient 10 boules blanches, 20 rouges, 30 bleues et 40 vertes. Quelle quantité d'informations sera contenue dans le message visuel sur la couleur de la balle retirée ?

VII. Résumer la leçon.

L'enseignant évalue le travail de chaque élève. Non seulement les travaux pratiques sur ordinateur sont évalués, mais également l'exécution de la solution au problème dans un cahier.

VIII.Devoirs.

1. Paragraphe du manuel « Shannon’s Formula », atelier informatique après le paragraphe.

2. Montrer que la formule de Hartley est un cas particulier de la formule de Shannon.

Littérature:

1. Sokolova O.L. « Développements de leçons universelles en informatique. 10e année." – M. : VAKO, 2007.
2. Ougrinovitch N.D. « Informatique et TIC. Niveau profil. 10e année" - Binom, Laboratoire de Connaissances, 2007
3. Semakin I.G., Henner E.K. « Informatique. Livre de problèmes - atelier." Tome 1, - Binom, Laboratoire de Connaissances, 2008

Nous sommes tous habitués au fait que tout ce qui nous entoure peut être mesuré. Nous pouvons déterminer la masse du colis, la longueur de la table et la vitesse de la voiture. Mais comment déterminer la quantité d’informations contenues dans un message ? La réponse à la question est dans l'article.

Alors sélectionnons d'abord un message. Qu'il en soit ainsi" Une imprimante est un périphérique de sortie d'informations.". Notre tâche est de déterminer la quantité d'informations contenues dans un message donné. En d’autres termes, quelle quantité de mémoire est nécessaire pour le stocker.

Déterminer la quantité d'informations dans un message

Pour résoudre le problème, nous devons déterminer la quantité d’informations contenue dans un caractère de message, puis multiplier cette valeur par le nombre de caractères. Et si nous pouvons compter le nombre de caractères, alors le poids du caractère doit être calculé. Pour ce faire, calculons le nombre divers caractères dans le message. Permettez-moi de vous rappeler que les signes de ponctuation et les espaces sont aussi des symboles. De plus, si un message contient la même lettre minuscule et majuscule, nous les comptons comme deux caractères différents. Commençons.

En un mot Imprimante 6 symboles différents ( r apparaît deux fois et est compté une fois), puis le 7ème caractère espace et le neuvième - tiret. Puisqu’il y avait déjà un espace, on ne le compte pas après le tiret. En un mot appareil 10 caractères, mais 7 différents, puisque les lettres Avec, T Et Ô sont répétés. De plus, des lettres T Et rétait déjà dans le mot Imprimante. Il s'avère donc que dans le mot appareil 5 divers symboles. En comptant plus loin de cette manière, nous obtenons qu'il y a 20 caractères différents dans le message.

2 je =N

En le remplaçant à la place N le nombre de symboles différents, nous découvrons la quantité d'informations qu'un symbole contient en bits. Dans notre cas, la formule ressemblera à ceci :

2 je =20

Rappelons et comprenons que i est compris entre 4 et 5 (puisque 2 4 =16 et 2 5 =32). Et comme le bit est minimal et ne peut pas être fractionnaire, nous arrondissons i à 5. Sinon, si nous supposons que i = 4, nous ne pouvons coder que 2 4 = 16 caractères, et nous en avons donc 20. =5, c'est-à-dire que chaque caractère de notre message transporte 5 bits d'information.

Il ne reste plus qu'à compter le nombre de caractères dans notre message. Mais maintenant nous allons compter tous les personnages, peu importe qu’ils soient répétés ou non. On comprend que le message est composé de 39 caractères. Et comme chaque caractère représente 5 bits d'information, en multipliant 5 par 39 on obtient :

5 bits x 39 caractères = 195 bits

C'est la réponse à la question du problème : le message contient 195 bits d'information. Et, pour résumer, on peut écrire algorithme pour trouver la quantité d'informations dans un message:

• compter le nombre de symboles différents.
• En remplaçant cette valeur dans la formule 2i=N, trouvez le poids d'un symbole (arrondi au supérieur)
• comptez le nombre total de caractères et multipliez ce nombre par le poids d'un caractère.