b'\n_START_ARTICLE_\nEntropie informa\xc8\x9bional\xc4\x83\n_START_PARAGRAPH_\n\xc3\x8en teoria informa\xc8\x9biei, entropia Shannon sau entropia informa\xc8\x9bional\xc4\x83 m\xc4\x83soar\xc4\x83 incertitudinea asociat\xc4\x83 cu o variabil\xc4\x83 aleatoare. Aceast\xc4\x83 m\xc4\x83sur\xc4\x83 indic\xc4\x83 \xc8\x99i cantitatea de informa\xc8\x9bie con\xc8\x9binut\xc4\x83 \xc3\xaentr-un mesaj, exprimat\xc4\x83 de obicei \xc3\xaen bi\xc8\x9bi sau \xc3\xaen bi\xc8\x9bi pe simbol. C\xc3\xa2nd este exprimat\xc4\x83 \xc3\xaen bi\xc8\x9bi, ea reprezint\xc4\x83 lungimea minim\xc4\x83 pe care trebuie s\xc4\x83 o aib\xc4\x83 un mesaj pentru a comunica informa\xc8\x9bia._NEWLINE_Ea mai reprezint\xc4\x83 \xc8\x99i o limit\xc4\x83 absolut\xc4\x83 a celei mai bune compresii f\xc4\x83r\xc4\x83 pierderi aplicabil\xc4\x83 unor date comunicate: trat\xc3\xa2nd un mesaj ca pe o serie de simboluri, cea mai scurt\xc4\x83 reprezentare posibil\xc4\x83 a mesajului are lungimea egal\xc4\x83 cu entropia Shannon \xc3\xaen bi\xc8\x9bi pe simbol \xc3\xaenmul\xc8\x9bit\xc4\x83 cu num\xc4\x83rul de simboluri din mesajul original._NEWLINE_O aruncare a monezii are entropia de un bit. Dar, dac\xc4\x83 moneda nu este echilibrat\xc4\x83, atunci incertitudinea este mai mic\xc4\x83 (se \xc8\x99tie c\xc4\x83 exist\xc4\x83 o probabilitate mai mare ca ea s\xc4\x83 cad\xc4\x83 cu o anume parte a ei \xc3\xaen sus), \xc8\x99i astfel entropia Shannon este mai mic\xc4\x83. Un \xc8\x99ir lung de caractere repetate au entropia 0, deoarece fiecare caracter este previzibil. Entropia unui text \xc3\xaen limba englez\xc4\x83 este de 1,0 p\xc3\xa2n\xc4\x83 la 1,5 bi\xc8\x9bi pe liter\xc4\x83, . Echivalent, entropia Shannon m\xc4\x83soar\xc4\x83 media de con\xc8\x9binut informa\xc8\x9bional pe care receptorul o pierde atunci c\xc3\xa2nd nu cunoa\xc8\x99te valoarea variabilei aleatoare._NEWLINE_Conceptul a fost introdus de Claude Shannon \xc3\xaen lucrarea sa din 1948 \xe2\x80\x9eO teorie matematic\xc4\x83 a comunica\xc8\x9biei\xe2\x80\x9d.\n_START_SECTION_\nExemplu\n_START_PARAGRAPH_\nPresupunem evenimentul arunc\xc4\x83rii unui zar cu 6 fe\xc8\x9be. Valorile variabilei X sunt {1,2,3,4,5,6} iar probabilit\xc4\x83\xc8\x9bile ob\xc8\x9binerii oric\xc4\x83rei valori sunt egale. Entropia este: ._NEWLINE_Pentru o popula\xc8\x9bie discret\xc4\x83 cu valorile {1,2,3,4,5,6} cu probabilit\xc4\x83\xc8\x9bile respectiv {3%,16%,31%,31%,16%,3%} (aproximativ o distribu\xc8\x9bie binomial\xc4\x83 cu p=50%) entropia calculat\xc4\x83 este: . Incertitudinea s-a diminuat fa\xc8\x9b\xc4\x83 de exemplul precendent.\n_START_SECTION_\nSchimbarea de baz\xc4\x83\n_START_PARAGRAPH_\nEntropia poate fi calculat\xc4\x83 folosind diferite baze ale logaritmului. \xc3\x8enmul\xc8\x9birea logaritmilor are proprietatea: ._NEWLINE_Entropia calculat\xc4\x83 in baza  va fi egal\xc4\x83 cu  inmul\xc8\x9bit\xc4\x83 cu entropia calculat\xc4\x83 cu logaritm in baza 2.\n_START_SECTION_\nContinuitate\n_START_PARAGRAPH_\nEntropia este o func\xc8\x9bie continu\xc4\x83. Unei modificari infinitezimale a probabilit\xc4\x83\xc8\x9bilor corespunde o modificare asem\xc4\x83n\xc4\x83toare a entropiei.'