b'\n_START_ARTICLE_\nEntropia de Shannon\n_START_PARAGRAPH_\nL\'entropia de Shannon, (formulada per Claude Shannon) \xc3\xa9s una funci\xc3\xb3 matem\xc3\xa0tica que intu\xc3\xaftivament es correspon amb la quantitat d\'informaci\xc3\xb3 continguda o lliurada per una font d\'informaci\xc3\xb3. Aquesta font pot ser un text escrit en un idioma determinat, un senyal el\xc3\xa8ctric, un fitxer d\'ordinador o qualsevol (col\xc2\xb7lecci\xc3\xb3 de bytes). Des del punt de vista d\'un receptor, com m\xc3\xa9s informaci\xc3\xb3 diferent emet la font, m\xc3\xa9s gran \xc3\xa9s l\'entropia (o incertesa sobre el que emet la font), i viceversa. Com m\xc3\xa9s informaci\xc3\xb3 rep el receptor  sobre el missatge transm\xc3\xa8s, m\xc3\xa9s disminueix l\'entropia (incertesa) respecte aquest missatge, per ra\xc3\xb3 d\'aquest augment d\'informaci\xc3\xb3. La definici\xc3\xb3 d\'entropia de Shannon \xc3\xa9s tal que com m\xc3\xa9s redundant sigui la font, menys informaci\xc3\xb3 cont\xc3\xa9. En abs\xc3\xa8ncia de restriccions particulars, l\'entropia \xc3\xa9s m\xc3\xa0xima per a una font en la que tots els s\xc3\xadmbols s\xc3\xb3n igualment probables (equiprobables).\n_START_SECTION_\nDescripci\xc3\xb3\n_START_PARAGRAPH_\nEn el cas particular d\'un sistema de Telecomunicacions, l\'entropia de la font d\'informaci\xc3\xb3 (l\'emissor) indica la incertesa del receptor respecte del que la font transmetr\xc3\xa0. Per exemple, una font que es considera que sempre envia el mateix s\xc3\xadmbol, per exemple, la lletra "a", t\xc3\xa9 una entropia zero, \xc3\xa9s a dir, m\xc3\xadnima. De fet, un receptor que coneix nom\xc3\xa9s les estad\xc3\xadstiques de transmissi\xc3\xb3 de la font assegura que el s\xc3\xadmbol seg\xc3\xbcent ser\xc3\xa0 un "a", sense por d\'equivoca-se. El receptor no necessita rebre cap senyal per eliminar la incertesa sobre el que ha transm\xc3\xa8s la font. D\'altra banda, si es considera que la font envia una "a" la meitat de temps i una "b" l\'altra meitat, el receptor no est\xc3\xa0 segur que el seg\xc3\xbcent car\xc3\xa0cter a rebre sigui una "a". L\'entropia de la font en aquest cas, per tant, no \xc3\xa9s zero (\xc3\xa9s positiva) i representa quantitativament la incertesa que reina sobre la informaci\xc3\xb3 que emana de la font. Des del punt de vista del receptor, l\'entropia indica la quantitat d\'informaci\xc3\xb3 que necessita obtenir per eliminar completament la incertesa (o dubte) sobre el que ha transm\xc3\xa8s la font.\n_START_SECTION_\nHist\xc3\xb2ria\n_START_PARAGRAPH_\nEl 1948, mentre treballava a Bell Laboratories , l\'enginyer el\xc3\xa8ctric Claude Shannon va formalitzar matem\xc3\xa0ticament la naturalesa estad\xc3\xadstica de la "informaci\xc3\xb3 perduda" en senyals de l\xc3\xadnia telef\xc3\xb2nica. Per aix\xc3\xb2, va desenvolupar el concepte general d\'entropia de la informaci\xc3\xb3, fonamental en la seva teoria de la informaci\xc3\xb3._NEWLINE_Inicialment, no sembla que Shannon tingu\xc3\xa9s especial coneixement de l\'estreta relaci\xc3\xb3 entre la seva nova mesura i el treball anterior en termodin\xc3\xa0mica . El terme entropia va ser suggerit pel matem\xc3\xa0tic John von Neumann per la ra\xc3\xb3 que aquesta noci\xc3\xb3 s\'assemblava a la que ja es coneixia com a entropia en f\xc3\xadsica estad\xc3\xadstica, i podia afegir, per triomfar en qualsevol debat, que aquest terme s\'havia ent\xc3\xa8s malament ._NEWLINE_El 1957, Edwin Thompson Jaynes demostr\xc3\xa0 el vincle formal entre l\'entropia macrosc\xc3\xb2pica introdu\xc3\xafda per Clausius el 1847, la microsc\xc3\xb2pica introdu\xc3\xafda per Gibbs i l\'entropia matem\xc3\xa0tica de Shannon. Aquest descobriment va ser descrit per Myron Tribus com una "revoluci\xc3\xb3 passada desapercebuda".\n_START_SECTION_\nPre\xc3\xa0mbul\n_START_PARAGRAPH_\nA principis de la d\xc3\xa8cada de 1940, les telecomunicacions estaven dominades per anal\xc3\xb2gics . La transmissi\xc3\xb3 de r\xc3\xa0dio i televisi\xc3\xb3 es van basar en modulacions cont\xc3\xadnues com la modulaci\xc3\xb3 d\'amplitud (AM) i la modulaci\xc3\xb3 de freq\xc3\xbc\xc3\xa8ncia (FM). Els sons i les imatges es transformen en senyals el\xc3\xa8ctrics l\'amplitud i / o freq\xc3\xbc\xc3\xa8ncia dels quals s\xc3\xb3n funcions cont\xc3\xadnues, de vegades proporcionals, al senyal d\'entrada. En el cas del so, es mesura amb un micr\xc3\xb2fon el fenomen de la pressi\xc3\xb3 i la depressi\xc3\xb3 que viatgen a l\'aire. En el cas de la televisi\xc3\xb3, la blancor de la imatge (la seva brillantor) \xc3\xa9s el principal senyal d\'inter\xc3\xa8s. Aquest procediment implica que el soroll afegit durant la transmissi\xc3\xb3 produeix una degradaci\xc3\xb3 de el senyal rebut. L\'arquetip d\'aquest tipus de soroll pren la forma de xerraire de r\xc3\xa0dio i neu per a la televisi\xc3\xb3. La modulaci\xc3\xb3 anal\xc3\xb2gica implica l\'\xc3\xbas de nombres reals la dilataci\xc3\xb3 decimal \xc3\xa9s infinita per representar informaci\xc3\xb3 (pressi\xc3\xb3 sonora, intensitat de la llum, etc.). Un soroll, per petit que sigui, tingui una conseq\xc3\xbc\xc3\xa8ncia directa en el senyal._NEWLINE_Els investigadors han adm\xc3\xa8s aix\xc3\xad que una manera efica\xc3\xa7 de protegir el soroll seria transformar el so i la imatge en nombres discrets, en lloc d\'utilitzar nombres reals la precisi\xc3\xb3 dels quals requereix un nombre infinit de d\xc3\xadgits. Per exemple, es podria utilitzar el n\xc3\xbamero 0 per representar la negrit total i el n\xc3\xbamero 10 per a un blanc perfecte, amb tots els enters entre els dos que representen nivells successius de gris. Si 11 nivells no semblen suficients, podem utilitzar el mateix m\xc3\xa8tode per a una divisi\xc3\xb3 d\'intensitats tan grans com sigui necessari per satisfer l\'ull. Es pot fer un raonament similar per al so i arribem a un punt on \xc3\xa9s possible representar una pel\xc2\xb7l\xc3\xadcula i la seva banda sonora amb una quantitat limitada d\'enters._NEWLINE_La transmissi\xc3\xb3 d\'aquests enters provoca el que anomenem comunicaci\xc3\xb3 digital. Si el soroll que parlem en el cas anal\xc3\xb2gic es considera en una transmissi\xc3\xb3 digital, es produiran errors quan aquest soroll \xc3\xa9s prou fort com per convertir un n\xc3\xbamero en un altre. En el cas anal\xc3\xb2gic, fins i tot un petit soroll es converteix en errors perceptibles. En digital, \xc3\xa9s poc probable que es produeixi un petit soroll per generar un error, per\xc3\xb2 el soroll pot, per\xc3\xb2, fer-ho. Els investigadors han pensat que un ha d\'acceptar acceptar que la comunicaci\xc3\xb3 perfecta era impossible. \xc3\x89s aquesta conjectura que va ser refutada per Shannon amb la seva teoria de la informaci\xc3\xb3. Va demostrar que era possible transmetre informaci\xc3\xb3 sense errors utilitzant una estrat\xc3\xa8gia de codificaci\xc3\xb3 digital mentre es consideri suficient una determinada velocitat de transmissi\xc3\xb3. Per error aqu\xc3\xad, significa la capacitat del receptor per restaurar el missatge original fins i tot si el missatge rebut \xc3\xa9s modificat pel soroll.\n_START_SECTION_\nEntropia d\'un text com\xc3\xba\n_START_PARAGRAPH_\nShannon proposa una manera senzilla de determinar l\'entropia d\'un text donat per a un receptor determinat: A t\xc3\xa9 el text i li demana a B que l\'endevini lletra per lletra (espais inclosos). si B endevina correctament la lletra, es compta 1 (perqu\xc3\xa8 A, mentre respon "s\xc3\xad" ,  transmet 1 bit d\'informaci\xc3\xb3). Si B s\'equivoca, se li d\xc3\xb3na la lletra correcta i es compta 4,75 (perqu\xc3\xa8 un car\xc3\xa0cter de 26 (\xc3\xa9s a dir, 27 - 1) representa 4.75 bits d\'informaci\xc3\xb3._NEWLINE_El m\xc3\xa8tode aplicat als texts dels diaris i als lectors normals mostra que es pot endevinar una lletra de dues, la redund\xc3\xa0ncia del llenguatge corrent t\xc3\xa9, per tant, un factor de 2, i el contingut informatiu d\'una lletra, en aquest context, \xc3\xa9s de tan sols 2,35 bits.\n_START_SECTION_\nUtilitat pr\xc3\xa0ctica\n_START_PARAGRAPH_\nL\'entropia de Shannon s\'utilitza en l\'electr\xc3\xb2nica digital per a digitalitzar una font utilitzant el m\xc3\xa0xim nombre possible de bits sense perdre informaci\xc3\xb3. Tamb\xc3\xa9 quantifica el nombre m\xc3\xadnim de bits en qu\xc3\xa8 es pot codificar un fitxer, mesurant aix\xc3\xad els l\xc3\xadmits que els algorismes de compressi\xc3\xb3 sense p\xc3\xa8rdua poden esperar aconseguir. Tamb\xc3\xa9 s\'utilitza en altres camps, com, per exemple, per a seleccionar el millor punt de vista d\'un objecte tridimensional.'