title: Informatietheorie
text: Informatietheorie is de wiskundige theorie die zich bezighoudt met het zo efficiënt en betrouwbaar mogelijk overdragen en opslaan van informatie via onbetrouwbare kanalen (media). Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied. Belangrijke resultaten van deze theorieën zijn Shannons broncoderings theorema en Shannons ruisig-kanaal (noisy- channel) coderings theorema. Informatietheorie is diep wiskundig van aard, en is verbonden met andere disciplines zoals regelsystemen, kunstmatige intelligentie, complexiteitstheorie, communicatietheorie, coderingstheorie, kansrekening, statistiek en cybernetica.
  
  Onbetrouwbaarheid van een kanaal, bijvoorbeeld behept met additieve ruis, kan er de oorzaak van zijn dat de ontvangen informatie niet gelijk is aan de verzonden informatie. We zeggen dan: het kanaal maakt fouten. Een belangrijk begrip in de informatietheorie is de kanaalcapaciteit. De kanaalcapaciteit van een onbetrouwbaar transmissiekanaal wordt gedefinieerd als de maximale hoeveelheid informatie die dat transmissiekanaal per tijdseenheid kan transporteren met arbitrair kleine foutenkans. 
  
  Andere kernbegrippen in de informatietheorie zijn:
  
  zelfinformatie en conditionele zelfinformatie
  entropie (gemiddelde verrassingswaarde), negentropie en conditionele entropie
  mutuele informatie
  
  Informatietheoretici 
  Bekende informatietheoretici zijn: 
   Claude Shannon (grondlegger van de informatietheorie)
   Andrei Kolmogorov
  
  Externe link 
   Achtergrond artikel over informatietheorie en datacompressie