Kullback-Leibler-Divergenz
De Begriffe Kullback-Leibler-Divergenz (KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information oda Kullback-Leibler-Obstond (noch Solomon Kullback und Richard Leibler) bezeichna a Moß fia de Untaschiedlichkeit vo zwoa Woahscheinlichkeitsvateilunga van sejm Eaeignishorizont. Tipischaweise representiad P Beobochtunga oda a präzise Woahscheinlichkeitsvateilung, weahnd Q a Modej oda a Approximazion doastejd.

De KL-Divergenz wead aa: relative Entropie gnennd, wobei da Begriff relative Entropie teiweis aa fia de Transinformazion vawendd wead.

Formoi lossd se de KL-Divergenz fia de Woahscheinlichkeitsfunkziona  und  diskreta Weate foingdamoßn bstimma:

Beleg 

 
 
 

Statistik
Informationstheorie