Wenn man in einer Liste von unabhängigen Zufallszahlen einige Zahlen zufällig ändert, kann man so eine Information kodieren, die man nur durch Vergleich mit der Originalliste entschlüsseln kann. Ändert sich dabei die Entropie der Liste?
Die Frage ist wenig sinnvoll, das liegt an einem Missverständnis über das Verhältnis zwischen der physikalischen und der Shannonschen Entropie (Information). Zwar gibt es einen festen Umrechnungsfaktor zwischen beiden, der aus der Einheit Joule je Kelvin die Einheit Bit zaubert, aber das kann man nur sinnvoll anwenden um zu berechnen, wieviel Information man zur vollständigen Beschreibung einer Ansammlung von Atomen benötigt.
Der beschriebene Fall in der Frage ist eine Anwendung von symmetrischer Steganografie
, das müssen ja nicht unbedingt Bilder sein. Bei Steganografie werden Daten in eine anderen Datenmenge versteckt. Kennen sowohl Sender als auch Empfänger die Originaldatenmenge, kann der Sender sie darin verstecken und der Empfänger sie durch Vergleich wieder ausfiltern.
Eine intuitiv besser verständliche Definition des Begriffs "Information" ist: "Neuigkeitswert einer Menge von Daten". Sowohl für den Sender als auch den Empfänger der Nachricht ist die ursprüngliche Menge an Zufallszahlen bereits bekannt. Der Neuigkeitswert ist null. Damit ist die Shannonsche Entropie trotz der "Zufalls"zahlen für Sender und Empfänger gleich null. Für einen dritten Beobachter ist sie hingegen groß, weil er die Folge nicht kennt.
Natürlich muss diese Folge zuvor an den Empfänger übermittelt werden, aber auch hier hängt die Menge der zu übertragenden Daten von dem Vorwissen des Senders und des Empfängers ab. Sind es "echte" Zufallszahlen bzw. kennen beide den zugrundeliegenden Algorithmus zur Erzeugung der (Pseudo)Zufallszahlen nicht, dann muss tatsächlich jede Zahl übermittelt werden. Ansonsten ist auch hier die Datenmenge viel kleiner: Der Algorithmus zu ihrer Erzeugung und vielleicht ein Startwert.
Dass die Information immer vom Vorwissen des Senders und des Empfängers abhängt kann man an einem Beispiel zeigen: Angenommen, wir wollen einen Film übertragen.
Wenn wir diesen als 1D-Datenstrom übertragen, sind das ziemlich viele. Es gibt aber Ähnlichkeiten zwischen benachbarten Werten, die man nutzen kann, die "Informationsmenge" sinkt.
Wenn wir das Wissen einsetzen, dass es sich um Bilder handelt, dann können wir das Wissen um 2D-Zusammenhänge zwischen Pixeln zur Kompression nutzen, die Datenmenge und damit die Entropie sinkt weiter.
Wenn wir wissen, dass im Datenstrom aufeinanderfolgende Bilder zeitlich nacheinander folgen, sinkt die Datenmenge weiter.
Wenn wir Wissen über unsere Augen nutzen, können wir die Datenmenge weiter senken. Wir kodieren "verlustbehaftet", weil bestimmte Änderungen von Bilddetails für uns irrelevant sind.
Ein einfacheres Beispiel: Ein Algorithmus, der viel über Menschen weiß, wird für die Kompression der Nachricht "Mann beißt Hund" mehr Bits benötigen als "Hund beißt Mann". Weil Ersteres seltener ist und deshalb "informativer".
Zurück zur Eingangsfrage: Natürlich ändert sich für den Empfänger die Entropie, wenn auf die Zahlenfolge eine Nachricht aufmoduliert wird. Die Zufallszahlenfolge hatte die Entropie null, denn die kannte er bereits. Aber um wieviel sie steigt, hängt vom gemeinsamen Wissen von Sender und Empfänger vor der Übertragung ab. Und das lässt sich nicht genau quantifizieren.