Entropie (Informationstheorie)

Das informationstheoretische Verständis des Begriff Entropie geht auf Claude Shannon und existiert seit etwa 1948 . In diesem Jahr veröffentliche Shannon seine Arbeit A Mathematical Theory of Communication und prägte damit die moderne Informationstheorie .

Inhaltsverzeichnis

1 Definition 2 Interpretation 3 Maximaler Entropiewert und Normierung 4 Datenkompression und Entropie 4.1 Beispiel 5 Alternative Möglichkeiten der Informationsquantifizierung 6 Literatur 7 Weblinks

Definition

Shannon definierte die Entropie H einer gegebenen Information I über einem Alphabet Z durch

<math>H(I) = - \sum_{j=1}^{|Z|}{p_j \cdot \log_2{p_j}}</math>

wobei p _j die Wahrscheinlichkeit ist mit der das j -te Symbol z _j des Alphabet Z im Informationtext I auftritt. H multipliziert mit der Anzahl der Zeichen Informationstext ergibt dann die mindestens notwendige Anzahl Bits die zur Darstellung der Information notwendig

Interpretation

Shannons ursprüngliche Absicht diese Entropie als Maß der benötigten Bandbreite eines Übertragungskanals zu nutzen wurde schnell verallgemeinert. Die wurde generell als ein Maß für den Informationsgehalt betrachtet. Wenn die Entropie etwa einen von 1 hat dann gilt die Information als zufällig . Bei einer kleinen Entropie enthält der Redundanzen oder statistische Regelmäßigkeiten.

Die rein statistische Berechnung der informationstheoretischen nach obiger Formel ist gleichzeitig ihre Beschränkung. ist die Wahrscheinlichkeit eine 0 oder 1 in einer geordneten Zeichenkette "1010101010..." zu genauso groß wie in einer Zeichenkette die statistisch unabhängige Ereignisse (etwa wiederholten Münzwurf) entstanden Daher ist Shannons Entropie für beide Zeichenketten obwohl man intuitiv die erste Kette als zufällig bezeichnen würde. Eine angemessenere Definition der einer Zeichenkette liefert die Bedingte Entropie und Quellentropie (siehe Blockentropie ) die beide auf Verbundwahrscheinlichkeiten aufbauen.

Maximaler Entropiewert und Normierung

Möchte man ein normiertes Maß für Entropie einer beliebigen diskreten Verteilung haben ist es von Vorteil die mögliche Entropie die bei Gleichverteilung der p _j erreicht wird zur Normierung heranzuziehen. Sei = |Z| die Anzahl der erlaubten Symbole I über dem Alphabet Z dann ist die maximale Entropie H _max gegeben durch:

<math>H_{max}(I) = - \sum_i{\frac{1}{z} \log_2{\frac{1}{z}}} = \log_2{z} falls }\forall\;p_j=\frac{1}{|Z|}</math>

<math>H(I)/H_{max} = - \sum_{j=1}^b{p_j \cdot \frac{\log_2{p_j}}{\log_2{b}}} - \sum{p_j \cdot log_b{p_j}} \leq 1</math>

Die so erhaltene Entropie wird immer gleich 1.

Datenkompression und Entropie

Die Entropiekodierung ist ein Kompressionsalgorithmus um Daten verlustfrei zu komprimieren.

Beispiel

• Gegeben sei die Zeichenkette ABBCAADA (s.a. Entropiekodierung ).
• Die Buchstaben-Wahrscheinlichkeit: <math>p_a= 4/8= 0.5</math>; <math>p_b= <math>p_c=p_d= 0.125</math>

• <math>Entropie=-(0.5*\log_2{0.5} + 0.25*\log_2{0.25} + 2*(0.125*\log_2{0.125})= 1.75
• Maximalentropie (<math>p_a = p_b = p_c p_d = 0.25</math>):
  <math>Entropie_{max}= -4*(0.25*log_2{0.25})= -log_2{4^{-1}}= 2 Bit/Zeichen</math>

Alternative Möglichkeiten der Informationsquantifizierung

Ein anderer Zugang den Gehalt einer zu messen ist durch die Kolmogorov Komplexität gegeben worin der kürzestmögliche Algorithmus zur einer gegebenen Zeichenkette die Komplexität derselben angibt. Gregory Chaitin ist ebenfalls über die Shannonsche Definition Entropie einer Information hinausgegangen (siehe Chaitinkette).

Literatur

• Rolf Johanneson Informationstheorie Addison-Wesley 1992 ISBN 3893194657

Weblinks

• http://www.madeasy.de/2/zufallgz.htm
  • Einführung der Entropie als Gesamtzufallsmenge mit vielen
  • Für alle die mit der Shannonformel überfordert

Siehe auch: Kolmogorov-Entropie Kolmogorov-Sinai-Entropie Maximum-Entropie-Methode Metrische Entropie Transinformation Ornstein Theorem Redundanz Topologische Entropie Markow-Kette Renyi-Entropie Entropierate Transinformation Kullback-Leiber-Entropie Negentropie Blockentropie

Bücher zum Thema Entropie (Informationstheorie)

Dieser Artikel von Wikipedia unterliegt der GNU FDL.