Entropie (Informationstheorie)

Glossar
· Hauptseite · Zufälliger Artikel · Portal liste
Diskussion
· Diskussion : Entropie (Informationstheorie)
Webkatalog
· Übersicht · Eigene Artikel · Seite vorschlagen
Aktuelles
· Seite der Woche · Newsletter · Today in History · Kreuzworträtsel
Weitere Inhalte
· Einkaufsmeile · Begriffslexikon · Multimedia
Suche
· Geschi.de · nach Jahren · Weltchronik.de · Geschichtsreferate
Interna
· Seitenneuigkeiten · Hilfe zur Seite · Impressum

Jahres-Sprung
Jahreszahl eingeben: >Chronik2000-Homepage<

Stichpunkte

Allgemein
	Entropie als Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt
	deren Erkennen allerdings Kenntnisse in beiden Fachgebieten voraussetzt
	Beide Begriffe haben Gemeinsamkeiten
	Das informationstheoretische VerstÃ¤ndnis des Begriffes Entropie geht auf Claude E
	Shannon zurÃ¼ck und existiert seit etwa 1948
	In diesem Jahr verÃ¶ffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und prÃ¤gte damit die moderne Informationstheorie. Inhaltsverzeichnis showTocToggle("Anzeigen"
	"Verbergen") 1 Definition 2 Interpretation 3 Beispiel: MÃ¼nzwurf 4 Beispiel: Idealer 6er WÃ¼rfel 5 Maximaler Entropiewert und Normierung 6 Datenkompression und Entropie 7 Beispiel: Entropiekodierung 8 Alternative MÃ¶glichkeiten der Informationsquantifizierung 9 Literatur 10 Siehe auch 11 Weblinks [Bearbeiten]
Definition
	mit der das j-te Symbol zj des Alphabet Z im Informationtext I auftritt
	Shannon definierte die Entropie H einer gegebenen Information I Ã¼ber einem Alphabet Z durch <math>H(I) = - sum_{j=1}^{\|Z\|}{p_j cdot log_2{p_j}}<math>
	wobei pj die Wahrscheinlichkeit ist
	Die Entropie erhÃ¤lt die Pseudoeinheit bit
	die zur Darstellung der Information notwendig sind
	H multipliziert mit der Anzahl der Zeichen im Informationstext ergibt dann die mindestens notwendige Anzahl von Bits
	Hexadezimalsystem
	Prinzipiell lÃ¤sst sich die Berechnung der Entropie auch auf andere Zahlensysteme (Oktalsystem
	...) als das BinÃ¤rssystem (Basis 2) Ã¼bertragen
	In diesem Fall wird nicht der Logarithmus zur Basis 2 sondern zur entsprechenden informationstheoretischen Basis des Zahlensystems gebildet
	Die Verallgemeinerung der Entropie fÃ¼r eine multivariate Zufallsvariable wird Blockentropie bzw
	Verbundentropie genannt (siehe dort). [Bearbeiten]
Interpretation
	Shannons ursprÃ¼ngliche Absicht
	wurde schnell verallgemeinert
	diese Entropie als das MaÃŸ der benÃ¶tigten Bandbreite eines Ãœbertragungskanals zu nutzen
	Die Entropie wurde generell als ein MaÃŸ fÃ¼r den Informationsgehalt betrachtet
	Wenn die Entropie etwa einen Wert von 1 hat
	dann gilt die Information als zufÃ¤llig
	Bei einer kleinen Entropie enthÃ¤lt der Informationstext Redundanzen oder statistische RegelmÃ¤ÃŸigkeiten
	die in einem Symbol der Quelle enthalten ist
	Die Zahl <math>H(I)<math> gibt intuitiv die durchschnittliche Information an
	Die rein statistische Berechnung der informationstheoretischen Entropie nach obiger Formel ist gleichzeitig ihre BeschrÃ¤nkung
	Beispielsweise ist die Wahrscheinlichkeit
	die durch statistisch unabhÃ¤ngige Ereignisse (etwa wiederholten MÃ¼nzwurf) entstanden ist
	genauso groÃŸ
	eine 0 oder 1 in einer geordneten Zeichenkette "1010101010..." zu finden
	wie in einer Zeichenkette
	Daher ist Shannons Entropie fÃ¼r beide Zeichenketten identisch
	obwohl man intuitiv die erste Kette als weniger zufÃ¤llig bezeichnen wÃ¼rde
	die beide auf Verbundwahrscheinlichkeiten aufbauen
	Eine angemessenere Definition der Entropie einer Zeichenkette liefert die bedingte Entropie und Quellentropie
	die die StÃ¤rke des statistischen Zusammenhangs zweier ZufallsgrÃ¶ÃŸen angibt. [Bearbeiten]
	In engem Zusammenhang zur bedingten Entropie steht auch die Transinformation
Beispiel: MÃ¼nzwurf
	Bei einem MÃ¼nzwurf sind idealerweise â€žKopfâ€œ oder â€žZahlâ€œ gleichwahrscheinlich
	Indem man die Entropie als MaÃŸ fÃ¼r die Ungewissheit auffasst
	wird sie hier daher einen maximalen Wert aufweisen
	ob beim nÃ¤chsten Wurf â€žKopfâ€œ oder aber â€žZahlâ€œ geworfen wird
	Es ist vÃ¶llig ungewiss
	Die Entropie wird hier als 1 bit definiert
	Wiederholt man den MÃ¼nzwurf 2 mal wÃ¤chst die Zahl der MÃ¶glichkeiten auf 4
	25
	Die Wahrscheinlichkeit jeder einzelnen MÃ¶glichkeit liegt bei 0
	Die Entropie des zweimaligen MÃ¼nzwurfes ist dann 2 bit
	etwa einer MÃ¼nze
	Anders bei einer gezinkten MÃ¼nze
	die im Mittel in 60 % der FÃ¤lle â€žKopfâ€œ und nur in 40 % der FÃ¤llen â€žZahlâ€œ anzeigt
	Die Ungewissheit ist hier geringer als bei der normalen MÃ¼nze
	da man eine gewisse PrÃ¤ferenz fÃ¼r â€žKopfâ€œ hat
	971
	Gemessen als Entropie liegt die Ungewissheit bei nur noch etwa 0
	Sei nun eine Folge von MÃ¼nzwÃ¼rfen als Bitfolge zu speichern
	so sind bei der gezinkten MÃ¼nze kompaktere Kodierungen mÃ¶glich
	â€žKopfâ€œ stets durch 0 und â€žZahlâ€œ stets durch 1 zu reprÃ¤sentieren (oder umgekehrt)
	WÃ¤hrend es sich bei der normalen MÃ¼nze anbietet
	Diese erhÃ¤lt man beispielsweise durch den Huffman-Kode
	Im Mittel benÃ¶tigt man hier pro MÃ¼nzwurf nur etwa 0
	971 Bit
	Dies ist genau der Wert der Entropie. [Bearbeiten]
Beispiel: Idealer 6er WÃ¼rfel
	Bei einem Wurf eines idealen WÃ¼rfels mit 6 MÃ¶glichkeiten ist die Entropie grÃ¶ÃŸer als 1. Allgemein ist sie grÃ¶ÃŸer als eins fÃ¼r ein Zufallsereignis aus einem Zufallsexperiment mit mehr als 2 gleichberechtigten MÃ¶glichkeiten im Ergebnisraum
	Ihr Wert wird bei gleichwahrscheinlichen MÃ¶glichkeiten im Ergebnisraum folgendermaÃŸen berechnet: H = log2(Zahl der gleichberechtigten Elemente im Ergebnisraum ). Beim idealen WÃ¼rfel sind 6 MÃ¶glichkeiten im Ergebnisraum
	Daraus folgt die Entropie fÃ¼r einmal werfen: H = log2 6 = log2 2*3 = log2 2 + log2 3 = 1 + log2 3 <math>approx<math> 1 + 1.585 = 2.585 bit Einfach zu berechnen ist die Entropie eines Wurfes eines idealen AchterwÃ¼rfels: Er hat 8 gleichberechtigte MÃ¶glichkeiten. H = log2 8 = 3 bit [Bearbeiten]
Maximaler Entropiewert und Normierung
	zur Normierung heranzuziehen
	ist es von Vorteil
	MÃ¶chte man ein normiertes MaÃŸ fÃ¼r die Entropie einer beliebigen diskreten Verteilung haben
	die bei Gleichverteilung der pj erreicht wird
	die maximal mÃ¶gliche Entropie
	falls }forall;p_j=frac{1}{\|Z\|}<math> Daraus folgt beispielsweise Hmax=1 fÃ¼r eine BinÃ¤rverteilung (Z={0
	also benÃ¶tigt man 1 Bit pro Zeichen und \|I\| Zeichen fÃ¼r die komplette Information I
	Sei z = \|Z\| die Anzahl der erlaubten Symbole in I Ã¼ber dem Alphabet Z
	1})
	dann ist die maximale Entropie Hmax gegeben durch: <math>H_{mathrm{max}}(I) = - sum_i{frac{1}{z} log_2{frac{1}{z}}} = log_2{z} mbox{
	Dieser Wert wird erreicht
	wenn 0en und 1en gleich hÃ¤ufig vorkommen
	Normiert man nun die Entropie einer beliebigen Verteilung mit z verschiedenen Symbolen mit Hmax erhÃ¤lt man: <math>H(I)/H_{mathrm{max}} = - sum_{j=1}^b{p_j cdot frac{log_2{p_j}}{log_2{b}}} = - sum{p_j cdot log_b{p_j}} leq 1<math> Die so erhaltene Entropie wird immer maximal gleich 1
	die die Entropie auf das einzelne Zeichen bezieht (s. dort). [Bearbeiten]
	Um die Entropien von Nachrichten unterschiedlicher LÃ¤nge vergleichen zu kÃ¶nnen
	hat man die Entropierate eingefÃ¼hrt
Datenkompression und Entropie
	Die Entropiekodierung ist ein Kompressionsalgorithmus
	um Daten verlustfrei zu komprimieren
	In diesem Zusammenhang spielen die Kreuzentropie sowie die Kullback-Leibler-Divergenz als MaÃŸe fÃ¼r die durch eine schlechte Kodierung ausgelÃ¶sten Verschwendungen von Bits eine Rolle
	Durch eine gute Kodierung nÃ¤hert man sich hingegen der KanalkapazitÃ¤t an. [Bearbeiten]
Beispiel: Entropiekodierung
	Gegeben sei die Zeichenkette ABBCAADA (siehe auch Entropiekodierung). Die Buchstaben-Wahrscheinlichkeit: <math>p_a= 4/8= 0.5<math>; <math>p_b= 0.25<math>; <math>p_c=p_d= 0.125<math> <math>mbox{Entropie}=-(0.5log_2{0.5} + 0.25log_2{0.25} + 2(0.125log_2{0.125})= 1.75
	mbox{Bit}/mbox{Zeichen}<math> [Bearbeiten]
	mbox{Bit}/mbox{Zeichen}<math> Maximalentropie (<math>p_a = p_b = p_c = p_d = 0.25<math>): <math>mbox{Entropie}_{mbox{max}}= -4(0.25log_2{0.25})= -log_2{4^{-1}}= 2
Alternative MÃ¶glichkeiten der Informationsquantifizierung
	ist durch die Kolmogorow-KomplexitÃ¤t gegeben
	Ein anderer Zugang
	die sich aber auf die Laufzeit bzw
	worin der kÃ¼rzestmÃ¶gliche Algorithmus zur Darstellung einer gegebenen Zeichenkette die KomplexitÃ¤t der Nachricht angibt. Ã„hnlich ist die Logische Tiefe definiert
	den Informationsgehalt einer Nachricht zu messen
	ZeitkomplexitÃ¤t eines Algorithmus zur Erzeugung der Daten bezieht
	Gregory Chaitin ist ebenfalls Ã¼ber die Shannonsche Definition der Entropie einer Information hinausgegangen (siehe Algorithmische Informationstheorie). [Bearbeiten]
Literatur
	Johanneson
	ISBN 0252725484 (Softcover) und ISBN 0252725468 (Hardcover) [Bearbeiten]
	ISBN 3893194657 Shannon
	University of Illinois Press 1963
	Rolf: Informationstheorie
	Addison-Wesley 1992
	Claude E. und Warren Weaver: The Mathematical Theory of Communication
Siehe auch
	Nat
	Markow-Kette
	Kolmogorov-Sinai-Entropie
	Entropiekodierung Entropie
	Negentropie
	Redundanz
	Maximum-Entropie-Methode
	Kolmogorov-Entropie
	Topologische Entropie
	Entropie (Physik) [Bearbeiten]
	Metrische Entropie
	Renyi-Entropie
	Ornstein Theorem
Weblinks
	http://www.madeasy.de/2/zufallgz.htm EinfÃ¼hrung der Entropie als Gesamtzufallsmenge mit vielen Beispielen. FÃ¼r alle die mit der Shannonformel Ã¼berfordert sind. en:Information entropy nl:entropie (informatietheorie) pl:Entropia (teoria informacji)

Dieser Artikel basiert auf dem Artikel Entropie (Informationstheorie) aus der freien Enzyklopädie wikipedia und steht unter der GNU Lizenz für freie Dokumentation. In der wikipedia ist eine Liste der Autoren verfügbar.

Kompressionsalgorithmus Datenkompression Eigenwert Eigenwertproblem Drama TragÃ¶die Multiplikation Tritonus Joseph-Marie Jacquard

[Zurück ]

Inhalt Glossar:

Diese Seite einem Freund, Kollegen oder Bekannten weiterempfehlen? Hier klicken!

Allgemein

Definition

Interpretation

Beispiel: MÃ¼nzwurf

Beispiel: Idealer 6er WÃ¼rfel

Maximaler Entropiewert und Normierung

Datenkompression und Entropie

Beispiel: Entropiekodierung

Alternative MÃ¶glichkeiten der Informationsquantifizierung

Literatur

Siehe auch

Weblinks