Studium, Ausbildung und Beruf
 StudiumHome   FAQFAQ   RegelnRegeln   SuchenSuchen    RegistrierenRegistrieren   LoginLogin

Infomrationsgehalt und Entropie berechnen
Neues Thema eröffnen   Neue Antwort erstellen
Foren-Übersicht -> Informatik-Forum -> Infomrationsgehalt und Entropie berechnen
 
Autor Nachricht
_caro_
Newbie
Benutzer-Profile anzeigen
Newbie


Anmeldungsdatum: 10.09.2006
Beiträge: 14

BeitragVerfasst am: 31 Jan 2008 - 18:39:56    Titel: Infomrationsgehalt und Entropie berechnen

Hallo ich habe eine Frage.

Den Informationsgehalt berechne ich doch wie folgt.

Ich habe eine 32 Zeichen lange Nahricht und soll den Informationsgehalt berechnen, für folgende Zeichen: V,I,E und L.

"V" kommt 1 mal in der Nahricht vor.
"I" kommt 2 mal in der Nahricht vor.
"E" kommt 4 mal in der Nahricht vor.
"L" kommt 4 mal in der Nahricht vor.

Den Informationsgehalt berechne ich ja, z.B für "V" folgendermaßen:
-log zur Basis 2 (1/32) = 5

Nun zur Entropie:

Die Summe der absoluten Häufigkeit der Nahricht "VIEL" ist: 11.

Die ralative Häufigkeit muss ja immer 1 ergeben.

Z.B für den Buchstaben V, welcher nur einmal vorkommt, daher:

1/11 = 0.09 = relative Häufigkeit. Dies setzten wir ein:
-0.09log zur Basis 2 (0.09)
Entropie für V = 0.31bit?

Ist das bis hier richtig?

Aber wieviele Bit brauche ich minimal ob die Nahricht zu kodieren und wie hilft mir die Entropie hier weiter?

Die Annahme das alle Zeichen des Alphabets in dieser Nahricht vorkommen gilt hier.

Vielen Dank
Beiträge der letzten Zeit anzeigen:   
Foren-Übersicht -> Informatik-Forum -> Infomrationsgehalt und Entropie berechnen
Neues Thema eröffnen   Neue Antwort erstellen Alle Zeiten sind GMT + 1 Stunde
Seite 1 von 1

 
Gehe zu:  
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.

Chat :: Nachrichten:: Lexikon :: Bücher :: Impressum