Dieser Artikel von Wikipedia ist u.U. veraltet. Die neue Version gibt es hier. Die Entropie (zu altgr. entrépein "umkehren") ist ein Maß für die ordnung oder Zufälligkeit eines Systems.
Die Entropie wurde ursprünglich als phänomenologisches Maß auf dem Gebiet der Thermodynamik in der Physik bzw. Chemie eingeführt. Insbesondere lässt sich mit Hilfe Entropiebegriffs der 2. Hauptsatz der Thermodynamik besonders einfach formulieren. Später wurde die per Analogieschluss von Claude Shannon in die Informationstheorie übernommen. Inzwischen gibt es jedoch mit theoretischen Thermodynamik bzw. statistischen Mechanik auch eine gut überprüfte physikalische Theorie einen direkten und exakt quantifizierten Zusammenhang zwischen informationstheoretischen und physikalischen Entropie herstellt.
Ein System mit Entropie 0 ist geordnet. Ein physikalisches System das diesem Zustand kommt ist das Bose-Einstein-Kondensat da sich alle Teilchen im selben befinden. Ein informationstechnisches System mit Entropie 0 ein Speicher der nur 0en beinhaltet. Sobald System diesen Zustand der "totalen Gleichschaltung" verlässt die Entropie auf einen von 0 verschiedenen Sie kann einen vom System abhängigen Maximalwert nicht überschreiten der sich bei einer Festplatte durch die Speicherkapazität bei einem physikalischen System die enthaltenen Teilchen ergibt. Üblicherweise ist das des maximalen Entropiewertes mit "perfekter Unordnung" gleichzusetzen sprechen auch vom thermischen Gleichgewicht .
Bei kryptografischen Schlüsseln spricht man von Entropie wenn ein bestimmter Teil des Schlüssels zufällig ist sondern aus anderen Teilen hergeleitet kann respektive allgemein bekannt ist.