Shannon-Entropie-Rechner

Die Shannon-Entropie misst die durchschnittliche Unsicherheit einer Verteilung. Für Wahrscheinlichkeiten p1 bis pn wird jede Wahrscheinlichkeit mit ihrem Logarithmus multipliziert und die Summe negiert. Höhere Entropie bedeutet schlechtere Vorhersagbarkeit, null steht für ein sicheres Ergebnis.

Die Einheiten verwenden unterschiedliche Logarithmusbasen. Bit nutzt die Basis 2, Nat den natürlichen Logarithmus mit der Basis e und Dit den Logarithmus zur Basis 10. Die Zahlenwerte ändern sich mit der Einheit, Effizienz und Perplexität bleiben inhaltlich vergleichbar.

Beides ist möglich. Der Rechner teilt jeden Wert durch die Gesamtsumme und bildet daraus eine Wahrscheinlichkeitsverteilung. Deshalb liefern die Häufigkeiten 2, 2, 1 dasselbe Ergebnis wie 0,4, 0,4, 0,2. Auch eine Summe ungleich 1 wird automatisch normiert.

Die maximale Entropie ist der Wert einer Gleichverteilung über dieselbe Anzahl von Ergebnissen. Die Effizienz teilt deine tatsächliche Entropie durch dieses Maximum und zeigt den Anteil als Prozentwert. Die Redundanz ist der verbleibende Anteil bis zur Gleichverteilung.

Die Perplexität beschreibt die effektive Anzahl gleich wahrscheinlicher Ergebnisse. Eine faire Münze hat den Wert 2, ein fairer sechsseitiger Würfel den Wert 6. Sie wird aus der Entropie berechnet und hängt nicht davon ab, ob du Bit, Nat oder Dit als Einheit auswählst.

Der Textmodus zählt, wie oft jedes Zeichen vorkommt, und verwendet diese Häufigkeiten als Symbolverteilung. Groß- und Kleinschreibung, Leerzeichen und Satzzeichen werden unterschieden. Die Zeichen werden nach Unicode-Codepoints gelesen, sodass auch mehrteilige Schriftsysteme als einzelne Symbole gezählt werden.