Informationsgehalt & Entropie

---

1. Je Unwahrscheinlicher, desto mehr Informationsgehalt
2. Wenn Wahrscheinlichkeit = 0 -> Informationsgehalt = 1
3. Informationsgehalte von unabhängigen Nachrichten sollten sich addieren

Wahrscheinlichkeit des Symbols
Sucht man den mittleren Informationsgehalt aller möglicher Nachrichtenelemente, sa muss man den arithmetischen Mittelwert bilden.
-> mittlerer Informationsgehalt -> Entropie