Techniklexikon

Informationsentropie

Mass für die bei der Aufklärung des Zustandes eines Systems gewonnene Information unter der Bedingung, dass die Menge aller möglichen Systemzustände und deren Wahrscheinlichkeiten bekannt sind. C.E. Shannon (1949) definierte die Informationsentropie H als,

d.h. als gewichtetes Mittel über alle möglichen N Systemzustände i mit deren Wahrscheinlichkeiten p_i. Es ist üblich, die Basis b = 2 zu wählen und die Information in bit anzugeben. Die Informationsentropie H und die Entropie S im Sinne der statistischen Physik sind einander proportional,

(k: Boltzmann-Konstante). Ein wichtiger Spezialfall sind Systeme mit N gleichwahrscheinlichen Zuständen, für die  gilt.