什麼是信源符號的信息量

平均信息量的計算公式是I=log2（1/p），其中p是概率，log2指以二為底的對數。但對信息量作深入而系統研究，還是從1948年C.E.香農的奠基性工作開始的。在信息論中，認為信源輸出的消息是隨機的。

信息量與信息熵在概念上是有區別的。在收到符號之前是不能肯定信源到底發送什麼符號，通信的目的就是使接收者在收到符號後，解除對信源存在的疑義（不確定度），使不確定度變為零。這説明接收者從發送者的信源中獲得的信息量是一個相對的量（H（U）-0）。而信息熵是描述信源本身統計特性的物理量，它表示信源產生符號的平均不確定度，不管有無接收者，它總是客觀存在的量。