信息論三大定理

香農第一定理又稱為無失真信源編碼定理或變長碼信源編碼定理。

香農第一定理的意義：將原始信源符號轉化為新的碼符號，使碼符號儘量服從等概分佈，從而每個碼符號所攜帶的信息量達到最大，進而可以用盡量少的碼符號傳輸信源信息。

香農第二定理（有噪信道編碼定理）

有噪信道編碼定理。當信道的信息傳輸率不超過信道容量時，採用合適的信道編碼方法可以實現任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現可靠的傳輸。

香農第三定理（保失真度準則下的有失真信源編碼定理）

保真度準則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼後的信息傳輸率略大於率失真函數，而碼的平均失真度不大於給定的允許失真度，即D'<=D.

香農三大定理是信息論的基礎理論。香農三大定理是存在性定理，雖然並沒有提供具體的編碼實現方法，但為通信信息的研究指明瞭方向。香農第一定理是可變長無失真信源編碼定理，香農第二定理是有噪信道編碼定理，香農第三定理是保失真度準則下的有失真信源編碼定理。