信息熵

信息的多少用熵度量（单位 bit）：
$H(X)=-\sum_i p_i\log_2 p_i$
越不确定熵越大。互信息 $I(X;Y)$ 度量两变量的相关信息，是通信与机器学习特征选择的尺度。

信源编码（压缩）

香农指出：无损压缩的极限是信源的熵。霍夫曼编码给高频符号短码、低频长码，逼近这一极限，是 ZIP、JPEG、MP3 的核心思想。

信道编码（纠错）

含噪信道的可靠传输速率有上限——香农信道容量。纠错码（汉明码、线性码、LDPC、Reed–Solomon）通过冗余检测并纠正错误。

例题

例　四等概符号 $H=-4\times\tfrac14\log_2\tfrac14=2$ bit，故每符号至少需 2 比特；若概率不均，霍夫曼编码可压到更短。

应用

信息论奠定了所有数字通信与存储：手机 5G、Wi‑Fi、深空探测用纠错码对抗噪声；CD/二维码用 Reed–Solomon 容错；ZIP/JPEG/H.264 用熵编码压缩；它也是密码学与机器学习的理论支柱。