信道模型

信道把输入 $X$ 随机地映为输出 $Y$。两类典型：

  • 二元对称信道 (BSC)：以概率 $p$ 翻转比特；
  • 加性高斯白噪声 (AWGN)：连续信号叠加高斯噪声。

信道容量

可靠传输的最大速率定义为输入分布上互信息的极大：
$C=\max_{p(x)} I(X;Y)\quad(\text{bit/次})$

香农第二定理（有噪信道编码）

只要码率 $R<C$，就**存在**编码使错误概率任意小；$R>C$ 则不可能可靠传输。这是通信的根本极限。

两个经典容量

$\text{BSC}:\ C=1-H(p),\qquad \text{AWGN}:\ C=\tfrac12\log_2!\big(1+\mathrm{SNR}\big)$

例题

例　BSC 翻转率 $p=0.11$，$H(0.11)\approx0.5$，故 $C\approx0.5$ bit/次：每发 1 比特最多可靠传 0.5 比特信息，需用一半冗余纠错。

应用

香农容量给出 5G/Wi-Fi/光纤/深空通信的速率上限；现代码（LDPC、Turbo、Polar）已逼近这条极限。「香农极限」是通信工程师的圣杯。