信息论与机器学习

信息瓶颈理论把学习看作「压缩输入、保留与标签相关的信息」：在 $I(X;T)$ 与 $I(T;Y)$ 间权衡，为深度网络的泛化提供了信息论解释。互信息也用于表示学习（InfoMax、对比学习）。

信息论与物理

Landauer 原理：擦除 1 比特信息至少耗散 $kT\ln 2$ 的能量——信息有物理代价。它化解了「麦克斯韦妖」佯谬，把香农熵与热力学熵联系起来。

量子信息

用量子比特（叠加 + 纠缠）携带信息，香农熵推广为冯·诺依曼熵。量子信道、量子纠错与量子密钥分发 (QKD) 开辟了通信与计算的新维度。

算法信息论

Kolmogorov 复杂度：一串数据的信息量 = 生成它的最短程序长度，是「随机性」的另一种、更绝对的定义。

例题

例　Landauer：室温 $T\approx300$K 下擦除 1 比特至少耗 $kT\ln2\approx2.9\times10^{-21}$ J——这是不可逆计算能耗的物理下限，启发了可逆计算研究。

应用

这些交叉把信息论推向深度学习理论、量子计算与通信、统计物理、复杂性科学前沿。从香农熵到量子比特，「信息」始终是理解计算、物理与智能的统一货币。