信息论

前三章分别给出了描述结构的工具（线性代数）、描述不确定性的工具（概率论与统计推断）与求解目标的工具（最优化）。信息论补上第四件工具：度量不确定性本身。

这一度量带来一组互相咬合的结论。熵刻画单个随机变量的不确定性，条件熵刻画已知其他变量后的剩余不确定性，互信息刻画两个变量共享的信息量，KL 散度刻画两个分布的差异程度。这四个量之间的关系构成一个封闭的代数系统，链式法则把它们沿序列展开，数据处理不等式说明信息在经过任何变换后只会减少，典型性理论说明长序列的行为高度集中，编码定理说明熵与互信息恰好是压缩与传输的极限。

信息论在机器学习中的位置是双重的。作为目标函数，交叉熵与 KL 散度是分类与生成模型的训练目标；作为分析工具，互信息与信息瓶颈给出表示学习的准则，熵与 Fisher 信息给出泛化界与参数估计精度的下界。本章的内容与第二章的统计推断、第三章的最优化都有直接接口：Fisher 信息在第二章出现于 Cramér-Rao 下界，在本章以度量张量的形式重新出现；最大熵原理给出的优化问题在第三章的凸优化框架下求解。

本章共 8 节。4.1 建立熵、条件熵与互信息的定义与性质，并给出熵率、渐近均分性质与典型性；4.2 系统整理各类散度与距离，说明它们的性质差别与适用场景；4.3 讨论最大熵原理、指数族与信息几何，把统计模型组织成一个带度量的空间；4.4 与 4.5 分别处理信源编码与信道容量，给出压缩与传输的极限；4.6 讨论信息论与假设检验、大偏差理论的联系；4.7 回到机器学习，讨论信息瓶颈、互信息估计与信息论泛化界；4.8 介绍算法信息论与几个前沿方向。

结构

节	主题
4.1 基础熵与互信息	自信息与熵、联合熵与条件熵、链式法则、互信息、数据处理不等式与 Fano 不等式、熵率、渐近均分与典型性
4.2 散度、距离与信息不等式	KL 散度及其性质、交叉熵与 JS 散度、f 散度、Rényi 与 Tsallis 散度、Bregman 散度、总变差、Hellinger、Wasserstein、最大均值差异
4.3 最大熵、指数族与信息几何	最大熵原理、最小交叉熵、最大熵模型、指数族与充分统计量、Fisher 度量、信息投影、自然梯度
4.4 信源编码与率失真理论	香农第一定理、Kraft 不等式、Huffman 与算术编码、LZ 编码、微分熵、率失真函数、熵功率不等式
4.5 信道容量与编码定理	香农第二定理、信道容量、高斯信道与功率约束、注水算法、MIMO 容量、反馈容量与多用户信道
4.6 信息论与假设检验、大偏差	信息不等式与 Cramér-Rao 下界、Chernoff 信息、Hoeffding 界、大偏差原理、Sanov 定理、Chernoff-Stein 引理
4.7 信息论与机器学习	信息瓶颈、互信息估计与 MINE、InfoNCE 与对比学习、KL 正则与 ELBO、PAC-Bayes 与泛化界
4.8 算法信息论与前沿方向	柯尔莫哥洛夫复杂度、最小描述长度与奥卡姆剃刀、差分隐私、量子信息论初步

学习路径

4.1 与 4.2 是语言层：熵与互信息的定义、性质与相互关系，以及各类散度的性质差别。这两节读完应当能够对给定的分布计算熵与互信息，并判断该用哪个度量。4.3 把散度与参数空间结合，得到信息几何的框架，它为理解自然梯度与变分推断提供几何图像。4.4 与 4.5 是信息论的两条经典主线，分别处理压缩与传输，它们的结论（率失真函数与信道容量）是衡量任何实际系统效率的基准。4.6 建立与统计推断的连接，大偏差理论给出的误差指数与第二章的假设检验直接对应。4.7 与 4.8 面向应用与前沿，把前面的工具用到表示学习、生成模型与隐私保护上。

与前几章的联系有三处。Fisher 信息在 2.9 节以 Cramér-Rao 下界的形式出现，在本章 4.3 节以度量张量的形式重新出现，两者是同一个量在推断与几何两个视角下的表述。最大熵原理给出的优化问题（4.3 节）属于第三章讨论的凸优化问题，指数族对数配分函数的凸性决定了求解方法。变分推断的证据下界（2.12 节）在本章 4.7 节被解释为互信息与 KL 散度的组合。