2.7 极限定理与集中不等式

前面几节讨论的是单个或有限个随机变量：给出它们的分布、期望、方差与常见分布族，并研究了多维情形下的联合分布与条件分布。很多问题关心的对象不同，抛一枚均匀硬币很多次之后正面出现的比例是否稳定在 $0.5$ 附近，一批包裹送达时间的平均值是否集中在某个中心附近，服务器一天的响应时间中超过阈值的比例有多大概率偏离历史水平。这些问题的共同点是随机变量的个数趋于无穷，需要一套描述随机变量序列极限行为的语言，以及一套估计偏离概率有多大、随样本量增大下降有多快的工具。

本节按两条线索展开。第一条线索是极限定理：先给出随机变量序列的四种收敛模式与它们之间的蕴含关系，再引入弱收敛条件下的两个传递工具，随后陈述大数定律与中心极限定理，说明样本均值收敛到什么、以什么速度波动，最后介绍 Delta 方法，把极限分布用于构造估计量的渐近方差。第二条线索是概率不等式与集中不等式：用马尔可夫不等式、切比雪夫不等式与霍夫丁不等式这类工具，直接给出偏离概率的数值上界，并把它们用于经验风险与真实风险的差估计。

两条线索回答的问题不同。极限定理回答收敛到什么，描述的是样本量趋于无穷时的极限分布；集中不等式回答偏离有多大可能，描述的是有限样本下尾概率能被压到多小。前者是统计推断与马尔可夫链收敛性的理论基础，后者是统计学习理论、随机算法与高维概率的常用手段。本节的内容都在独立同分布或独立的前提之下，去掉独立性后的结构属于 2.8 节随机过程的范围。

2.7.1 随机变量序列的收敛模式

依概率收敛

设 $\{X_n\}$ 与 $X$ 是定义在同一概率空间 $(\mathrm{\Omega },\mathcal{F},P)$ 上的随机变量。若对任意 $\epsilon >0$，

$$\underset{n\to \mathrm{\infty }}{lim}P(|X_n-X|\ge \epsilon )=0$$

则称 $X_n$ 依概率收敛到 $X$，记作 $X_n\stackrel{P}{\to }X$。这个定义直接回应了一个操作性问题：给定一个允许的偏差 $\epsilon$，事件 $|X_n-X|\ge \epsilon$ 的概率是否随 $n$ 增大而趋于零。收敛允许在某些样本点上永远偏离，只要求这些样本点构成的事件总概率被压到零。样本均值对总体均值的收敛通常以这一模式陈述，对应的结论称为弱大数定律。

几乎必然收敛

若

$$P(\underset{n\to \mathrm{\infty }}{lim}{X}_n=X)=1$$

则称 $X_n$ 几乎必然收敛到 $X$，也称作以概率 $1$ 收敛，记作 $X_n\stackrel{a.s.}{\to }X$。这个条件作用在单条样本轨道上：除去一个零概率的例外集合，每条轨道上实数序列 $\{X_n(\omega )\}$ 都收敛到 $X(\omega )$。几乎必然收敛关心的是极限事件整体出现的概率，比依概率收敛更强。对应的结论称为强大数定律。

依分布收敛

设 $X_n$ 的分布函数为 $F_n$，$X$ 的分布函数为 $F$。若在 $F$ 的每个连续点 $x$ 处有

$$F_n(x)⟶F(x)$$

则称 $X_n$ 依分布收敛到 $X$，记作 $X_n\stackrel{d}{\to }X$，也称弱收敛。这个定义只涉及各自的分布，不要求两个随机变量定义在同一概率空间上，也不要求它们的取值逐点接近。依分布收敛出现在中心极限定理的结论中：样本均值的标准化量收敛到标准正态分布，指的是分布函数收敛，而非样本均值本身趋向某个随机变量。分布函数在 $F$ 的不连续点处可能不收敛，因此要求在连续点处收敛，这一点在处理离散极限分布时要留意。

$L^p$ 收敛与均方收敛

设 $p\ge 1$，若

$$E{|X_n-X|}^p⟶0$$

则称 $X_n$ 在 $L^p$ 中收敛到 $X$，记作 $X_n\stackrel{L^p}{\to }X$。$p=2$ 的情形称为均方收敛，写作 $X_n\stackrel{L^2}{\to }X$，等价于 $E|X_n-X{|}^2\to 0$，也等价于 $E[X_n]\to E[X]$ 且 $\mathrm{Var}(X_n-X)\to 0$。均方收敛的用处在于它把收敛性化为二阶矩的计算，而在许多建模问题中二阶矩有封闭表达式。

四种收敛的蕴含关系

四种收敛模式之间并非彼此独立，存在若干单向蕴含关系，下表给出完整对照。

收敛模式	记号	前提或含义
$L^p$ 收敛	$X_n\stackrel{L^p}{\to }X$	$E|X_n-X{|}^p\to 0$，$p\ge 1$
几乎必然收敛	$X_n\stackrel{a.s.}{\to }X$	除零概率集合外逐点收敛
依概率收敛	$X_n\stackrel{P}{\to }X$	偏离超阈值的概率趋于零
依分布收敛	$X_n\stackrel{d}{\to }X$	分布函数在连续点收敛

两条主要蕴含链是

$$L^p\text{ 收敛}⟹\text{依概率收敛}⟹\text{依分布收敛},\text{几乎必然收敛}⟹\text{依概率收敛}⟹\text{依分布收敛}$$

$L^p$ 蕴含依概率这条结论由马尔可夫不等式给出。对任意 $\epsilon >0$，

$$P(|X_n-X|\ge \epsilon )=P(|X_n-X{|}^p\ge {\epsilon }^p)\le \frac{E|X_n-X{|}^p}{{\epsilon }^p}⟶0$$

几乎必然蕴含依概率这条结论来自测度论中的控制收敛性质，直观上每条轨道收敛的集合概率为 $1$，偏离事件在极限下不可能有正概率。依概率蕴含依分布由分布函数的估计得到：对任意 $x$，

$$F_n(x)=P(X_n\le x)\le P(X\le x+\epsilon )+P(|X_n-X|\ge \epsilon )$$

令 $n\to \mathrm{\infty }$ 再令 $\epsilon \to 0$，即得 $F_n(x)\le F(x)$ 的相应不等式，结合对称方向的估计得到 $F_n(x)\to F(x)$。

反向的蕴含关系全部不成立，需要分别处理。

第一，依概率收敛不能推出几乎必然收敛。把 $[0,1)$ 上的均匀分布按宽度为 $1/2^k$ 的区间分段，令 $X_{k,j}$ 为第 $k$ 层第 $j$ 个区间的指示函数，按层编号排成一列。每个固定样本点属于越来越小的区间，被覆盖的层数不再增加，序列在每点只取有限次 $1$，因此几乎必然收敛到 $0$；而每层内总有一个区间的指示函数取 $1$，偏离概率在一个完整层内保持不小，只按层衰减，序列依概率收敛到 $0$。

第二，依概率收敛不能推出 $L^p$ 收敛。取 $P(X_n=n)=1/n$，$P(X_n=0)=1-1/n$。对任意 $\epsilon >0$，当 $n>\epsilon$ 时偏离事件只有取 $n$ 一种情形，概率为 $1/n\to 0$，故 $X_n\stackrel{P}{\to }0$；但 $E|X_n{|}^2=n^2\cdot (1/n)=n\to \mathrm{\infty }$，均方收敛不成立。这一例子说明依概率收敛只控制偏离概率，不控制偏离的量级。

第三，依分布收敛不能推出依概率收敛。取 $X\sim \text{N}(0,1)$，令 $X_n=-X$ 对一切 $n$ 成立。每个 $X_n$ 与 $X$ 同分布，分布函数完全相同，依分布收敛成立；而 $|X_n-X|=2|X|$ 的分布与 $n$ 无关，$P(|X_n-X|\ge 1)=P(2|X|\ge 1)$ 是不为零的常数，依概率收敛不成立。依分布收敛比较的是分布函数，不比较随机变量本身的取值。

依分布收敛为什么最弱

依分布收敛只要求分布函数逐点收敛，丢弃了随机变量之间的联合信息。当极限随机变量 $X$ 退化为常数 $c$ 时，依分布收敛与依概率收敛等价，因为分布函数只有跳变点 $c$，在 $c$ 的邻域外收敛到 $0$、在 $c$ 的右侧收敛到 $1$，这恰好对应 $P(|X_n-c|\ge \epsilon )\to 0$。常数极限是依分布收敛唯一能提升为依概率收敛的情形，Slutsky 定理正是利用这一等价性把依分布收敛的结论传递到组合运算上。

概率有界与一致可积

依分布收敛的讨论中常用到依概率有界这一概念。若对任意 $\epsilon >0$ 存在 $M$ 使得 $\underset{n}{sup}P(|X_n|>M)<\epsilon$，则称序列 $\{X_n\}$ 依概率有界。依分布收敛的序列必依概率有界，这一性质在证明 Slutsky 定理与极限分布的紧性时反复使用。进一步的控制条件是一致可积，它要求尾部的期望一致地小，$\underset{M\to \mathrm{\infty }}{lim}\underset{n}{sup}E[|X_n|\mathbf{1}\{|X_n|>M\}]=0$。一致可积加上依概率收敛蕴含 $L^1$ 收敛，这一结论是把依概率收敛提升为 $L^p$ 收敛的标准条件。

2.7.2 弱收敛的两个传递工具

连续映射定理

连续映射定理（continuous mapping theorem）说明连续变换保持收敛性。设 $g:\text{R}\to \text{R}$ 在 $X$ 的取值集合上连续，则

$$X_n\stackrel{d}{\to }X⟹g(X_n)\stackrel{d}{\to }g(X)$$

同一结论对依概率收敛与几乎必然收敛同样成立，此时 $g$ 只需在相应极限下连续即可。定理的意义在于把对复杂函数的收敛问题化为对基本变量的收敛问题。若 $X_n\stackrel{d}{\to }\text{N}(0,1)$，则 $X_n^2\stackrel{d}{\to }{\chi }_1^2$ 可以由 $g(x)=x^2$ 直接读出，无需重新计算分布的极限。

连续映射定理对依分布收敛有一个技术限制：$g$ 的不连续点集合必须被极限分布的零测集覆盖。取 $g$ 为阶梯函数时这一条件可能失效，此时需要考虑不连续点的概率质量。对连续型极限分布，单个点的质量为零，多数常见变换都可以直接使用。

Slutsky 定理

Slutsky 定理处理依分布收敛与依概率收敛的组合。设 $X_n\stackrel{d}{\to }X$，$Y_n\stackrel{P}{\to }c$ 且 $c$ 为常数，则

$$X_n+Y_n\stackrel{d}{\to }X+c,X_n{Y}_n\stackrel{d}{\to }cX,\frac{X_n}{Y_n}\stackrel{d}{\to }\frac{X}{c}(c\ne 0)$$

定理的用途是把极限分布中残留的低阶项消去。中心极限定理的证明、Delta 方法的推导与渐近方差的构造都用到这一结果。以样本均值加余项为例，若已经得到 $\sqrt{n}(X_n-\theta )\stackrel{d}{\to }\text{N}(0,{\sigma }^2)$，而余项满足 $\sqrt{n}{R}_n\stackrel{P}{\to }0$，则由 Slutsky 定理，$X_n$ 与 $\theta$ 的标准化差距的极限分布不受余项影响。

一个常见的误区是把两个依分布收敛的序列直接相加得到极限分布相加。Slutsky 定理要求其中一个序列依概率收敛到常数，若两个序列都只依分布收敛且相互不独立，和的极限分布依赖联合分布，不能由各自的边缘分布确定。用 Slutsky 定理之前需要先确认其中一个因子收敛到常数。

Slutsky 与连续映射的配合

Slutsky 定理和连续映射定理往往一起使用。先由中心极限定理得到标准化的极限分布，再用 Slutsky 定理把估计量替换为标准误的一致估计，最后用连续映射定理把结果传递到目标函数。Delta 方法的三步推导正是这一流程，掌握这两个工具的配合方式比单独记忆某一条定理更有用。

依分布收敛的等价刻画

分布函数收敛并不是判断依分布收敛的唯一途径，下面三条刻画在不同场合更为方便。第一，特征函数收敛：$X_n\stackrel{d}{\to }X$ 当且仅当对每个 $t$，

$${\phi }_n(t)=E\left[e^{\mathrm{i}t{X}_n}\right]⟶\phi (t)=E\left[e^{\mathrm{i}tX}\right]$$

这条刻画称为列维连续性定理，中心极限定理的标准证明正是通过特征函数的极限为 $e^{-t^2/2}$ 来完成的。第二，有界连续函数积分收敛：对每个有界连续函数 $f$，$E[f(X_n)]\to E[f(X)]$。第三，分布函数的收敛可以松弛为存在一个紧依概率有界的子序列且极限分布唯一。前两条刻画把分布层面的收敛转化为期望层面的收敛，为计算提供了明确的路径。

2.7.3 大数定律

伯努利大数定律

伯努利大数定律（Bernoulli's law of large numbers）是最早的大数定律，处理独立重复试验中事件频率的稳定性。设每次试验事件 $A$ 发生的概率为 $p$，$n$ 次独立试验中 $A$ 发生的次数为 $n_A$，则对任意 $\epsilon >0$，

$$\underset{n\to \mathrm{\infty }}{lim}P(|\frac{n_A}{n}-p|\ge \epsilon )=0$$

结论说明频率 $\hat{p}=n_A/n$ 依概率收敛到概率 $p$。这一定律把概率的直观解释与公理化定义连接起来：长期频率稳定在概率附近，是频率解释的严格表述。抛硬币时正面比例趋于 $1/2$、工厂质检中次品比例趋于真实次品率、投票调查中支持比例趋于真实支持率，都属于这一结论的应用。

辛钦大数定律

辛钦大数定律（Khinchin's law of large numbers）把伯努利情形推广为一般独立同分布序列。设 $X_1,X_2,\dots$ 独立同分布，且 $E|X_1|<\mathrm{\infty }$，记 $\mu =E[X_1]$，则

$${\overline{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\mu$$

假设只要求一阶矩存在，不需要方差有限。证明用到特征函数在原点附近的展开 $\phi (t)=1+\mathrm{i}\mu t+o(t)$，代入样本均值的特征函数 $\phi (t/n{)}^n$ 并取对数，得到 $n\ln (1+\mathrm{i}\mu t/n+o(1/n))\to \mathrm{i}\mu t$，对应退化分布的极限。这一证明说明大数定律的成立与方差是否存在无关，只依赖一阶矩。

柯尔莫哥洛夫强大数定律

柯尔莫哥洛夫强大数定律（Kolmogorov's strong law of large numbers）给出几乎必然意义下的收敛。设 $X_1,X_2,\dots$ 独立同分布，则

$${\overline{X}}_n\stackrel{a.s.}{\to }\mu \text{有限}⟺E|X_1|<\mathrm{\infty }$$

该条件既是充分条件也是必要条件，说明一阶矩存在是几乎必然收敛的准确门槛。强大数定律与弱大数定律的差别在于收敛模式：前者保证每条样本轨道上的频率最终稳定，后者只保证偏离概率趋于零。在实际计算中，两者给出的样本均值收敛结论对有限样本的差别不大，几乎必然收敛的价值体现在需要单条轨道的长期行为时，例如遍历定理与在线学习算法的收敛性分析。三种大数定律的假设与结论对照如下。

定律	假设	收敛模式	结论
伯努利大数定律	伯努利序列	依概率	$n_A/n\to p$
辛钦大数定律	独立同分布，$E|X|<\mathrm{\infty }$	依概率	${\overline{X}}_n\to \mu$
柯尔莫哥洛夫强大数定律	独立同分布，$E|X|<\mathrm{\infty }$	几乎必然	${\overline{X}}_n\to \mu$

反例：柯西分布的样本均值

大数定律需要一阶矩存在这一条件，柯西分布（Cauchy distribution）是不满足条件时结论失效的标准例子，2.5 节已经给出它的密度 $f(x)={\displaystyle \frac{1}{\pi (1+x^2)}}$。柯西分布的尾部按 $1/x^2$ 衰减，$E|X|=\mathrm{\infty }$，一阶矩不存在。

柯西分布有一个特殊性质：若干个独立柯西变量的算术平均仍服从同参数柯西分布。设 $X_1,\dots ,X_n$ 独立同分布于标准柯西分布，则 ${\overline{X}}_n$ 也服从标准柯西分布，与 $n$ 无关。这意味着增加样本量不会使样本均值的分布变窄，四分位距始终约为 $2$，宽度不随 $n$ 缩小。柯西分布的四分位数对称，理论上中位数为 $0$，但样本均值在样本量大时仍会频繁出现远离 $0$ 的取值，因为单个极端值可以主导平均值，把 ${\overline{X}}_n$ 拉到很远处。这一现象说明大数定律与中心极限定理都以矩条件为前提，重尾分布下需要换用对极端值稳健的统计量，例如中位数。

import numpy as np

rng = np.random.default_rng(11)
n_reps = 20_000

# 对比正态与柯西分布下样本均值的四分位距随 n 的变化
for n in [10, 100, 10_000]:
    xn = rng.standard_normal(size=(n_reps, n)).mean(axis=1)
    xc = rng.standard_cauchy(size=(n_reps, n)).mean(axis=1)
    iqr_n = np.percentile(xn, 75) - np.percentile(xn, 25)
    iqr_c = np.percentile(xc, 75) - np.percentile(xc, 25)
    print(f"n = {n:6d}  正态 IQR = {iqr_n:.4f}  柯西 IQR = {iqr_c:.4f}")
# n =     10  正态 IQR = 0.4203  柯西 IQR = 1.9622
# n =    100  正态 IQR = 0.1348  柯西 IQR = 2.0034
# n =  10000  正态 IQR = 0.0135  柯西 IQR = 1.9981
# 正态的 IQR 按 1/sqrt(n) 缩小，柯西的 IQR 始终约为 2，不随 n 变化

# 柯西样本均值的中位数虽接近 0，但尾部极宽：用中位数与均值的差别体现极端值影响
x = rng.standard_cauchy(size=(n_reps, 1000))
means = x.mean(axis=1)
print(f"n = 1000 时样本均值的经验中位数 = {np.median(means):.4f}")   # 接近 0
print(f"n = 1000 时样本均值绝对值超过 10 的比例 = {(np.abs(means) > 10).mean():.4f}")
# 中位数接近 0，但仍有约 0.03 的比例偏离超过 10，收敛不成立

2.7.4 中心极限定理

林德伯格-莱维定理

中心极限定理（central limit theorem，CLT）描述样本均值围绕期望的波动。设 $X_1,X_2,\dots$ 独立同分布，$E[X_1]=\mu$，$\mathrm{Var}(X_1)={\sigma }^2$ 且 $0<{\sigma }^2<\mathrm{\infty }$，则

$$\frac{\sqrt{n}({\overline{X}}_n-\mu )}{\sigma }\stackrel{d}{\to }\text{N}(0,1),n\to \mathrm{\infty }$$

这一形式称为林德伯格-莱维定理（Lindeberg-Lévy theorem）。等价的写法是把部分和 $S_n=\sum _{i=1}^n{X}_i$ 标准化：

$$\frac{S_n-n\mu }{\sigma \sqrt{n}}\stackrel{d}{\to }\text{N}(0,1)$$

定理的内容是对分布形状的普适性：无论原始分布是均匀的、指数的还是离散的，只要方差有限，标准化的样本均值都收敛到标准正态分布。$n$ 有限时样本均值的方差为 ${\sigma }^2/n$，标准差为 $\sigma /\sqrt{n}$，按 $1/\sqrt{n}$ 缩小，这一缩放是误差随样本量减少的定量形式。中心极限定理为统计推断提供了构造置信区间与检验统计量的基础。

特征函数证明思路

证明分三步。第一步，把标准化量写成独立同分布项之和，${\displaystyle \frac{S_n-n\mu }{\sigma \sqrt{n}}}=\sum _{i=1}^n{\displaystyle \frac{X_i-\mu }{\sigma \sqrt{n}}}$。第二步，设 $Y_i=(X_i-\mu )/\sigma$，其均值 $0$、方差 $1$，特征函数 ${\phi }_Y(t)$ 在原点附近展开为

$${\phi }_Y(t)=1-\frac{t^2}{2}+o(t^2)$$

第三步，由独立性，标准化量的特征函数为诸项特征函数的乘积，把每项的 $t$ 替换为 $t/\sqrt{n}$，

$${\phi }_n(t)={\left[{\phi }_Y\left(\frac{t}{\sqrt{n}}\right)\right]}^n={[1-\frac{t^2}{2n}+o\left(\frac{1}{n}\right)]}^n⟶e^{-t^2/2}$$

极限 $e^{-t^2/2}$ 正是标准正态分布的特征函数。由列维连续性定理，特征函数收敛蕴含依分布收敛，定理得证。这一证明说明中心极限定理的普适性来自特征函数在原点处的二阶展开，与分布的细节无关，只依赖前两阶矩。

李雅普诺夫定理与林德伯格条件

独立同分布并非中心极限定理的必要条件，去掉同分布后需要控制各项的相对贡献。

李雅普诺夫定理（Lyapunov's theorem）设 $X_i$ 相互独立，$E[X_i]={\mu }_i$，$\mathrm{Var}(X_i)={\sigma }_i^2$，记 $s_n^2=\sum _{i=1}^n{\sigma }_i^2$。若存在 $\delta >0$ 使得

$$\underset{n\to \mathrm{\infty }}{lim}\frac{1}{s_n^{2+\delta }}\sum _{i=1}^{n}E{|X_i-{\mu }_i|}^{2+\delta }=0$$

则 ${\displaystyle \frac{1}{s_n}}\sum _{i=1}^n(X_i-{\mu }_i)\stackrel{d}{\to }\text{N}(0,1)$。条件要求各阶矩的增长被 $s_n^{2+\delta }$ 主导，含义是没有任何单项在总方差中占比过大。

林德伯格条件（Lindeberg condition）比李雅普诺夫条件更弱。对任意 $\epsilon >0$，

$$\underset{n\to \mathrm{\infty }}{lim}\frac{1}{s_n^2}\sum _{i=1}^{n}E\left[{(X_i-{\mu }_i)}^2\mathbf{1}\{|X_i-{\mu }_i|>\epsilon s_n\}\right]=0$$

条件的形式是把各变量的方差中对总方差贡献较大的部分剔除后求和，要求这一截断和相对 $s_n^2$ 可忽略。林德伯格条件控制的是尾部质量，允许单个变量取很大值但概率极小。林德伯格条件蕴含中心极限定理，且在一定附加条件下是必要的。李雅普诺夫条件通过矩不等式推出林德伯格条件，两者的分工是前者用高阶矩换取验证方便，后者用尾部截断刻画更精细。

局部极限定理

中心极限定理描述的是分布函数的收敛，局部极限定理（local limit theorem）描述的是概率质量函数的逐点收敛。对取整数值、格点跨度为 $1$ 的独立同分布序列，设 $S_n=\sum _{i=1}^n{X}_i$，则当 $n\to \mathrm{\infty }$ 时，对满足 $(k-n\mu )/(\sigma \sqrt{n})$ 有界的整数 $k$，

$$P(S_n=k)=\frac{1}{\sigma \sqrt{n}}\phi \left(\frac{k-n\mu }{\sigma \sqrt{n}}\right)(1+o(1))$$

其中 $\phi$ 是标准正态密度。局部极限定理把离散概率的逐点值与连续正态密度对应起来，用于估计二项分布、泊松分布中间区域的概率。它比中心极限定理强，需要分布为格点分布这一结构，且不适用于非格点的连续分布。

import math
import numpy as np

rng = np.random.default_rng(7)

def tail_prob(sampler, mu, sigma, n, reps=100_000):
    """估计 P(标准化样本均值 <= 1.96)，理论极限为 0.975"""
    x = sampler(rng, (reps, n))
    z = math.sqrt(n) * (x.mean(axis=1) - mu) / sigma
    return (z <= 1.96).mean()

cases = {
    "均匀分布 U(0,1)": (lambda r, s: r.uniform(0, 1, size=s), 0.5, math.sqrt(1 / 12)),
    "指数分布 Exp(1)": (lambda r, s: r.exponential(1.0, size=s), 1.0, 1.0),
    "对数正态 LN(0,1)": (lambda r, s: r.lognormal(0.0, 1.0, size=s), math.exp(0.5),
                        math.sqrt(math.e * (math.e - 1))),
}

for name, (sampler, mu, sigma) in cases.items():
    line = f"{name:14s}"
    for n in [2, 5, 30, 200]:
        line += f"  n={n:4d}: {tail_prob(sampler, mu, sigma, n):.4f}"
    print(line)
# 均匀分布 U(0,1)    n=   2: 0.9582  n=   5: 0.9714  n=  30: 0.9743  n= 200: 0.9748
# 指数分布 Exp(1)    n=   2: 0.9488  n=   5: 0.9669  n=  30: 0.9742  n= 200: 0.9749
# 对数正态 LN(0,1)   n=   2: 0.8907  n=   5: 0.9301  n=  30: 0.9578  n= 200: 0.9694
# 三种分布的估计值都向 0.975 靠近，收敛速度随偏度增大而变慢

收敛速度与分布的偏度与峰度相关，均匀分布对称、收敛最快；对数正态分布右偏且重尾，需要更大的 $n$ 才接近正态近似。实践中遇到强偏斜数据时常对数据做对数变换或平方根变换，使变换后的分布更接近对称，从而改善正态近似的精度。

2.7.5 Delta 方法

一元 Delta 方法

很多估计量本身是样本均值的函数，例如单位时间到达率的估计是平均间隔的倒数，平均功率的估计可能是平均电压的平方。这类估计量的极限分布由 Delta 方法（delta method）给出。设 $\sqrt{n}(X_n-\theta )\stackrel{d}{\to }\text{N}(0,{\sigma }^2)$，函数 $g$ 在 $\theta$ 处可微且 $g^{\prime }(\theta )\ne 0$，则

$$\sqrt{n}(g(X_n)-g(\theta ))\stackrel{d}{\to }\text{N}(0,{\sigma }^2{[g^{\prime }(\theta )]}^2)$$

证明用一阶泰勒展开。把 $g(X_n)$ 在 $\theta$ 处展开：

$$g(X_n)=g(\theta )+g^{\prime }(\theta )(X_n-\theta )+R_n$$

其中余项 $R_n$ 满足 $\sqrt{n}{R}_n\stackrel{P}{\to }0$，这一性质来自 $g$ 的可微性与 $X_n$ 的收敛性。两端乘以 $\sqrt{n}$，

$$\sqrt{n}(g(X_n)-g(\theta ))=g^{\prime }(\theta )\cdot \sqrt{n}(X_n-\theta )+\sqrt{n}{R}_n$$

由连续映射定理，$g^{\prime }(\theta )$ 是一个常数倍，$\sqrt{n}(X_n-\theta )$ 依分布收敛到 $\text{N}(0,{\sigma }^2)$；由 Slutsky 定理，余项项依概率收敛到 $0$ 不影响极限分布，故极限分布为 $\text{N}(0,{\sigma }^2{g}^{\prime }(\theta {)}^2)$。当 $g^{\prime }(\theta )=0$ 时一阶项消失，需要用二阶泰勒展开，极限分布变为卡方分布的倍数，这一情形称为退化情形。

多元 Delta 方法

设 ${\mathbf{X}}_n$ 是 ${\text{R}}^d$ 上的随机向量，$\sqrt{n}({\mathbf{X}}_n-\mathit{\theta })\stackrel{d}{\to }\text{N}(\mathbf{0},\mathrm{\Sigma })$，函数 $g:{\text{R}}^d\to \text{R}$ 在 $\mathit{\theta }$ 处可微，梯度向量为 $\mathrm{\nabla }g(\mathit{\theta })$，则

$$\sqrt{n}(g({\mathbf{X}}_n)-g(\mathit{\theta }))\stackrel{d}{\to }\text{N}(0,\mathrm{\nabla }g(\mathit{\theta }{)}^{\mathrm{\top }}\mathrm{\Sigma }\mathrm{\nabla }g(\mathit{\theta }))$$

推导思路与一元情形相同，把 $g$ 在 $\mathit{\theta }$ 处展开为一阶项加余项，用连续映射定理处理梯度项，用 Slutsky 定理消去余项。渐近方差由协方差矩阵 $\mathrm{\Sigma }$ 与梯度按二次型组合而成。当 $g$ 是向量值函数时，渐近协方差矩阵为 $J\mathrm{\Sigma }{J}^{\mathrm{\top }}$，其中 $J$ 是 $g$ 的雅可比矩阵。多元形式在比较两个均值、估计比值与构造复合指标时常用。

标准误传递与渐近方差

Delta 方法的主要应用是把已知估计量的标准误传递到它的函数上。若样本均值满足 $\mathrm{Var}({\overline{X}}_n)\approx {\sigma }^2/n$，则以 ${\overline{X}}_n$ 为自变量的函数估计量 $g({\overline{X}}_n)$ 的标准误近似为

$$\mathrm{SE}[g({\overline{X}}_n)]\approx |g^{\prime }(\mu )|\frac{\sigma }{\sqrt{n}}$$

以估计单位时间到达率的例子说明。设平均间隔为 ${\overline{X}}_n$，到达率为 $g(\mu )=1/\mu$，则 $g^{\prime }(\mu )=-1/{\mu }^2$，到达率估计的标准误为 $\sigma /(\sqrt{n}{\mu }^2)$。以对数变换为例，$g(\mu )=\log \mu$，$g^{\prime }(\mu )=1/\mu$，得 $\mathrm{SE}[\log {\overline{X}}_n]\approx \sigma /(\mu \sqrt{n})$。对数变换后的标准误与均值成反比，是无量纲的相对误差，在建模正数数据时有明显优势。

把 $g^{\prime }(\mu )$ 替换为 $g^{\prime }({\overline{X}}_n)$，把 $\sigma$ 替换为样本标准差，就得到可用的标准误估计。这一替换的依据是 Slutsky 定理：一致估计量替换参数不改变依分布收敛的结论。Delta 方法为 2.10 节点估计的渐近分布提供了工具，极大似然估计的渐近方差、变换后参数的置信区间都以这一结论为出发点。

Delta 方法要求 $g^{\prime }(\theta )\ne 0$

当 $g^{\prime }(\theta )=0$ 时一阶泰勒项消失，前面推导的渐近方差退化到 $0$，结论不再适用。例如估计标准差 $\sigma$ 时，若考虑 $g(\mu )={\mu }^2$ 在 $\mu =0$ 处的行为，一阶项为零，样本均值平方的极限分布由二阶项决定，形态是卡方分布的倍数，与正态分布不同。使用 Delta 方法前先检查目标函数在参数处的导数是否为零，退化的情形需要单独处理。

2.7.6 重对数律与经验过程

重对数律

中心极限定理描述固定尺度 $\sqrt{n}$ 上的波动，重对数律（law of the iterated logarithm，LIL）描述几乎必然意义下波动的最大量级。设 $X_1,X_2,\dots$ 独立同分布，$E[X_1]=\mu$，$\mathrm{Var}(X_1)={\sigma }^2$，则

$$\underset{n\to \mathrm{\infty }}{lim sup}\frac{S_n-n\mu }{\sigma \sqrt{2n\log \log n}}=1\text{a.s.},\underset{n\to \mathrm{\infty }}{lim inf}\frac{S_n-n\mu }{\sigma \sqrt{2n\log \log n}}=-1\text{a.s.}$$

结论说明部分和的偏差几乎必然被 $\sigma \sqrt{2n\log \log n}$ 控制，且会无穷多次接近这一上界。重对数律与中心极限定理的差别在于尺度：中心极限定理的尺度是 $\sqrt{n}$，重对数律的尺度是 $\sqrt{n\log \log n}$，后者略大。两个结论不矛盾，中心极限定理说明每个固定 $n$ 处的标准化的分布趋于正态，重对数律说明沿整条轨道的最大值以 $\sqrt{n\log \log n}$ 增长。重对数律的用处在于判断某个随机算法沿时间累积的偏差是否在正常范围内。

Glivenko-Cantelli 定理

经验分布函数 $F_n(x)={\displaystyle \frac{1}{n}}\sum _{i=1}^n\mathbf{1}\{X_i\le x\}$ 是 2.2 节引入的对象，它把样本落入 $(-\mathrm{\infty },x]$ 的比例作为分布函数的估计。对每个固定的 $x$，由大数定律 $F_n(x)\stackrel{a.s.}{\to }F(x)$，但统计推断需要的是在所有 $x$ 上的一致收敛。Glivenko-Cantelli 定理（Glivenko-Cantelli theorem）给出这一结论：

$$\underset{x\in \text{R}}{sup}|F_n(x)-F(x)|\stackrel{a.s.}{\to }0$$

一致收敛强于逐点收敛，它保证样本足够大时经验分布函数与真实分布函数整体接近，不存在被忽略的区间。这一定理是 Kolmogorov-Smirnov 检验、bootstrap 与经验过程理论的基础，也为 2.9 节讨论次序统计量提供了依据。

Donsker 定理

把 Glivenko-Cantelli 定理乘以 $\sqrt{n}$ 得到波动的尺度。Donsker 定理（Donsker's theorem）说明经验过程 $\sqrt{n}(F_n-F)$ 在一致范数下依分布收敛到布朗桥（Brownian bridge）：

$$\sqrt{n}(F_n-F)\stackrel{d}{\to }\mathbb{B},n\to \mathrm{\infty }$$

布朗桥是满足 $B_0=B_1=0$ 的高斯过程，其协方差函数为 $\mathrm{Cov}(B_s,B_t)=min(s,t)-st$。Donsker 定理把经验分布函数的波动结构完整刻画为一个高斯过程，是泛函中心极限定理的典型形式。它说明经验过程在极限下可以当作布朗桥处理，从而把统计量的极限分布转化为布朗桥函数的分布。Kolmogorov-Smirnov 统计量的极限分布正是布朗桥上确界的分布。这条结论把 2.2 节的经验分布函数与 2.8 节的布朗运动联系起来：布朗运动是随机游走的连续极限，布朗桥是经验过程的连续极限，两类对象共享同一套高斯过程理论。

2.7.7 概率不等式

基本不等式

马尔可夫不等式（Markov's inequality）对非负随机变量给出尾概率的上界：若 $X\ge 0$ 且 $a>0$，则

$$P(X\ge a)\le \frac{E[X]}{a}$$

证明用指示函数，注意到 $a\mathbf{1}\{X\ge a\}\le X$ 在事件 $\{X\ge a\}$ 上成立，两端取期望即得。马尔可夫不等式只用到一阶矩，界比较松，价值在于条件最少，是推导其他不等式的起点。

切比雪夫不等式（Chebyshev's inequality）把马尔可夫不等式用于 $(X-\mu {)}^2$，得到

$$P(|X-\mu |\ge a)\le \frac{{\sigma }^2}{a^2}$$

它是大数定律与中心极限定理证明中的基本工具，也是理解方差为何度量波动大小的切入点。切比雪夫不等式对任何分布都有有限的界，但对具体的分布往往过松。

切尔诺夫界（Chernoff bound）用矩母函数把尾概率的估计转化为指数优化。对任意 $t>0$，

$$P(X\ge a)=P(e^{tX}\ge e^{ta})\le e^{-ta}E\left[e^{tX}\right]$$

对 $t$ 取下确界得到 $P(X\ge a)\le \underset{t>0}{inf}{e}^{-ta}E[e^{tX}]$。切尔诺夫界的价值在于对独立和的矩母函数可以分解，把多维问题化为一维优化，得到的界随 $n$ 指数下降，比切比雪夫界强得多。

集中不等式

霍夫丁不等式（Hoeffding's inequality）处理独立有界随机变量的和。设 $X_1,\dots ,X_n$ 相互独立，$X_i\in [a_i,b_i]$，$S_n=\sum _{i=1}^n{X}_i$，则对任意 $t>0$，

$$P(S_n-E[S_n]\ge t)\le \exp (-\frac{2t^2}{\sum _{i=1}^n(b_i-a_i{)}^2})$$

对下尾方向有对称结论。可见范围的平方和出现在分母中，范围越小界越紧。霍夫丁界只用到有界性，不需要方差信息，适用于取值受物理或工程限制的量。

本内特不等式（Bennett's inequality）利用已知的方差改善有界情形的界。设 $X_i$ 独立、均值零、$|X_i|\le M$，记 $v=\sum _{i=1}^{n}E[X_i^2]$，则

$$P(S_n\ge t)\le \exp (-\frac{v}{M^2}h\left(\frac{Mt}{v}\right)),h(u)=(1+u)\log (1+u)-u$$

函数 $h$ 在 $u$ 较小时接近 $u^2/2$，$t$ 较小时界近似 $\exp (-t^2/(2v))$，与亚高斯界一致；$t$ 较大时转为指数衰减。本内特不等式同时利用了方差与有界范围，比霍夫丁界更紧。

伯恩斯坦不等式（Bernstein's inequality）是本内特不等式的一个便于使用的上界：

$$P(S_n\ge t)\le \exp (-\frac{t^2}{2(v+Mt/3)})$$

分母中方差项 $v$ 与范围项 $Mt/3$ 的竞争决定衰减形态：$t$ 小时方差项主导，界按 $\exp (-t^2/(2v))$ 衰减，属于亚高斯形态；$t$ 大时范围项主导，界按 $\exp (-3t/(2M))$ 衰减，属于亚指数形态。这种分段行为是亚指数随机变量求和后的典型尾。

阿祖马不等式（Azuma's inequality）把霍夫丁不等式推广到鞅差序列。设 $\{M_n\}$ 是鞅，$|M_i-M_{i-1}|\le c_i$，则

$$P(|M_n-M_0|\ge t)\le 2\exp (-\frac{t^2}{2\sum _{i=1}^n{c}_i^2})$$

麦克迪尔米德不等式（McDiarmid's inequality）处理函数对独立变量的依赖。若函数 $f$ 满足有界差分条件，即改变任一坐标 $x_i$ 时函数值变化不超过 $c_i$，则对独立变量 $X_1,\dots ,X_n$，

$$P(|f(X_1,\dots ,X_n)-E[f]|\ge t)\le 2\exp (-\frac{2t^2}{\sum _{i=1}^n{c}_i^2})$$

两条不等式把集中现象从和的偏差扩展到更一般的函数，例如样本中位数、机器学习模型的训练误差都可以用有界差分条件处理，是分析随机算法稳定性的常用工具。

凸性不等式与范数不等式

詹森不等式（Jensen's inequality）刻画凸函数与期望的顺序：若 $\phi$ 是凸函数，则

$$E[\phi (X)]\ge \phi (E[X])$$

证明用凸函数的支撑线：对任意 $x$ 存在直线 $L$ 满足 $L(\mu )=\phi (\mu )$ 且 $L(x)\le \phi (x)$，取 $x=X$ 后两端取期望即得。取 $\phi (x)=x^2$ 得到 $E[X^2]\ge (E[X]{)}^2$，即方差非负；取 $\phi (x)=-\log x$ 得到 $E[\log X]\le \log E[X]$，是算术平均与几何平均关系的来源。

柯西-施瓦茨不等式（Cauchy-Schwarz inequality）给出内积的界：

$${(E[XY])}^2\le E\left[X^2\right]E\left[Y^2\right]$$

它的作用是把协方差与方差联系起来，$\mathrm{Cov}(X,Y{)}^2\le \mathrm{Var}(X)\mathrm{Var}(Y)$ 给出相关系数绝对值不超过 $1$ 的结论，也是证明 Cramér-Rao 下界的工具。

赫尔德不等式（Hölder's inequality）推广柯西-施瓦茨不等式：若 $p,q>1$ 且 $1/p+1/q=1$，则

$$E\left|XY\right|\le {\left(E{\left|X\right|}^p\right)}^{1/p}{\left(E{\left|Y\right|}^q\right)}^{1/q}$$

取 $p=q=2$ 得到柯西-施瓦茨不等式。闵可夫斯基不等式（Minkowski's inequality）给出 $L^p$ 范数的三角不等式：

$${\left(E{|X+Y|}^p\right)}^{1/p}\le {\left(E{\left|X\right|}^p\right)}^{1/p}+{\left(E{\left|Y\right|}^p\right)}^{1/p}$$

两条不等式保证 $L^p$ 空间是赋范线性空间，是泛函分析在概率论中的应用。下表中列出本节不等式对照。

不等式	形式	主要条件
马尔可夫	$P(X\ge a)\le E[X]/a$	$X\ge 0$，$a>0$
切比雪夫	$P(|X-\mu |\ge a)\le {\sigma }^2/a^2$	方差有限
切尔诺夫	$P(X\ge a)\le \underset{t>0}{inf}{e}^{-ta}E[e^{tX}]$	矩母函数存在
霍夫丁	$P(S-ES\ge t)\le \exp (-2t^2/\sum (b_i-a_i{)}^2)$	独立有界
本内特	$P(S\ge t)\le \exp (-(v/M^2)h(Mt/v))$	独立、有界、均值零
伯恩斯坦	$P(S\ge t)\le \exp (-t^2/(2(v+Mt/3)))$	独立、有界
阿祖马	$P(|M_n-M_0|\ge t)\le 2\exp (-t^2/(2\sum c_i^2))$	有界增量鞅
麦克迪尔米德	$P(|f-Ef|\ge t)\le 2\exp (-2t^2/\sum c_i^2)$	有界差分
詹森	$E[\phi (X)]\ge \phi (E[X])$	$\phi$ 凸
柯西-施瓦茨	$(E[XY]{)}^2\le E[X^2]E[Y^2]$	二阶矩有限
赫尔德	$E|XY|\le (E|X{|}^p{)}^{1/p}(E|Y{|}^q{)}^{1/q}$	$1/p+1/q=1$
闵可夫斯基	$||X+Y|{|}_p\le ||X|{|}_p+||Y|{|}_p$	$p\ge 1$

与信息论相关的两条不等式

法诺不等式（Fano's inequality）把估计误差的概率与条件熵联系起来。设 $X$ 取值于大小 $|\mathcal{X}|$ 的字母表，$\hat{X}$ 是 $X$ 的估计，错误概率为 $P_e=P(\hat{X}\ne X)$，则

$$H(X\mid Y)\le H\left(P_e\right)+P_e\log (|\mathcal{X}|-1)$$

结论说明错误概率越小，给定观测 $Y$ 后关于 $X$ 的剩余不确定性越小，估计精度与信息量之间存在定量关系。数据处理不等式（data processing inequality）说明信息处理不能增加信息：若 $X\to Y\to Z$ 构成马尔可夫链，则 $I(X;Z)\le I(X;Y)$。两条不等式把概率论与信息论连接起来，在估计理论的下界推导与学习理论的误差分析中反复出现，信息论部分会在后续章节详细展开。

2.7.8 尾概率界与集中不等式

亚高斯随机变量

亚高斯随机变量（sub-Gaussian random variable）指尾概率按高斯速率衰减的随机变量。称 $X$ 为 $\sigma$-亚高斯，若对任意 $t>0$，

$$P(|X|)\le 2\exp (-\frac{t^2}{2{\sigma }^2})$$

等价的刻画是矩母函数条件：$E[e^{tX}]\le e^{t^2{\sigma }^2/2}$ 对一切 $t$ 成立。有界随机变量、正态随机变量、伯努利随机变量都属于亚高斯族。亚高斯的等价条件还包括 $\underset{p\ge 1}{sup}{p}^{-1/2}(E|X{|}^p{)}^{1/p}<\mathrm{\infty }$，即各阶矩的增长不超过高斯。亚高斯随机变量的和仍为亚高斯，方差相加，这一封闭性是集中不等式便于使用的根源。

亚指数随机变量

亚指数随机变量（sub-exponential random variable）的尾比高斯更重，但仍按指数速率衰减。称 $X$ 为 $(\nu ,\alpha )$-亚指数，若对 $|t|\le 1/\alpha$ 有

$$E\left[e^{tX}\right]\le e^{t^2{\nu }^2/2}$$

尾概率满足 $P(|X|\ge t)\le 2\exp (-cmin(t^2/{\nu }^2,t/\alpha ))$，其中 $c$ 为常数。卡方随机变量、正态随机变量的乘积、指数分布都属于亚指数族。亚高斯随机变量的平方是亚指数随机变量，这是两者的主要联系。亚指数随机变量求和后尾行为分段：小偏差区按高斯速率衰减，大偏差区按指数速率衰减。

霍夫丁界的完整推导

推导分两步，先给出关于单个有界随机变量矩母函数的引理，再用切尔诺夫方法求和。

霍夫丁引理：设 $X$ 满足 $E[X]=0$ 且 $a\le X\le b$，则对任意 $t>0$，

$$E\left[e^{tX}\right]\le \exp \left(\frac{t^2(b-a{)}^2}{8}\right)$$

证明用凸性。对 $X\in [a,b]$，指数函数在其两端点之间被弦控制，

$$e^{tX}\le \frac{X-a}{b-a}{e}^{tb}+\frac{b-X}{b-a}{e}^{ta}$$

两端取期望，用 $E[X]=0$，

$$E\left[e^{tX}\right]\le \frac{b{e}^{ta}-a{e}^{tb}}{b-a}=e^{t^2(b-a{)}^2/8}\cdot [\cdots ]$$

对右边关于 $p=-a/(b-a)$ 整理并利用 $\log$ 的泰勒展开，得到 $E[e^{tX}]\le e^{t^2(b-a{)}^2/8}$，引理得证。

求和：设 $X_1,\dots ,X_n$ 相互独立，$X_i\in [a_i,b_i]$，$S_n=\sum X_i$。由切尔诺夫界与独立性，

$$P(S_n-E[S_n]\ge t)\le e^{-t\theta }\prod _{i=1}^{n}E\left[e^{\theta (X_i-E[X_i])}\right]\le \exp (-t\theta +\frac{{\theta }^2}{8}\sum _{i=1}^n(b_i-a_i{)}^2)$$

对 $\theta$ 取最优值 $\theta ={\displaystyle \frac{4t}{\sum _i(b_i-a_i{)}^2}}$，代入得

$$P(S_n-E[S_n]\ge t)\le \exp (-\frac{2t^2}{\sum _{i=1}^n(b_i-a_i{)}^2})$$

这就是霍夫丁不等式。推导只用到了有界性与独立性，没有用到具体的分布形式。

用集中不等式给出样本均值偏离的指数界

把霍夫丁不等式用于样本均值。设 $X_i\in [a,b]$ 独立同分布，均值为 $\mu$，样本均值 ${\overline{X}}_n=S_n/n$。对任意 $\epsilon >0$，把 $t=n\epsilon$ 代入霍夫丁不等式：

$$P({\overline{X}}_n-\mu \ge \epsilon )=P(S_n-n\mu \ge n\epsilon )\le \exp (-\frac{2n^2{\epsilon }^2}{n(b-a{)}^2})=\exp (-\frac{2n{\epsilon }^2}{(b-a{)}^2})$$

下尾方向有完全对称的界，合并得到 $P(|{\overline{X}}_n-\mu |\ge \epsilon )\le 2\exp (-2n{\epsilon }^2/(b-a{)}^2)$。结论说明样本均值偏离期望超过 $\epsilon$ 的概率随 $n$ 指数下降，固定 $\epsilon$ 时每增加一个样本，界按常数因子缩小。把界反解可以确定达到指定精度所需的样本量：要使偏离概率不超过 $\delta$，需 $n\ge {\displaystyle \frac{(b-a{)}^2}{2{\epsilon }^2}}\log {\displaystyle \frac{2}{\delta }}$，这正是泛化界中样本复杂度估计的标准形式。

次高斯尾与伯恩斯坦条件的对比

固定有界范围时霍夫丁不等式给出简单的亚高斯界，但它忽略了方差信息，在方差远小于范围平方时过于保守。伯恩斯坦不等式同时使用方差与范围，在中等偏差区给出 $\exp (-t^2/(2v))$ 的界，与亚高斯界一致，在大偏差区给出 $\exp (-3t/(2M))$ 的指数界。两者的选择依据是数据的两类结构：取值有硬性上下界（例如评分、比例、物理量测量值）时用霍夫丁界，取值虽无硬界但尾部衰减快（例如对数收益、高频噪声）时用伯恩斯坦类界。当 $t$ 远小于 $v/M$ 时方差项主导，伯恩斯坦界近似亚高斯；当 $t$ 大于 $v/M$ 时范围项主导，尾行为转为亚指数。

import math
import numpy as np

rng = np.random.default_rng(3)
p, n, reps = 0.5, 100, 200_000

# 伯努利变量取值于 [0, 1]，均值 p
x = (rng.random((reps, n)) < p).astype(float)
dev = np.abs(x.mean(axis=1) - p)

print("eps     实测尾概率      霍夫丁界        切比雪夫界")
for eps in [0.05, 0.10, 0.15, 0.20]:
    emp = (dev >= eps).mean()
    hoeff = math.exp(-2 * n * eps ** 2)
    cheb = min(1.0, p * (1 - p) / (n * eps ** 2))
    print(f"{eps:.2f}    {emp:.3e}     {hoeff:.3e}      {cheb:.3e}")
# eps     实测尾概率      霍夫丁界        切比雪夫界
# 0.05    3.175e-01     6.065e-01      1.000e+00
# 0.10    4.575e-02     1.353e-01      2.500e-01
# 0.15    2.840e-03     1.111e-02      1.111e-01
# 0.20    7.200e-05     3.355e-04      6.250e-02
# 实测尾概率始终小于两个上界，霍夫丁界比切比雪夫界更紧

三种数值的对比说明集中不等式的界是上界而非逼近值。霍夫丁界在偏差较小时与实测值接近，偏差增大后逐渐宽松。切比雪夫界在 $\epsilon$ 较小时超过 $1$，只提供平凡结论，随 $\epsilon$ 增大才开始起作用。选择界时应根据数据的有界性、方差信息与所需精度决定，界偏松时仍可用于构造保守的样本复杂度估计。

界的松紧与实际用途

集中不等式给出的界通常比真实尾概率大若干倍，把它们当作精确估计会低估所需样本量。界的价值在于提供随 $n$ 变化的正确速率与不依赖分布细节的保证。用切比雪夫界确定样本量往往比霍夫丁界需要更多样本，因为前者的衰减只有 $1/n$，后者是指数级。当推导泛化界或设计随机算法时，先接受界的保守性，把注意力放在速率是否正确上。

2.7.9 泛化界初步

经验风险与真实风险

机器学习模型的学习过程可以放在集中不等式的框架下理解。设损失函数为 $\ell$，模型 $h$ 在单条样本上的损失为 $\ell (h(X),Y)$。真实风险是损失的期望，

$$R(h)=E\left[\ell (h(X),Y)\right]$$

经验风险是损失在训练样本上的平均，

$$R_n(h)=\frac{1}{n}\sum _{i=1}^n\ell (h(X_i),Y_i)$$

训练过程最小化的是经验风险，关心的是真实风险。两者之差的控制是泛化问题的核心：只有当经验风险一致接近真实风险时，最小化经验风险才能保证真实风险也小。

有限假设类的一致收敛

对固定的模型 $h$，若损失有界，取值于 $[0,1]$，则由霍夫丁不等式，

$$P(|R_n(h)-R(h)|\ge \epsilon )\le 2\exp (-2n{\epsilon }^2)$$

训练过程在假设类 $\mathcal{H}$ 中搜索，需要控制的是全部候选模型上的偏差。对有限假设类用联合界对全体假设取并，

$$P(\underset{h\in \mathcal{H}}{sup}|R_n(h)-R(h)|\ge \epsilon )\le 2\left|\mathcal{H}\right|\exp (-2n{\epsilon }^2)$$

令右边等于 $\delta$ 反解 $\epsilon$，得到一致收敛的界：以概率至少 $1-\delta$，

$$\underset{h\in \mathcal{H}}{sup}|R_n(h)-R(h)|\le \sqrt{\frac{\log \left|\mathcal{H}\right|+\log (2/\delta )}{2n}}$$

结论说明泛化误差按 $1/\sqrt{n}$ 减小，同时随假设类大小的对数增长。假设类越大，模型表达能力越强，经验风险可以压得更低，但一致收敛的界变松，两者之间的取舍正是偏差-方差权衡的一种表现。把假设类换成实数参数化的模型族，$\log |\mathcal{H}|$ 被覆盖数或 VC 维等容量度量取代，得到统计学习理论的一般泛化界，2.13 节与 2.14 节会继续讨论这一方向。

本节把集中不等式用在了经验风险与真实风险的差距上，得到的界只依赖样本量与模型容量，不对数据分布作额外假设。这一思路把 2.7 节前半部分的极限定理与后半部分的集中不等式连接起来：极限定理给出估计量的极限分布，用于构造区间与检验；集中不等式给出有限样本下的偏差上界，用于判断样本量与模型复杂度是否足够。两类工具服务于同一个目标，即用有限数据对未知规律作出有量化不确定性的判断。

2.7.10 本节小结

从收敛模式到有限样本的界

本节给出随机变量序列的四种收敛模式。依概率收敛控制偏离概率，几乎必然收敛控制单条轨道的极限，依分布收敛控制分布函数，$L^p$ 收敛控制矩的差距。两条蕴含链是 $L^p\Rightarrow P\Rightarrow d$ 与 $a.s.\Rightarrow P\Rightarrow d$，反方向的蕴含均不成立，需要分别构造反例。连续映射定理与 Slutsky 定理把收敛性传递到函数与组合运算上，Delta 方法用一阶泰勒展开与这两个定理给出估计量函数的渐近正态性与标准误，为点估计的渐近分布做准备。大数定律说明样本均值收敛到期望，伯努利、辛钦与柯尔莫哥洛夫三种形式的假设依次放宽为伯努利序列、独立同分布加一阶矩存在，柯西分布因一阶矩不存在而失效。中心极限定理说明标准化的样本均值依分布收敛到标准正态分布，林德伯格-莱维定理处理独立同分布，李雅普诺夫定理与林德伯格条件处理独立不同分布。重对数律给出几乎必然的最大波动尺度 $\sqrt{n\log \log n}$，Glivenko-Cantelli 定理与 Donsker 定理把经验分布函数的一致收敛与波动结构刻画清楚，后者与布朗桥相联系。概率不等式提供偏离概率的上界，马尔可夫、切比雪夫与切尔诺夫给出基本工具，霍夫丁、本内特、伯恩斯坦、阿祖马与麦克迪尔米德把集中现象扩展到和与函数，詹森、柯西-施瓦茨、赫尔德与闵可夫斯基给出凸性与范数层面的关系。霍夫丁界的完整推导展示了有界性如何转化为亚高斯尾，样本均值的偏离概率随样本量指数下降，据此得到经验风险与真实风险差距的泛化界。

本节的全部结论都建立在独立的前提之上，独立性保证和的方差可加，中心极限定理才能把总方差写成 $n{\sigma }^2$，霍夫丁不等式才能把矩母函数分解为乘积。当随机变量之间存在依赖时，这套工具需要修改：样本之间的时序相关使和的方差不再等于各项方差之和，极限行为由转移结构而非独立和决定。下一步把随机变量的指标集从有限个扩展到一族，讨论马尔可夫链、泊松过程与布朗运动这类带依赖结构的过程，它们用转移概率、强度函数或协方差函数刻画依赖，并在合适的条件下保留大数定律与中心极限定理的形式。

练习题

第 1 题 概念推导

设随机变量序列 $\{X_n\}$ 与随机变量 $X$ 满足 $X_n\stackrel{L^p}{\to }X$，其中 $p\ge 1$。利用马尔可夫不等式证明 $X_n\stackrel{P}{\to }X$。再构造一个例子说明依概率收敛不能推出均方收敛，并指出反例中哪个量不满足收敛要求。

参考答案

第一步，由 $L^p$ 收敛推出依概率收敛。 对任意 $\epsilon >0$，事件 $|X_n-X|\ge \epsilon$ 蕴含 $|X_n-X{|}^p\ge {\epsilon }^p$。由马尔可夫不等式，对非负随机变量 $|X_n-X{|}^p$，

$$P(|X_n-X|\ge \epsilon )=P(|X_n-X{|}^p\ge {\epsilon }^p)\le \frac{E{|X_n-X|}^p}{{\epsilon }^p}$$

由 $L^p$ 收敛，右端的分子趋于 $0$，分母是固定正数，故整个上界趋于 $0$，得到 $X_n\stackrel{P}{\to }X$。推导只用到马尔可夫不等式与 $L^p$ 收敛的定义，与 $X_n$ 的具体分布无关。

第二步，构造反例。 取 $X_n$ 满足 $P(X_n=n)=1/n$，$P(X_n=0)=1-1/n$。对任意 $\epsilon >0$，当 $n>\epsilon$ 时，$\{X_n\ge \epsilon \}$ 只包含事件 $\{X_n=n\}$，因此

$$P(|X_n|\ge \epsilon )=\frac{1}{n}⟶0$$

序列依概率收敛到 $0$。计算二阶矩：

$$E\left[X_n^2\right]=n^2\cdot \frac{1}{n}=n⟶\mathrm{\infty }$$

均方收敛要求 $E[X_n^2]\to 0$，此处不成立。反例中不满足收敛要求的量是二阶矩：偏离值 $n$ 随 $n$ 增长，偏离概率 $1/n$ 的衰减不足以补偿偏离量级的增长，乘积 $n$ 发散。这说明依概率收敛只控制偏离的概率，不控制偏离的量级，均方收敛额外要求大偏离被足够快地抑制。

第 2 题 计算推理

某在线客服系统记录每次通话的等待时间，历史数据显示等待时间独立同分布，均值 $\mu =4$ 分钟，标准差 $\sigma =3$ 分钟。取 $n=900$ 次通话作为样本，用中心极限定理近似下列量：（一）样本均值超过 $4.2$ 分钟的概率；（二）样本均值落在 $4$ 分钟上下 $0.2$ 分钟内的概率。再用霍夫丁不等式给出（一）中偏离的上界，假设单次等待时间不超过 $30$ 分钟，说明两个结果为何不同。

参考答案

（一） 样本均值的标准差为 $\sigma /\sqrt{n}=3/30=0.1$。标准化得

$$P({\overline{X}}_{900}>4.2)=P(\frac{{\overline{X}}_{900}-4}{0.1}>\frac{0.2}{0.1})\approx P(Z>2)=1-\mathrm{\Phi }(2)\approx 0.0228$$

样本均值超过 $4.2$ 分钟的概率约为 $2.28\mathrm{\%}$。

（二） 上下 $0.2$ 分钟对应 $|Z|\le 2$，

$$P(|{\overline{X}}_{900}-4|\le 0.2)\approx 2\mathrm{\Phi }(2)-1\approx 0.9544$$

样本均值落在 $4\pm 0.2$ 分钟内的概率约为 $95.44\mathrm{\%}$，这是构造 $95\mathrm{\%}$ 置信区间时的常用尺度。

（三） 霍夫丁不等式给出 $P({\overline{X}}_{900}-4\ge 0.2)\le \exp (-2n{\epsilon }^2/(b-a{)}^2)$，其中 $\epsilon =0.2$，$b-a=30$，

$$P({\overline{X}}_{900}-4\ge 0.2)\le \exp (-\frac{2\times 900\times 0.04}{900})=e^{-0.08}\approx 0.923$$

霍夫丁界给出的上界超过 $0.9$，比中心极限定理的 $0.0228$ 大很多。原因是霍夫丁不等式只用到取值范围的硬性上界 $30$ 分钟，没有利用标准差 $\sigma =3$ 这一信息，而实际分布的标准差远小于范围的一半，因此界相当宽松。中心极限定理利用前两阶矩，给出更精确的近似，代价是要求 $n$ 足够大且分布满足二阶矩有限。两个结果回答的问题不同：中心极限定理给出近似的概率值，霍夫丁不等式给出不依赖分布细节的保守上界。

第 3 题 代码验证

编写代码验证霍夫丁不等式与实测尾概率的关系。取伯努利变量（取值 $0$ 或 $1$，均值 $p=0.4$），样本量分别取 $n=50,200,800$，偏差阈值取 $\epsilon =0.1$，用蒙特卡洛模拟估计 $P(|{\overline{X}}_n-p|\ge \epsilon )$，并与霍夫丁界、切比雪夫界对照。观察三个量随 $n$ 的变化速率。

参考答案

import math
import numpy as np

rng = np.random.default_rng(2024)
p, eps, reps = 0.4, 0.1, 500_000

print("n      实测尾概率      霍夫丁界        切比雪夫界")
for n in [50, 200, 800]:
    x = (rng.random((reps, n)) < p).astype(float)
    emp = (np.abs(x.mean(axis=1) - p) >= eps).mean()
    hoeff = math.exp(-2 * n * eps ** 2)
    cheb = min(1.0, p * (1 - p) / (n * eps ** 2))
    print(f"{n:4d}   {emp:.3e}     {hoeff:.3e}      {cheb:.3e}")

三个量的典型输出如下。$n=50$ 时实测尾概率约为 $0.15$，霍夫丁界为 $e^{-1}\approx 0.37$，切比雪夫界为 $0.6$；$n=200$ 时实测尾概率约为 $0.008$，霍夫丁界为 $e^{-4}\approx 0.018$，切比雪夫界为 $0.15$；$n=800$ 时实测尾概率已很小，霍夫丁界为 $e^{-16}\approx 1.1\times {10}^{-7}$，切比雪夫界仍有 $0.0375$。实测值始终不超过两个界，说明两者都是有效的上界。霍夫丁界随 $n$ 按指数缩小，切比雪夫界只按 $1/n$ 缩小，二者在 $n$ 增大后差距迅速拉开。这也是集中不等式相对基本不等式的优势所在：利用独立性以后，偏离概率随样本量的下降是指数级的。

第 4 题 综合应用

某外卖平台记录到配送时间的样本均值为 ${\overline{X}}_n=28$ 分钟，样本标准差为 $s=6$ 分钟，样本量 $n=400$。运营关心配送时间的标准差的对数，即 $\log s$ 这一量的波动，用以比较不同城市的稳定性。用 Delta 方法估计 $\log {\overline{X}}_n$ 的标准误，并给出 $\log {\overline{X}}_n$ 的近似 $95\mathrm{\%}$ 置信区间。若把关心的量改为配送时间的均方，即 ${\overline{X}}_n^2$，重复计算标准误，说明两次计算中导数的作用。

参考答案

样本均值的标准误为 $\mathrm{SE}({\overline{X}}_n)=s/\sqrt{n}=6/20=0.3$ 分钟。

对数变换。 取 $g(x)=\log x$，$g^{\prime }(x)=1/x$，在 ${\overline{X}}_n=28$ 处 $g^{\prime }(28)=1/28$。由 Delta 方法，

$$\mathrm{SE}(\log {\overline{X}}_n)\approx |g^{\prime }({\overline{X}}_n)|\cdot \mathrm{SE}\left({\overline{X}}_n\right)=\frac{0.3}{28}\approx 0.0107$$

$\log {\overline{X}}_n=\log 28\approx 3.332$，近似 $95\mathrm{\%}$ 置信区间为

$$3.332\pm 1.96\times 0.0107\approx (3.311,3.353)$$

平方变换。 取 $g(x)=x^2$，$g^{\prime }(x)=2x$，在 ${\overline{X}}_n=28$ 处 $g^{\prime }(28)=56$。由 Delta 方法，

$$\mathrm{SE}\left({\overline{X}}_n^2\right)\approx 56\times 0.3=16.8$$

${\overline{X}}_n^2=784$，近似 $95\mathrm{\%}$ 置信区间为 $784\pm 1.96\times 16.8\approx (751,817)$。

两次计算中导数的作用是把样本均值的标准误按函数在估计值处的变化率放大。对数变换的导数 $1/28$ 小于 $1$，变换后波动的相对尺度变小；平方变换的导数 $56$ 远大于 $1$，变换后波动被放大。Delta 方法把这一个局部变化率写进了标准误，使变换后量的区间宽度可以由原量的标准误直接推出，不需要重新推导极限分布。

常见错误

错误 1 · 把依分布收敛当作依概率收敛使用

原因：依分布收敛只控制分布函数，不要求随机变量本身接近。取 $X\sim \text{N}(0,1)$，令 $X_n=-X$，则 $X_n\stackrel{d}{\to }X$，但 $|X_n-X|=2|X|$ 的分布与 $n$ 无关，依概率收敛不成立。把 $X_n\stackrel{d}{\to }X$ 直接写成 $|X_n-X|$ 趋于零，会在只用到分布信息的场合给出错误结论。

解决：区分两种收敛的适用范围。需要比较两个随机变量本身的差距时使用依概率或几乎必然收敛，需要谈论极限分布时使用依分布收敛。若需要由依分布收敛得到依概率收敛，先确认极限随机变量退化为常数，或引入 Slutsky 定理把其中一项换成收敛到常数的量。

错误 2 · 忽略大数定律的矩条件

原因：辛钦大数定律与柯尔莫哥洛夫强大数定律都要求 $E|X_1|<\mathrm{\infty }$。柯西分布的一阶矩不存在，样本均值仍服从同参数柯西分布，四分位距不随样本量缩小，样本均值不收敛。若对重尾数据直接套用大数定律，会得到与实际不符的稳定性判断。

解决：使用大数定律前检查一阶矩是否存在，画直方图或用分位数观察尾部是否过厚。重尾数据下改用对极端值稳健的统计量，例如中位数、截尾均值或秩统计量，并考虑先对数据做变换再计算均值。需要判断均值稳定性时用多个不同 $n$ 的样本均值对照，观察波动是否随 $n$ 缩小。

错误 3 · 在导数等于零处使用 Delta 方法

原因：Delta 方法用一阶泰勒展开，要求 $g^{\prime }(\theta )\ne 0$。当 $g^{\prime }(\theta )=0$ 时一阶项消失，渐近方差退化到 $0$，一阶结论失效，极限分布由二阶项决定，形态不再是正态分布。对 $g(\mu )={\mu }^2$ 在 $\mu =0$ 处求标准误属于这一情形。

解决：使用 Delta 方法前计算 $g^{\prime }(\theta )$ 并判断是否为零。导数非零时用一阶结论 $\mathrm{SE}(g(\hat{\theta }))\approx |g^{\prime }(\hat{\theta })|\mathrm{SE}(\hat{\theta })$。导数为零时改用二阶泰勒展开，极限分布为 ${\chi }^2$ 分布的倍数，或对参数重新参数化使目标函数在参数处有非零导数。

错误 4 · 把集中不等式的界当作精确概率

原因：集中不等式给出的是上界，霍夫丁界与切比雪夫界通常比真实尾概率大若干倍。把界当作尾概率的近似值会高估偏离的概率，进而低估所需样本量或过度保守地设计系统。切比雪夫界在偏差较小时甚至超过 $1$，只提供平凡结论。

解决：区分界的用途。构造样本量与泛化误差估计时接受界的保守性，关注随 $n$ 变化的速率是否正确。需要精确概率时用中心极限定理作近似，或直接用蒙特卡洛模拟估计尾概率。选择界时比较霍夫丁界与切比雪夫界的衰减速率，优先使用利用更多信息、衰减更快的界。