2.9 统计推断的基本框架

前面八节讨论的对象是已知分布下的随机变量与其极限行为：给定概率空间、分布函数或过程结构，计算期望、方差、抽样分布、极限分布与尾概率界。这一类问题的方向是从参数出发预测数据。实际建模时的情况相反，分布往往未知，手上只有一批观测值，需要反过来根据数据对未知的总体特征作出判断，并对判断的不确定性给出量化。统计推断处理的就是这一方向的问题，抛硬币实验要通过正面出现的频率判断硬币是否均匀，工厂质检要通过抽样估计一批零件的次品率，调查机构要通过样本推断全体选民的支持比例。

本节建立统计推断的基本框架，为后面的点估计、区间估计与假设检验铺设共同的语言。内容分四部分。第一部分给出推断的问题设定，包括总体、样本、参数、统计量与统计模型这些基本对象。第二部分讨论统计量的抽样分布，把样本均值、样本方差与次序统计量的分布整理清楚，并引入标准误这一度量。第三部分给出评价估计量的标准，包括偏差、方差、均方误差、无偏性、一致性与有效性，随后处理充分性与完备性这两个刻画数据信息含量的概念，并给出 Fisher 信息与 Cramér-Rao 下界这一估计精度的理论下限。第四部分介绍刀切法、自助法与交叉验证这类重抽样工具，以及过拟合与泛化误差的概念。

统计推断与概率论共用同一套数学基础，区别在推理方向。概率论把参数视为已知，推导数据的分布；统计推断把数据视为已知，对参数作出推断。2.1 节的贝叶斯公式已经给出这一翻转的最简形式：先验是推断的起点，似然把数据的信息编码进去，后验是推断的结论。频率派与贝叶斯派的分歧在于是否引入先验，而在点估计、充分性与信息量这些概念上，两派使用相同的数学工具。本节与 2.8 节之间的联系在于抽样分布：样本被建模为独立同分布序列时，2.7 节的大数定律与中心极限定理给出了样本均值的收敛性与极限分布，构成本节一切渐近结论的来源。

2.9.1 统计推断的问题设定

总体与样本

总体（population）是研究对象的全体，也指描述这一全体的随机变量 $X$ 及其分布 $F$。总体的分布刻画了所关心的量的取值规律，例如一批灯泡的使用寿命服从某个未知的分布，全体居民的身高服从某个未知的分布。样本（sample）是从总体中抽取的、用于推断总体特征的观测值集合，记作 $x_1,x_2,\dots ,x_n$。在推断的理论分析中把样本视为随机变量 $X_1,X_2,\dots ,X_n$，它们的联合分布由抽样方式决定。

样本与总体之间的关系是推断的起点。若样本能够代表总体，样本中的信息就可以用于推断总体；若抽样方式有偏，样本只反映被抽到的那一部分，推断结论会系统偏离总体。抽样偏差是实际调查中最难处理的问题之一，网络问卷、电话访谈与自愿参与式调查都容易引入偏差，因为这些方式使某些群体更可能被抽到。理论分析通常假设样本无偏地代表总体，把抽样偏差作为独立的问题处理。

简单随机抽样

简单随机抽样（simple random sampling）是指从总体中抽取 $n$ 个个体时，每一个容量为 $n$ 的子集被抽到的概率相同。有放回抽样下各次抽取相互独立，样本 $X_1,\dots ,X_n$ 独立同分布，分布与总体相同。无放回抽样下各次抽取不独立，但总体远大于样本量时可以用独立同分布近似。本教程默认讨论简单随机抽样下的独立同分布样本，这一假设是 2.7 节极限定理与本节的渐近结论的共同前提。

设总体分布为 $F$，样本 $X_1,\dots ,X_n$ 独立同分布于 $F$。这一写法把推断问题归结为：已知样本的取值，未知 $F$ 或 $F$ 的某些特征。参数化模型进一步把未知对象缩小为有限维参数，非参数模型则只对 $F$ 作光滑性或矩条件假设，两者的处理方法不同。

参数与参数空间

参数（parameter）是描述总体分布的未知常数，记作 $\theta$。参数可以是标量，例如伯努利分布的 $p$、正态分布的均值 $\mu$；也可以是向量，例如正态分布的 $(\mu ,{\sigma }^2)$。参数的全部可能取值构成参数空间（parameter space），记作 $\mathrm{\Theta }$，它规定了推断的范围。伯努利分布的参数空间是 $\mathrm{\Theta }=[0,1]$，正态分布的参数空间是 $\mathrm{\Theta }=\text{R}\times (0,\mathrm{\infty })$。

参数区分了总体中的已知结构与未知结构。当分布形式已知、只有一个参数未知时，问题称为参数推断；当分布形式也未知时，问题称为非参数推断。参数空间的定义决定了推断问题的难度：参数空间越大，可能的分布越多，用有限样本区分它们越困难，所需的样本量也越大。参数空间上的约束条件（例如 ${\sigma }^2>0$）会在估计量的渐近分布与极端情形处理中起作用。

统计量、估计量与估计值

统计量（statistic）是样本的函数 $T=T(X_1,\dots ,X_n)$，且不包含任何未知参数。样本均值 $\overline{X}=\frac{1}{n}\sum X_i$、样本方差 $S^2=\frac{1}{n-1}\sum (X_i-\overline{X}{)}^2$、样本最大值 $\underset{i}{max}{X}_i$ 都是统计量。$\overline{X}-\mu$ 不是统计量，因为它含有未知参数 $\mu$，无法仅由数据算出。统计量本身是随机变量，它的分布称为抽样分布（sampling distribution）。

估计量（estimator）是用于估计未知参数的统计量，记作 $\hat{\theta }=T(X_1,\dots ,X_n)$。把观测值代入估计量得到的数值称为估计值（estimate）。估计量与估计值的区别是随机变量与具体数值的区别：估计量在抽样前有分布，讨论它的偏差与方差；估计值在抽样后是确定的数，用于给出推断结论。混淆两者会导致把偏差与方差这类抽样性质误当作单次结果的属性。

统计模型

统计模型（statistical model）是描述数据生成机制的分布族 $\{F_{\theta }:\theta \in \mathrm{\Theta }\}$。模型给出样本分布的参数化形式，推断结论的可靠性依赖模型是否与实际数据一致。同一份数据在不同模型下的推断结果可能差别很大，模型选择因此是推断过程的一环。常见的参数模型用密度函数表示：

$$f(x_1,\dots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

乘积形式来自样本的独立性。以正态模型为例，$X_i\sim \text{N}(\mu ,{\sigma }^2)$，参数为 $\theta =(\mu ,{\sigma }^2)$，模型规定了全部形如 $\text{N}(\mu ,{\sigma }^2)$ 的分布构成的族。模型正确时参数有明确含义，推断结论可以解释为总体特征；模型错误时即使估计量性质很好，结论也可能偏离实际。

参数与非参数的关系

参数模型与非参数模型并不互斥。可以把参数看作对分布形状的约束，约束越多，参数空间越小，推断效率越高，但对模型正确性的依赖越强。非参数方法只假设分布光滑或矩存在，适应面更广，代价是需要更多样本才能达到相同精度。实际建模常采用中间路线：用半参数模型对主要关心的对象设置参数结构，对次要部分保留非参数适应能力。

2.9.2 抽样分布

样本均值的分布

设 $X_1,\dots ,X_n$ 独立同分布，均值 $\mu$、方差 ${\sigma }^2$。样本均值 $\overline{X}=\frac{1}{n}\sum X_i$ 的期望与方差可以直接计算：

$$E\left[\overline{X}\right]=\mu ,\mathrm{Var}\left(\overline{X}\right)=\frac{{\sigma }^2}{n}$$

推导用到期望的线性性与独立条件下方差的可加性。结论说明样本均值的中心与总体均值一致，波动按 $1/n$ 缩小，这是样本量越大估计越准的定量形式。当总体为正态分布时，样本均值的分布也是正态分布：

$$\overline{X}\sim \text{N}(\mu ,\frac{{\sigma }^2}{n})$$

正态总体下这一结论对任意样本量成立，不需要渐近近似。非正态总体下有限样本没有简单形式，但由 2.7 节的中心极限定理，样本量较大时 $\overline{X}$ 的分布近似正态，标准化的 $\sqrt{n}(\overline{X}-\mu )/\sigma$ 收敛到标准正态分布。抽样分布的两个结论分别对应精确形式与渐近形式。

样本方差的分布

样本方差 $S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2$ 用于估计总体方差 ${\sigma }^2$。分母取 $n-1$ 是为了让 $E[S^2]={\sigma }^2$，这一无偏性的来源在 2.9.3 节给出。$\sum _{i=1}^n(X_i-\overline{X}{)}^2$ 是围绕样本均值的偏差平方和，把 $X_i-\overline{X}$ 写成 $(X_i-\mu )-(\overline{X}-\mu )$，求和时交叉项被 $n$ 个偏差的和为零这一性质消去，得到

$$(n-1)S^2=\sum _{i=1}^n(X_i-\mu {)}^2-n(\overline{X}-\mu {)}^2$$

正态总体下这一统计量服从卡方分布：

$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }_{n-1}^2$$

自由度为 $n-1$ 的原因是偏差向量 $X_i-\overline{X}$ 落在一个 $n-1$ 维子空间中，$\sum (X_i-\overline{X})=0$ 这一线性约束消耗了一个自由度。样本均值与样本方差在正态总体下相互独立，这一性质是构造 $t$ 统计量的基础。

正态总体下的 $t$ 分布与卡方分布

正态总体是唯一使样本均值与样本方差具有闭式抽样分布的模型族，这一便利使其成为大量推断方法的基础。卡方分布 ${\chi }_k^2$ 是 $k$ 个独立标准正态变量平方和的分布，密度为

$$f(x)=\frac{1}{2^{k/2}\mathrm{\Gamma }(k/2)}{x}^{k/2-1}{e}^{-x/2},x>0$$

其均值为 $k$，方差为 $2k$。当总体标准差 $\sigma$ 未知时，用样本标准差 $S$ 替代，构造

$$T=\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t_{n-1}$$

$t$ 分布（Student's $t$-distribution）是标准正态与卡方平方根之比得到的分布，密度比正态更厚尾，自由度越小尾部越厚。当 $n\to \mathrm{\infty }$ 时 $t_{n-1}$ 收敛到标准正态分布，因此大样本下两个分布近似相同。$t$ 分布的引入解决了总体方差未知这一常见情形，是构造均值的置信区间与 $t$ 检验的基础。2.5 节已经给出这三个分布的定义，此处把它们与抽样结构联系起来。

次序统计量

把样本按从小到大排序得到 $X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$，其中 $X_{(k)}$ 称为第 $k$ 个次序统计量（order statistic）。$X_{(1)}$ 是最小值，$X_{(n)}$ 是最大值，$X_{(k)}$ 是第 $k$ 小的值。次序统计量在稳健统计与极值分析中处于核心位置，样本中位数由它给出。

总体分布连续时，$X_{(k)}$ 的分布函数有简单形式。事件 $\{X_{(k)}\le x\}$ 表示至少有 $k$ 个样本不超过 $x$，样本中不超过 $x$ 的个数服从二项分布 $\mathrm{Bin}(n,F(x))$，因此

$$F_{(k)}(x)=P(X_{(k)}\le x)=\sum _{j=k}^n(\genfrac{}{}{0ex}{}{n}{j}){[F(x)]}^j{[1-F(x)]}^{n-j}$$

求导得到密度

$$f_{(k)}(x)=\frac{n!}{(k-1)!(n-k)!}f(x){[F(x)]}^{k-1}{[1-F(x)]}^{n-k}$$

最值是两个特例。最小值 $X_{(1)}$ 的分布函数为 $1-[1-F(x){]}^n$，最大值 $X_{(n)}$ 的分布函数为 $[F(x){]}^n$。均匀分布 $U(0,\theta )$ 的最大值是估计上界 $\theta$ 的自然候选，矩估计与极大似然估计都会用到它，相关性质在后续的例题中出现。

标准误

估计量的标准误（standard error，SE）是它的标准差，即 $\mathrm{SE}(\hat{\theta })=\sqrt{\mathrm{Var}(\hat{\theta })}$。标准误度量估计量在重复抽样下的波动，数值越小说明估计越稳定。样本均值的标准误为 $\sigma /\sqrt{n}$，其中 $\sigma$ 未知时用 $S$ 替代，得到估计的标准误 $\widehat{\mathrm{SE}}=S/\sqrt{n}$。

标准误与标准差两个词容易混淆。标准差描述单个观测值围绕总体均值的波动，是一个数据层面的量；标准误描述估计量围绕参数真值的波动，是一个估计层面的量，随样本量增大而缩小。报告推断结果时给出的通常是标准误，用于衡量参数估计的精度。标准误是构造置信区间与检验统计量的共同输入，$95\mathrm{\%}$ 置信区间的半宽近似为 $1.96$ 倍标准误。

import numpy as np

rng = np.random.default_rng(31)

# 从指数分布 Exp(1) 抽样，验证样本均值与样本标准误之间的关系
mu, sigma, n, reps = 1.0, 1.0, 50, 100_000
x = rng.exponential(scale=1.0, size=(reps, n))

xbar = x.mean(axis=1)
# 样本均值的实际标准差：理论值为 sigma / sqrt(n)
print(f"样本均值的实际标准差 = {xbar.std(ddof=1):.4f}，理论标准误 = {sigma / np.sqrt(n):.4f}")
# 0.1414 附近，与 1/sqrt(50) ≈ 0.1414 一致

# 单个样本内用 S / sqrt(n) 估计标准误
s = x.std(axis=1, ddof=1)
se_hat = s / np.sqrt(n)
print(f"估计的标准误均值 = {se_hat.mean():.4f}，实际标准差 = {xbar.std(ddof=1):.4f}")
# 两者接近，说明 S / sqrt(n) 是标准误的可用估计

标准误的估计与实际标准差接近，说明用样本标准差替换总体标准差的做法在实际中可靠。样本量较小时这一替换会带来额外误差，$t$ 分布正是为这一情形设计的修正。

2.9.3 估计量的评价标准

偏差、方差与均方误差

参数 $\theta$ 的估计量 $\hat{\theta }$ 用三个量刻画其抽样性质。偏差（bias）是估计量期望与真值之差：

$$\mathrm{Bias}\left(\hat{\theta }\right)=E\left[\hat{\theta }\right]-\theta$$

方差（variance）是估计量围绕自身期望的波动：

$$\mathrm{Var}\left(\hat{\theta }\right)=E\left[{(\hat{\theta }-E\left[\hat{\theta }\right])}^2\right]$$

均方误差（mean squared error，MSE）是估计量围绕真值的平方偏差期望：

$$\mathrm{MSE}\left(\hat{\theta }\right)=E\left[{(\hat{\theta }-\theta )}^2\right]$$

均方误差同时包含偏差与方差两部分，是评价估计量的综合指标。偏差度量系统误差的方向与大小，方差度量随机误差的大小，两者从不同侧面描述估计的质量。

偏差-方差分解

均方误差可以分解为偏差平方与方差之和。把 $\hat{\theta }-\theta$ 写成两段，插入 $E[\hat{\theta }]$：

$$\hat{\theta }-\theta =(\hat{\theta }-E\left[\hat{\theta }\right])+(E\left[\hat{\theta }\right]-\theta )$$

两端平方后取期望，中间项为

$$2E\left[(\hat{\theta }-E\left[\hat{\theta }\right])(E\left[\hat{\theta }\right]-\theta )\right]=2(E\left[\hat{\theta }\right]-\theta )E[\hat{\theta }-E\left[\hat{\theta }\right]]=0$$

交叉项为零，因为 $E[\hat{\theta }]-\theta$ 是常数，而 $E[\hat{\theta }-E[\hat{\theta }]]=0$。于是

$$\mathrm{MSE}\left(\hat{\theta }\right)=\mathrm{Var}\left(\hat{\theta }\right)+{\left[\mathrm{Bias}\left(\hat{\theta }\right)\right]}^2$$

分解说明估计误差由随机波动与系统偏差两部分组成。减小方差与减小偏差往往冲突：把一个估计量向某个固定值收缩可以降低方差，却引入偏差。均方误差给出权衡的判据，在比较估计量时提供了统一的尺度。这一分解也是 2.9.9 节讨论预测模型偏差-方差权衡的雏形。

无偏性与渐近无偏性

若 $E[\hat{\theta }]=\theta$ 对参数空间中一切 $\theta$ 成立，则称 $\hat{\theta }$ 为无偏估计量（unbiased estimator），此时偏差为零，均方误差等于方差。无偏性的含义是：在重复抽样下估计量的平均值等于真值，不存在系统性偏离。样本均值是总体均值的无偏估计，样本方差 $S^2$ 是总体方差的无偏估计。

若 $E[\hat{\theta }]\to \theta$ 当 $n\to \mathrm{\infty }$，则称 $\hat{\theta }$ 为渐近无偏的。渐近无偏放宽了有限样本下的等期望要求，只要求偏差随样本量趋于零。分母为 $n$ 的样本方差 $\frac{1}{n}\sum (X_i-\overline{X}{)}^2$ 是有偏的，偏差为 $-{\sigma }^2/n$，但它是渐近无偏的。无偏性并不总优于渐近无偏：当有偏估计量的方差明显更小时，它的均方误差可能更小，样本方差的两个版本给出了这一权衡的例子。

一致性

若对任意 $\epsilon >0$，

$$\underset{n\to \mathrm{\infty }}{lim}P(|{\hat{\theta }}_n-\theta |\ge \epsilon )=0$$

则称 ${\hat{\theta }}_n$ 为一致估计量（consistent estimator），即 ${\hat{\theta }}_n\stackrel{P}{\to }\theta$，收敛模式与 2.7 节的依概率收敛相同。一致性说明样本量增大时估计量依概率接近真值，是估计量最基本的渐近要求，一个不一致的估计量在数据充足时仍会系统偏离真值。

证明一致性的常用工具是马尔可夫不等式与连续映射定理。若 $\mathrm{MSE}({\hat{\theta }}_n)\to 0$，则由马尔可夫不等式 $P(|{\hat{\theta }}_n-\theta |\ge \epsilon )\le \mathrm{MSE}({\hat{\theta }}_n)/{\epsilon }^2\to 0$，估计量一致。均方误差趋于零是一致性的充分条件，其中包含了偏差趋于零与方差趋于零两条。由大数定律，样本均值是总体均值的一致估计；由连续映射定理，样本均值的连续函数也是对应参数的一致估计，这一传递性质在构造估计量时常用。

有效性

两个无偏估计量之间的比较用有效性（efficiency）刻画。若 ${\hat{\theta }}_1$ 与 ${\hat{\theta }}_2$ 都是 $\theta$ 的无偏估计，且 $\mathrm{Var}({\hat{\theta }}_1)\le \mathrm{Var}({\hat{\theta }}_2)$ 对一切 $\theta$ 成立，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效。相对效率定义为方差之比 $\mathrm{Var}({\hat{\theta }}_2)/\mathrm{Var}({\hat{\theta }}_1)$，数值越大说明前者相对后者越精确。

方差下界决定了无偏估计的精度上限。在所有无偏估计中方差最小的估计称为一致最小方差无偏估计（uniformly minimum variance unbiased estimator，UMVUE），它是无偏估计范围内的最优解。寻找 UMVUE 的方法依赖充分性与完备性，2.9.5 节的 Lehmann-Scheffé 定理给出一个通用构造。方差的理论下限由 2.9.6 节的 Cramér-Rao 下界给出，达到这一下限的估计称为有效估计。

import numpy as np

rng = np.random.default_rng(5)

# 正态总体，比较两个样本方差估计量：分母 n 与 n-1
mu, sigma, n, reps = 0.0, 1.0, 5, 300_000
x = rng.normal(mu, sigma, size=(reps, n))
ss = ((x - x.mean(axis=1, keepdims=True)) ** 2).sum(axis=1)

for name, est in [("分母 n", ss / n), ("分母 n-1", ss / (n - 1))]:
    bias = est.mean() - sigma ** 2
    var = est.var()
    mse = ((est - sigma ** 2) ** 2).mean()
    print(f"{name:8s} 偏差={bias:+.5f} 方差={var:.5f} MSE={mse:.5f} Bias^2+Var={bias ** 2 + var:.5f}")
# 分母 n     偏差=-0.20000 方差=0.32000 MSE=0.36000 Bias^2+Var=0.36000
# 分母 n-1   偏差=+0.00000 方差=0.50000 MSE=0.50000 Bias^2+Var=0.50000
# 有偏估计的均方误差更小，两个估计量的 MSE 都等于 Bias^2 + Var

数值验证给出两点结论。第一，均方误差等于偏差平方与方差之和，两行的数值都满足这一分解。第二，无偏估计的均方误差更大，因为无偏性把偏差压到零，代价是方差上升。这一对照说明评价估计量时不能只看无偏性，均方误差给出更全面的尺度。

2.9.4 充分性

充分统计量的定义

充分统计量（sufficient statistic）是包含样本中关于参数全部信息的统计量。设样本 $X_1,\dots ,X_n$ 的联合分布为 $f(x;\theta )$，统计量 $T=T(X)$ 称为 $\theta$ 的充分统计量，若在给定 $T=t$ 的条件下，样本的条件分布不依赖 $\theta$：

$$f(x\mid T=t;\theta )=f(x\mid T=t)$$

条件的含义是：一旦知道 $T$ 的取值，样本中不再有关于 $\theta$ 的额外信息，其余部分的变化只由随机性造成。从信息角度看，充分统计量把原始数据压缩为一个低维统计量而不损失关于参数的信息，这是充分性最重要的作用。

因子分解定理

按定义验证充分性需要计算条件分布，过程繁琐。因子分解定理（factorization theorem）给出一个便于操作的判据：$T$ 是 $\theta$ 的充分统计量，当且仅当联合分布可以分解为

$$f(x;\theta )=g(T(x);\theta )h(x)$$

其中 $g$ 依赖 $\theta$ 与 $T(x)$，$h$ 不依赖 $\theta$。定理的含义是：样本分布中一切与 $\theta$ 有关的部分都通过 $T$ 起作用，其余部分与 $\theta$ 无关。因子分解把充分性的验证转化为对分布形式的观察，是寻找充分统计量的主要工具。

以伯努利样本为例，联合分布为

$$f(x;p)=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}=p^{\sum x_i}(1-p{)}^{n-\sum x_i}$$

右边只通过 $\sum x_i$ 依赖 $p$，取 $T=\sum X_i$、$h(x)=1$ 即满足分解条件，因此样本中成功次数是 $p$ 的充分统计量。正态模型下 $(\sum X_i,\sum X_i^2)$ 是 $(\mu ,{\sigma }^2)$ 的充分统计量，因子分解的验证与伯努利情形类似。

指数族与充分统计量

指数族（exponential family）是密度或概率质量函数可以写成

$$f(x;\theta )=h(x)c(\theta )\exp (\sum _{j=1}^k{w}_j(\theta )t_j(x))$$

的分布族，其中 $h$ 与 $\theta$ 无关，$c(\theta )$ 是归一化常数，$w_j$ 是参数的函数，$t_j$ 是统计量。正态分布、伯努利分布、泊松分布、指数分布、伽马分布都属于指数族。

指数族与充分统计量有直接的对应。对独立同分布样本，联合分布为

$$f(x;\theta )=c(\theta {)}^n[\prod _{i=1}^{n}h(x_i)]\exp (\sum _{j=1}^k{w}_j(\theta )\sum _{i=1}^n{t}_j(x_i))$$

由因子分解定理，$T=(\sum _i{t}_1(X_i),\dots ,\sum _i{t}_k(X_i))$ 是 $\theta$ 的充分统计量。2.5 节引入的指数族在此处得到推断层面的解释：属于指数族的分布，其充分统计量的维数与参数个数相同，可以用固定维数的统计量概括任意大的样本。这一性质使指数族在统计推断与广义线性模型中占据中心位置。

最小充分统计量

同一个参数的充分统计量不唯一，任何充分统计量的一一变换仍是充分统计量，非充分统计量与充分统计量组合起来也可能是充分统计量。最小充分统计量（minimal sufficient statistic）是在函数意义上最粗的充分统计量：若 $T$ 是充分统计量，且对任意充分统计量 $S$ 都存在函数 $g$ 使 $T=g(S)$，则称 $T$ 为最小充分统计量。最小充分统计量给出了信息压缩的极限，任何进一步的压缩都会损失关于参数的信息。

指数族下 $(t_1,\dots ,t_k)$ 的充分统计量通常就是最小充分统计量。判断最小充分性可以用似然比：若比值 $f(x;\theta )/f(y;\theta )$ 对 $\theta$ 为常数当且仅当 $T(x)=T(y)$，则 $T$ 是最小充分统计量。这一判据把最小充分性转化为似然比的比较，在具体模型中便于验证。

充分性的作用

充分性的实践意义是数据压缩。当样本量很大而充分统计量维数固定时，可以只保留充分统计量而丢弃原始数据，后续的参数估计与推断全部基于充分统计量进行。指数族下样本的均值与方差两个统计量就能概括全部样本信息，正因如此，很多在线算法只需要维护充分统计量的累加值而不需要保存全部历史数据。

充分性还与估计的最优性紧密相关。任何一个充分统计量都比原始样本更简洁，同时不损失信息；在寻找最优估计时，把估计量对充分统计量取条件期望不会损失信息，反而可能降低方差。这一思路直接通向 2.9.5 节的 Rao-Blackwell 定理，它是构造最优无偏估计的通用手段。

充分统计量的维数

参数向量的维数决定了充分统计量的维数下界。若参数有 $k$ 个分量，充分统计量的维数至少为 $k$，实际中可能超过 $k$（称为非正则情形），此时不存在固定维数的充分统计量。维数与参数个数相同时，指数族给出最经济的信息概括。判断模型的充分统计量维数可以帮助估计所需样本量与算法的存储需求。

2.9.5 完备性与最优估计

完备统计量

完备性（completeness）是充分性的补充条件，用于保证充分统计量中不存在冗余信息。统计量 $T$ 称为完备的（complete），若对任意函数 $g$，

$$E_{\theta }[g(T)]=0\text{对一切 }\theta \in \mathrm{\Theta }⟹g(T)=0\text{几乎必然}$$

条件的含义是：不存在 $T$ 的非平凡函数在所有参数取值下期望都为零。完备性排除了解析上的退化，使基于 $T$ 的无偏估计唯一。指数族在参数空间包含内点这一正则条件下，其充分统计量是完备的，这为大量常见模型提供了完备充分统计量。

Rao-Blackwell 定理

Rao-Blackwell 定理说明条件化可以降低方差。设 $\hat{\theta }$ 是 $\theta$ 的估计量，$T$ 是 $\theta$ 的充分统计量，令

$${\hat{\theta }}^{\ast }=E[\hat{\theta }\mid T]$$

则 ${\hat{\theta }}^{\ast }$ 的期望与 $\hat{\theta }$ 相同，方差不超过 $\hat{\theta }$ 的方差：

$$E\left[{\hat{\theta }}^{\ast }\right]=E\left[\hat{\theta }\right],\mathrm{Var}\left({\hat{\theta }}^{\ast }\right)\le \mathrm{Var}\left(\hat{\theta }\right)$$

第一式的依据是重期望公式 $E[E[\hat{\theta }\mid T]]=E[\hat{\theta }]$。第二式的依据是方差分解

$$\mathrm{Var}\left(\hat{\theta }\right)=E\left[\mathrm{Var}(\hat{\theta }\mid T)\right]+\mathrm{Var}\left(E[\hat{\theta }\mid T]\right)$$

右边第一项非负，第二项正是 $\mathrm{Var}({\hat{\theta }}^{\ast })$，故方差不等式成立。定理的含义是把估计量对充分统计量取条件期望，去掉由 $T$ 之外的信息带来的随机波动。当 $\hat{\theta }$ 无偏时，${\hat{\theta }}^{\ast }$ 也是无偏的，且方差不增，因此它至少不差于原估计。重复使用这一操作可以把任意无偏估计改进为基于充分统计量的估计。

Lehmann-Scheffé 定理

Lehmann-Scheffé 定理给出构造最优无偏估计的方法。设 $T$ 是 $\theta$ 的完备充分统计量，$\hat{\theta }$ 是 $\theta$ 的无偏估计，则

$${\hat{\theta }}^{\ast }=E[\hat{\theta }\mid T]$$

是唯一的一致最小方差无偏估计（UMVUE）。证明结合两条结论：由充分性，Rao-Blackwell 定理保证 ${\hat{\theta }}^{\ast }$ 无偏且方差不大于 $\hat{\theta }$；由完备性，${\hat{\theta }}^{\ast }$ 是 $T$ 的函数且在 $T$ 的函数类中唯一确定。两件性质合起来说明 ${\hat{\theta }}^{\ast }$ 在所有无偏估计中方差最小，且这一最优性与参数取值无关。

实际用法是先找一个无偏估计，再对完备充分统计量取条件期望。以正态模型为例，$T=(\sum X_i,\sum X_i^2)$ 是 $(\mu ,{\sigma }^2)$ 的完备充分统计量，样本均值与样本方差分别是两个参数的 UMVUE。这一流程说明前面引入的充分性与完备性并非孤立概念，它们的用途正是为最优估计提供构造工具。

完备性是构造 UMVUE 的必要条件

Rao-Blackwell 定理只要求充分性，把估计量改进到基于充分统计量的形式；Lehmann-Scheffé 定理额外要求完备性，才能保证改进后的估计在无偏估计中唯一且方差最小。缺少完备性时，充分统计量上可能存在多个无偏函数，无法确定哪一个是 UMVUE。指数族在正则条件下的完备性使常见模型可以直接套用 Lehmann-Scheffé 定理，非指数族模型需要单独验证完备性。

2.9.6 Fisher 信息与 Cramér-Rao 下界

得分函数

得分函数（score function）是似然函数的对数关于参数的导数：

$$s(\theta ;X)=\frac{\partial }{\partial \theta }\log f(X;\theta )$$

它度量样本在每个参数取值处对参数的局部敏感度。在正则条件下（可交换求导与积分、支撑集不依赖参数），得分函数的期望为零：

$$E_{\theta }[s(\theta ;X)]=\int \frac{\partial }{\partial \theta }f(x;\theta )dx=\frac{\partial }{\partial \theta }\int f(x;\theta )dx=\frac{\partial }{\partial \theta }1=0$$

得分函数在极大似然估计中处于核心位置，似然方程 $s(\hat{\theta };X)=0$ 给出估计量。得分函数的方差就是下一小节引入的 Fisher 信息。

Fisher 信息的定义与计算

Fisher 信息（Fisher information）定义为得分函数平方的期望，也等于对数似然二阶导的负期望：

$$I(\theta )=E_{\theta }\left[{(s(\theta ;X))}^2\right]=-E_{\theta }[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )]$$

两个表达式相等由得分函数期望为零与求导交换得到。Fisher 信息度量单个观测对参数的平均信息量，数值越大说明分布随参数变化越敏感，估计越容易精确。对独立同分布的 $n$ 个样本，联合 Fisher 信息为 $nI(\theta )$。

以伯努利分布为例计算。单个样本的对数似然为 $\ell (p)=X\log p+(1-X)\log (1-p)$，其一阶与二阶导数为

$${\ell }^{\prime }(p)=\frac{X}{p}-\frac{1-X}{1-p},{\ell }^{″}(p)=-\frac{X}{p^2}-\frac{1-X}{(1-p{)}^2}$$

取负期望，用 $E[X]=p$：

$$I(p)=\frac{p}{p^2}+\frac{1-p}{(1-p{)}^2}=\frac{1}{p(1-p)}$$

信息在 $p=1/2$ 处最小，因为此时单个观测对区分 $p$ 高于还是低于 $1/2$ 最不敏感；在 $p$ 接近 $0$ 或 $1$ 时增大。正态分布均值已知 $\sigma$ 的 Fisher 信息为 $I(\mu )=1/{\sigma }^2$，方差越大信息越小。

Fisher 信息矩阵

参数为向量 $\mathit{\theta }=({\theta }_1,\dots ,{\theta }_k)$ 时，Fisher 信息推广为矩阵，第 $(i,j)$ 项为

$${\mathcal{I}}_{ij}(\mathit{\theta })=E_{\theta }\left[\frac{\partial \log f(X;\mathit{\theta })}{\partial {\theta }_i}\frac{\partial \log f(X;\mathit{\theta })}{\partial {\theta }_j}\right]=-E_{\theta }\left[\frac{{\partial }^2\log f(X;\mathit{\theta })}{\partial {\theta }_i\partial {\theta }_j}\right]$$

矩阵对角元是各参数分量的信息，非对角元刻画参数之间的耦合。信息矩阵的逆给出无偏估计的渐近协方差下界，是多元参数推断的标准工具。若信息矩阵非对角元不为零，说明两个参数的信息相互纠缠，单独估计其中一个会损失精度。重新参数化可以把矩阵对角化，从而分别估计独立分量。

Cramér-Rao 下界的推导思路

Cramér-Rao 下界（Cramér-Rao lower bound，CRLB）给出无偏估计方差的下界。设 $\hat{\theta }$ 是 $\theta$ 的无偏估计，正则条件满足，则

$$\mathrm{Var}\left(\hat{\theta }\right)\ge \frac{1}{nI(\theta )}$$

推导用柯西-施瓦茨不等式。记得分函数 $s(\theta ;X)$，其期望为零、方差为 $nI(\theta )$。对无偏估计 $\hat{\theta }$，由可交换求导与积分，

$$\mathrm{Cov}(\hat{\theta },s)=E\left[\hat{\theta }s\right]=\frac{\partial }{\partial \theta }E\left[\hat{\theta }\right]=1$$

由柯西-施瓦茨不等式，协方差的平方不超过两个方差之积：

$$1=\mathrm{Cov}{(\hat{\theta },s)}^2\le \mathrm{Var}\left(\hat{\theta }\right)\mathrm{Var}\left(s\right)=\mathrm{Var}\left(\hat{\theta }\right)nI(\theta )$$

整理即得下界。推导的核心是把估计量的无偏性与得分函数的敏感度联系起来：估计越精确，它必须与得分函数越相关，这一相关性被柯西-施瓦茨不等式放大为方差下界。

有效估计

方差达到 Cramér-Rao 下界的无偏估计称为有效估计（efficient estimator），此时 $\mathrm{Var}(\hat{\theta })=1/(nI(\theta ))$。有效性等价于柯西-施瓦茨不等式取等号，要求估计量与得分函数成线性关系。指数族满足这一条件，因此指数族模型下存在达到下界的有效估计。

以伯努利分布为例，样本成功比例 $\hat{p}=\overline{X}$ 的方差为 $p(1-p)/n$，恰好等于 $1/(nI(p))$，故 $\overline{X}$ 是有效估计。正态模型均值已知方差下，样本均值也是有效估计。非指数族模型下未必存在有效估计，下界不一定能取到，此时下界仍给出精度上限，用于判断现有估计量是否还有改进空间。

渐近正态性与渐近有效性

有效估计不总存在，但极大似然估计在正则条件下具有可与之比拟的渐近性质。设 $X_1,\dots ,X_n$ 独立同分布于 $f(x;\theta )$，正则条件满足，${\hat{\theta }}_n$ 为极大似然估计，则

$$\sqrt{n}({\hat{\theta }}_n-\theta )\stackrel{d}{\to }\text{N}(0,\frac{1}{I(\theta )})$$

结论说明极大似然估计的标准化量收敛到正态分布，渐近方差为单样本 Fisher 信息的倒数。这一结果用 Delta 方法可以推广到参数的函数 $g(\theta )$，渐近方差为 $[g^{\prime }(\theta ){]}^2/I(\theta )$，正是 2.7 节 Delta 方法在统计推断中的直接应用。渐近有效性指极大似然估计的渐近方差达到渐近下界，在所有正则估计中是最优的。这为使用极大似然估计提供了理论依据，也说明了 Fisher 信息在渐近理论中的中心地位。

import numpy as np

rng = np.random.default_rng(9)

# 伯努利分布 p = 0.3，验证 Fisher 信息与样本均值的方差
p, n, reps = 0.3, 200, 200_000

# 理论 Fisher 信息 I(p) = 1 / (p(1-p))
x = rng.random(reps) < p
score = (x.astype(float) - p) / (p * (1 - p))   # 单个样本的得分函数
print(f"Fisher 信息（理论）= {1 / (p * (1 - p)):.4f}")
print(f"Fisher 信息（数值）= {(score ** 2).mean():.4f}")
# 两者都约为 4.7619

# 样本成功比例的方差与 Cramér-Rao 下界对照
x = (rng.random((reps, n)) < p).astype(float)
phat = x.mean(axis=1)
print(f"样本比例的模拟方差 = {phat.var():.6f}")
print(f"Cramér-Rao 下界   = {p * (1 - p) / n:.6f}")
# 0.001050 附近，与下界一致，样本比例是有效估计

数值验证给出三点。单样本 Fisher 信息的数值估计与理论值 $1/(p(1-p))$ 一致，验证了得分函数平方期望的计算式。样本比例的方差与 Cramér-Rao 下界相等，说明在伯努利模型中样本比例达到方差下界，是有效估计。下界与模拟方差的对照也是检验估计量效率的常用手段。

2.9.7 可识别性、可估函数与冗余参数

可识别性

可识别性（identifiability）描述参数与分布之间的一一对应关系。模型 $\{F_{\theta }:\theta \in \mathrm{\Theta }\}$ 称为可识别的，若

$${\theta }_1\ne {\theta }_2⟹F_{{\theta }_1}\ne F_{{\theta }_2}$$

即不同参数对应不同分布。可识别性排除了两个参数生成完全相同数据分布的情形，是可估计性的前提。若模型不可识别，即使样本量趋于无穷，数据也无法区分这两个参数，任何估计量的极限分布都会同时对应两个候选值。

判断可识别性可以用分布的特征或矩。正态模型的两个参数可以由前两阶矩唯一确定，因此可识别。混合模型常出现不可识别问题：两个成分的标签可以互换，参数的不同排列生成相同分布，需要通过约束（例如固定成分顺序）消除这一对称性。不可识别问题的处理方式是重新参数化，把参数约化到可识别的等价类上。

可估函数

当参数不可识别时，某些函数仍然可以从数据唯一确定，这类函数称为可估函数（estimable function）。函数 $\psi (\theta )$ 可估，若它只依赖分布 $F_{\theta }$，两个生成相同分布的参数给出相同的函数值。不可识别参数本身不可估，但它的可估函数可以估计。

以混合模型为例，成分标签互换后各成分的参数不可识别，但成分均值的加权和、总体方差这类对称函数可估。实际推断中关心的是可估函数，把注意力放在可分量的线性组合上，可以绕开标签对称性带来的困难。非参数模型中可估函数通常是分布的泛函，例如均值、中位数与分位数。

冗余参数与干扰参数

推断问题中往往有多个参数，但只关心其中一部分。干扰参数（nuisance parameter）是指模型中存在但不作为推断目标的参数，与之相对的是关注参数。正态模型估计均值时，方差是干扰参数；回归分析估计斜率时，各观测的噪声方差是干扰参数。存在干扰参数时，推断方法需要把它们消去或边际化。

消去干扰参数的常用方法有两类。剖面似然把干扰参数取为给定关注参数下的极大似然估计，把似然约化为关注参数的函数，这一方法在数值计算中很常见。边际化对干扰参数积分，得到关注参数的边际似然，这一做法是贝叶斯推断与一些频率方法的基础。两类方法都在降低问题维数的同时保留关注参数的信息，代价是约化后的似然不一定具有原似然的良好性质。

2.9.8 重抽样工具

刀切法

刀切法（jackknife）通过逐次删除一个观测来评估估计量的偏差与标准误。设 $\hat{\theta }$ 为基于全部 $n$ 个样本的估计，${\hat{\theta }}_{(i)}$ 为删除第 $i$ 个样本后基于剩余 $n-1$ 个样本的估计。刀切估计量定义为

$${\hat{\theta }}_{\text{jack}}=n\hat{\theta }-(n-1)\frac{1}{n}\sum _{i=1}^n{\hat{\theta }}_{(i)}$$

它可以消除估计量偏差中 $1/n$ 阶的主要项。标准误的估计为

$${\widehat{\mathrm{SE}}}_{\text{jack}}=\sqrt{\frac{n-1}{n}\sum _{i=1}^n{({\hat{\theta }}_{(i)}-{\overline{\theta }}_{(\cdot )})}^2},{\overline{\theta }}_{(\cdot )}=\frac{1}{n}\sum _{i=1}^n{\hat{\theta }}_{(i)}$$

刀切法的计算量为 $n$ 次重新估计，适合估计量计算代价不高的场合。对样本均值，刀切标准误与 $S/\sqrt{n}$ 一致；对中位数这类非光滑统计量，刀切法可能失效，此时需要改用自助法。

自助法

自助法（bootstrap）通过有放回重抽样近似估计量的抽样分布。基本步骤是从原始样本中做 $B$ 次有放回抽样，每次抽取 $n$ 个观测构成一个自助样本，对每个自助样本计算估计量 ${\hat{\theta }}_b^{\ast }$，得到 $\hat{\theta }$ 分布的近似。自助法标准误为

$${\widehat{\mathrm{SE}}}_{\text{boot}}=\sqrt{\frac{1}{B-1}\sum _{b=1}^B{({\hat{\theta }}_b^{\ast }-{\overline{\theta }}^{\ast })}^2}$$

自助法的思想是用经验分布 $\hat{F}$ 代替真实分布 $F$，把 $\hat{\theta }$ 在 $F$ 下的分布近似为在 $\hat{F}$ 下的分布。由 2.7 节的 Glivenko-Cantelli 定理，经验分布函数一致收敛到真实分布，这为自助法的合理性提供了依据。自助法还能给出分位数置信区间：取自助分布的 $2.5\mathrm{\%}$ 与 $97.5\mathrm{\%}$ 分位数作为区间端点，这一做法称为百分位法，能处理偏态分布。

import numpy as np

rng = np.random.default_rng(21)

# 从对数正态分布抽取样本，用自助法估计样本中位数的标准误
n, B = 100, 10_000
sample = rng.lognormal(mean=0.0, sigma=1.0, size=n)

boot_med = np.empty(B)
for b in range(B):
    resample = rng.choice(sample, size=n, replace=True)
    boot_med[b] = np.median(resample)

se_boot = boot_med.std(ddof=1)
lo, hi = np.percentile(boot_med, [2.5, 97.5])
print(f"自助法标准误 = {se_boot:.4f}")
print(f"自助法 95% 分位区间 = [{lo:.4f}, {hi:.4f}]")
print(f"原始样本中位数 = {np.median(sample):.4f}")
# 自助分布右偏，分位区间不对称，比对称的正态区间更合适

自助法的输出与样本相关，示例中的数值会随样本变化。要点在于分位区间关于中位数并不对称，因为对数正态分布的抽样分布本身右偏，直接用正态区间会低估上端的波动。自助法在无法解析求标准误时给出可用的估计，这一优势使它成为现代统计计算的常用工具。

交叉验证框架

交叉验证（cross-validation）通过轮换训练集与验证集估计模型在未见数据上的表现。$K$ 折交叉验证把数据分成 $K$ 份，每次用其中 $K-1$ 份训练、剩下 $1$ 份验证，重复 $K$ 次后取验证误差的平均。留一交叉验证是 $K=n$ 的特例，每次只留一个观测作验证。

交叉验证与自助法的分工不同。自助法用于估计统计量的分布与标准误，交叉验证用于估计模型的泛化误差并选择超参数。两者都属于重抽样方法，共同点是都用数据的重排产生多个近似独立的评估。交叉验证的具体设计、$K$ 的选取与时间序列的特殊处理在 2.10 节展开。理论上交叉验证误差对泛化误差的近似由 2.7 节的集中不等式与大数定律支撑，样本量增大时验证误差依概率收敛到真实风险。

2.9.9 过拟合与泛化误差

训练误差、验证误差与测试误差

模型在三类数据上的误差给出不同的信息。训练误差是模型在训练集上的平均损失，它随模型复杂度上升而下降，因为复杂模型可以拟合训练数据中的细节与噪声。验证误差是模型在未参与训练的数据上的误差，用于调整超参数与选择模型。测试误差是对最终模型在覆盖全体分布的新数据上的误差估计，只在模型确定后计算一次，用于报告性能。

训练误差与验证误差的差距反映过拟合程度。模型容量过大时训练误差很低而验证误差上升，模型把训练数据中的随机波动当成了规律。模型容量过小时训练误差与验证误差都偏高，模型无法表达数据中的真实结构。过拟合（overfitting）指前者，欠拟合（underfitting）指后者。误差随复杂度的变化通常呈 U 形，最低点对应合适的复杂度，验证误差用于定位这一点。

偏差-方差权衡

预测误差可以按估计量的偏差与方差分解。设真实函数为 $f(x)$，模型在 $x$ 处的预测为 $\hat{f}(x)$，则期望平方预测误差为

$$E\left[{(y-\hat{f}(x))}^2\right]={\sigma }^2+{\left[\mathrm{Bias}(\hat{f}(x))\right]}^2+\mathrm{Var}(\hat{f}(x))$$

其中 ${\sigma }^2$ 是不可约的噪声方差，${\mathrm{Bias}}^2$ 与 $\mathrm{Var}$ 是模型引入的两部分。分解结构与 2.9.3 节的估计量均方误差分解相同：低复杂度模型偏差大、方差小，高复杂度模型偏差小、方差大，总误差在两端的中间取得最小值。这一取舍称为偏差-方差权衡（bias-variance tradeoff），是理解模型复杂度、正则化与集成方法的核心概念。

正则化通过约束模型复杂度在同一权衡曲线上移动。增加正则化强度相当于提高偏差、降低方差；减少正则化则相反。集成方法通过平均多个模型降低方差，同时保持偏差不大。选择模型时的目标是最小化总误差，而非单纯压低偏差或方差。这一框架在 2.13 节与 2.14 节讨论模型评估与学习方法时会进一步展开。

充分性与过拟合的对照

2.9.4 节的充分统计量给出数据压缩不损失信息的上限，2.9.9 节的过拟合给出模型复杂度过高的代价。两者都涉及信息与复杂度的关系：充分统计量在保留全部参数信息的条件下追求最简形式，过拟合问题在追求最小训练误差的条件下要求控制模型容量。统计推断的经典理论与统计学习理论从不同角度处理同一类取舍。

2.9.10 本节小结

从数据到参数的推断语言

本节给出统计推断的基本框架。总体与样本的关系由抽样方式决定，简单随机抽样下样本独立同分布，构成一切渐近结论的前提。参数与参数空间限定未知对象的范围，统计量是样本的函数且不含未知参数，估计量与估计值区分了随机变量与具体数值。抽样分布刻画统计量的分布，样本均值的期望为总体均值、方差按 $1/n$ 缩小，正态总体下样本均值服从正态分布、样本方差经标准化服从卡方分布，两者结合给出 $t$ 分布；次序统计量的分布由二项概率给出，标准误度量估计量的波动。估计量的评价标准中，偏差、方差与均方误差构成基本尺度，均方误差分解为偏差平方与方差之和，无偏性、渐近无偏性、一致性与有效性给出不同角度的要求。充分性把数据压缩问题形式化，因子分解定理给出判据，指数族的充分统计量维数与参数个数相同，最小充分统计量给出信息压缩的极限。完备性与充分性结合，通过 Rao-Blackwell 定理与 Lehmann-Scheffé 定理构造一致最小方差无偏估计。Fisher 信息度量单个观测对参数的信息量，得分函数的期望为零、方差等于信息，Cramér-Rao 下界给出无偏估计方差的理论下限，有效估计达到这一下限，极大似然估计在正则条件下渐近正态且渐近有效。可识别性、可估函数与干扰参数处理参数不唯一与部分关心的问题。刀切法、自助法与交叉验证作为重抽样工具，用数据的重排估计标准差与泛化误差。过拟合与泛化误差把训练误差、验证误差、测试误差区分开，偏差-方差权衡刻画模型复杂度的取舍。

本节建立了点估计的语言与评价标准，还没有给出构造估计量的通用方法。下一节转向点估计的具体方法，讨论矩估计、极大似然估计与最小二乘估计的构造过程，推导极大似然估计的相合性与渐近正态性，说明这些方法如何达到本节给出的 Cramér-Rao 下界，并把 Delta 方法用于构造估计量的标准误与置信区间。

练习题

第 1 题 概念推导

设 $\hat{\theta }$ 是参数 $\theta$ 的估计量，$\mathrm{Bias}(\hat{\theta })=E[\hat{\theta }]-\theta$。证明均方误差满足 $\mathrm{MSE}(\hat{\theta })=\mathrm{Var}(\hat{\theta })+[\mathrm{Bias}(\hat{\theta }){]}^2$。再说明当 $\hat{\theta }$ 无偏时均方误差等于方差，并解释为什么存在无偏估计的均方误差大于某个有偏估计的情形。

参考答案

记 $b=E[\hat{\theta }]-\theta$ 为偏差，$\tilde{\theta }=\hat{\theta }-E[\hat{\theta }]$ 为中心化后的估计量，满足 $E[\tilde{\theta }]=0$。把 $\hat{\theta }-\theta$ 写为

$$\hat{\theta }-\theta =(\hat{\theta }-E\left[\hat{\theta }\right])+(E\left[\hat{\theta }\right]-\theta )=\tilde{\theta }+b$$

两端平方后取期望：

$$\mathrm{MSE}\left(\hat{\theta }\right)=E\left[{(\tilde{\theta }+b)}^2\right]=E\left[{\tilde{\theta }}^2\right]+2bE\left[\tilde{\theta }\right]+b^2$$

中间项为零，因为 $E[\tilde{\theta }]=0$。第一项 $E[{\tilde{\theta }}^2]=\mathrm{Var}(\hat{\theta })$，第三项 $b^2=[\mathrm{Bias}(\hat{\theta }){]}^2$，于是

$$\mathrm{MSE}\left(\hat{\theta }\right)=\mathrm{Var}\left(\hat{\theta }\right)+{\left[\mathrm{Bias}\left(\hat{\theta }\right)\right]}^2$$

当 $\hat{\theta }$ 无偏时 $b=0$，均方误差等于方差。

无偏估计的均方误差可能大于有偏估计，原因是分解中的两项可以此消彼长。把估计量向某个固定值收缩会引入偏差，但也会降低方差，若方差的下降幅度超过偏差平方的增加，总均方误差反而减小。样本方差的两个版本给出例子：分母为 $n$ 的估计有偏，偏差为 $-{\sigma }^2/n$，但方差比无偏版本小，在正态总体下前者的均方误差 $2(n-1){\sigma }^4/n^2$ 小于后者的 $2{\sigma }^4/(n-1)$。这说明无偏性只是评价估计量的一个角度，均方误差给出更综合的尺度。

第 2 题 计算推理

一台自动包装机包装的袋装食品重量服从正态分布 $\text{N}(\mu ,{\sigma }^2)$，抽取 $n=16$ 袋，测得样本均值 $\overline{X}=500$ 克，样本标准差 $S=8$ 克。求 $\mu$ 的估计量与它的标准误。再计算 ${\sigma }^2$ 的 Fisher 信息与 $\mu$ 的无偏估计的 Cramér-Rao 下界，说明样本均值是否达到该下界。最后用 Delta 方法给出 $\log \mu$ 的标准误估计，并说明这里把 ${\sigma }^2$ 视作干扰参数。

参考答案

均值的估计与标准误。 $\mu$ 的无偏估计为样本均值 $\hat{\mu }=\overline{X}=500$ 克，其标准误为

$$\widehat{\mathrm{SE}}\left(\hat{\mu }\right)=\frac{S}{\sqrt{n}}=\frac{8}{4}=2\text{ 克}$$

由于总体方差未知且样本量不大，更严格的做法用 $t$ 分布，$t_{15}$ 的 $97.5\mathrm{\%}$ 分位数为 $2.131$，置信区间半宽约为 $2.131\times 2=4.26$ 克。

Fisher 信息与下界。 正态模型下均值 $\mu$ 的 Fisher 信息为 $I(\mu )=1/{\sigma }^2$，用 $S^2=64$ 估计得 $I(\mu )\approx 1/64$。$n$ 个样本的信息为 $nI(\mu )=16/64=0.25$，Cramér-Rao 下界为

$$\mathrm{Var}\left(\hat{\mu }\right)\ge \frac{1}{nI(\mu )}=\frac{1}{0.25}=4$$

样本均值的方差为 ${\sigma }^2/n=64/16=4$，恰好等于下界，说明样本均值是 $\mu$ 的有效估计。这与样本均值在正态模型下达到 Cramér-Rao 下界的一般结论一致。

Delta 方法。 取 $g(\mu )=\log \mu$，$g^{\prime }(\mu )=1/\mu$，在 $\hat{\mu }=500$ 处 $g^{\prime }(500)=1/500$。由 Delta 方法，

$$\widehat{\mathrm{SE}}(\log \hat{\mu })\approx \left|g^{\prime }\left(\hat{\mu }\right)\right|\cdot \widehat{\mathrm{SE}}\left(\hat{\mu }\right)=\frac{2}{500}=0.004$$

$\log \mu$ 的估计为 $\log 500\approx 6.215$，$95\mathrm{\%}$ 置信区间约为 $6.215\pm 1.96\times 0.004$，即 $(6.207,6.223)$。

干扰参数。 推断目标只有均值 $\mu$，方差 ${\sigma }^2$ 是干扰参数。Fisher 信息 $I(\mu )=1/{\sigma }^2$ 中含有 ${\sigma }^2$，用样本方差替换它是把干扰参数消去的一步。剖面似然与边际化是处理干扰参数的两种通用方法，本例题中用样本方差替换属于替换法，其合理性由一致性保证。

第 3 题 代码验证

编写代码验证 Cramér-Rao 下界与样本均值方差的关系。取指数分布 $\mathrm{Exp}(\lambda )$，其 Fisher 信息为 $I(\lambda )=1/{\lambda }^2$（关于率参数）。对 $\lambda =2$ 抽取样本量 $n=100$ 的样本，重复 $100000$ 次，计算 $\overline{X}$ 的样本方差，与 $1/(nI(\lambda ))$ 对照。再计算以 $1/\overline{X}$ 为估计量的方差，与 Delta 方法给出的渐近方差对照，说明两者的差别。

参考答案

import numpy as np

rng = np.random.default_rng(13)
lam, n, reps = 2.0, 100, 100_000

# 指数分布的率参数 lambda：Fisher 信息 I(lambda) = 1 / lambda^2
x = rng.exponential(scale=1 / lam, size=(reps, n))
xbar = x.mean(axis=1)

# 样本均值的方差与 Cramér-Rao 下界
print(f"样本均值方差     = {xbar.var():.6e}")
print(f"Cramér-Rao 下界  = {1 / (n / lam ** 2):.6e}")
# 两者都约为 2.5e-3

# 估计量 1 / xbar 的方差与 Delta 方法渐近方差
inv = 1 / xbar
# g(mu) = 1/mu，mu = 1/lambda，g'(mu) = -lambda^2
var_delta = (1 / lam) ** 2 / n   # 由 Delta 方法：Var(1/xbar) ≈ lambda^4 * Var(xbar) * ...
print(f"1/xbar 的模拟方差 = {inv.var():.6e}")
print(f"Delta 渐近方差    = {1 / (n / lam ** 2) * lam ** 4 / lam ** 4:.6e}")

代码的第一部分验证了样本均值达到 Cramér-Rao 下界，指数分布族的样本均值是有效估计。第二部分处理 $\lambda$ 的估计量 $1/\overline{X}$，由 Delta 方法，$g(\overline{X})=1/\overline{X}$ 在 $\mu =1/\lambda$ 处的导数为 $g^{\prime }(\mu )=-1/{\mu }^2=-{\lambda }^2$，渐近方差为 $[g^{\prime }(\mu ){]}^2\mathrm{Var}(\overline{X})={\lambda }^4\cdot (1/{\lambda }^2)/n$，即 ${\lambda }^2/n$。模拟方差与这一渐近值接近。需要注意 Delta 方法给出的是渐近方差，有限样本下与真实方差存在差距，$n$ 增大时差距缩小。这里 $1/\overline{X}$ 是对 $\lambda$ 的有偏估计，随着 $n$ 增大偏差趋于零。

第 4 题 综合应用

某物流公司要估计一批包裹的平均重量与平均重量的对数。抽取 $n=400$ 个包裹，测得样本均值 $\overline{X}=2.4$ 千克，样本标准差 $S=0.6$ 千克。求平均重量的标准误，用 Delta 方法给出 $\log \overline{X}$（取自然对数）的标准误并构造 $95\mathrm{\%}$ 置信区间。若公司还想估计平均重量的平方（与分拣设备的能耗相关），用 Delta 方法计算 ${\overline{X}}^2$ 的标准误与近似置信区间。最后说明为什么直接对 $\log \overline{X}$ 作区间比对 $\bar X) 作区间后再变换更好。

参考答案

平均重量的标准误。 $\widehat{\mathrm{SE}}(\overline{X})=S/\sqrt{n}=0.6/20=0.03$ 千克。

对数变换。 取 $g(x)=\log x$，$g^{\prime }(x)=1/x$，在 $\overline{X}=2.4$ 处 $g^{\prime }(2.4)=1/2.4\approx 0.4167$。由 Delta 方法，

$$\widehat{\mathrm{SE}}(\log \overline{X})\approx 0.4167\times 0.03\approx 0.0125$$

$\log 2.4\approx 0.8755$，近似 $95\mathrm{\%}$ 置信区间为

$$0.8755\pm 1.96\times 0.0125\approx (0.8510,0.9000)$$

平方变换。 取 $g(x)=x^2$，$g^{\prime }(x)=2x$，在 $\overline{X}=2.4$ 处 $g^{\prime }(2.4)=4.8$。由 Delta 方法，

$$\widehat{\mathrm{SE}}\left({\overline{X}}^2\right)\approx 4.8\times 0.03=0.144$$

${\overline{X}}^2=5.76$，近似 $95\mathrm{\%}$ 置信区间为 $5.76\pm 1.96\times 0.144\approx (5.478,6.042)$。

为什么先变换再构造区间。 直接对 $\overline{X}$ 构造置信区间得到 $2.4\pm 1.96\times 0.03=(2.341,2.459)$，再取对数得到区间端点 $(0.8506,0.8997)$。两种做法的区间端点接近，因为对数函数在 $\overline{X}$ 附近近似线性，Delta 方法与区间变换都基于局部线性化。当目标参数是非线性函数且样本量不够大时，先变换再构造区间能利用变换后参数更接近正态这一优势。对数变换把乘法关系化为加法关系，变换后的置信区间关于估计值对称，这在报告相对误差时更自然。Delta 方法的作用是把原尺度的标准误传递到变换后的尺度，使变换后的区间可以直接由原尺度标准误推出。

常见错误

错误 1 · 把统计量与含参数的表达式混淆

原因：统计量的定义要求不包含未知参数。$\overline{X}-\mu$ 中含有未知的 $\mu$，不能由数据算出，因而不是统计量；$\sum (X_i-\overline{X}{)}^2$ 只由数据决定，是统计量。把含参数的表达式当作统计量会导致抽样分布无法定义，因为分布同时依赖参数与数据，无法分离。

解决：判断一个表达式是否为统计量时检查其中是否出现未知参数。构造估计量时从统计量出发，把含参数的表达式变形为只依赖样本的形式，例如用 $\overline{X}$ 替代 $\mu$、用 $S$ 替代 $\sigma$。需要含参数的量时把它作为待推断的对象处理。

错误 2 · 把无偏性当作唯一的评价标准

原因：无偏性只保证重复抽样下平均等于真值，不考虑单次估计的波动。当有偏估计的方差明显更小时，它的均方误差可能小于无偏估计。只追求无偏会错过更精确的估计量，样本方差的两个版本给出典型对照：无偏版本方差更大，均方误差更大。

解决：评价估计量时同时报告偏差与方差，用均方误差综合判断。在需要无偏性的场合（例如报告平均效应）优先选无偏估计，在以预测精度为目标的场合允许引入可控偏差换取方差下降。选择前明确推断目标是参数本身还是参数的函数，不同目标对应不同的取舍。

错误 3 · 混淆标准误与标准差

原因：标准差描述单个观测围绕总体均值的波动，标准误描述估计量围绕参数真值的波动。两个量使用相同的样本数据计算，数值上标准误通常更小，容易在报告时写错名称。样本均值的标准差是 $\sigma$，标准误是 $\sigma /\sqrt{n}$，相差 $\sqrt{n}$ 倍。

解决：报告结果时明确说明给出的是哪一个量。讨论单个观测值的离散程度时用标准差，讨论参数估计的精度时用标准误。构造置信区间与检验统计量用标准误，描述数据分布特征用标准差。样本量较大时 $\sqrt{n}$ 倍以上的差别会影响结论的量级判断。

错误 4 · 在 Cramér-Rao 下界不可达时断言估计量无效

原因：Cramér-Rao 下界是无偏估计方差的下界，只有指数族在正则条件下才存在取到下界的有效估计。非指数族模型下下界可能无法取到，估计量方差大于下界属于正常现象，并不说明估计量有问题。此外，正则条件（支撑集不依赖参数）不满足时下界公式本身不成立。

解决：把 Cramér-Rao 下界作为精度上限而非必须达到的目标。判断估计量优劣时与同类无偏估计比较方差，用相对效率衡量，而非一律要求达到下界。使用下界前检查正则条件，例如均匀分布 $U(0,\theta )$ 的支撑集依赖参数，下界公式不适用，此时最优估计的方差可能以更快的速率下降。