37 方差与样本均值的误差：均方误差是 σ²/n，误差按 σ/√n 缩小 · 第3讲

这一页在讲什么

人话版一句话版

把 $n$ 个独立同分布、方差为 $σ^{2}$ 的样本求平均，平均值偏离真值的均方误差恰好是 $\frac{σ ^{2}}{n} ，$ 所以误差的典型大小是 $\frac{σ}{n} ：$ 样本数乘 4，误差才减半。单个样本的方差 $σ^{2}$ 就是一个抽样方案的「单价」。第 36 页里当 $α \geq \frac{1}{2}$ 时 $σ^{2} = \infty ，$ 这把尺子就失效了。

这是第 5 部分「抽样中的应用」的第二页。上一页第 36 页发现：均匀抽样估计量无偏，但方差可能无穷。这一页回答「为什么要在乎方差」：蒙特卡罗方法的精度完全由方差决定。
课件只印了一个小标题 Mean squared error of the sample average（样本均值的均方误差），内容是板书。下面「补全课件留白」一节补全：一个命题（均方误差 $= \frac{σ ^{2}}{n} ）、$ 它的证明、由它推出的 Chebyshev 概率界，以及方差无穷时会发生什么。
下一页起（第 38 页–第 40 页）的目标由此变得很清楚：换一种抽样方式，让单个样本的方差变成有限，而且尽量小。

先补基础

基础补课均方误差：估计量「平均错多少」

设 $\hat{θ}$ 是用来估计未知数 $θ$ 的估计量（它依赖随机样本，是随机变量）。它的均方误差（mean squared error，MSE）定义为 $E (\hat{θ} - θ)^{2} ：$ 误差先平方（去掉正负号，并且大误差罚得更重），再求平均。
均方根误差 $E (\hat{θ} - θ)^{2}$ 把平方开回来，单位和 $θ$ 相同，可以直接读成「典型误差有多大」。
分解：若 $E \hat{θ}^{2} < \infty ，$ 则 $E (\hat{θ} - θ)^{2} = Var \hat{θ} + (E \hat{θ} - θ)^{2} ，$ 即「均方误差 = 方差 + 偏差的平方」（证明见「推导」一节第（二）条）。无偏时偏差为 0，均方误差就等于方差。
例：一个永远报告 $θ + 1$ 的「估计量」方差为 0，但均方误差是 1——它稳定地错。另一个一半时候报 $θ - 1 、$ 一半时候报 $θ + 1 ，$ 偏差为 0，方差和均方误差都是 1。

基础补课方差的三条基本性质

设 $E Y^{2} < \infty 。$ 这时 $E ∣ Y ∣ < \infty ，$ 因为 $∣ y ∣ \leq \frac{1 + y ^{2}}{2}$ （第 32 页推导一节），所以 $E Y$ 是有限的数。

$Var Y = E (Y - E Y)^{2} = E Y^{2} - (E Y)^{2}$ （第 36 页基础补课）。
平移不变： $Var (Y + c) = Var Y ，$ 因为 $(Y + c) - E (Y + c) = Y - E Y 。$
倍数要平方后提出来： $Var (c Y) = c^{2} Var Y ，$ 因为 $c Y - E (c Y) = c (Y - E Y) ，$ 平方后多出 $c^{2} 。$

例： $Var (\frac{Y}{10}) = \frac{1}{100} Var Y 。$ 注意是除以 100，不是除以 10。

基础补课独立随机变量：乘积的期望等于期望的乘积

回忆（第 6 页补充定义）：随机变量 $X, Y$ 独立，指对任意博雷尔集 $A, B \subseteq R ，$ $P (X \in A, Y \in B) = P (X \in A) P (Y \in B) 。$ 本页要用两个事实：

独立变量的函数仍然独立：若 $g, k : R \to R$ 是博雷尔可测函数，则 $g (X)$ 与 $k (Y)$ 独立。理由： ${g (X) \in A} = {X \in g^{- 1} (A)} ，$ 而 $g^{- 1} (A)$ 仍是博雷尔集，直接套定义即可。例如 $X - 3$ 与 $Y^{2}$ 独立。
乘积公式：若 $X, Y$ 独立并且都可积，则 $X Y$ 可积，并且 $E [X Y] = E X \cdot E Y 。$

第 2 条第 1 讲没有讲过。它的证明只用「示性函数 → 简单函数 → 非负函数（单调收敛定理）→ 可积函数」这四步，和第 32 页–第 33 页的套路一样，完整写在下面「推导」一节第（一）条。

没有独立性，乘积公式一般不成立：公平硬币 $X \in {0, 1} ，$ 取 $Y = X ，$ 则 $E [X Y] = E X^{2} = \frac{1}{2} ，$ 而 $E X \cdot E Y = \frac{1}{4}$ （第 7 页也讨论过这个例子）。

基础补课Chebyshev 不等式：用方差控制「偏得很远」的概率

广义 Markov 不等式（第 29 页）取 $ψ (x) = x^{2} ，$ 也就是第 10 页基础补课里 $p = 2$ 的情形：对任何随机变量 $Z$ 和 $ε > 0 ，$

P (∣ Z ∣ \geq ε) \leq \frac{E Z ^{2}}{ε ^{2}} .

理由：处处有 $ε^{2} 1_{{∣ Z ∣ \geq ε}} \leq Z^{2}$ （在 $∣ Z ∣ \geq ε$ 处左边是 $ε^{2} \leq Z^{2} ，$ 在别处左边是 $0 \leq Z^{2} ）。$ 两边取期望，左边是 $ε^{2} P (∣ Z ∣ \geq ε) 。$
用在 $Z = Y - E Y$ 上，就是 Chebyshev 不等式： $P (∣ Y - E Y ∣ \geq ε) \leq \frac{Var Y}{ε ^{2}} 。$ 方差小，偏离均值很远的概率就小。
例： $Var Y = 4 ，$ 则 $P (∣ Y - E Y ∣ \geq 10) \leq \frac{4}{100} = 0.04 。$

课件原文逐句精读

课件原文课件印刷文字

Mean squared error of the sample average

中文翻译

样本均值的均方误差

蓝条标题 Variance and the error of a sample average：「方差与样本均值的误差」。它点明本页的主题：样本均值的误差由方差决定。
sample average（样本均值）： $\overset{ˉ}{Y}_{n} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i} ，$ 就是把 $n$ 次抽样的结果加起来除以 $n 。$ 第 36 页的估计量 $\hat{I}_{n} = \frac{1}{n} \sum_{i = 1}^{n} h (U_{i})$ 就是 $Y_{i} = h (U_{i})$ 时的样本均值。
mean squared error（均方误差）：见基础补课，这里是 $E (\overset{ˉ}{Y}_{n} - I)^{2} ，$ 其中 $I$ 是要估计的真值。
课件在这个小标题下面留白。按标题和上下文（上一页刚提出「方差可能无穷」），这里应当写出并证明「均方误差 $= \frac{σ ^{2}}{n} 」，$ 下一节补全。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

Mean squared error of the sample average｜样本均值的均方误差

命题（样本均值的均方误差）

设 $Y_{1}, Y_{2}, \dots$ 是概率空间 $(Ω, F, P)$ 上独立同分布的随机变量，并且 $E Y_{1}^{2} < \infty 。$ 记

I := E Y_{1}, σ^{2} := Var Y_{1}, \overset{ˉ}{Y}_{n} := \frac{1}{n} i = 1 \sum n Y_{i} .

则对每个 $n \geq 1 ：$

无偏： $E \overset{ˉ}{Y}_{n} = I ；$
均方误差： $E (\overset{ˉ}{Y}_{n} - I)^{2} = Var \overset{ˉ}{Y}_{n} = \frac{σ ^{2}}{n} ；$
Chebyshev 界：对每个 $ε > 0 ，$ $P (∣ \overset{ˉ}{Y}_{n} - I ∣ > ε) \leq \frac{σ ^{2}}{n ε ^{2}} 。$ 特别地，右边随 $n \to \infty$ 趋于 0，所以 $\overset{ˉ}{Y}_{n} \to I$ 依概率收敛（第 14 页定义 10）。

先看每个条件管什么：

$E Y_{1}^{2} < \infty$ ：保证 $σ^{2}$ 是有限的数，结论才有内容；它也保证 $E ∣ Y_{1} ∣ < \infty ，$ $I$ 是有限的数。第 36 页当 $α \geq \frac{1}{2}$ 时这一条不成立。
同分布：保证每个 $Y_{i}$ 的均值都是 $I 、$ 方差都是 $σ^{2} 。$ 均值和方差只由分布决定：由无意识统计学家定律（第 7 页）， $E g (Y_{i})$ 只依赖于 $Y_{i}$ 的分布。
独立：只用在一处——交叉项 $E [(Y_{i} - I) (Y_{j} - I)] = 0$ （ $i \neq = j ）。$ 证明里会标出来。

推导证明思路

先把每个样本「中心化」： $Z_{i} = Y_{i} - I ，$ 均值 0、方差 $σ^{2} ，$ 于是 $\overset{ˉ}{Y}_{n} - I$ 就是 $Z_{i}$ 的平均。把 $(\sum_{i} Z_{i})^{2}$ 展开成 $n^{2}$ 项： $n$ 个平方项各贡献 $σ^{2} ，$ $n (n - 1)$ 个交叉项因为独立而期望为 0。合计 $n σ^{2} ，$ 再除以 $n^{2} 。$ 第 3 条是把 Chebyshev 不等式用在 $\overset{ˉ}{Y}_{n} - I$ 上。

第 1 步：中心化。 令 $Z_{i} := Y_{i} - I 。$ 由同分布， $E Z_{i} = E Y_{i} - I = 0 ，$ $E Z_{i}^{2} = Var Y_{i} = σ^{2} < \infty 。$ 并且

\overset{ˉ}{Y}_{n} - I = \frac{1}{n} i = 1 \sum n Y_{i} - \frac{1}{n} i = 1 \sum n I = \frac{1}{n} i = 1 \sum n Z_{i},

这里把 $I$ 写成了 $n$ 个 $\frac{I}{n}$ 之和。

第 2 步：无偏。 每个 $Y_{i}$ 可积，可积函数的期望是线性的（第 43 页），所以

E \overset{ˉ}{Y}_{n} = \frac{1}{n} i = 1 \sum n E Y_{i} = \frac{1}{n} \cdot n I = I .

这就是第 1 条。

第 3 步：把平方展开。 有限和的平方等于所有两两乘积之和：

(i = 1 \sum n Z_{i})^{2} = i = 1 \sum n j = 1 \sum n Z_{i} Z_{j} = n 个平方项 i = 1 \sum n Z_{i}^{2} + n (n - 1) 个交叉项 i \neq = j \sum Z_{i} Z_{j} .

例如 $n = 2 ：$ $(Z_{1} + Z_{2})^{2} = Z_{1}^{2} + Z_{2}^{2} + Z_{1} Z_{2} + Z_{2} Z_{1} ，$ 两个平方项、两个交叉项。

第 4 步：每一项都可积，可以逐项取期望。 由 $(∣ a ∣ - ∣ b ∣)^{2} \geq 0$ 展开得 $∣ ab ∣ \leq \frac{a ^{2} + b ^{2}}{2} ，$ 所以

E ∣ Z_{i} Z_{j} ∣ \leq \frac{E Z _{i}^{2} + E Z _{j}^{2}}{2} = σ^{2} < \infty.

有限个可积函数之和的期望等于期望之和（第 43 页），于是 $E (\sum_{i} Z_{i})^{2} = \sum_{i} E Z_{i}^{2} + \sum_{i \neq = j} E [Z_{i} Z_{j}] 。$

第 5 步：平方项。 每个 $E Z_{i}^{2} = σ^{2} ，$ 一共 $n$ 项，合计 $n σ^{2} 。$

第 6 步：交叉项（唯一用到独立性的地方）。 设 $i \neq = j 。$ $Y_{i}$ 与 $Y_{j}$ 独立，而 $Z_{i} = Y_{i} - I 、$ $Z_{j} = Y_{j} - I$ 分别是它们的函数，所以 $Z_{i}$ 与 $Z_{j}$ 独立（基础补课第 1 条）；两者都可积。由乘积公式，

E [Z_{i} Z_{j}] = E Z_{i} \cdot E Z_{j} = 0 \cdot 0 = 0.

第 7 步：合起来。 由第 1 步和方差的「倍数平方提出」性质，

E (\overset{ˉ}{Y}_{n} - I)^{2} = E (\frac{1}{n} i = 1 \sum n Z_{i})^{2} = \frac{1}{n ^{2}} E (i = 1 \sum n Z_{i})^{2} = \frac{1}{n ^{2}} (n σ^{2} + 0) = \frac{σ ^{2}}{n} .

又由第 2 步 $E \overset{ˉ}{Y}_{n} = I ，$ 所以方差的定义 $Var \overset{ˉ}{Y}_{n} = E (\overset{ˉ}{Y}_{n} - E \overset{ˉ}{Y}_{n})^{2}$ 恰好就是 $E (\overset{ˉ}{Y}_{n} - I)^{2} 。$ 这就是第 2 条。

第 8 步：Chebyshev 界。 固定 $ε > 0 ，$ 把基础补课里的不等式用在 $Z = \overset{ˉ}{Y}_{n} - I$ 上：

P (∣ \overset{ˉ}{Y}_{n} - I ∣ > ε) \leq P (∣ \overset{ˉ}{Y}_{n} - I ∣ \geq ε) \leq \frac{E ( Y ˉ _{n} - I ) ^{2}}{ε ^{2}} = \frac{σ ^{2}}{n ε ^{2}} .

第一个不等号是因为 ${∣ Z ∣ > ε} \subseteq {∣ Z ∣ \geq ε}$ （概率的单调性）；最后一个等号用了第 2 条。 $ε$ 固定时右边随 $n \to \infty$ 趋于 0，这正是依概率收敛的定义。这就是第 3 条，它也叫弱大数定律的 $L^{2}$ 版本。

一般形式：独立变量的方差可加

同样的展开对「不同分布」也成立：若 $Y_{1}, \dots, Y_{n}$ 两两独立（相互独立当然更可以），每个 $E Y_{i}^{2} < \infty ，$ 则

Var (i = 1 \sum n Y_{i}) = i = 1 \sum n Var Y_{i} .

证明：令 $Z_{i} = Y_{i} - E Y_{i} ，$ 重复第 3–6 步，交叉项全为 0，平方项之和是 $\sum_{i} Var Y_{i} 。$ 第 6 步只用到了两个变量之间的独立，所以两两独立就够。注意方差可加，标准差不可加：两个独立、标准差都是 1 的变量之和，标准差是 $2 ，$ 不是 2。

误差的量级：σ/√n

命题第 2 条开平方，得到均方根误差：

E (\overset{ˉ}{Y}_{n} - I)^{2} = \frac{σ}{n} .

它告诉我们典型误差有多大：

样本数 $n$	$1$	$100$	$1 0^{4}$	$1 0^{6}$
均方根误差 $σ / n$	$σ$	$σ /10$	$σ /100$	$σ /1000$

读这张表：

样本数乘 100，误差只缩小到十分之一。想多得一位准确的小数，要付出 100 倍的计算量。这就是人们常说的「蒙特卡罗方法收敛慢」。
「几个标准误」的写法：在第 3 条里取 $ε = k \frac{σ}{n} ，$ 得 $P (∣ \overset{ˉ}{Y}_{n} - I ∣ > k \frac{σ}{n}) \leq \frac{1}{k ^{2}} 。$ $\frac{σ}{n}$ 叫标准误（standard error）。例如 $k = 3 ：$ 误差超过 3 个标准误的概率不超过 $\frac{1}{9} \approx 11% ；$ $k = 5 ：$ 不超过 $4% 。$
需要多少样本：要让 $P (∣ \overset{ˉ}{Y}_{n} - I ∣ > ε) \leq β ，$ 由第 3 条，只要 $\frac{σ ^{2}}{n ε ^{2}} \leq β ，$ 即 $n \geq \frac{σ ^{2}}{β ε ^{2}} 。$ 所需样本数与 $σ^{2}$ 成正比。
两条降低误差的路：（1）加大 $n ，$ 代价与 $n$ 成正比；（2）换一种抽样方式，让单个样本的方差 $σ^{2}$ 变小。把 $σ$ 减半，效果等于把样本数乘 4。第 38、39 页走的是第二条路。

补充背景：中心极限定理（本讲不证）

Chebyshev 界对每个 $n$ 都严格成立，但比较保守。中心极限定理（本讲没有讲，这里只作背景）说： $n$ 很大时， $\frac{Y ˉ _{n} - I}{σ / n}$ 的分布接近标准正态 $N (0, 1) ，$ 于是大约 95% 的情形误差不超过 $1.96 \frac{σ}{n} 。$ 两种说法的共同点是：误差的尺度是 $\frac{σ}{n}$ 。

方差无穷时：σ/√n 这把尺子失效

回到第 36 页： $Y_{i} = h (U_{i}) ，$ $h (u) = u^{- α} e^{- u} ，$ $U_{i}$ 独立同分布、服从 $Unif (0, 1) 。$

$0 < α < \frac{1}{2}$ ： $σ^{2} < \infty ，$ 命题完全适用，误差按 $\frac{σ}{n}$ 缩小。例如 $α = 0.3$ 时 $σ^{2} \approx 0.6496$ （第 36 页）， $σ \approx 0.806 。$
$\frac{1}{2} \leq α < 1$ ： $E Y_{1}^{2} = \infty ，$ 命题的前提不成立。第 36 页「推导」一节第（二）条已经证明：对每个 $n ，$ $E (\hat{I}_{n} - I)^{2} = \infty$ ，平均多少个样本都一样；Chebyshev 界的右边是 $\infty ，$ 什么也没说。
估计量还会收敛吗？ 会。强大数定律只要求 $E ∣ Y_{1} ∣ < \infty$ （本讲不证）， $\hat{I}_{n} \to I$ 几乎必然。但没有 $\frac{1}{n}$ 的速率保证，实际收敛更慢、更不稳定。下面例 3 用模拟展示这一点。

例子

例 1：掷骰子的平均点数

$Y_{i}$ 是第 $i$ 次掷一颗公平骰子的点数，各次独立， $I = E Y_{1} = 3.5 。$

方差： $E Y_{1}^{2} = \frac{1 + 4 + 9 + 16 + 25 + 36}{6} = \frac{91}{6} ，$ 所以 $σ^{2} = \frac{91}{6} - 3. 5^{2} = \frac{91}{6} - \frac{49}{4} = \frac{182 - 147}{12} = \frac{35}{12} \approx 2.917 ，$ $σ \approx 1.708 。$
$n = 100$ ：均方误差 $\frac{35/12}{100} \approx 0.0292 ，$ 均方根误差 $\approx 0.171 。$ Chebyshev： $P (∣ \overset{ˉ}{Y}_{100} - 3.5∣ > 0.5) \leq \frac{2.917}{100 \times 0.25} \approx 0.117 。$
$n = 1 0^{4}$ ：均方根误差 $\approx 0.0171 。$ Chebyshev： $P (∣ \overset{ˉ}{Y}_{1 0^{4}} - 3.5∣ > 0.05) \leq \frac{2.917}{1 0 ^{4} \times 0.0025} \approx 0.117 。$

精度提高 10 倍（容忍度从 0.5 缩到 0.05），同样的概率保证需要 100 倍的样本。

例 2：抛硬币——Chebyshev 界是保守的

$Y_{i} \in {0, 1}$ 是独立的公平硬币（正面记 1）， $I = \frac{1}{2} ，$ $E Y_{1}^{2} = E Y_{1} = \frac{1}{2}$ （因为 $0^{2} = 0 、$ $1^{2} = 1 ），$ $σ^{2} = \frac{1}{2} - \frac{1}{4} = \frac{1}{4} 。$

$n = 100 ：$ $E (\overset{ˉ}{Y}_{100} - \frac{1}{2})^{2} = \frac{1/4}{100} = \frac{1}{400} ，$ 均方根误差 $0.05 。$
Chebyshev： $P (∣ \overset{ˉ}{Y}_{100} - \frac{1}{2} ∣ > 0.1) \leq \frac{1/4}{100 \times 0.01} = 0.25 。$
精确值： $∣ \overset{ˉ}{Y}_{100} - \frac{1}{2} ∣ > 0.1$ 就是「正面次数 $\leq 39$ 或 $\geq 61 」，$ 按二项分布精确计算，概率约为 $0.035 。$

Chebyshev 给的 0.25 比真实的 0.035 大很多，但它不需要知道分布的具体形状，只用到方差，并且对每个 $n$ 都成立。

例 3：方差有限与方差无穷，收敛速度对比（模拟）

对第 36 页的均匀抽样估计量 $\hat{I}_{n} ，$ 每种 $n$ 独立重复 2000 次，记录每次的误差 $∣ \hat{I}_{n} - I ∣ ，$ 取中位数（一半的重复误差比它小，一半比它大）。下面是一次这样的模拟的结果（随机数不同，数字会略有出入）：

$n$	$100$	$1000$	$1 0^{4}$
$α = 0.3$ （方差有限）的中位误差	0.053	0.017	0.0054
$α = 0.7$ （方差无穷）的中位误差	0.61	0.32	0.16

$α = 0.3 ：$ $n$ 每乘 10，中位误差缩小约 3.1 倍，正是 $10 \approx 3.16 ，$ 符合 $\frac{σ}{n} 。$
$α = 0.7 ：$ $n$ 每乘 10，中位误差只缩小约 2 倍。理论上可以证明（要用本课没有的「稳定分布」理论，这里只作背景），这个例子里典型误差大约按 $n^{- (1 - α)}$ 缩小； $α = 0.7$ 时是 $n^{- 0.3} ，$ 而 $1 0^{- 0.3} \approx 0.50 ，$ 与模拟一致。
同一组模拟里， $α = 0.7 、$ $n = 1000$ 时约 70% 的重复低估了 $I$ （大多数时候抽不到 0 附近的巨大值），而最坏的一次误差超过 100（碰巧抽到了一个离 0 极近的点）。平均来说无偏，是靠极少数巨大的高估撑起来的。

例 4（反例）：样本不独立，平均就不降低方差

设 $Y$ 满足 $Var Y = σ^{2} > 0 ，$ 令 $Y_{1} = Y_{2} = \dots = Y_{n} = Y$ （相当于随机数发生器出了故障，把同一个数重复了 $n$ 次）。

每个 $Y_{i}$ 的分布相同，但它们不独立。
$\overset{ˉ}{Y}_{n} = \frac{nY}{n} = Y ，$ 所以 $Var \overset{ˉ}{Y}_{n} = σ^{2} ，$ 不管 $n$ 多大都不减小。
对照证明：第 6 步的交叉项变成 $E [Z_{i} Z_{j}] = E Z^{2} = σ^{2} ，$ 不再是 0。 $n (n - 1)$ 个交叉项合计 $n (n - 1) σ^{2} ，$ 加上平方项 $n σ^{2} ，$ 总共 $n^{2} σ^{2} ，$ 除以 $n^{2}$ 仍是 $σ^{2} 。$

所以命题里的「独立」不能去掉。

推导：一步一步来

推导证明思路

补上正文用到的两件事：（一）独立可积变量的乘积公式，走「示性函数 → 简单函数 → 非负函数 → 可积函数」四步；（二）均方误差 = 方差 + 偏差的平方。

（一）若 $X, Y$ 独立且可积，则 $X Y$ 可积，并且 $E [X Y] = E X \cdot E Y 。$

非负简单函数。 设 $φ = \sum_{k} a_{k} 1_{C_{k}} 、$ $ψ = \sum_{l} b_{l} 1_{D_{l}}$ 是 $R$ 上的非负简单博雷尔函数（有限和， $a_{k}, b_{l} \geq 0 ，$ $C_{k}$ 是博雷尔集、 $D_{l}$ 也是）。令 $s = φ (X) ，$ $t = ψ (Y) 。$ 因为 $1_{C_{k}} (X) = 1_{{X \in C_{k}}} ，$ $s t = k \sum l \sum a_{k} b_{l} 1_{{X \in C_{k}} \cap {Y \in D_{l}}} .$ 这是 $Ω$ 上的非负简单函数。由简单函数积分的线性（第 32 页）和独立性， $E [s t] = k \sum l \sum a_{k} b_{l} P (X \in C_{k}) P (Y \in D_{l}) = (k \sum a_{k} P (X \in C_{k})) (l \sum b_{l} P (Y \in D_{l})) = E s \cdot E t .$
非负的 $X, Y 。$ 设 $X, Y \geq 0$ 且 $E X, E Y < \infty 。$ 取二进逼近 $φ_{n} = 2^{- n} \sum_{k = 1}^{n 2^{n}} 1_{[k 2^{- n}, \infty)}$ （第 34 页），它是非负简单博雷尔函数，并且对每个 $x \geq 0$ 有 $φ_{n} (x) ↑ x 。$ 令 $s_{n} = φ_{n} (X) 、$ $t_{n} = φ_{n} (Y) ，$ 则 $s_{n} ↑ X ，$ $t_{n} ↑ Y ，$ 并且 $s_{n} t_{n} ↑ X Y$ （两个非负递增数列的乘积仍递增，极限等于极限之积）。对三列分别用单调收敛定理（第 36 页），再用第 1 步： $E [X Y] = n \to \infty lim E [s_{n} t_{n}] = n \to \infty lim E s_{n} \cdot E t_{n} = E X \cdot E Y .$ 最后一个等号： $E s_{n} \to E X 、$ $E t_{n} \to E Y$ 都是有限数的收敛，乘积的极限等于极限的乘积。
可积的 $X, Y 。$ $∣ X ∣ 、$ $∣ Y ∣$ 分别是 $X 、$ $Y$ 的函数，独立且非负，由第 2 步 $E ∣ X Y ∣ = E ∣ X ∣ \cdot E ∣ Y ∣ < \infty ，$ 所以 $X Y$ 可积。再把正部、负部（第 43 页） $X = X^{+} - X^{-} 、$ $Y = Y^{+} - Y^{-}$ 代入： $X Y = X^{+} Y^{+} - X^{+} Y^{-} - X^{-} Y^{+} + X^{-} Y^{-} .$ 四项都是「 $X$ 的函数 × $Y$ 的函数」，非负，并且都 $\leq ∣ X Y ∣ ，$ 所以可积。由期望的线性和第 2 步， $E [X Y] = E X^{+} E Y^{+} - E X^{+} E Y^{-} - E X^{-} E Y^{+} + E X^{-} E Y^{-} = (E X^{+} - E X^{-}) (E Y^{+} - E Y^{-}) = E X \cdot E Y .$

（二）若 $E \hat{θ}^{2} < \infty ，$ 则 $E (\hat{θ} - θ)^{2} = Var \hat{θ} + (E \hat{θ} - θ)^{2} 。$

记 $m = E \hat{θ}$ （有限的数）。把误差拆成「随机波动」加「系统偏差」： $\hat{θ} - θ = (\hat{θ} - m) + (m - θ) 。$
平方展开： $(\hat{θ} - θ)^{2} = (\hat{θ} - m)^{2} + 2 (m - θ) (\hat{θ} - m) + (m - θ)^{2} 。$
逐项取期望：第一项是 $Var \hat{θ} ；$ 第二项是常数 $2 (m - θ)$ 乘 $E (\hat{θ} - m) = m - m = 0 ；$ 第三项是常数 $(m - θ)^{2} 。$

所以均方误差 = 方差 + 偏差的平方。对本页的 $\overset{ˉ}{Y}_{n} ，$ 偏差 $m - I = 0 ，$ 均方误差就是方差。

常见疑问与易错点

易错点问：为什么误差是 σ/√n，而不是 σ/n？

答：因为独立误差相加时会部分抵消。 $n$ 个中心化样本之和 $\sum_{i} Z_{i}$ 的均方是 $n σ^{2}$ （第 7 步前），典型大小是 $n σ ，$ 而不是 $nσ ：$ 有的偏正、有的偏负，互相抵掉一部分。再除以 $n ，$ 得到 $\frac{σ}{n} 。$ 只有在例 4 那样「完全不抵消」的情形，和才会是 $n$ 倍大，平均也就一点不改善。

易错点问：命题一定要「相互独立」吗？

答：证明里只用到交叉项 $E [Z_{i} Z_{j}] = 0$ （ $i \neq = j ），$ 这叫两两不相关。两两独立就足以保证它（第 6 步只涉及两个变量）。完全相关时（例 4）方差不降；反过来，负相关还能让方差降得更快。例：估计 $\int_{0}^{1} u d u = \frac{1}{2} ，$ 用一对 $U$ 和 $1 - U ，$ 平均值 $\frac{U + ( 1 - U )}{2} = \frac{1}{2}$ 恰好是真值，方差为 0。这是「对偶变量」技巧的雏形。

易错点问：均方误差很小，是不是每次都很准？

答：不是。均方误差是平均意义上的；Chebyshev 只说「偏得很远」的概率小，不说它不会发生。例 2 里 $n = 100$ 时误差超过 0.1 的概率约 3.5%：做 100 次这样的试验，大约有三四次会偏出 0.1。

易错点问：实际计算时不知道 σ²，怎么报告误差？

答：用同一批样本估计它：样本方差 $s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \overset{ˉ}{Y}_{n})^{2} ，$ 再报告「 $\overset{ˉ}{Y}_{n} ，$ 标准误约 $\frac{s}{n} 」。$ 要当心：当真实方差是无穷（第 36 页， $α \geq \frac{1}{2} ）$ 时，每次算出的 $s^{2}$ 仍是一个有限的数，看起来很正常，但它会随 $n$ 增大而不断变大、极不稳定，据此报告的误差是假的。所以要先从理论上确认方差有限，这正是第 39 页要做的事。

小结与自测

小结本页小结

命题： $Y_{1}, Y_{2}, \dots$ 独立同分布、 $E Y_{1}^{2} < \infty$ 时， $E \overset{ˉ}{Y}_{n} = I ，$ 并且均方误差 $E (\overset{ˉ}{Y}_{n} - I)^{2} = Var \overset{ˉ}{Y}_{n} = \frac{σ ^{2}}{n} 。$
证明：中心化后展开平方； $n$ 个平方项各贡献 $σ^{2} ，$ 交叉项因为独立（乘积公式）期望为 0。
Chebyshev： $P (∣ \overset{ˉ}{Y}_{n} - I ∣ > ε) \leq \frac{σ ^{2}}{n ε ^{2}} ，$ 推出 $\overset{ˉ}{Y}_{n} \to I$ 依概率收敛（弱大数定律）。
误差尺度 $\frac{σ}{n}$ ：样本数乘 100，误差缩小 10 倍； $σ$ 减半等于样本数乘 4。
第 36 页中 $α \geq \frac{1}{2}$ 时 $σ^{2} = \infty ，$ 均方误差对每个 $n$ 都是 $\infty ，$ 这个速率不存在；要换一种抽样方式（第 38 页）。

自测

1. 某抽样方案单个样本的方差 $σ^{2} = 9 。$ 要让均方根误差不超过 $0.01 ，$ 至少需要多少个独立样本？

点开看答案

均方根误差是 $\frac{σ}{n} = \frac{3}{n} 。$ 要求 $\frac{3}{n} \leq 0.01 ，$ 即 $n \geq 300 ，$ $n \geq 90000 。$

2. 方案 A 单个样本方差 $σ_{A}^{2} = 4 ；$ 方案 B 单个样本方差 $σ_{B}^{2} = 1 ，$ 但每个样本的计算时间是 A 的 3 倍。给定同样的总计算时间，哪个方案的均方误差更小？

点开看答案

设总时间能让 A 抽 $n$ 个样本，则 B 只能抽 $\frac{n}{3}$ 个。均方误差分别是 $\frac{4}{n}$ 和 $\frac{1}{n /3} = \frac{3}{n} ，$ B 更小。一般规律：比较「方差 × 每个样本的成本」，A 是 $4 \times 1 = 4 ，$ B 是 $1 \times 3 = 3 ，$ 越小越好。

3. 判断：若 $Y_{1} = Y_{2} = \dots = Y_{n}$ （同一个随机变量复制 $n$ 份），则 $Var \overset{ˉ}{Y}_{n} = \frac{σ ^{2}}{n} 。$

点开看答案

错。此时 $\overset{ˉ}{Y}_{n} = Y_{1} ，$ $Var \overset{ˉ}{Y}_{n} = σ^{2} 。$ 命题需要独立（至少两两不相关）：这里每个交叉项 $E [Z_{i} Z_{j}] = σ^{2} \neq = 0 ，$ 证明第 6 步不成立（例 4）。

本页术语中英对照（按出现顺序）

中文	English	白话解释
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
平移不变性	translation invariance	把集合整体平移，测度不变：μ(E + t) = μ(E)。长度就有这个性质。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
博雷尔 σ-代数	Borel sigma-algebra	由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ)，包含所有常见的集合。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
可测函数	measurable function	对每个 a，集合 {f > a} 都可测；这样的函数才能积分。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
单调收敛定理	monotone convergence theorem (MCT)	非负可测函数单调递增地收敛时，积分也收敛：∫fₙ ↑ ∫f。
示性函数	indicator function	𝟏_A(x) 在 x ∈ A 时取 1，否则取 0；它的积分就是 A 的测度。
简单函数	simple function	只取有限个值的可测函数，是若干示性函数的线性组合，图像像台阶。
Markov 不等式	Markov's inequality	X ≥ 0 时 P(X ≥ t) ≤ E X / t：期望小，取大值的概率就小。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
Chebyshev 不等式	Chebyshev's inequality	P(\|X − μ\| ≥ t) ≤ σ² / t²：方差控制偏离均值的概率。
概率空间	probability space	三元组 (Ω, 𝓕, P)：样本空间、事件的 σ-代数、概率测度。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
依概率收敛	convergence in probability	对每个 ε > 0，P(\|Xₙ − X\| > ε) → 0；比几乎必然收敛弱。
无意识统计学家定律	law of the unconscious statistician (LOTUS)	求 g(X) 的期望，不必先求出 g(X) 的分布，直接把 g 对 X 的分布 𝓛(X) 积分；X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
弱大数定律	weak law of large numbers (WLLN)	样本均值依概率收敛到真实均值：对每个 ε > 0，P(\|Sₙ/n − μ\| > ε) → 0。方差有限时可由 Chebyshev 不等式直接推出。
两两独立	pairwise independence	任意两个都独立。比相互独立弱：三个事件可以两两独立却不相互独立。
中心极限定理	central limit theorem (CLT)	独立同分布、方差 σ² 有限时，(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布：大量独立小误差之和近似正态。
强大数定律	strong law of large numbers (SLLN)	独立同分布且 E\|X₁\| < ∞ 时，样本均值 Sₙ/n 几乎必然收敛到 E X₁。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。
正部	positive / negative part	f⁺ = max(f, 0)，f⁻ = max(−f, 0)，f = f⁺ − f⁻，\|f\| = f⁺ + f⁻。