08 去掉 i.i.d.：相关性衰减得够快，弱大数定律照样成立 · 作业2

这道题在问什么

人话版一句话版

弱大数定律通常假设 i.i.d.。这道题问：能不能允许随机变量之间有相关性？ 答案：只要「每个变量与所有其他变量的协方差之和」有统一的上界，样本均值仍然依概率收敛到 $μ 。$ 证明只用 Chebyshev 不等式：相关性让 $Var (S_{n})$ 变大，但只要它不超过 $c n ，$ 除以 $n^{2}$ 后照样趋于 0。第二问的例子 $Cov (X_{i}, X_{j}) = r^{∣ i - j ∣}$ （越远越不相关）正是常见的时间序列模型。

考点：方差的展开（协方差矩阵求和）、Chebyshev 不等式（第 2 讲第 29 页）、几何级数。
和讲义的关系：第 3 讲第 37 页用 $Var \overset{ˉ}{X}_{n} = \frac{σ ^{2}}{n}$ 证明了 i.i.d. 情形的弱大数定律；本题把「独立」放宽成「弱相关」。
两个小问：* 在 $sup_{i} \sum_{j} ∣ φ (i, j) ∣ < \infty$ 下证明弱大数定律；** 验证 $φ (i, j) = r^{∣ i - j ∣}$ 满足这个条件。

先补基础

基础补课协方差与方差的展开

$Cov (X, Y) = E [(X - E X) (Y - E Y)] 。$ 对和 $S_{n} = X_{1} + \dots + X_{n} ，$ 展开平方得

Var S_{n} = E [(i = 1 \sum n (X_{i} - μ))^{2}] = i = 1 \sum n j = 1 \sum n Cov (X_{i}, X_{j}) .

这是 $n \times n$ 协方差矩阵所有元素的和：对角线上是 $n$ 个方差，其余 $n^{2} - n$ 个是协方差。独立时非对角元都是 0， $Var S_{n} = \sum Var X_{i} ；$ 有相关性时，非对角元会把方差「放大」。

基础补课弱大数定律与 Chebyshev 不等式（回顾）

弱大数定律（WLLN）： $\overset{ˉ}{X}_{n} = \frac{S _{n}}{n} \to μ$ 依概率，即对每个 $ε > 0 ，$ $P (∣ \overset{ˉ}{X}_{n} - μ ∣ > ε) \to 0 。$

Chebyshev 不等式： $P (∣ Y - E Y ∣ > ε) \leq \frac{Var Y}{ε ^{2}}$ （第 2 讲第 29 页）。用在 $Y = \overset{ˉ}{X}_{n}$ 上：只要 $Var \overset{ˉ}{X}_{n} = \frac{Var S _{n}}{n ^{2}} \to 0 ，$ 弱大数定律就成立。

基础补课几何级数与上确界

$\sum_{k = 0}^{\infty} r^{k} = \frac{1}{1 - r} ，$ $\sum_{k = 1}^{\infty} r^{k} = \frac{r}{1 - r}$ （ $0 < r < 1 ）。$
$sup_{i}$ （上确界）是一列数的最小上界。题目写的 $max_{i}$ 严格说应为 $sup_{i} ：$ 无穷多个 $i$ 时最大值不一定取得到（第二问就是这样）。

题目与原解答

课件原文题目

Recall we study WLLN by assuming the sequence ${X_{n}}_{n = 1}^{\infty}$ is i.i.d., the question is that if it is possible to drop the condition on i.i.d.. Suppose the mean $μ = E [X_{n}]$ , we can define a function to measure the pairwise dependence $X_{i}$ and $X_{j}$ in the sense that

φ (i, j) = E [(X_{i} - μ) (X_{j} - μ)] .

* Suppose the sum $max_{i} \sum_{j} ∣ φ (i, j) ∣ < \infty$ , prove the WLLN.

** Suppose $φ (i, j)$ perform in a sort of decay trend to 0 such as $φ (i, j) = r^{∣ i - j ∣}$ for $0 < r < 1$ , prove the WLLN.

Remark for your interests: Why in high dimension world, the independence becomes not so bothering? By uniformly sampling, we get a random uniform vector, from question 7, we have $X^{d} = d \frac{Z}{∥ Z ∥} = \frac{Z}{∥ Z ∥/ d}$ , a larger $d$ implies $X \to_{weak} Z$ .

中文翻译

学弱大数定律时我们假设 ${X_{n}}$ i.i.d.。问题是：能否去掉 i.i.d. 的条件？设所有 $X_{n}$ 的均值都是 $μ ，$ 用 $φ (i, j) = E [(X_{i} - μ) (X_{j} - μ)]$ （即 $Cov (X_{i}, X_{j}) ）$ 衡量 $X_{i}$ 与 $X_{j}$ 的相依程度。

* 设 $sup_{i} \sum_{j} ∣ φ (i, j) ∣ < \infty ，$ 证明弱大数定律。

** 设 $φ (i, j)$ 随 $∣ i - j ∣$ 衰减到 0，例如 $φ (i, j) = r^{∣ i - j ∣}$ （ $0 < r < 1 ），$ 证明弱大数定律。

附注（供兴趣阅读）：为什么在高维世界里，独立性不那么要紧？均匀抽样得到一个随机的均匀向量，由第 7 题， $X^{d} = d \frac{Z}{∥ Z ∥} = \frac{Z}{∥ Z ∥/ d} ，$ $d$ 越大， $X$ 越接近（依分布） $Z 。$

题目隐含要求每个 $X_{n}$ 的方差有限： $φ (i, i) = Var X_{i}$ 出现在求和里。
perform in a sort of decay trend 意思是「呈衰减趋势」。

原解答的思路（左栏）：* 把 $E (S_{T} - T μ)^{2}$ 写成二重求和，用条件得 $\leq T c ，$ 再用 Chebyshev；** 计算 $\sum_{j} r^{∣ i - j ∣} ，$ 说明它有界，再引用 *。思路正确，但记号不一致，** 的求和算错了一项（见「原解答逐行对照」）。

思路：怎么想到的

i.i.d. 的弱大数定律靠的是 $Var S_{n} = n σ^{2} ：$ 方差只按 $n$ 增长，而分母是 $n^{2} 。$
有相关性时， $Var S_{n}$ 是协方差矩阵 $n^{2}$ 个元素的和。如果每一行的绝对值之和都不超过 $c$ （这正是条件 $sup_{i} \sum_{j} ∣ φ (i, j) ∣ \leq c ），$ $n$ 行加起来不超过 $c n ，$ 增长速度和 i.i.d. 情形一样，结论不变。
第二问只需检查：对角线附近的协方差像几何级数一样衰减，每行的和是有限的。

完整解答

设 $E X_{n} = μ ，$ $φ (i, j) = Cov (X_{i}, X_{j}) ，$ $S_{n} = \sum_{i = 1}^{n} X_{i} ，$ $\overset{ˉ}{X}_{n} = S_{n} / n 。$

* 弱大数定律

第 1 步（方差的上界）：令 $c := sup_{i} \sum_{j \geq 1} ∣ φ (i, j) ∣ < \infty 。$ 由「协方差与方差的展开」，

Var S_{n} = i = 1 \sum n j = 1 \sum n φ (i, j) \leq i = 1 \sum n j = 1 \sum n ∣ φ (i, j) ∣ \leq i = 1 \sum n j \geq 1 \sum ∣ φ (i, j) ∣ \leq i = 1 \sum n c = c n .

（第二个不等号：把内层求和从 $j \leq n$ 扩大到所有 $j \geq 1 ，$ 非负项只会变大。）

第 2 步（Chebyshev）： $E \overset{ˉ}{X}_{n} = μ ，$ $Var \overset{ˉ}{X}_{n} = \frac{Var S _{n}}{n ^{2}} \leq \frac{c}{n} 。$ 对任意 $ε > 0 ，$

P (∣ \overset{ˉ}{X}_{n} - μ ∣ > ε) \leq \frac{Var X ˉ _{n}}{ε ^{2}} \leq \frac{c}{n ε ^{2}} n \to \infty 0.

所以 $\overset{ˉ}{X}_{n} \to μ$ 依概率。同时 $E (\overset{ˉ}{X}_{n} - μ)^{2} \leq \frac{c}{n} \to 0 ，$ 即 $\overset{ˉ}{X}_{n} \to μ$ 在 $L^{2}$ 中，这比依概率收敛更强。 $■$

** φ(i,j) = r^{|i−j|} 的情形

只需验证 * 的条件。对固定的 $i ，$ 把 $j$ 按 $k = ∣ i - j ∣$ 分类： $k = 0$ 只有 $j = i ；$ 每个 $k \geq 1$ 至多有两个 $j$ （ $j = i - k$ 和 $j = i + k ，$ 前者可能小于 1 而不存在）。所以

j \geq 1 \sum r^{∣ i - j ∣} \leq 1 + 2 k = 1 \sum \infty r^{k} = 1 + \frac{2 r}{1 - r} = \frac{1 + r}{1 - r} .

右边与 $i$ 无关，于是 $c \leq \frac{1 + r}{1 - r} < \infty ，$ 由 * 得弱大数定律，并且有具体的速度

P (∣ \overset{ˉ}{X}_{n} - μ ∣ > ε) \leq \frac{1 + r}{( 1 - r ) n ε ^{2}} . ■

原解答逐行对照

*：「Let $S_{T}$ be the sum of the first $T$ $Y_{t}$ s」：题目用的是 $X_{n}$ （ $n \geq 1 ），$ 原解答换成了时间序列的记号 $Y_{t} ，$ 并从 $s = 0$ 求和到 $T - 1 ，$ 读起来要自己对应。
「 $E (S_{T} - T μ)^{2} = \sum_{s = 0}^{T - 1} \sum_{t = 0}^{T - 1} E [(Y_{s} - μ) (Y_{t} - μ)] \leq \sum_{s = 0}^{T - 1} \sum_{t = - \infty}^{\infty} ∣ φ (s, t) ∣ \leq T c 」$ ：思路正确。但 $t$ 从 $- \infty$ 求和与题目的下标范围不符（下标没有负数），而且常数 $c$ 一直没有定义：应写明 $c := sup_{i} \sum_{j} ∣ φ (i, j) ∣ 。$
Chebyshev 一段：正确。
**：拆成 $j < i 、$ $j > i 、$ $j = i$ 三部分的想法正确，但 $j < i$ 部分算错了，见下面的警告卡片。
「So by the first problem」：应为「by part *」（第一小问），不是第 1 题。

易错点原解答的问题：对角线那一项被算了两次

原解答写 $\sum_{j < i} r^{i - j} = \sum_{k = 0}^{\infty} r^{k} = \frac{1}{1 - r} 。$ 可是 $j < i$ 意味着 $k = i - j \geq 1 ，$ 应从 $k = 1$ 开始： $\sum_{k = 1}^{\infty} r^{k} = \frac{r}{1 - r} 。$ 原解答又单独加了 $j = i$ 的那一项 $r^{0} = 1 ，$ 于是 $k = 0$ 被算了两次。正确的结果是

j \in Z \sum r^{∣ i - j ∣} = 1 + \frac{r}{1 - r} + \frac{r}{1 - r} = \frac{1 + r}{1 - r},

而不是原解答的 $\frac{2}{1 - r} 。$ 数值： $r = 0.9$ 时前者是 19，后者是 20。因为 $\frac{2}{1 - r}$ 比正确值大，把它当作上界结论仍然成立；但原解答写的是等式，这是错的。

易错点原解答的小问题：max 应为 sup

对无穷多个 $i ，$ $\sum_{j} ∣ φ (i, j) ∣$ 的最大值不一定取得到。例如 $φ (i, j) = r^{∣ i - j ∣} 、$ $j \geq 1$ 时， $\sum_{j \geq 1} r^{∣ i - j ∣}$ 随 $i$ 递增，趋于 $\frac{1 + r}{1 - r}$ 但永远达不到（ $r = 0.5 ：$ $i = 1$ 时为 2， $i = 5$ 时约 2.94，极限是 3）。条件应写成 $sup_{i} 。$

例子与数值验证

例 1：AR(1) 序列——协方差恰好是 r^{|i−j|}

令 $Z_{1} \sim N (0, 1) ，$ $Z_{n} = r Z_{n - 1} + 1 - r^{2} ε_{n}$ （ $ε_{n}$ i.i.d. $N (0, 1) ，$ 与之前独立）， $X_{n} = μ + Z_{n} 。$ 这叫一阶自回归模型（AR(1)），今天的值是昨天的值打个折再加新的噪声。验证它的协方差：

方差都是 1：用归纳法。若 $Var Z_{n - 1} = 1 ，$ 因为 $ε_{n}$ 与 $Z_{n - 1}$ 独立， $Var Z_{n} = r^{2} \cdot 1 + (1 - r^{2}) \cdot 1 = 1 。$
协方差：设 $i < j 。$ 把递推式反复代入 $j - i$ 次， $Z_{j} = r^{j - i} Z_{i} + (由 ε_{i + 1}, \dots, ε_{j} 组成的项) ，$ 后一部分与 $Z_{i}$ 独立，所以 $Cov (Z_{i}, Z_{j}) = r^{j - i} Var Z_{i} = r^{j - i} 。$

于是 $Var S_{n} = \sum_{i, j \leq n} r^{∣ i - j ∣} = n + 2 \sum_{k = 1}^{n - 1} (n - k) r^{k}$ （相距为 $k$ 的有序对有 $2 (n - k)$ 个），求和化简后精确地等于 $\frac{n ( 1 + r )}{1 - r} - \frac{2 r ( 1 - r ^{n} )}{( 1 - r ) ^{2}}$ （可代 $n = 1$ 得 1、 $n = 2$ 得 $2 + 2 r$ 来核对）。取 $r = 0.9 、$ $n = 1000 ：$ $Var \overset{ˉ}{X}_{n} \approx 0.0188 ；$ 电脑模拟（4000 次）得 $0.0193 。$ 若 $X_{n}$ 独立， $Var \overset{ˉ}{X}_{n} = 0.001 。$ 相关性让方差变成了 19 倍。

例 2：有效样本量

例 1 中，1000 个强相关的观测，平均值的精度只相当于 $n \cdot \frac{1 - r}{1 + r} = 1000 \times \frac{0.1}{1.9} \approx 53$ 个独立观测。这个数叫有效样本量。时间序列（每日气温、股价收益率）的统计分析必须考虑它，否则会严重高估结论的可靠性。

例 3：条件不满足，大数定律就失败

取 $X_{n} = Y$ 对所有 $n$ 成立， $Var Y = 1 。$ $φ (i, j) = 1$ 对所有 $i, j ，$ 每行之和是 $\infty 。$ $\overset{ˉ}{X}_{n} = Y$ 不收敛到 $μ$ （它一直是那个随机的 $Y ）。$ 完全相关时，再多的观测也只相当于一个。

拓展延伸

更弱的充分条件：Var Sₙ = o(n²)

证明里真正用到的只有 $\frac{Var S _{n}}{n ^{2}} \to 0 。$ 一个常用的充分条件（Bernstein）：方差一致有界，且 $∣ φ (i, j) ∣ \leq g (∣ i - j ∣) ，$ $g (k) \to 0 。$ 这时

Var S_{n} \leq i, j \leq n \sum g (∣ i - j ∣) \leq n ∣ k ∣ < n \sum g (∣ k ∣),

而 $\frac{1}{n} \sum_{∣ k ∣ < n} g (∣ k ∣) \to 0$ （平均值趋于 0），所以 $Var S_{n} = o (n^{2}) 。$ 即使 $\sum_{k} g (k) = \infty$ 也可以，例如 $g (k) = \frac{1}{1 + k}$ 时 $Var S_{n}$ 是 $n^{3/2}$ 量级，本题 * 的条件不满足，但弱大数定律照样成立。

遍历定理

对平稳序列（分布不随时间平移改变），Birkhoff 遍历定理给出强大数定律的推广： $\overset{ˉ}{X}_{n}$ 几乎必然收敛到一个（可能随机的）极限；序列「遍历」时，极限就是 $μ 。$ 例 3 的 $X_{n} = Y$ 是平稳但不遍历的极端例子。

题目附注：高维与独立性

第 7 题说明： $d$ 维球面上均匀分布的随机点，坐标 $X^{1}, \dots, X^{d}$ 并不独立（它们的平方和恒等于 $d ），$ 但 $d$ 很大时，每个坐标近似 $N (0, 1) ，$ 任意固定个数的坐标也近似独立。也就是说，高维空间里「弱相关」的变量，表现得几乎和独立的一样，这和本题的精神一致：相关性足够弱时，独立性带来的结论依然成立。

常见疑问与易错点

易错点问：为什么只控制方差，不需要高阶矩？

答：弱大数定律只要求依概率收敛，Chebyshev 不等式只需要方差。强大数定律（几乎必然收敛）通常需要更多的条件或更精细的工具。

易错点问：协方差可以是负的，为什么要取绝对值？

答：负协方差会让方差变小，对结论有利；但正负可能互相抵消，不好控制。取绝对值后得到的上界对所有情形都成立。负相关的例子： $X_{2 k} = - X_{2 k - 1} ，$ 这时 $S_{2 n} = 0 ，$ 样本均值收敛得特别快。

易错点问：题目要求所有 Xₙ 的均值相同，可以去掉吗？

答：若均值 $μ_{n}$ 不同，结论改为 $\overset{ˉ}{X}_{n} - \frac{1}{n} \sum_{i \leq n} μ_{i} \to 0$ 依概率，证明完全一样（Chebyshev 中心化到 $E \overset{ˉ}{X}_{n} ）。$

小结与自测

小结本题小结

$Var S_{n} = \sum_{i, j \leq n} φ (i, j) \leq c n ，$ 其中 $c = sup_{i} \sum_{j} ∣ φ (i, j) ∣ ；$ Chebyshev 给出 $P (∣ \overset{ˉ}{X}_{n} - μ ∣ > ε) \leq \frac{c}{n ε ^{2}} \to 0 。$
$φ = r^{∣ i - j ∣}$ 时 $c \leq \frac{1 + r}{1 - r}$ （原解答的 $\frac{2}{1 - r}$ 多算了对角项）。
相关性会放大方差：AR(1) 中 $r = 0.9$ 时有效样本量约为 $\frac{1 - r}{1 + r} n 。$
更一般地，只要 $Var S_{n} = o (n^{2}) ，$ 弱大数定律就成立。

自测

1. 若 $φ (i, j) = 0. 5^{∣ i - j ∣} ，$ 给出 $P (∣ \overset{ˉ}{X}_{100} - μ ∣ > 0.5)$ 的一个上界。

点开看答案

$c \leq \frac{1 + 0.5}{1 - 0.5} = 3 ，$ 上界 $\frac{3}{100 \times 0.25} = 0.12 。$

2. 设 $Var X_{i} = 1 ，$ $φ (i, j) = 0.2$ （ $i \neq = j ）。$ 弱大数定律成立吗？

点开看答案

不一定成立，至少本题的方法不能证明。 $Var S_{n} = n + 0.2 n (n - 1) ，$ $\frac{Var S _{n}}{n ^{2}} \to 0.2 \neq = 0 ，$ Chebyshev 推不出结论。例如 $X_{i} = 0.2 W + 0.8 η_{i}$ （ $W, η_{i}$ 独立标准正态）满足这个协方差结构， $\overset{ˉ}{X}_{n} \to 0.2 W ，$ 不收敛到常数 $μ = 0 。$

3. 验证 $r = 0.5$ 时 $\sum_{j \in Z} r^{∣ i - j ∣} = 3 。$

点开看答案

$1 + 2 \sum_{k \geq 1} 0. 5^{k} = 1 + 2 \times 1 = 3 = \frac{1 + 0.5}{1 - 0.5} 。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
弱大数定律	weak law of large numbers (WLLN)	样本均值依概率收敛到真实均值：对每个 ε > 0，P(\|Sₙ/n − μ\| > ε) → 0。方差有限时可由 Chebyshev 不等式直接推出。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
依概率收敛	convergence in probability	对每个 ε > 0，P(\|Xₙ − X\| > ε) → 0；比几乎必然收敛弱。
协方差	covariance	Cov(X, Y) = E[(X − EX)(Y − EY)]，衡量两个变量一起变大或变小的倾向。独立 ⇒ 协方差为 0，反之一般不成立。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
Chebyshev 不等式	Chebyshev's inequality	P(\|X − μ\| ≥ t) ≤ σ² / t²：方差控制偏离均值的概率。
协方差矩阵	covariance matrix	第 (i, j) 个元素是 Cov(Xᵢ, Xⱼ) 的矩阵，对角线上是各分量的方差。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
级数	series	无穷多项相加 a₁ + a₂ + …，它的值是前 n 项和在 n → ∞ 时的极限。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
元素	element	集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
上确界	supremum (sup)	最小的上界。最大值不一定存在，但有上界的实数集一定有上确界。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
一致有界	uniformly bounded	存在同一个常数 M，使所有 n、所有点 x 都有 \|fₙ(x)\| ≤ M。「一致」是指一个 M 管住整列函数。
强大数定律	strong law of large numbers (SLLN)	独立同分布且 E\|X₁\| < ∞ 时，样本均值 Sₙ/n 几乎必然收敛到 E X₁。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。