高等概率论逐页精讲

作业 2 收敛方式、大数定律、中心极限定理与鞅›大数定律与中心极限定理

第 4 题 / 共 12 题解答原页 第 4–5 页证明题

直接由中心极限定理推出弱大数定律:小因子 σ/√n 乘一个「很少很大」的量

The CLT implies the WLLN

解答原页第 4 页(本题所在部分)
解答原页第 5 页(本题所在部分)
解答原页第 4–5 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

中心极限定理(CLT)说:标准化的和 的分布越来越接近标准正态,所以 超过一个大数 的概率大约是 可以任意小。而样本均值的误差正好是

一个确定地趋于 0 的因子乘一个很少很大的量,于是误差依概率趋于 0,这就是弱大数定律(WLLN)。证明的关键一步:固定 等 大到 把「误差 装进「里,先让 再让

  • 考点:依分布收敛与中心极限定理的陈述;弱大数定律的陈述;把一个事件改写成标准化变量的事件;「先 后 的两次取极限;上极限的用法。
  • 要用的讲义结论:依概率收敛(第 3 讲 第 14 页);样本均值的方差 (第 3 讲 第 37 页);Chebyshev 不等式(第 2 讲 第 29 页);累积分布函数(第 2 讲 第 8 页);独立性(第 4 讲 第 16 页–第 18 页)。
  • 讲义没有讲过、这里作为已知结论使用的:依分布收敛、中心极限定理、弱/强大数定律(见「先补基础」)。
  • 与其他题的关系:第 3 题 的「依概率有界 × 依概率趋于 0 = 依概率趋于 0」正是本题的骨架;第 7 题、第 9 题 还会用到 CLT 和 Slutsky 定理;作业 1 第 3 题 说明均值无穷时 没有有限极限,第 5 题 进一步研究均值无穷时 的增长。

先补基础

基础补课部分和 Sₙ、样本均值与它们的均值、方差

设 独立同分布(i.i.d.),

  • 部分和 样本均值
  • 均值:期望是线性的,
  • 方差:独立(只要两两不相关就够)时方差可加,标准差 (第 3 讲 第 37 页)。
  • 标准化:它的均值为 0、方差为 1。读作「 星」。
  • 例:公平硬币,正面记 1、反面记 0:掷 100 次, 的均值 50、标准差 5,
基础补课标准正态分布 N(0, 1) 与 Φ
  • 标准正态的密度 分布函数
  • 处处连续,严格递增,(密度关于 0 对称),(
  • 若 则 常用数值: 时 时 时 时
基础补课依分布收敛(讲义没有讲过,这里作为已知定义使用)
  • 定义(Durrett《Probability: Theory and Examples》第 5 版第 3.2 节):设 若对 的每个连续点 都有 就说 依分布收敛(converge in distribution,也叫弱收敛)到 记作
  • 它只看分布:不要求 和 在同一个概率空间上,也不说 与 接近。例: 与 同分布,所以 但 一点也不接近。
  • 为什么只要求连续点:直觉上应当收敛,可 在 的间断点 0 处不收敛;在其他点都收敛。定义把间断点排除,这个例子才算收敛。
  • 与依概率收敛的关系:依概率收敛 ⇒ 依分布收敛;反过来一般不对(上面 的例子);但依分布收敛到常数 ⇒ 依概率收敛到这个常数。
  • 本题要用的:极限是 时 处处连续,所以 就是「对每个实数
基础补课中心极限定理(这里作为已知结论使用)

定理(Durrett 定理 3.4.1):设 i.i.d.,则

  • 意思:不管 是什么分布(硬币、骰子、指数……),只要方差有限, 偏离 的量在 的尺度上看近似正态。
  • 例:硬币掷 100 次,(精确值 差别来自离散性)。
  • 条件:需要方差有限。方差无穷时(如例 3 的 Pareto 分布), 的标准化不再给出正态极限。
基础补课大数定律(这里作为已知结论使用)
  • 弱大数定律(WLLN): i.i.d.,则 即对每个 (Durrett 定理 2.2.14)。只假设方差有限的版本(Durrett 定理 2.2.3,「 弱大数定律」)用 Chebyshev 一行证明:
  • 强大数定律(SLLN): 时 几乎必然(Durrett 定理 2.4.1)。作业 1 第 3 题 说明条件 不能去掉。
  • 「弱」「强」:指收敛方式。几乎必然收敛 ⇒ 依概率收敛(第 3 讲 第 14 页),所以强大数定律蕴含弱大数定律。
基础补课「对每个 β」的上极限论证

若一个数列 (这里 满足:对每个 而 (则 理由: 是一个不依赖 的数,它不超过每个 所以不超过它们的下确界 0;又

为什么用 而不是 :我们还不知道 存在(这正是要证的), 却总存在。

题目与原解答

课件原文题目

4. Prove that the CLT implies the WLLN directly. (We know WLLN is provided by convergence in probability, and convergence in probability implies convergence in distribution which is CLT, but how to prove the statement directly?)

中文翻译

4. 直接证明:中心极限定理(CLT)蕴含弱大数定律(WLLN)。(我们知道 WLLN 是依概率收敛的结论;依概率收敛蕴含依分布收敛,而 CLT 是依分布收敛的结论。但怎样直接证明这个命题?)

题面说明:

  • 题目没有写设定,应补上: i.i.d.,(这是 CLT 的条件),要证
  • 括号里的话容易误读。「依概率收敛 ⇒ 依分布收敛」本身是对的,但它的方向是从 WLLN 的收敛方式走向 CLT 的收敛方式,不能用来从 CLT 推出 WLLN;而且两个定理讲的是不同的量:WLLN 讲 CLT 讲放大了 倍的 所以需要一个「直接」的论证,把两者的尺度联系起来。
  • 「CLT implies WLLN」是在 CLT 的条件(方差有限)下说的。WLLN 本身只要 这个更一般的情形 CLT 推不出来(例 3)。

原解答的思路(左栏):

  1. 把事件 等价地改写成
  2. 任取 足够大时 所以概率
  3. 由 CLT, 取大,它任意小,所以

思路完全正确,有几处记号没定义、 应为 严格不等号的极限没有说明,见「原解答逐行对照」。

思路:怎么想到的

  1. 两个定理在不同的尺度上:WLLN 关心误差 是否小于固定的 CLT 告诉我们误差的典型大小是 并且误差除以 后近似
  2. 固定的门槛在放大镜下越来越远:在 CLT 的尺度上看,门槛 变成 标准正态超过一个很大的数的概率很小,所以误差超过 的概率很小。
  3. 为什么要引入固定的 :CLT 只保证「对每个固定的 门槛 却随 变化,不能直接代进去。办法是用一个固定的 放在中间:门槛迟早超过 事件变小,概率变小;对固定的 才能用 CLT。

完整解答

定理命题(CLT ⇒ WLLN)

设 i.i.d.,假设中心极限定理成立:对每个 其中 则对每个

推导证明思路

改写成标准化变量的事件;固定 大时把它装进 对固定的 用 CLT 求出上极限的界 最后令

第 1 步(改写事件):固定 因为 不等式两边同乘或同除正数不改变方向:

所以

第 2 步(固定 把事件放大):任取 当 时,此时若 则 即事件包含 由概率的单调性,

第 3 步(对固定的 用 CLT): 是两个不相交事件 的并,所以

  • 第一项:(CLT 在 处)。
  • 第二项:所以 (CLT 在 处),从而

合起来,并用

第 4 步(先 后 :由第 2、3 步(上极限只看 的项,前面有限项不影响),

左边不依赖 右边在 时趋于 由「先补基础」最后一张卡片, 任取,所以

补充: 的情形。此时 几乎必然, 几乎必然,结论直接成立;CLT 只在 时才有意义(要除以

补充换一种说法:小因子 × 依概率有界

第 3 步其实证明了 依概率有界: 大时任意小。第 3 题 的「拓展延伸」说明:依概率有界的量乘一个趋于 0 的因子,依概率趋于 0。本题就是这条规则加上「依分布收敛的序列依概率有界」。

原解答逐行对照

第 1 行:「and so 正确,前提是 独立(或两两不相关)且方差有限;方差可加性正是用在这里。

第 2–4 行:三个「if and only if」把 改写成 正确,即完整解答第 1 步;每一步都是两边乘或除同一个正数。

第 5–6 行:「for any real number , will hold for all large 于是 正确,「all large 具体是

易错点原解答的问题:记号和假设没有交代
  • 没有定义,应为 没有定义,应为标准正态分布函数
  • 没有写出假设: i.i.d., 用于除法, 是 CLT 的条件。
  • 没有写出 CLT 的陈述,而第 7 行正是在用它: 对每个

第 7–9 行:

易错点原解答的问题:lim 应为 lim sup,严格不等号的极限要说明
  1. 左边的 还不知道存在,它的存在正是要证明的结论。应写 最后由 得到极限存在且为 0。
  2. 需要理由:CLT 给的是 的极限,这里是严格的 做法一:只要上界,(完整解答第 3 步)。做法二:利用 连续,对任意 两边的极限 在 时相同。
  3. 括号: 应写成 两项都在取极限。

第 10–11 行:「By choosing large enough, we can ensure that the CDF is arbitrarily close to 1 and is arbitrarily close to 0. Hence 正确,就是完整解答第 4 步:左边不依赖 右边可以任意小。应补一句「左边与 无关」,这是能令 的原因。

例子与数值验证

例 1:抛硬币——精确概率、CLT 近似与 Chebyshev 上界

公平硬币,取 精确概率 用二项分布算;CLT 近似是 Chebyshev 上界是 用 Python 计算:

精确值 CLT 近似 Chebyshev 上界
100 0.271 0.317 1
400 0.0402 0.0455 0.25
1000 0.00139 0.00157 0.1
2500 0.04

三列都趋于 0(WLLN)。CLT 近似和精确值同一个量级,Chebyshev 上界保守得多:它只按 衰减,真实概率衰减得快得多。注意门槛 随 移动,CLT 本身并不保证这时近似的相对误差小,表中的吻合是算出来观察到的;误差概率精确的指数衰减速度属于「大偏差理论」,不在本课范围。

例 2:指数分布——连续的情形

服从 Gamma 分布,精确概率可以直接算。取 (Python 计算):

精确值 CLT 近似 Chebyshev
100 0.3165 0.3173 1
400 0.0454 0.0455 0.25
1000 0.00161 0.00157 0.1

连续分布没有离散带来的偏差,CLT 近似非常准。

例 3:WLLN 成立但 CLT 不成立——Pareto 分布

取 (即 在 上均匀。但 WLLN(Durrett 定理 2.2.14)仍然成立,CLT 的条件却不满足。用 Python 模拟(固定随机种子; 各重复 20000 次, 分别重复 5000、2000 次):

的比例 0.69 0.35 0.061 0.021
的四分位距 7.0 11.3 17.8 27.0

第一行趋于 0:WLLN 成立。第二行不断变大: 没有稳定的分布, 的标准化「压不住」它(理论上 是 的量级)。所以本题的论证只在方差有限时可用,CLT 推出的 WLLN 比真正的 WLLN 弱。

例 4:均值不存在时两者都失败——Cauchy 分布

i.i.d. 标准 Cauchy。一个已知事实: 仍然服从标准 Cauchy 分布(对每个 所以 对所有 都一样,不趋于 0:样本均值根本不稳定。这里 既没有 WLLN,也没有 CLT。

拓展延伸

Slutsky 定理:另一条(间接的)路线

Slutsky 定理(这里作为已知结论使用,Durrett 第 5 版第 3.2 节习题 3.2.13、3.2.14):若 (常数),则

用它:(常数序列当然依概率收敛),所以 再用「依分布收敛到常数 ⇒ 依概率收敛」:

因为常数 0 的分布函数在 处连续,取值分别为 1 和 0。题目说的「直接证明」就是不经过这两步,而原解答的论证正是把 Slutsky 在这个特例里的证明展开写了出来。

CLT 比 WLLN 多说了什么:误差的尺度与形状

WLLN 只说误差趋于 0;CLT 还说误差大约是 乘一个标准正态。统计里的 95% 置信区间 就来自 要让误差减半,样本量要变成 4 倍。精确到「近似有多好」的结论是 Berry–Esseen 定理:若 则 是一个绝对常数(不超过 0.48)。

能不能把移动的门槛直接代进 CLT?

如果 CLT 的收敛对 一致,就可以直接写 事实上这是对的:Pólya 定理说,依分布收敛到一个连续的分布函数时,收敛自动对 一致(Durrett 第 3.2 节习题)。但这需要额外的定理;原解答引入固定的 只用逐点的 CLT 就完成了证明,更初等。

从 WLLN 到 SLLN、从 i.i.d. 到相依
  • 强大数定律: 时 几乎必然(Durrett 定理 2.4.1)。它推出 WLLN,CLT 推不出它。
  • 去掉独立性:Chebyshev 的证明只用到 第 8 题 把它推广到相关性衰减的序列。
  • 随机项数:第 9 题 把 CLT 推广到 (项数 是随机的)。

常见疑问与易错点

易错点问:为什么不能直接说「由 CLT,P(|Sₙ*| > √n ε/σ) → P(|Z| > ∞) = 0」?

答:CLT 是对每个固定的 说 门槛 随 变化,不是固定的 「也没有意义。必须先用固定的 把事件放大(第 2 步),对 用 CLT,最后再让 直接代入需要一致收敛(Pólya 定理),那是额外的结论。

易错点问:既然依概率收敛 ⇒ 依分布收敛,WLLN 能推出 CLT 吗?

答:不能。WLLN 推出 (依分布收敛到常数),这只说明误差趋于 0,对误差在 尺度上的形状一无所知。CLT 是更精细的结论,例 3 就是 WLLN 成立、CLT 不成立的例子。题目括号里的话正是在提醒:两者讲的是不同尺度上的量。

易错点问:这个证明里,方差有限用在哪里?

答:两处:一是 有限才能写出 和 二是 CLT 本身需要方差有限。所以「CLT ⇒ WLLN」只在方差有限时有意义;而此时 Chebyshev 一行就能证明 WLLN。本题的价值在于理解两个定理的关系,而不是得到一个新的 WLLN。

易错点问:第 2 步为什么用「≥ β」推出「> β」也可以?

答:若 且 则 严格不等号传递过来,得到 所以只要 不需要严格大于。

小结与自测

小结本题小结
  • 设定:i.i.d.,CLT:WLLN:
  • 关键恒等式:门槛在 CLT 的尺度下趋于无穷。
  • 证明:固定 时概率 对固定 用 CLT 得 令
  • 本质:误差 (依概率有界的量)。CLT 只在方差有限时可用,所以它推出的 WLLN 比 Khinchine 的 WLLN(只要 弱。
  • 原解答:思路正确;假设未交代;左边应写 的极限要用 连续或改成上界。
自测

1. 设 至少多大时,第 2 步的包含关系 一定成立?

点开看答案

需要 即 此时 的界是

2. 判断:若 (依分布收敛到常数 0),则

点开看答案

正确。常数 0 的分布函数在 处连续,取值 1 和 0,所以 于是 注意极限不是常数时,依分布收敛推不出依概率收敛( 与 的例子)。

3. 简答: i.i.d.,(本题的方法能证明 吗?结论本身对吗?

点开看答案

不能,因为 CLT 的条件不满足, 都写不出来。但结论是对的:由只要求一阶矩的 WLLN(Durrett 定理 2.2.14)甚至 SLLN,例 3 的模拟显示偏离 0.3 以上的比例从 0.69 降到 0.021。

本页术语中英对照(按出现顺序)
中文English白话解释
中心极限定理central limit theorem (CLT)独立同分布、方差 σ² 有限时,(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布:大量独立小误差之和近似正态。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
弱大数定律weak law of large numbers (WLLN)样本均值依概率收敛到真实均值:对每个 ε > 0,P(|Sₙ/n − μ| > ε) → 0。方差有限时可由 Chebyshev 不等式直接推出。
依分布收敛convergence in distribution在极限分布函数 F 的每个连续点 x 上,P(Xₙ ≤ x) → F(x)。它只比较分布,不要求 Xₙ 本身靠近 X。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
Chebyshev 不等式Chebyshev's inequalityP(|X − μ| ≥ t) ≤ σ² / t²:方差控制偏离均值的概率。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
强大数定律strong law of large numbers (SLLN)独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。
依概率有界bounded in probability (tight)一列随机变量不会以不可忽略的概率跑到无穷远:sup_n P(|Xₙ| > λ) → 0(λ → ∞)。依概率收敛的序列一定依概率有界。
Slutsky 定理Slutsky's theoremXₙ 依分布收敛到 X,Yₙ 依概率收敛到常数 c,则 Xₙ + Yₙ 依分布收敛到 X + c,XₙYₙ 依分布收敛到 cX。
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
下确界infimum (inf)最大的下界。例如 (0,1] 没有最小值,但下确界是 0。
标准正态分布standard normal distribution均值 0、方差 1 的正态分布 N(0, 1),密度 exp(−x²/2)/√(2π),分布函数记作 Φ。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
一致收敛uniform convergence所有点上的最大差距 supₓ |fₙ(x) − f(x)| → 0。比逐点收敛强:不允许某些点收敛得特别慢。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。