高等概率论逐页精讲

作业 2 收敛方式、大数定律、中心极限定理与鞅›大数定律与中心极限定理

第 7 题 / 共 12 题解答原页 第 7–8 页证明题

高维球面上的均匀分布:每个坐标近似标准正态(Poincaré–Borel)

Coordinates of a uniform point on the sphere of radius √d

解答原页第 7 页(本题所在部分)
解答原页第 8 页(本题所在部分)
解答原页第 7–8 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

在 维空间里,半径为 的球面上均匀地随机取一点 维数 越大,单个坐标 的分布越接近标准正态 。证明的妙处在于构造:取 个独立标准正态 把向量 「缩放到球面上」, 恰好是球面上的均匀分布;而它的第一个坐标 的分母由大数定律趋于 1,于是整个坐标趋于

  • 考点:多元正态的旋转不变性(第 4 讲 第 19 页)、弱大数定律、连续映射定理(第 3 讲 第 17 页)、Slutsky 定理、依分布收敛。
  • 题目本身的笔误:对固定的 不可能恰好是正态(它的绝对值不超过 正确的结论是 时依分布收敛,见下文。
  • 出处:Durrett《Probability: Theory and Examples》中关于球面均匀分布的定理;这个结论常被称为 Poincaré–Borel 引理,在统计物理里对应 Maxwell 速度分布。

先补基础

基础补课球面与球面上的均匀分布
  • 半径 的球面:其中 是圆周, 是通常的球面。
  • 均匀分布:球面上任何一块区域的概率与它的「面积」成正比。直观上:随便往哪个方向看都一样。
  • 关键性质(题目提示 (3)):球面上的均匀分布是唯一一个旋转不变的分布:若 是任意正交矩阵(旋转或反射), 与 同分布,那么 必是均匀分布。这里作为已知结论使用。
基础补课正交矩阵

矩阵 叫正交矩阵,如果 它保持长度:(题目提示 (2)),也保持夹角;几何上就是旋转或反射。行列式 所以作为变量替换不改变体积。

基础补课标准多元正态的旋转不变性

( 个独立标准正态)的密度是(题目提示 (1))

它只依赖于 (第 4 讲 第 21 页:协方差矩阵为单位阵时,密度是 个一元密度的乘积,指数上恰好是 所以对正交矩阵 的密度是 与 同分布。直观上:标准正态的「云」是一个圆球,怎么转都一样。

基础补课依分布收敛、连续映射定理、Slutsky 定理(这里作为已知结论使用)
  • 依分布收敛 分布函数的每个连续点 上,
  • 连续映射定理: 依概率, 在 处连续,则 依概率(第 3 讲 第 17 页)。
  • Slutsky 定理(乘法形式): 依概率,则 (Durrett 习题 3.2.13。)

题目与原解答

课件原文题目
  1. Show that if is a single -dimensional vector such that uniformly distributed over the surface of the sphere of radius in then .

Hint: (1). If , then we can have , where . (2). For any orthogonal matrix , we can have . (3). We also note that uniformly distributed over the surface of the unit sphere is the ONLY distribution which is invariant to rotation (so preserve the distribution) and belongs to UNIT sphere. (4). Let be i.i.d. standard normals and let .

中文翻译
  1. 设 在 中半径为 的球面上均匀分布。证明 (正确的意思是: 时 依分布收敛到

提示:(1) 若 它的密度是 (2) 正交矩阵保持长度;(3) 单位球面上的均匀分布是唯一一个旋转不变的分布;(4) 设 i.i.d. 标准正态,令

易错点题目的问题:对固定的 d,Xⁱ 不是正态

在半径 的球面上,所以 有界;正态分布无界,二者不可能相同。例如 时, 恰好是 上的均匀分布(例 1)。正确的命题是:记 为 维情形的第 个坐标,则 (原解答最后得到的也正是这个依分布收敛的结论。另外,提示 (1) 中的指数 应为 ( 个一元正态密度相乘)。

原解答的思路(左栏):用提示 (4) 构造 论证 在单位球面上均匀分布;再由弱大数定律 和连续映射定理,得到 思路正确,但有几处笔误,并且漏掉了关键的两步理由(见「原解答逐行对照」)。

思路:怎么想到的

  • 直接计算球面均匀分布的坐标分布要用到球面面积的积分,比较麻烦。
  • 换个角度:构造一个球面上的均匀随机点。标准正态向量 的分布是旋转不变的,把它的方向 取出来,方向也是旋转不变的,于是就是单位球面上的均匀分布(提示 (3))。
  • 放大到半径 第一个坐标是
  • 分母是 个 的平均值,由大数定律趋于 1;分子就是一个标准正态 于是

完整解答

第 1 步(构造):设 i.i.d. 对每个 令 所以几乎必然 令

第 2 步( 在半径 的球面上均匀分布):在球面上。设 是正交矩阵。由「标准多元正态的旋转不变性」, 与 同分布;又 所以

(两边是同一个函数 作用在同分布的向量上。)所以 的分布是旋转不变的,由唯一性(提示 (3)),它就是球面上的均匀分布。于是题目中的 与这里构造的 同分布,只需研究

第 3 步(分母趋于 1): i.i.d.,由弱大数定律, 依概率。 在 处连续,由连续映射定理,

第 4 步(Slutsky):与 无关,当然依分布收敛到 依概率。由 Slutsky 定理(乘法形式),对每个固定的 论证一字不改,同样得到

一个更强的副产品:第 3 步用强大数定律可以得到 几乎必然,于是在这个构造下 几乎必然。也就是说,可以把所有维数的球面均匀点放在同一个概率空间上,让它们的第一个坐标几乎必然收敛到同一个标准正态变量。

原解答逐行对照

  1. 「Let ... the random vector is :意思是「令 其中随机向量 服从标准正态分布 应为
  2. 「Since the uniformly distributed over the surface of the unit sphere is the only distribution which is invariant to rotation ... For any orthogonal matrix , we have :意思是「因为单位球面上的均匀分布是唯一一个旋转不变的分布……对任意正交矩阵 与 同分布」。结论正确,但这一步需要两个理由,原解答都没有写:① 与 同分布(标准正态密度只依赖于 提示 (1));② (提示 (2))。
  3. 「Thus :分母漏了平方根,应为
  4. 「Then : 应为 正确。
  5. 「So we can get :意思是「于是可以得到 依分布收敛到 ( 就是依分布收敛)。这是要证的结论,放在论证之前写出来了(顺序颠倒); 应为
  6. 「by WLLN, ... weo we get :意思是「由弱大数定律, 依概率收敛到 1……所以 依分布收敛到 1」。weo 是 so 的笔误。依概率收敛到常数推出依分布收敛到常数,正确。
  7. 「By Continuous Mapping Theorem, , hence :「hence」这一步是 Slutsky 定理,原解答没有点名。注意:仅凭「 且 就能推出乘积收敛,正是因为 的极限是常数(这时依分布收敛等价于依概率收敛)。
易错点原解答的问题:「旋转不变 ⇒ 均匀」的论证不完整

要说 是均匀分布,必须先验证它的分布在任意旋转下不变,而这依赖于 的密度只依赖于 原解答直接写出「没有给出理由;这一步恰恰是整个构造的核心,也是提示 (1)、(2) 的用途。

例子与数值验证

例 1:d = 3 时坐标是均匀分布(阿基米德)

三维单位球面上均匀取点,它的高度 在 上均匀分布:球面被两个水平面所截的「带子」面积只依赖于两平面的距离(阿基米德的帽盒定理)。所以半径 时, 是 上的均匀分布,模拟 10 万次(用 生成):标准正态的对应值是 相差很大: 时离正态还很远。

例 2:维数增加时逐渐接近正态

一般地, 的密度正比于 ( 时它趋于 正是标准正态密度的形状。数值积分得到:

3 5 10 30 100 正态
例 3:在电脑上生成球面上的均匀随机点

第 2 步本身就是一个实用的算法:生成 个独立标准正态数,组成向量,再除以它的长度。得到的点在单位球面上均匀分布。这比「在立方体里随机取点、只保留球内的点再投影」高效得多(高维时球只占立方体极小的体积)。

拓展延伸

统计物理:Maxwell 速度分布

个气体分子、总动能固定,相当于 维速度向量落在一个半径固定的球面上;若每个状态等可能(微正则系综),本题说明单个分子的单个速度分量近似正态分布。这正是 Maxwell 速度分布的一种推导方式,也是 Poincaré、Borel 研究这个问题的出发点。

前 k 个坐标近似独立(Diaconis–Freedman)

不只单个坐标:只要 相对 很小,前 个坐标 近似服从 个独立的标准正态。Diaconis 和 Freedman 证明,两者在总变差距离下的误差不超过约 这就是第 8 题附注说的「高维世界里独立性不那么要紧」:坐标之间有约束(平方和固定),但约束被摊到很多坐标上,每个坐标几乎感觉不到。

高维球面的测度集中

单位球面上,绝大部分面积集中在「赤道」附近:随机点的任一坐标大约只有 大小。这个现象叫测度集中,是高维概率、机器学习中「维数灾难」与「随机投影」等现象的基础。本题的 正是为了抵消这个

常见疑问与易错点

易错点问:为什么半径要取 √d?

答:单位球面上每个坐标的平方平均为 ( 个坐标平方和为 1,由对称性每个的期望相同)。乘以 后,每个坐标平方的期望是 1,正好和标准正态的方差一致。若半径固定为 1,坐标会趋于 0。

易错点问:坐标之间独立吗?

答:不独立:它们的平方和恒等于 比如知道 其余坐标必须全为 0。但维数高时依赖很弱(见 Diaconis–Freedman)。这和多元正态 不同: 的坐标是真正独立的, 只是 的「方向」。

易错点问:用弱大数定律就够了,为什么提强大数定律?

答:证明依分布收敛,弱大数定律足够。提强大数定律是为了说明:在这个构造下其实有几乎必然收敛 这是一个比题目要求更强、也更直观的结论。

小结与自测

小结本题小结
  • 题目应理解为: 时 固定 时 有界,不是正态( 时是均匀分布)。
  • 构造: 在半径 的球面上均匀分布(正态的旋转不变性 + 均匀分布的唯一性)。
  • 大数定律 + 连续映射定理 + Slutsky 定理给出
  • 原解答:漏了平方根, 混用,旋转不变性的理由没写,最后一步应点名 Slutsky 定理。
自测

1. 在 半径 的球面上均匀取点,求

点开看答案

在 上均匀分布,(标准正态是

2. 为什么 这一点需要说明?

点开看答案

要除以 当且仅当所有 而连续分布取某个点的概率是 0,所以这个除法几乎必然有意义。

3. 设 i.i.d. 在 固定时服从什么分布?

点开看答案

它和 分布有关但不完全相同(分母里含有 本身):它就是半径 球面上均匀点的一个坐标,密度正比于 若分母改成不含 的 才是自由度为 的 分布。

本页术语中英对照(按出现顺序)
中文English白话解释
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
多元正态分布multivariate normal distribution由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言,不相关等价于独立。
弱大数定律weak law of large numbers (WLLN)样本均值依概率收敛到真实均值:对每个 ε > 0,P(|Sₙ/n − μ| > ε) → 0。方差有限时可由 Chebyshev 不等式直接推出。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
Slutsky 定理Slutsky's theoremXₙ 依分布收敛到 X,Yₙ 依概率收敛到常数 c,则 Xₙ + Yₙ 依分布收敛到 X + c,XₙYₙ 依分布收敛到 cX。
依分布收敛convergence in distribution在极限分布函数 F 的每个连续点 x 上,P(Xₙ ≤ x) → F(x)。它只比较分布,不要求 Xₙ 本身靠近 X。
协方差矩阵covariance matrix第 (i, j) 个元素是 Cov(Xᵢ, Xⱼ) 的矩阵,对角线上是各分量的方差。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
强大数定律strong law of large numbers (SLLN)独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
标准正态分布standard normal distribution均值 0、方差 1 的正态分布 N(0, 1),密度 exp(−x²/2)/√(2π),分布函数记作 Φ。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。