高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›开篇

PDF 第 3 / 32 页幻灯片 3/33目录

目录:五个部分如何一环扣一环

Contents

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

五个部分是一条链:先定义(随机变量、分布、期望)→ 再计算(只用 CDF 算期望)→ 再分类(尾部、矩、 空间)→ 估计期望(变换、乘积、和的不等式)→ 估计概率(用矩控制事件)。

这是第 2 讲的目录页。下面先逐条翻译,再讲清每一部分要回答什么问题、用到前面哪一部分。

课件原文逐句精读

课件原文Contents
  1. Random variables, laws, and expectation
  2. Computing expectations from a CDF
  3. Tails, finite moments, and
  4. Bounds for transforms, products, and sums
  5. Probability bounds from moments
中文翻译
  1. 随机变量、分布与期望
  2. 用 CDF 计算期望
  3. 尾部、有限矩与 空间
  4. 变换、乘积与和的界
  5. 用矩给出概率界

1. Random variables, laws, and expectation|随机变量、分布与期望(第 4–7 页)

  • 要回答的问题:随机变量、分布(law)、期望,严格地说分别是什么?
  • 答案:随机变量是可测映射(第 4 页);期望是对 的勒贝格积分(第 5 页);分布是把 「推」到取值空间上得到的概率测度 (第 6 页);最后的「无意识统计学家定律」说:算 只需要知道 的分布(第 7 页)。
  • 用到:第 1 讲的 σ-代数、可测函数、积分、MCT。

2. Computing expectations from a CDF|用 CDF 计算期望(第 8–20 页)

  • 要回答的问题:实值随机变量的分布是一个测度,太抽象;能不能只用一个普通函数(CDF)就把期望算出来?
  • 答案:CDF 决定整个分布(第 8 页);对 CDF 的积分可以用「增量和」逼近(第 9 页);分部积分、截断和尾部面积给出 (第 10–12 页);混合型例子(第 13 页)。然后是分位数与逆变换:任何 CDF 都能由均匀随机数造出来(第 14–16 页);最后讲清「有密度」到底是什么条件,以及连续却没有密度的康托尔分布,并把一般分布拆成三种质量(第 17–20 页)。
  • 用到:第 1 部分的 LOTUS(第 7 页),第 1 讲的从上 / 从下连续、MCT、有界收敛。

3. Tails, finite moments, and |尾部、有限矩与 (第 21–22 页)

  • 要回答的问题:「矩有限」和「尾巴(大值出现的概率)」是什么关系?所有 阶矩有限的随机变量放在一起是什么结构?
  • 答案:矩–尾恒等式 (第 21 页); 空间和 (第 22 页)。
  • 用到:第 2 部分的「用尾部算期望」(第 12 页)。

4. Bounds for transforms, products, and sums|变换、乘积与和的界(第 23–27 页)

  • 要回答的问题:(变换)、(乘积)、(和)分别能用什么来控制?
  • 答案:凸函数的支撑线(第 23 页)→ Jensen 不等式 (第 24 页)→ 的单调性(第 25 页);Young 不等式归一化得到 Hölder 不等式(第 26 页);一次 Hölder 计算得到 Minkowski 不等式(第 27 页)。
  • 用到:第 3 部分的 记号。

5. Probability bounds from moments|用矩给出概率界(第 28–32 页)

  • 要回答的问题:只知道一些矩(均值、方差、能对 说什么?
  • 答案:核心技巧「示性函数 ≤ 某个函数」(第 28 页)→ 广义 Markov 不等式(第 29 页);有限矩推出 (第 30 页),反过来不成立(第 31 页);单侧的 Cantelli 不等式(第 32 页)。
  • 用到:第 3 部分的矩–尾恒等式,第 1 讲的 DCT。

五个部分的依赖关系

部分 依赖 产出(后面要用的东西)
1 定义 第 1 讲 随机变量、分布、期望、LOTUS
2 CDF 计算 部分 1 CDF、用尾部算期望、分位数、密度、分布的三种质量
3 尾部与 部分 2 矩–尾恒等式、 与 -范数
4 期望的界 部分 3 Jensen、 单调性、Hölder、Minkowski
5 概率的界 部分 3、4 Markov / Chebyshev / Cantelli、尾部衰减

小结

小结本页小结
  • 部分 1–2 解决「是什么、怎么算」,部分 3 把矩和尾部连起来,部分 4–5 解决「算不出时怎么估」。
  • 部分 4 估计的是期望,部分 5 估计的是概率;二者靠「这座桥连在一起。
  • 每一部分都用到前面部分的结论,建议按页码顺序阅读。
本页术语中英对照(按出现顺序)
中文English白话解释
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
概率测度probability measure总质量 P(Ω) = 1 的测度。
无意识统计学家定律law of the unconscious statistician (LOTUS)求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
σ-代数sigma-algebra允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
分部积分integration by parts∫ₐᵇ u v′ dx = [u v]ₐᵇ − ∫ₐᵇ u′ v dx:把求导从一个函数挪到另一个函数上。由乘积求导法则 (uv)′ = u′v + uv′ 两边积分得到。
分位数quantileQ(u) = inf{x : F(x) ≥ u},是 CDF 的「广义反函数」。
从下连续continuity from below集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
凸函数convex function图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。
Jensen 不等式Jensen's inequalityφ 凸时 φ(E X) ≤ E φ(X),例如 (E X)² ≤ E X²。
Hölder 不等式Hölder's inequalityE|XY| ≤ ‖X‖_p ‖Y‖_q(1/p + 1/q = 1);p = q = 2 就是柯西–施瓦茨不等式。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
Markov 不等式Markov's inequalityX ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。