这一页在讲什么
五个部分是一条链:先定义(随机变量、分布、期望)→ 再计算(只用 CDF 算期望)→ 再分类(尾部、矩、 空间)→ 估计期望(变换、乘积、和的不等式)→ 估计概率(用矩控制事件)。
这是第 2 讲的目录页。下面先逐条翻译,再讲清每一部分要回答什么问题、用到前面哪一部分。
课件原文逐句精读
- Random variables, laws, and expectation
- Computing expectations from a CDF
- Tails, finite moments, and
- Bounds for transforms, products, and sums
- Probability bounds from moments
- 随机变量、分布与期望
- 用 CDF 计算期望
- 尾部、有限矩与 空间
- 变换、乘积与和的界
- 用矩给出概率界
1. Random variables, laws, and expectation|随机变量、分布与期望(第 4–7 页)
- 要回答的问题:随机变量、分布(law)、期望,严格地说分别是什么?
- 答案:随机变量是可测映射(第 4 页);期望是对 的勒贝格积分(第 5 页);分布是把 「推」到取值空间上得到的概率测度 (第 6 页);最后的「无意识统计学家定律」说:算 只需要知道 的分布(第 7 页)。
- 用到:第 1 讲的 σ-代数、可测函数、积分、MCT。
2. Computing expectations from a CDF|用 CDF 计算期望(第 8–20 页)
- 要回答的问题:实值随机变量的分布是一个测度,太抽象;能不能只用一个普通函数(CDF)就把期望算出来?
- 答案:CDF 决定整个分布(第 8 页);对 CDF 的积分可以用「增量和」逼近(第 9 页);分部积分、截断和尾部面积给出 (第 10–12 页);混合型例子(第 13 页)。然后是分位数与逆变换:任何 CDF 都能由均匀随机数造出来(第 14–16 页);最后讲清「有密度」到底是什么条件,以及连续却没有密度的康托尔分布,并把一般分布拆成三种质量(第 17–20 页)。
- 用到:第 1 部分的 LOTUS(第 7 页),第 1 讲的从上 / 从下连续、MCT、有界收敛。
3. Tails, finite moments, and |尾部、有限矩与 (第 21–22 页)
- 要回答的问题:「矩有限」和「尾巴(大值出现的概率)」是什么关系?所有 阶矩有限的随机变量放在一起是什么结构?
- 答案:矩–尾恒等式 (第 21 页); 空间和 (第 22 页)。
- 用到:第 2 部分的「用尾部算期望」(第 12 页)。
4. Bounds for transforms, products, and sums|变换、乘积与和的界(第 23–27 页)
- 要回答的问题:(变换)、(乘积)、(和)分别能用什么来控制?
- 答案:凸函数的支撑线(第 23 页)→ Jensen 不等式 (第 24 页)→ 的单调性(第 25 页);Young 不等式归一化得到 Hölder 不等式(第 26 页);一次 Hölder 计算得到 Minkowski 不等式(第 27 页)。
- 用到:第 3 部分的 记号。
5. Probability bounds from moments|用矩给出概率界(第 28–32 页)
- 要回答的问题:只知道一些矩(均值、方差、能对 说什么?
- 答案:核心技巧「示性函数 ≤ 某个函数」(第 28 页)→ 广义 Markov 不等式(第 29 页);有限矩推出 (第 30 页),反过来不成立(第 31 页);单侧的 Cantelli 不等式(第 32 页)。
- 用到:第 3 部分的矩–尾恒等式,第 1 讲的 DCT。
五个部分的依赖关系
| 部分 | 依赖 | 产出(后面要用的东西) |
|---|---|---|
| 1 定义 | 第 1 讲 | 随机变量、分布、期望、LOTUS |
| 2 CDF 计算 | 部分 1 | CDF、用尾部算期望、分位数、密度、分布的三种质量 |
| 3 尾部与 | 部分 2 | 矩–尾恒等式、 与 -范数 |
| 4 期望的界 | 部分 3 | Jensen、 单调性、Hölder、Minkowski |
| 5 概率的界 | 部分 3、4 | Markov / Chebyshev / Cantelli、尾部衰减 |
小结
- 部分 1–2 解决「是什么、怎么算」,部分 3 把矩和尾部连起来,部分 4–5 解决「算不出时怎么估」。
- 部分 4 估计的是期望,部分 5 估计的是概率;二者靠「这座桥连在一起。
- 每一部分都用到前面部分的结论,建议按页码顺序阅读。
| 中文 | English | 白话解释 |
|---|---|---|
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 勒贝格积分 | Lebesgue integral | 按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 无意识统计学家定律 | law of the unconscious statistician (LOTUS) | 求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。 |
| σ-代数 | sigma-algebra | 允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 分部积分 | integration by parts | ∫ₐᵇ u v′ dx = [u v]ₐᵇ − ∫ₐᵇ u′ v dx:把求导从一个函数挪到另一个函数上。由乘积求导法则 (uv)′ = u′v + uv′ 两边积分得到。 |
| 分位数 | quantile | Q(u) = inf{x : F(x) ≥ u},是 CDF 的「广义反函数」。 |
| 从下连续 | continuity from below | 集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。 |
| 阶矩 | moment | E[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。 |
| 凸函数 | convex function | 图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。 |
| Jensen 不等式 | Jensen's inequality | φ 凸时 φ(E X) ≤ E φ(X),例如 (E X)² ≤ E X²。 |
| Hölder 不等式 | Hölder's inequality | E|XY| ≤ ‖X‖_p ‖Y‖_q(1/p + 1/q = 1);p = q = 2 就是柯西–施瓦茨不等式。 |
| 方差 | variance | Var X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。 |
| 示性函数 | indicator function | 𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。 |
| Markov 不等式 | Markov's inequality | X ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。 |
| 控制收敛定理 | dominated convergence theorem (DCT) | fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。 |