高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 3 部分 尾部、有限矩与 Lp 空间

PDF 第 22 / 32 页幻灯片 22/33定义

Lᵖ 空间:p 阶矩有限的随机变量放在一起

Lp space

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

就是「 阶绝对矩有限」的随机变量全体,用 衡量 的「大小」; 是「几乎必然有界」的随机变量全体, 是 的最低的几乎必然天花板。几乎必然相等的两个随机变量,在 里算作同一个元素。

  • 位置:第 3 部分的第二页。上一页 第 21 页 把「 是否有限」翻译成了尾部条件;本页给「矩有限的随机变量」起一个名字,并配上一把「尺子」
  • 为什么需要:第 4 部分的不等式(Jensen、Hölder、Minkowski)都是在比较这些「大小」。有了 和 它们可以写得很短,例如 Hölder 就是 (第 26 页)。
  • 与前面的联系:第 5 页 定义的「可积」就是 本页把 1 换成一般的 再加上极端情形

先补基础

基础补课下确界 inf(回顾)
  • 一个实数集合 的下确界 是「最大的下界」:它不超过 里的每个数,而且任何比它大的数都不再是下界。
  • 下确界不一定属于集合本身:但 2 不在集合里;这时 2 在集合里。
  • 约定:空集的下确界是 即
  • 常用性质:若 有限,则对每个 里有一个数小于 (否则 也是下界,比 大,矛盾)。
基础补课几乎必然相等与等价类
  • 几乎必然(a.s.)指 两者只在一个概率为 0 的集合上可能不同(第 5 页 的性质 5)。
  • 这是一个等价关系(第 1 讲维塔利集那几页用过这个词):自反( a.s.)、对称( a.s. 则 a.s.)、传递( a.s. 则 a.s.,因为 两个零概率事件的并还是零概率)。
  • 与 几乎必然相等的所有随机变量组成的集合,叫 的等价类。「把 a.s. 相等的视为同一个」就是说:我们研究的对象其实是等价类。
基础补课范数:给「向量」量长度的尺子
  • 在平面 里,向量 的长度 满足三条:
    1. 正定:长度 且长度为 0 当且仅当
    2. 齐次: 放大 倍,长度放大 倍;
    3. 三角不等式:(两边之和不小于第三边)。
  • 满足这三条的「量长度的规则」叫范数(norm),记作 本页的 就是想给随机变量量长度:第 1、2 条本页就能验证(第 1 条正是需要「a.s. 相等视为同一个」的原因),第 3 条当 时是 第 27 页 的 Minkowski 不等式。

课件原文逐句精读

课件原文Lp space

Definition 22 ( and )

中文翻译

蓝条标题: 空间。

定义 22( 与 (课件只印了名称,正文留白,见下一节。)

Lp space|名字的来历

  • 字母 L 来自勒贝格(Lebesgue): 是用勒贝格积分定义的空间。
  • 上标 是指数:看的是 的 次方的期望。
  • space(空间):这些随机变量放在一起,可以相加、可以乘常数,结果仍在里面(下面会证明),所以它是一个向量空间,而不只是一个集合。

Definition 22 (Lp and L∞)|两个对象

  • 定义名称里并列了两个对象: 时的 以及 时的 两者的定义方式完全不同:前者用期望,后者用「几乎必然的上界」,所以要分开写。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

定义 22( 与

设 是概率空间, 是实值随机变量。

  1. 对 定义
  2. 定义
    (约定
  3. 几乎必然相等的随机变量视为 (中的同一个元素。严格地说, 的元素是等价类。

逐条解释第 1 条:Lᵖ 与 ‖X‖ₚ

  • 先 次方,再取期望,最后开 次方,顺序不能乱: 一般不等于 也不等于 的什么简单函数(例 1)。
  • : 就是 第 5 页 的「可积」,
  • : 是「二阶矩有限」, 叫均方根(root mean square)。标准差就是
  • 为什么要开 次方:为了齐次性。开 次方后 这正是范数的第 2 条。直观上, 以「元」为单位时, 也以「元」为单位;而 的单位是「元
  • 只依赖 的分布:由 LOTUS(第 7 页),所以同分布的随机变量,-范数相同。

逐条解释第 2 条:L∞ 与 ‖X‖∞

  • 是什么:满足 的 叫 的几乎必然上界:「 超过 这件事的概率是 0。这样的 自动 因为 时 总成立,概率是 1。
  • 是所有几乎必然上界的下确界,叫 的本质上确界(essential supremum)。它和普通的上确界 的区别是:忽略零概率集上的取值(例 4)。
  • 下确界能取到:若 则 a.s.。证明:记 对每个 由下确界的性质,有一个几乎必然上界 于是 概率为 0。又 可数个零概率事件的并概率为 0,所以
  • 所有几乎必然上界组成的集合恰好是 :比 小的不是(下确界的定义), 本身是(上一条),比它大的 也是(

逐条解释第 3 条:为什么要把 a.s. 相等的视为同一个

  1. 期望看不见零概率集:若 a.s.,则 a.s.,所以 (第 5 页 的性质 5);事件 与 只在零概率集 上可能不同,所以概率相同。可见 根本分不清 和 把它们当成两个元素没有意义。
  2. 为了范数的正定性:其中第二个 用了 第 5 页 自测第 2 题:非负随机变量期望为 0,则它几乎必然为 0。 时, 意味着 a.s.,也是 a.s.。所以只有把「a.s. 等于 0」的变量都当成「零元素」,才能说「长度为 0 当且仅当是零元素」。

Lᵖ 是向量空间

  • 数乘: 则 所以
  • 加法:对实数 和任意
    第一个 用了 和 递增。代入 再取期望:所以
  • : a.s.,所以
为什么叫 L∞:p → ∞ 时 ‖X‖ₚ → ‖X‖∞

上界: a.s.,所以 即 对每个 成立(这里用到了总概率为 1)。

下界:任取 不是几乎必然上界,所以 于是

时 所以 的下极限不小于 可以任意接近 两方面合起来得 ( 时也成立)。例 2 的表格就是这个极限的数值演示。

0 < p < 1 时 ‖·‖ₚ 不是范数

时, 仍是向量空间(上面的加法论证对所有 成立), 也满足正定性和齐次性,但三角不等式不成立(反例见 第 27 页)。所以严格说,只有 时 才是范数。本讲为了统一,对所有 都用 这个记号。

图解

图解:‖X‖∞ 是「几乎必然的天花板」

课件这里没有图,可以这样画:

  1. 取 (勒贝格测度),横轴是 画出 的图像。
  2. 在不同高度 画水平线。若图像在这条线上方的部分所对应的 集合概率为 0,这条线就是一块「几乎必然的天花板」。
  3. 最低的那块天花板的高度就是 如果图像只在个别点(零概率集)上冒出一根尖刺,这根刺不影响天花板的高度。
  4. 对比 它是「把 平均后再开方」,所有 都按概率参与。 越大, 越放大大值, 越被最高处拉过去; 时贴到天花板上(见上面的补充)。

例子

例 1:掷骰子的几种「大小」

等可能。

  • 所以所有几乎必然上界是 下确界是 6。

注意 既不等于 也不等于 顺序是「先平方、再平均、再开方」。

例 2:p 越大,越被最大值拉过去

于是:

—

小时, 接近「典型值」1; 大时,那 10% 的大值 10 越来越占主导, 逐渐逼近最大值 10。表中 随 增大而增大,这个规律 第 25 页 会一般地证明。

例 3:指数分布——在每个 Lᵖ 里,却不在 L∞ 里

由 第 21 页 的推论 21, 对每个 成立(被积函数在无穷远处比 衰减得还快),所以 对所有 成立。

但对每个 没有任何几乎必然上界,「所有矩有限」不等于「有界」。

例 4:改动一个点——sup 变了,‖X‖∞ 不变

取 令 (

  • 所以 a.s.,在 里是同一个元素。
  • 但 时 至多是单点 概率为 0; 时 概率至少
  • 完全不受那个点影响。
例 5(反例):不在 L¹ 里的随机变量
  • 柯西分布(第 5 页 例 3): 时被积函数约为 积分有限当且仅当 即 所以柯西变量属于 但不属于
  • Pareto (第 21 页 例 4):它无界,所以不在 里。
例 6:圣彼得堡奖金——只在 p < 1 的 Lᵖ 里

第 5 页 例 2 的奖金 (由离散期望公式,

这是公比为 的等比级数,收敛当且仅当公比小于 1,即 所以 (这就是 第 5 页 说的 但 具体地, 时公比

常见疑问与易错点

易错点问:‖X‖∞ 和普通的上确界 sup 是一回事吗?

答:不是。总有 (上确界本身就是一个几乎必然上界),但可以严格小于:例 4 中一个是 1,一个是 1000。概率论只关心「几乎必然」的性质,所以用本质上确界,不用普通上确界。

易错点问:X ∈ Lᵖ 是不是说 X 有界?

答:不是。 只要求 有限,大值可以出现,只要出现得足够少。例 3 的指数分布在所有 (里,却无界。反过来,有界一定在所有 里:若 a.s.,则

易错点问:‖X‖ₚ 能不能「先求期望、再做 p 次方」?

答:不可以,这是最常见的笔误。 次方在期望里面, 次方在期望外面。掷骰子时 三个数各不相同。

易错点问:既然 Lᵖ 的元素是等价类,还能说「X(ω) 等于多少」吗?

答:对单个 说 在 里没有意义,因为同一个等价类里的代表可以在这个点上取任何值(例 4)。有意义的是不依赖代表的说法:「 a.s.」、「 a.s.」等等。实际计算时,我们从等价类里随便挑一个代表来算,结果都一样。以后看到「在 中 要自动读成「 几乎必然」。

易错点问:L∞ 为什么不能像 Lᵖ 那样,用「∞ 次方的期望」来定义?

答:因为「 次方」没有意义。 只能用「几乎必然上界」单独定义。上面的补充说明:它恰好是 在 时的极限,所以记作 是合理的。

小结与自测

小结本页小结
  • 是可积, 是二阶矩有限。
  • 是本质上确界,下确界能取到: a.s.; 是几乎必然有界的随机变量。
  • a.s. 相等的随机变量视为同一元素:期望看不见零概率集,而且这样才有「
  • 是向量空间(三角不等式要等到 第 27 页。
自测

1. 求

点开看答案

(

2. 判断:「若 则对每个 都有

点开看答案

对。 a.s.,所以 注意这里用到了 在总测度无穷的空间上(例如 上的勒贝格测度),常数 1 有界,但

3. 若 能推出什么?能推出 对每个 成立吗?

点开看答案

能推出 a.s.:而 所以 a.s.(第 5 页 自测第 2 题)。不能推出「每个 例如 上 但 这正是要把 a.s. 相等的随机变量视为同一元素的原因。

本页术语中英对照(按出现顺序)
中文English白话解释
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
元素element集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
下确界infimum (inf)最大的下界。例如 (0,1] 没有最小值,但下确界是 0。
下界lower bound数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
等价关系equivalence relation满足自反、对称、传递的「相似」关系,能把集合分成互不重叠的等价类。
维塔利集Vitali set用选择公理造出的「坏」集合,证明了不可能给 ℝ 的所有子集定义长度。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
等价类equivalence class在等价关系下彼此「相似」的元素组成的一组。
正定positive definite对称矩阵 Σ 满足:对所有非零向量 x,xᵀΣx > 0。多元正态要求协方差矩阵正定。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
无意识统计学家定律law of the unconscious statistician (LOTUS)求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
上确界supremum (sup)最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。