高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 1 部分 随机变量、分布与期望

PDF 第 5 / 32 页幻灯片 5/33定义

期望就是对 ℙ 的勒贝格积分

Expectation is the Lebesgue integral with respect to P

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

期望不是新东西:它就是第 1 讲的勒贝格积分,只不过积分用的测度是概率 。定义分两步:非负随机变量的期望总有定义(可以是 可正可负的随机变量拆成「正部 − 负部」,只要两部分不同时为无穷,期望就有定义。

  • 位置:第 1 部分第 2 页。上一页 第 4 页 保证了随机变量是可测函数;本页说:可测函数就能积分,积分就是期望。
  • 要解决的问题:中学里的两个公式 (离散)和 (有密度)各管一种情形,遇到「既有跳跃又有连续部分」的随机变量(第 13 页)就不够用。本页给出一个统一的定义,两个中学公式都是它的特例。
  • 还要说清的事:期望什么时候不存在?什么叫可积?

先补基础

基础补课回顾:勒贝格积分是怎么造出来的

第 1 讲分三步造积分(测度记为 这里

  1. 示性函数:((规定 (示性函数与简单函数)。
  2. 简单函数(只取有限个值的可测函数)(规定 即「每个台阶的高度 × 台阶底的大小」再相加。
  3. 非负可测函数 即用台阶函数从下面逼近(非负函数的积分)。 读作「上确界」,意思是「最小的上界」;例如 的上确界是

配套结论:积分是线性的、单调的( 则 并且有单调收敛定理(MCT): 时

基础补课在 [0, ∞] 里怎么做加法和乘法
  • 是非负实数再加上一个点 约定:((积分理论的标准约定:高度为 但底为零测集的台阶,面积算 0)。
  • 没有定义。这正是下面定义 3 要小心的地方。
基础补课正部与负部

对实数(或扩展实数)定义

  • 例: 时 时 时两者都是 0。
  • 负部也是非负的: 是「负的那部分的大小」,不是负数。
  • 两个恒等式:理由: 时 时 两种情况逐一代入即可验证。
  • 对随机变量 由上一页的「复合保持可测」, 都是随机变量。

课件原文逐句精读

课件原文Expectation is the Lebesgue integral with respect to ℙ

Once a random variable is measurable, the integral constructed in Week 1 applies on the probability space .

Definition 2 (Nonnegative expectation) For a measurable , define

Definition 3 (Extended expectation and integrability) For an extended-real random variable , let

中文翻译

一旦随机变量是可测的,第 1 周(即第 1 讲)构造的积分就可以用在概率空间 上。

定义 2(非负随机变量的期望) 对可测的 定义……(留白)

定义 3(扩展的期望与可积性) 对扩展实值随机变量 令……(留白)

① Once a random variable is measurable, the integral … applies|可测就能积分

  • 第 1 讲的积分适用于任何测度空间上的可测函数。概率空间 就是一个特殊的测度空间(总质量为 1),随机变量就是其上的可测函数,所以不需要任何新理论。
  • 这句话也解释了上一页为什么非要求「可测」:不可测的函数,积分的第 2 步就卡住了—— 要求

② For a measurable Y : Ω → [0, ∞]|先处理非负的

  • 允许 取值 (例如「等到第一次正面所需的次数」,在「永远不出正面」的结局上就是
  • 先处理非负函数,是因为非负函数的积分永远有定义(可能是 不会遇到

③ For an extended-real random variable Z, let|再处理可正可负的

  • extended-real 指取值于 let 后面留白处要引入正部 负部 (见下一节)。
  • 标题里的 integrability(可积性)也在这里定义。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

定义 2(非负随机变量的期望)

对可测的 定义

右边是第 1 讲定义的非负可测函数的勒贝格积分。

  • 它总有定义,值可以是
  • 最小的例子: 时 概率就是示性函数的期望,这一句后面第 28 页会变成估计概率的核心技巧。
  • 简单随机变量:若 则 这正是中学的「取值 × 概率,求和」。
定义 3(扩展的期望与可积性)

设 是扩展实值随机变量,令 它们都是非负随机变量, 由定义 2 给出。

  1. 若 与 至少有一个有限,定义
  2. 若 则称 不存在(没有定义)。
  3. 若 称 可积(integrable),记作 由于 这等价于 且 此时 是一个有限实数。

把四种可能列成表:

可积吗
有限 有限 有限实数 可积
有限 不可积,但期望有定义
有限 不可积,但期望有定义
不存在 不可积

为什么这样定义:自然希望 两个非负期望都已经定义好了,唯一的障碍是 只要避开这种情况,减法就有意义。

推导:离散随机变量的期望公式

设 只取可数个不同的值 要证

  1. 令 它是简单函数,(定义 2 的简单函数公式)。
  2. 固定 它恰好满足某一个 当 时 当 时 所以 单调不减并最终等于
  3. 由单调收敛定理(MCT),(级数可以是

对可正可负的离散 分别用于 和

期望的基本性质(本讲后面反复使用)

因为期望就是积分,第 1 讲证明过的积分性质全部直接适用。下面列出最常用的几条,并注明理由:

  1. 常数:理由:常数 是简单函数 期望为 负常数用正负部。这里用到了 ,一般测度下
  2. 单调性:若 (且期望有定义),则 理由:逼近 的每个简单函数也在 下方,所以上确界不会变小(非负函数的积分);一般情形分正负部处理。
  3. 线性:若 可积, 是实数,则 可积且 (L¹ 上的线性)。非负情形不需要可积: 对任意非负 成立,值可以是 (非负函数的可加性)。
  4. 绝对值不等式:期望存在时 理由:
  5. 零概率集上改值无影响:若 (称 几乎必然,almost surely,简写 a.s.),则两者期望同时存在且相等(a.e. 与 L¹)。概率论把「几乎处处」(a.e.)改叫「几乎必然」(a.s.),意思一样。

为什么先定义非负的、再定义一般的:非负函数的积分是「从下面用台阶逼近」,只涉及加法和上确界,永远不会出现 一般函数的麻烦全部集中在「正、负两部分都无穷大」这一种情况,单独把它排除掉就行。这种「先非负、再拆正负部」的两步走,第 7 页证明 LOTUS 时还会再走一遍。

图解

图解:把 Ω 摊成一条总长为 1 的线段,期望就是面积

课件这里没有图,可以自己在纸上画:

  1. 横轴画一条长度为 1 的线段,代表整个 每个事件 占的「长度」就是 例如掷骰子时,把线段等分成 6 段,每段长 分别代表点数 1–6。
  2. 在每一段上方画出 的高度。对骰子 就是 6 根高度分别为 1、2、…、6 的柱子。
  3. 所有柱子的面积之和 这就是

对一般的非负 柱子变成「台阶」逼近(简单函数),面积的上确界就是 所以期望 = 的图像在「总长为 1 的 上方围成的面积。面积可以无穷大(例 2);对可正可负的 就是「横轴上方的面积 − 横轴下方的面积」,两块都无穷大时无法相减(例 3)。

例子

例 1:掷骰子——中学公式是定义 2 的特例

每点概率 是简单函数,所以

例 1′:在 (0,1) 上均匀取点——积分就是面积

取 (长度),这就是「在 里均匀地随机取一个数」。按定义 2,

中间一步用了第 1 讲的结论:闭区间上有界的黎曼可积函数,勒贝格积分等于黎曼积分(第 27 页)。所以中学的「在这里就是定义 2 本身(密度 一般的密度情形要等第 7 页的 LOTUS 和第 17 页的密度定义才能完整说明。

例 2:非负但期望为 +∞(圣彼得堡型)

抛公平硬币直到出现正面,若第 次才出现正面,奖金 则 (前 次反面、第 次正面),由离散公式

每次都取有限值,但期望是 大奖虽然罕见,却大到足以拉高平均。按定义 2 这完全合法。

例 3:期望不存在——对称并不意味着期望是 0

令 (总概率 则

两部分都是 不存在。虽然 的分布关于 0 对称,也不能说 把正项和负项按不同顺序相加,部分和可以趋向任何你想要的值,所以「0」没有资格当平均值。

著名的连续例子是柯西分布(Cauchy),密度 密度关于 0 对称,负的一侧完全一样,期望不存在。

例 4:期望是 +∞ 但有定义

取例 2 的 令

  • 负部:所以
  • 正部:即 由单调性和非负函数积分的可加性,所以

按定义 3 第 1 条,有定义,但 不可积。

常见疑问与易错点

易错点问:为什么不直接规定 𝔼Z = 𝔼Z⁺ − 𝔼Z⁻,遇到 ∞ − ∞ 就算 0?

答:因为这样会破坏期望最基本的性质。以例 3 的 为例: 的正部、负部期望也都是 按「算 0」的规则 可我们希望 矛盾说明 没法给出一个合理的数,只能说「不存在」。

易错点问:𝔼Y < ∞ 能推出 Y 处处有限吗?

答:不能推出「处处」,但能推出「几乎必然」:理由:由单调性 若 右边是 与 矛盾。反过来,在一个概率为 0 的集合上把 改成 期望不变(

易错点问:「可积」和「期望存在」是一回事吗?

答:不是。可积要求 是更强的条件;期望存在只要求正部、负部不同时为 例 4 的 期望存在(但不可积。以后说「 有限」「指的都是可积。

易错点问:负部 Z⁻ 是负数吗?

答:不是。比如 时 写 时,减号已经把「负」表达出来了。

小结与自测

小结本页小结
  • 非负随机变量:永远有定义。
  • 一般随机变量:只要 不同时为
  • 可积 正部、负部期望都有限;可积时期望是有限实数。
  • 期望可以是 (圣彼得堡),也可以不存在(对称的 柯西分布)。
自测

1. 求

点开看答案

两部分都有限, 可积。

2. 判断:「若 且 则

点开看答案

对。对每个 所以 得 而 可数个零概率事件的并概率为 0(可数次可加性),所以

3. 设 (总和为 1)。 存在吗? 可积吗?

点开看答案

所以 有限,期望存在。(调和级数发散)。所以 不可积。

本页术语中英对照(按出现顺序)
中文English白话解释
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
正部positive / negative partf⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
上确界supremum (sup)最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
零测集null set测度为 0 的集合,例如单点、有理数全体、康托尔集。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
无意识统计学家定律law of the unconscious statistician (LOTUS)求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
黎曼积分Riemann integral大一学的定积分:按 x 轴切竖条求和取极限。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。