高等概率论逐页精讲

第 4 讲 乘积测度与独立性›开篇

PDF 第 2 / 21 页幻灯片 2/22目录

目录:三个部分各回答什么问题

Outline

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

第 4 讲分三部分:先搭空间(乘积测度),再学计算(Fubini–Tonelli 定理:二重积分拆成两次单重积分),最后讲独立(独立就是联合分布等于乘积测度)。三部分一环扣一环,前一部分是后一部分的工具。

先补基础

基础补课测度空间(回顾)

一个测度空间 由三样东西组成(第 12 页):

  • 所有可能结果组成的集合;
  • 「可以谈测度的子集」组成的 σ-代数(第 9 页);
  • 给 里每个集合一个非负的「大小」,并且对两两不交的可数并满足可加性。

时它就是概率空间,这时习惯把 写成

基础补课σ-有限(σ-finite)

测度 叫 σ-有限的,如果 能写成可数多个测度有限的集合的并:

  • 概率测度总是 σ-有限的(取
  • 实数轴上的勒贝格测度是 σ-有限的:每段长度 有限。
  • 反例:在 上「数点个数」的计数测度不是 σ-有限的(第 13 页)。这一讲的两个大定理(乘积测度定理、Fubini 定理)都要求 σ-有限。

课件原文逐句精读

课件原文Outline
  1. Produce measure
  2. Fubini-Tonellis's theorem
  3. Independence
中文翻译

目录

  1. 乘积测度
  2. Fubini–Tonelli 定理
  3. 独立性

两处笔误:Produce measure 应为 Product measure(produce 是「生产」,product 才是「乘积」);Fubini-Tonellis's 应为 Fubini–Tonelli's(Tonelli 是人名,所有格直接加 's)。

① Product measure|乘积测度(第 4 页–第 8 页)

要回答的问题:已有两个概率空间 怎样在 上定义一个概率,让「第一个坐标落在 第二个坐标落在 的概率恰好是

为什么不简单:

  • 先要决定哪些子集可以谈概率:只用「矩形」 不够,它们连并集都不封闭(第 6 页);
  • 再要证明,矩形上规定好的值能唯一地扩展到所有可测集上(第 7 页);
  • 最后用「截口」把二维集合的测度化成一维测度的积分(第 8 页)。

② Fubini–Tonelli's theorem|Fubini–Tonelli 定理(第 9 页–第 15 页)

要回答的问题:在乘积空间上,二重积分 能不能先对 积分、再对 积分?两种顺序的结果一样吗?

答案的要点:

  • 且可测时总可以拆,两种顺序相等(Tonelli,第 12 页);
  • 绝对可积时也可以拆(Fubini,第 10 页);
  • 这两个条件都不满足时,两种顺序可以算出不同的数(反例,第 13 页–第 15 页)。

③ Independence|独立性(第 16 页–第 21 页)

要回答的问题:两个、 个乃至无穷多个随机变量「互相独立」到底是什么意思?

答案的要点:

  • 独立就是联合分布等于各自分布的乘积测度(第 17 页);
  • 两两独立不等于相互独立(第 18 页);
  • 对多元正态分布,「协方差为 0」等价于独立(第 19 页–第 21 页)。

三部分怎样连起来

部分 提供什么 被谁用到
1. 乘积测度 联合概率空间 第 2 部分在它上面积分;第 3 部分用它定义独立
2. Fubini–Tonelli 二重积分 = 累次积分 证明「独立 ⇒ 矩公式(第 15 页)等
3. 独立性 独立同分布序列的严格定义与存在性 大数定律、中心极限定理等后续内容;第 3 讲的抽样

例子

例 1:用两颗骰子把三部分走一遍
  • 乘积测度: 有 36 个结果,每个结果的概率是 「第一颗是偶数、第二颗大于 4」是矩形 概率
  • Fubini:求两颗点数之和的期望 可以先对 求和(每一行)、再对 求和,也可以反过来,结果都是 7。有限和交换顺序当然没问题;第 2 部分讨论的是无穷和、积分的情形。
  • 独立性:「第一颗是偶数」与「第二颗大于 4」的交集概率是 等于各自概率的乘积,所以两者独立。这正是因为联合概率是乘积测度。

小结

小结本页小结
  • 三部分:乘积测度(搭空间)→ Fubini–Tonelli(算积分)→ 独立性(下定义、看例子)。
  • 两个定理都要求 σ-有限;概率测度、勒贝格测度都满足,计数测度在不可数集上不满足。
  • 课件笔误:Produce → Product,Fubini-Tonellis's → Fubini–Tonelli's。
本页术语中英对照(按出现顺序)
中文English白话解释
乘积测度product measure在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度(σ-有限时)。平面面积就是长度 × 长度的乘积测度。
Tonelli 定理Tonelli's theoremf 非负可测、两个测度 σ-有限时,二重积分等于两种顺序的累次积分,三者可以同时为 ∞。
二重积分double integral对两个变量一起积分:∬ f(x, y) dx dy。Fubini–Tonelli 定理说明什么时候可以拆成先对一个变量、再对另一个变量的两次积分。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
联合分布joint law (joint distribution)随机向量 (X, Y) 在平面上的分布:对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
σ-代数sigma-algebra允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。
子集subsetA 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
σ-有限σ-finite整个空间能切成可数多块测度有限的部分。概率测度、长度都满足;不可数集上的计数测度不满足。
概率测度probability measure总质量 P(Ω) = 1 的测度。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
计数测度counting measureμ(A) = A 中元素的个数(无限集记为 ∞)。在 ℕ 上对它积分就是求和。
Fubini 定理Fubini's theoremf 关于乘积测度绝对可积(∬|f| < ∞)时,二重积分等于两种顺序的累次积分。
并集union至少属于其中一个集合的元素全体,A ∪ B 对应「A 或 B」。
可测集measurable setσ-代数里的集合,也就是可以谈「测度多大」的集合;在概率空间里,可测集就叫事件。
截口slice (section)固定一个坐标、把二维集合或函数「切一刀」:A_ω₁ = {ω₂ : (ω₁, ω₂) ∈ A},f_ω₁(ω₂) = f(ω₁, ω₂)。
乘积空间product space笛卡尔积 Ω₁ × Ω₂,配上乘积 σ-代数(以及乘积测度)。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
两两独立pairwise independence任意两个都独立。比相互独立弱:三个事件可以两两独立却不相互独立。
多元正态分布multivariate normal distribution由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言,不相关等价于独立。
协方差covarianceCov(X, Y) = E[(X − EX)(Y − EY)],衡量两个变量一起变大或变小的倾向。独立 ⇒ 协方差为 0,反之一般不成立。
累次积分iterated integral一层一层地积分:先固定一个变量、对另一个变量积分,再对剩下的变量积分。
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
中心极限定理central limit theorem (CLT)独立同分布、方差 σ² 有限时,(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布:大量独立小误差之和近似正态。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
不可数uncountable无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。