概率论 | Hexo

离散概率空间

基础部分

定义1 离散概率空间

离散概率空间(diskreter Wahrscheinlichkeitsraum)是单位元事件(Elementarereignis)的所有结果集合(Ergebnismenge) $Ω = {w_{1}, w_{2}, \dots}$ 。

定义2 单位元事件

每个事件元素 $w_{i}$ 都对应一个可能性 $Pr [w_{i}]$ ,其中 $0 \leq Pr [w_{i}] \leq 1$ , 并且

\sum_{ω \in Ω} \Pr [ω] = 1

#### 定义3 事件

集合 $E \subseteq Ω$ 是事件，该事件的概率是

\Pr [E] := \sum_{ω \in E} \Pr [ω]

事件

\bar{E}

是事件

E

的对立事件(komplementäres Ereignis)。两个事件

A, B

是分离的(disjunkt/unvereinbar)若

A \cap B = \emptyset

定义4 相对频繁度(relative Häufigkeit)

$\begin{aligned} 事件E相对频繁度 & := \frac{E的绝对频繁度}{所有观测次数} \\ = \frac{E的所有出现次数}{所有观测次数} \end{aligned}$

定义5 无限概率空间

概率空间 $Ω = {ω_{1}, \dots, ω_{n}}$ 是有限概率空间。关于无限概率空间，我们只考虑 $Ω = N_{0}$ ，也就是离散的情况

例子

假设我们扔一个硬币，直到正面出现。 $p$ 是反面出现的概率，正面出现的概率是 $q := 1 - p$ .那么概率空间我们可以表示为丢硬币的次数直到正面出现。

Ω = N = {1, 2, 3, \dots}

设

ω_{i} \hat{=}

仍硬币

i

次的事件元素。那么

\Pr [ω_{i}] = p^{i - 1} q

. 并且：

\sum_{ω \in Ω} \Pr [ω] = \sum_{i = 1}^{\infty} p^{i - 1} q = q \cdot \sum_{i = 0}^{\infty} p^{i} = \frac{q}{1 - p} = 1

#### 数学公式补充

\sum_{k = 0}^{n} \frac{(- 1)^{k}}{k!} = \frac{1}{e}

\sum_{n = 0}^{\infty} \frac{1}{n!} = e

定理8 性质

对于事件 $A, B, A_{1}, A_{2}, \dots$ 有：

$\Pr [\emptyset] = 0, \Pr [Ω] = 1$
$0 \leq \Pr [A] \leq 1$
$\Pr [\bar{A}] = 1 - \Pr [A]$
若 $A \subseteq B$ ，那么 $\Pr [A] \leq \Pr [B]$
加法原理：若事件 $A_{1}, \dots, A_{n}$ 两两互斥，那么有
$\Pr [⋃_{i = 1}^{n} A_{i}] = \sum_{i = 1}^{n} \Pr [A_{i}]$

定理9 容斥原理(Siebformel)

容斥原理：对于事件 $A_{1}, \dots, A_{n}$ 有

\begin{aligned} \Pr [⋃_{i = 1}^{n} A_{i}] & = \sum_{i = 1}^{n} \Pr [A_{i}] - \sum_{1 \leq i_{1} < i_{2} \leq n} \Pr [A_{i_{1}} \cap A_{i_{2}}] + - \dots \\ + (- 1)^{l - 1} \sum_{1 \leq i_{1} < \dots < i_{l} \leq n} \Pr [A_{i_{1}} \cap \dots \cap A_{i_{l}}] + - \dots \\ + (- 1)^{n - 1} \cdot \Pr [A_{1} \cap \dots \cap A_{n}] \end{aligned}

容斥原理

\Pr [A] = \Pr [⋃_{i = 1}^{n} A_{i}] = \sum_{\emptyset \subset I \subseteq [n]} (- 1)^{| I | + 1} \cdot \Pr [⋂_{i \in I} A_{i}]

推论

\Pr [⋃_{i = 1}^{n} A_{i}] \leq \sum_{i = 1}^{n} \Pr [A_{i}]

Prinzip von Laplace:

\Pr [E] = \frac{| E |}{| Ω |}

条件概率

对于条件概率 $\Pr [A | B]$ 有如下的性质

$\Pr [B | B] = 1$
$\Pr [A | Ω] = \Pr [A]$
对于给定的 $B$ ， $\Pr [A | B]$ 正比于 $\Pr [A \cap B]$

定义12 条件概率

$A$ 和 $B$ 是事件且 $P r [B] > 0$ . 那么条件概率 $P r [A | B]$ 是如下定义的：

\Pr [A | B] := \frac{\Pr [A \cap B]}{\Pr [B]}

在事件

B

基础下的概率空间：

\sum_{ω \in Ω} \Pr [ω | B] = \sum_{ω \in Ω} \frac{\Pr [ω \cap B]}{\Pr [B]} = \sum_{ω \in B} \frac{\Pr [ω]}{\Pr [B]} = \frac{\Pr [B]}{\Pr [B]} = 1 \Pr [\emptyset | B] = 0 sowie \Pr [\bar{A} | B] = 1 - \Pr [A | B]

定理16 乘法原理

若事件 $A_{1}, \dots, A_{n}$ ，且 $\Pr [A_{1} \cap \dots \cap A_{n}] > 0$ ,那么

\begin{aligned} \Pr [A_{1} \cap \dots \cap A_{n}] = \\ \Pr [A_{1}] \cdot \Pr [A_{2} | A_{1}] \cdot \Pr [A_{3} | A_{1} \cap A_{2}] \cdot \dots \\ \dots \Pr [A_{n} | A_{1} \cap \dots \cap A_{n - 1}] \end{aligned}

定理18 全概率公式

若事件 $A_{1}, \dots, A_{n}$ ，两两互斥，且 $B \subseteq A_{1} \cup \dots \cup A_{n}$ 那么

\Pr [B] = \sum_{i = 1}^{n} \Pr [B | A_{i}] \cdot \Pr [A_{i}]

如果事件有无穷多个，那么：

\Pr [B] = \sum_{i = 1}^{\infty} \Pr [B | A_{i}] \cdot \Pr [A_{i}]

定理19 贝叶斯公式

事件 $A_{1}, \dots, A_{n}$ 两两分离，且 $P r [A_{j}] > 0$ 对于所有事件。 $B \subseteq A_{1} \cup \dots \cup A_{n}$ ，且 $P r [B] > 0$ ，那么

\Pr [A_{i} | B] = \frac{\Pr [A_{i} \cap B]}{\Pr [B]} = \frac{\Pr [B | A_{i}] \cdot \Pr [A_{i}]}{\sum_{j = 1}^{n} \Pr [B | A_{j}] \cdot \Pr [A_{j}]}

若事件有无穷多个，那么

\Pr [A_{i} | B] = \frac{\Pr [A_{i} \cap B]}{\Pr [B]} = \frac{\Pr [B | A_{i}] \cdot \Pr [A_{i}]}{\sum_{j = 1}^{\infty} \Pr [B | A_{j}] \cdot \Pr [A_{j}]}

独立性(独立性)

若 $\Pr [A \cap B] = \Pr [A] \cdot \Pr [B]$ 也就是若 $\Pr [A | B] = \Pr [A]$ 那么，这两个事件是独立的(unabhängig)

对于两两不同的事件 $A_{1}, \dots, A_{n}$ 独立，若对于所有的子集

$I = {i_{1}, \dots, i_{k}} \subseteq {1, \dots, n}$ ， $i_{1} < i_{2} < \dots < i_{k}$ 有

\Pr [A_{i_{1}} \cap \dots \cap A_{i_{k}}] = \Pr [A_{i_{1}}] \dots \cdot \Pr [A_{i_{k}}]

定理 23

对于两两不同的事件 $A_{1}, \dots, A_{n}$ 独立，若对于所有

$(s_{1}, \dots, s_{n}) \in {0, 1}^{n}$ 有

\Pr [A_{1}^{s_{1}} \cap \dots \cap A_{n}^{s_{n}}] = \Pr [A_{1}^{s_{1}}] \cdot \dots \cdot \Pr [A_{n}^{s_{n}}]

其中

A_{i}^{0} = {\bar{A}}_{i}

且

A_{i}^{1} = A_{i}

定理24

若 $A, B, C$ 是独立事件，那么 $A \cap B$ 与 $C$ 且 $A \cup B$ 与 $C$ 也独立

随机变量

定义25 随机变量

给定一个离散概率空间 $Ω$ 一个映射

X : Ω \to R

是随机变量 (Zufallsvariable)

值域(Wertebereich)是

W_{X} := X (Ω) = {x \in R; \exists ω \in Ω mit X (ω) = x}

扔硬币3次，结果集合是 $Ω := {H, T}^{3}$ 也就是正反的三元组。随机变量 $Y$ 描述了出现正面的总数。比如 $Y (H T H) = 2$ 出现正面2次, $Y (H H H) = 3$ 出现正面3次,值域 $W_{Y} = {0, 1, 2, 3}$

A_{i} := {ω \in Ω; X (ω) = x_{i}} = X^{- 1} (x_{i})

是逆映射，通常我们把 $\Pr [X^{- 1} (x_{i})]$ 写作 $\Pr [X = x_{i}]$

定义27 概率密度函数和分布函数

函数

f_{X} : R ∋ x \mapsto \Pr [X = x] \in [0, 1]

称作随机变量 $X$ 的概率密度函数(Dichte)

函数

F_{X} : R ∋ x \mapsto \Pr [X \leq x] = \sum_{x^{'} \in W_{X} : x^{'} \leq x} \Pr [X = x^{'}] \in [0, 1]

称作随机变量 $X$ 的分布函数

求密度函数：从值域入手，把每个值都对应写出来。

求分布函数：先求密度函数，然后把密度函数累加

定义 29 期望

对于一个随机变量 $X$ ,我们定义期望值(Erwartungswert) $E [X]$ 为：

E [X] := \sum_{x \in W_{X}} x \cdot \Pr [X = x] = \sum_{x \in W_{X}} x \cdot f_{X} (x)

若

\sum_{x \in W_{X}} | x | \cdot \Pr [X = x]

收敛

计算期望

判断期望是否存在，要加绝对值算。

定理 32 期望的单调性

若 $X, Y$ 是在离散概率空间 $Ω$ 的随机变量，且满足 $X (ω) \leq Y (ω)$ 对于所有 $ω \in Ω$ ，那么 $E [X] \leq E [Y]$

定理 33 期望的线性性

对于任意随机变量 $X$ , $a, b \in R$ 有

E [a \cdot X + b] = a \cdot E [X] + b

定理 34 期望计算公式

若 $X$ 是随机变量且 $W_{X} \subseteq N_{0}$ ,有

E [X] = \sum_{i = 1}^{\infty} \Pr [X \geq i]

定义 35 条件期望

若 $X$ 是随机变量，且 $A$ 是事件，且 $P r [A] > 0$ 那么条件随机变量(bedingte Zufallsvariable)的密度是

f_{X | A} (x) := \Pr [X = x | A] = \frac{\Pr [“ X = x^{”} \cap A]}{\Pr [A]}

期望值是

E [X | A] = \sum_{x \in W_{X}} x \cdot f_{X | A} (x)

定理 36 条件期望计算期望

若 $X$ 是随机变量，对于两两独立事件 $A_{1}, \dots, A_{n}$ , 且 $A_{1} \cup \dots \cup A_{n} = Ω 且 \Pr [A_{1}], \dots, \Pr [A_{n}] > 0$ ，有

E [X] = \sum_{i = 1}^{n} E [X | A_{i}] \cdot \Pr [A_{i}]

定义 38 方差和标准差

对于随机变量 $X$ 且 $μ = E [X]$ ，我们定义(Varianz)方差 $Var [X]$ 为

Var [X] := E [(X - μ)^{2}] = \sum_{x \in W_{X}} (x - μ)^{2} \cdot \Pr [X = x]

大小(Größe)

σ := \sqrt{Var [X]}

是

X

的标准差

定理 39 方差和期望

对于任意随机变量 $X$ 有：

Var [X] = E [X^{2}] - E [X]^{2}

定理 41 方差公式

对于任意随机变量 $X$ 和 $a, b \in R$ 有

Var [a \cdot X + b] = a^{2} \cdot Var [X]

定义 42 矩

对于一个随机变量 $X$ 我们说 $E [X^{k}]$ 是k-te Moment(k阶4矩) 且

$E [(X - E [X])^{k}]$ 是 k-te zentrale Moment(k阶中心矩)

多变量

函数

f_{X, Y} (x, y) := \Pr [X = x, Y = y]

是随机变量

X, Y

的总密度(gemeinsame Dichte) ，其中

f_{X} (x) = \sum_{y \in W_{Y}} f_{X, Y} (x, y) bzw. f_{Y} (y) = \sum_{x \in W_{X}} f_{X, Y} (x, y)

函数

f_{X}

和

f_{Y}

是Randdichten

把其他变量的所有情况带入式子求和即可

随机变量的独立性

定义45 独立性

对随机变量 $X_{1}, \dots, X_{n}$ 是相互独立的(unabhängig)，若对于所有 $(x_{1}, \dots, x_{n}) \in W_{X_{1}} \times \dots \times W_{X_{n}}$ 满足：

\Pr [X_{1} = x_{1}, \dots, X_{n} = x_{n}] = \Pr [X_{1} = x_{1}] \cdot \dots \cdot \Pr [X_{n} = x_{n}]

或者

f_{X_{1}, \dots, X_{n}} (x_{1}, \dots, x_{n}) = f_{X_{1}} (x_{1}) \dots \cdot f_{X_{n}} (x_{n})

定理46 独立性扩展1

若 $X_{1}, \dots, X_{n}$ 是相互独立随机变量，且 $S_{1}, \dots, S_{n}$ 是任意的集合 $S_{i} \subseteq W_{X_{i}}$ ，那么 ,, $X_{1} \in S_{1}$ “, ...,, $X_{n} \in S_{n}$ “ 都是独立的

定理47 独立性扩展2

若 $f_{1}, \dots, f_{n}$ 是实数函数 $(f_{i} : R \to R, i = 1, \dots, n)$ . 当随机变量 $X_{1}, \dots, X_{n}$ 相互独立，那么对于所有 $f_{1} (X_{1}), \dots, f_{n} (X_{n})$ 也相互独立。

组合随机变量

定理49 独立的随机变量加和

对于2个相互独立的随机变量 $X, Y$ 若 $Z := X + Y$ ，那么满足

f_{Z} (z) = \sum_{x \in W_{X}} f_{X} (x) \cdot f_{Y} (z - x)

组合随机变量的矩

定理50 期望的线性性

对于随机变量 $X_{1}, \dots, X_{n}$ 和 $X := a_{1} X_{1} + \dots + a_{n} X_{n}$ , $a_{1}, \dots, a_{n} \in R$ 满足

E [X] = a_{1} E [X_{1}] + \dots + a_{n} E [X_{n}]

Beispiel 51:

$n$ 个人随机到 $n$ 个床位，期望有多少个人在自己的床位上？

先拆解： $X_{i} := {\begin{cases} 1 & 若第 i 个人正确 \\ 0 & 否则 \end{cases}$

$X := X_{1} + \dots + X_{n}$

因为 $E [X_{i}] = 0 \cdot \Pr [X_{i} = 0] + 1 \cdot \Pr [X_{i} = 1] = \frac{1}{n}$

所以 $E [X] = \sum_{i = 1}^{n} E [X_{i}] = \sum_{i = 1}^{n} \frac{1}{n} = 1$

定理52 期望的乘积性

对于相互独立的随机变量 $X_{1}, \dots, X_{n}$ ，满足

E [X_{1} \dots \dots X_{n}] = E [X_{1}] \dots \dots E [X_{n}]

定义53 指示函数

对于一个事件 $A$ ，随机变量

I_{A} := {\begin{cases} 1 & falls A eintritt \\ 0 & sonst \end{cases}

是事件

A

的指示变量 Indikatorvariable

定理54 方差加和

对于相互独立的随机变量 $X_{1}, \dots, X_{n}$ 且 $X := X_{1} + \dots + X_{n}$ 满足：

Var [X] = Var [X_{1}] + \dots + Var [X_{n}]

重要分布

伯努利分布

一个随机变量 $X$ ， $W_{X} = {0, 1}$ 并且密度是

f_{X} (x) = {\begin{cases} p & für x = 1 \\ 1 - p & für x = 0 \end{cases}

是伯努利分布(Bernoulli-Verteilung)。参数

p

是成功概率(Erfolgswahrscheinlichkeit).

比如扔硬币是只有正或反，满足伯努利分布

二项分布

定义 55 二项分布

若 $X := X_{1} + \dots + X_{n}$ 是 $n$ 个独立的伯努利分布随机变量的加和，并且他们有相同的成功概率 $p$ . 那么 $X$ 就是二项分布，参数是 $n$ 和 $p$ . 符号是

X \sim Bin (n, p)

f_{X} (x) := b (x; n, p) = (\begin{array}{l} n \\ x \end{array}) p^{x} (1 - p)^{n - x}

$E [X] = n p$ , $Var [X] = n p q$

比如连续扔硬币n次，满足二项分布

定理 56 二项分布加和

若 $X \sim Bin (n_{x}, p)$ 和 $Y \sim Bin (n_{y}, p)$ 独立，那么满足 $Z := X + Y$ , 且 $Z \sim Bin (n_{x} + n_{y}, p)$ .

几何分布

定义57 几何分布

一个几何分布的(geometrisch verteilte) 随机变量 $X$ ，参数 $p \in (0, 1]$ 且 $q := 1 - p$ 有密度函数

f_{X} (i) = p q^{i - 1} für i \in N

对于它的期望和方差：

E [X] = \frac{1}{p} und Var [X] = \frac{q}{p^{2}}

一个性质

成功概率和已经尝试的此数无关：

\Pr [X > y + x ∣ X > x] = \Pr [X > y]

比如一直扔硬币，知道正面出现。满足几何分布

求大于某个值的概率

\begin{aligned} \Pr [X > x] & = \sum_{i = x + 1}^{\infty} (1 - p)^{i - 1} p = (1 - p)^{x} p \cdot \sum_{i = 0}^{\infty} (1 - p)^{i} \\ = (1 - p)^{x} p \cdot \frac{1}{1 - (1 - p)} = (1 - p)^{x} \end{aligned}

泊松分布

泊松分布(Poisson-Verteilung) 可以用于建模在给定时间段有固定变化率且独立的固定事件的个数。

一个泊松分布变量 $X$ ，参数 $λ \geq 0$ 有值域 $W_{X} = N_{0}$ 并且有密度函数：

f_{X} (i) = \frac{e^{- λ} λ^{i}}{i!} für i \in N_{0}

写作

X \sim Po (λ)

而且方差和期望满足

E [X] = Var [X] = λ

定理59 泊松分布随机变量加和

若 $X$ 和 $Y$ 是独立的随机变量满足 $X \sim Po (λ)$ 和 $Y \sim Po (μ)$ ，那么满足

Z := X + Y \sim Po (λ + μ)

求解泊松分布常用到 $e^{x}$ 的幂级数展开式
$e^{x} = \sum_{n = 0}^{\infty} \frac{1}{n!} x^{n} = 1 + x + \frac{1}{2!} x^{2} + \dots + \frac{1}{n!} x^{n} + \dots, x \in (- \infty, + \infty)$

泊松分布与二项分布

当 $n \to \infin$ 时，且 $n$ 相对于 $λ$ 足够大，二项分布与泊松分布近似

P o (λ) \sim B i n (n, λ / n)

概率的估计

不等式

定理60 马尔可夫不等式

若 $X$ 是随机变量，它只有非负值。那么对于所有 $t \in R$ 且 $t > 0$ 满足

\Pr [X \geq t] \leq \frac{E [X]}{t}

或者：

\Pr [X \geq t \cdot E [X]] \leq 1 / t

用于估计概率的上界 (Blatt6 H01)

定理 61 切比雪夫不等式

若 $X$ 是随机变量, $t \in R$ 且 $t > 0$ ,满足

\Pr [| X - E [X] | \geq t] \leq \frac{Var [X]}{t^{2}}

或者：

\Pr [| X - E [X] | \geq t \sqrt{Var [X]}] \leq 1 / t^{2}

用的时候可以用绝对值的性质拆开绝对值(Blatt6 H01), $t = n / 2 - 1$
$\Pr [X \geq n / 2] = \Pr [X - E [X] \geq t] \leq \Pr [| X - E [X] | \geq t]$

大数定律

定理 63 大数定律

给定一个随机变量，若 $ε, δ > 0$ 是任意且固定的。那么对于所有 $n \geq \frac{Var [X]}{ε δ^{2}}$ ：

若 $X_{1}, \dots, X_{n}$ 独立随机变量且拥有和 $X$ 相同的分布,且设

Z := \frac{X_{1} + \dots + X_{n}}{n}

那么满足

\Pr [| Z - E [X] | \geq δ] \leq ε

切诺夫界

定理 64 切诺夫界 1

若 $X_{1}, \dots, X_{n}$ 是独立的伯努利分布的随机变量，且 $\Pr [X_{i} = 1] = p_{i}$ ， $\Pr [X_{i} = 0] = 1 - p_{i}$ . 那么对于 $X := \sum_{i = 1}^{n} X_{i}$ und $μ := E [X] = \sum_{i = 1}^{n} p_{i}$ ， $δ > 0$ 满足

\Pr [X \geq (1 + δ) μ] \leq {(\frac{e^{δ}}{(1 + δ)^{1 + δ}})}^{μ}

定理 66 切诺夫界 2

若 $X_{1}, \dots, X_{n}$ 是独立的伯努利分布的随机变量，且 $\Pr [X_{i} = 1] = p_{i}$ ， $\Pr [X_{i} = 0] = 1 - p_{i}$ . 那么对于 $X := \sum_{i = 1}^{n} X_{i}$ und $μ := E [X] = \sum_{i = 1}^{n} p_{i}$ ， $0 < δ < 1$ 满足：

\Pr [X \leq (1 - δ) μ] \leq {(\frac{e^{- δ}}{(1 - δ)^{1 - δ}})}^{μ}

引理 67 切诺夫界扩展

对于 $0 < δ < 1$ 满足

(1 - δ)^{1 - δ} \geq e^{- δ + δ^{2} / 2} und (1 + δ)^{1 + δ} \geq e^{δ + δ^{2} / 3}

推论 68 推论公式

若 $X_{1}, \dots, X_{n}$ 是独立的伯努利分布的随机变量，且 $\Pr [X_{i} = 1] = p_{i}$ ， $\Pr [X_{i} = 0] = 1 - p_{i}$ . 那么对于 $X := \sum_{i = 1}^{n} X_{i}$ und $μ := E [X] = \sum_{i = 1}^{n} p_{i}$

$\Pr [X \geq (1 + δ) μ] \leq e^{- μ δ^{2} / 3 für alle 0 < δ \leq 1}$
$\Pr [X \leq (1 - δ) μ] \leq e^{- μ δ^{2} / 2}$ für alle $0 < δ \leq 1$
$\Pr [| X - μ | \geq δ μ] \leq 2 e^{- μ δ^{2} / 3}$ für alle $0 < δ \leq 1$
$\Pr [X \geq (1 + δ) μ] \leq {(\frac{e}{1 + δ})}^{(1 + δ) μ}$
$\Pr [X \geq t] \leq 2^{- t}$ für $t \geq 2 e μ$

概率生成函数

定义70 概率生成函数

对于一个随机变量 $X$ , $W_{X} \subseteq N_{0}$ 那么概率生产函数 (wahrscheinlichkeits-)erzeugende Funktion为

G_{X} (s) := \sum_{k = 0}^{\infty} \Pr [X = k] \cdot s^{k} = E [s^{X}]

定理71 函数的唯一性

一个随机变量 $X$ , $W_{X} \subseteq N_{0}$ 的密度和分布是通过它的生产函数唯一确定的.

伯努利分布

G_{X} (s) = E [s^{X}] = (1 - p) \cdot s^{0} + p \cdot s^{1} = 1 - p + p s

均匀分布 ${0, . . ., n}$

若 $X$ 在 ${0, . ., n}$ 均匀分布，也就是对于 $0 \leq k \leq n$ ， $\Pr [X = k] = 1 / (n + 1)$

G_{X} (s) = E [s^{X}] = \sum_{k = 0}^{n} \frac{1}{n + 1} \cdot s^{k} = \frac{s^{n + 1} - 1}{(n + 1) (s - 1)}

二项分布

G_{X} (s) = E [s^{X}] = \sum_{k = 0}^{n} (\begin{array}{l} n \\ k \end{array}) p^{k} (1 - p)^{n - k} \cdot s^{k} = (1 - p + p s)^{n}

几何分布

\begin{aligned} G_{X} (s) = E [s^{X}] & = \sum_{k = 1}^{\infty} p (1 - p)^{k - 1} \cdot s^{k} \\ = p s \cdot \sum_{k = 1}^{\infty} ((1 - p) s)^{k - 1} = \frac{p s}{1 - (1 - p) s} \end{aligned}

泊松分布

G_{X} (s) = E [s^{X}] = \sum_{k = 0}^{\infty} e^{- λ} \frac{λ^{k}}{k!} \cdot s^{k} = e^{- λ + λ s} = e^{λ (s - 1)}

计算期望方差

G_{X}^{'} (1) = \sum_{k = 1}^{\infty} k \cdot \Pr [X = k] = E [X]

Var [X] = E [X^{2}] - E [X]^{2} = E [X \cdot (X - 1) + X] - E [X]^{2} = G_{X}^{''} (1) + G_{X}^{'} (1) - {(G_{X}^{'} (1))}^{2}

定义74 秩生成函数

对于一个随机变量 $X$ ，秩生成函数 momenterzeugende Funktion 是

M_{X} (s) := E [e^{X s}]

M_{X} (s) = G_{X} (e^{s})

随机变量加和

定理75 和的生成函数

对于独立随机变量 $X_{1}, \dots, X_{n}$ 且 $Z := X_{1} + \dots + X_{n}$ ，那么满足

G_{Z} (s) = G_{X_{1}} (s) \cdot \dots \cdot G_{X_{n}} (s)

而且

M_{Z} (s) = M_{X_{1}} (s) \cdot \dots \cdot M_{X_{n}} (s)

随机和

我们考虑这样的情况： $Z := X_{1} + \dots + X_{N}$ ， $N$ 是一个随机变量.

定理77 和的生成函数

若 $X_{1}, X_{2}, \dots$ 是独立，而且具有相同分布随机变量，生成函数是 $G_{X} (s)$ . $N$ 是一个独立随机变量且有生成函数 $G_{N} (s)$ . 那么随机变量 $Z := X_{1} + \dots + X_{N}$ 有随机生成函数 $G_{Z} (s) = G_{N} (G_{X} (s))$ .

连续概率空间

连续随机变量

定义79 连续随机变量

一个连续的随机变量 $X$ (kontinuierliche oder auch stetige Zufallsvariable )和它在的连续概率空间(kontinuierlicher (reeller) Wahrscheinlichkeitsraum)是由一个积分函数定义的 $f_{X} : R \to R_{0}^{+}$ :

\int_{- \infty}^{+ \infty} f_{X} (x) d x = 1

可以通过对可数且分离的区间并集

A = ⋃_{k} I_{k}

构造出的集合

A \subseteq R

叫事件(Ereignis).

A

的概率是这样算的：

\Pr [A] = \int_{A} f_{X} (x) d x = \sum_{k} \int_{I_{k}} f_{X} (x) d x

根据性质计算参数 (Blatt7 T02)

Kolmogorov-Axiome和σ-代数

定义82 σ-代数

若 $Ω$ 是个集合。 $A \subseteq P (Ω)$ 是在集合 $Ω$ 上的 $σ$ -代数(Algebra), 若下面的性质满足：

$Ω \in A$
若 $A \in A,$ 那么 $\bar{A} \in A$
对于 $n \in N$ 设 $A_{n} \in A .$ 那么 $⋃_{n = 1}^{\infty} A_{n} \in A$

对于所有 $A \subseteq R$ 是一种 Borel集合.

判断集合是否是 σ-代数 (Blatt7 T01)

定义83 柯尔莫哥洛夫公理Kolmogorov-Axiome

若 $Ω$ 是个集合。 $A$ 是是在集合 $Ω$ 上的 $σ$ -代数. 映射

\Pr [.] : A \to [0, 1]

是

A

上的概率测度(Wahrscheinlichkeitsmaß) ，若满足：

$\Pr [Ω] = 1$
$A_{1}, A_{2}, \dots$ 是两两互斥的事件. 那么满足：
$\Pr [⋃_{i = 1}^{\infty} A_{i}] = \sum_{i = 1}^{\infty} \Pr [A_{i}]$

对于一个事件 $A \in A$ , $\Pr [A]$ 是 $A$ 的概率(Wahrscheinlichkeit). 一个概率空间是由元组 $(Ω, A, \Pr)$ 定义的.

引理84

若 $(Ω, A, \Pr)$ 是一个概率空间。对于事件 $A, B, A_{1}, A_{2}, \dots$ 满足：

$\Pr [\emptyset] = 0, \Pr [Ω] = 1$
$0 \leq \Pr [A] \leq 1$
$\Pr [\bar{A}] = 1 - \Pr [A]$
若 $A \subseteq B,$ 则 $\Pr [A] \leq \Pr [B]$
(加法原理) 当事件 $A_{1}, \dots, A_{n}$ 两两互斥，那么
$\Pr [⋃_{i = 1}^{n} A_{i}] = \sum_{i = 1}^{n} \Pr [A_{i}]$

勒贝格积分

一个函数 $f : R \to R$ 是可测量的(messbar). 若每个Borel波莱尔集合的原像(Urbild)还是一个Borel集合，

每个可测量的函数都可以积分，叫做勒贝格积分(Lebesgue-Integral).

连续函数都是Borel波莱尔可测的(Borel-messbar)
指示函数 $I_{A} : x \mapsto {\begin{cases} 1 & falls x \in A \\ 0 & sonst \end{cases}$ 是Borel可测的
Borel可测的函数与Borel可测函数的和和积也是Borel可测的

判断一个函数是否是Borel可测 (Blatt7 T02)

计算连续随机变量

连续随机变量函数

若 $Y := g (X)$ ， $g : R \to R$ . 那么 $Y$ 的分布是

F_{Y} (y) = \Pr [Y \leq y] = \Pr [g (X) \leq y] = \int_{C} f_{X} (t) d t

这里

C := {t \in R ∣ g (t) \leq y}

是所有实数满足 "

Y \leq y

" 的.

求密度函数：先求分布再求导

求一个函数是否是分布函数：

非严格单调增

连续

在负无穷的极限是0，正无穷的极限是1

连续随机变量极限

若 $X$ 是一个连续随机变量，我们可以从 $X$ 里构造一个离散的随机变量。设 $δ > 0$ ，那么

X_{δ} = n δ ⟺ X \in [n δ, (n + 1) δ [für n \in Z

对于

X_{}

满足

\Pr [X_{δ} = n δ] = F_{X} ((n + 1) δ) - F_{X} (n δ)

期望和方差

定义88 期望和方差

对于一个连续随机变量 $X$ ，方差如下定义：

E [X] = \int_{- \infty}^{\infty} t \cdot f_{X} (t) d t

只要

\int_{- \infty}^{\infty} | t | \cdot f_{X} (t) d t

是有限的.

对于方差是

Var [X] = E [(X - E [X])^{2}] = \int_{- \infty}^{\infty} (t - E [X])^{2} \cdot f_{X} (t) d t

当

E [(X - E [X])^{2}]

存在.

引理89 计算期望

若 $X$ 是连续随机变量, 令

Y := g (X)

那么

E [Y] = \int_{- \infty}^{\infty} g (t) \cdot f_{X} (t) d t

使用公式计算期望和方差 (Blatt07 T02)

重要连续分布

均匀分布

\begin{array}{l} f (x) = {\begin{cases} \frac{1}{b - a} & für x \in [a, b] \\ 0 & sonst. \end{cases} \\ F (x) = \int_{- \infty}^{x} f (t) d t = {\begin{cases} 0 & für x < a \\ \frac{x - a}{b - a} & für a \leq x \leq b \\ 1 & für x > b \end{cases} \\ E [X] = \frac{a + b}{2} und Var [X] = \frac{(a - b)^{2}}{12} \end{array}

正态分布

定义 91 正态分布

f (x) = \frac{1}{\sqrt{2 π} σ} \cdot \exp (- \frac{(x - μ)^{2}}{2 σ^{2}}) =: φ (x; μ, σ)

记为 $X \sim N (μ, σ^{2})$

分布函数

F (x) = \frac{1}{\sqrt{2 π} σ} \cdot \int_{- \infty}^{x} \exp (- \frac{(t - μ)^{2}}{2 σ^{2}}) d t =: Φ (x; μ, σ)

若

μ = 0, σ = 1

也叫标准正态分布，标准正态分布的分布函数也叫高斯

Φ

-函数。(一般可以查表看值)

高斯函数的性质

对于 $x \in \R$ 满足

Φ (- x) = 1 - Φ (x)

引理 92 定义

I := \int_{- \infty}^{\infty} e^{- x^{2} / 2} d x = \sqrt{2 π}

定理 93 正态分布的线性变换

若 $X$ 是一个正态分布的随机变量 $X \sim N (μ, σ^{2})$ . 那么对于任意的 $a \in R ∖ {0}$ 和 $b \in R$ . $Y = a X + b$ 也是正态分布 $Y \sim N (a μ + b, a^{2} σ^{2})$

定理 94 N(0,1) 期望方差

若 $X$ 是 $N (0, 1)$ 分布，那么

E [X] = 0 und Var [X] = 1

定理 95 N 期望方差

$X$ 满足 $N (μ, σ^{2})$ 分布, 那么

E [X] = μ und Var [X] = σ^{2}

秩生成函数

若 $Y \sim N (μ, σ^{2})$ 是正态分布

M_{Y} (t) = e^{t μ + (t σ)^{2} / 2}

指数分布

定义 96

一个随机变量 $X$ 是以 $λ > 0$ 的指数分布. 若满足密度函数

f (x) = {\begin{cases} λ \cdot e^{- λ x} & falls x \geq 0 \\ 0 & sonst \end{cases}

分布函数为

F (x) = \int_{0}^{x} λ \cdot e^{- λ t} d t = {[- e^{- λ t}]}_{0}^{x} = 1 - e^{- λ x}

$[X] =$ , $[X] =$

定理 97 指数随机变量的缩放

一个随机变量 $X$ 是以 $λ > 0$ 的指数分布. 对于 $a > 0$ 的随机变量 $Y := a X$ 也是一个指数分布的随机变量, 参数 $λ / a$ .

定理 98 无思想性

一个连续随机变量 $X$ 是指数的，当且仅当对于所有 $x, y > 0$ 满足

\Pr [X > x + y ∣ X > y] = \Pr [X > x]

指数分布与几何分布的极限

设一个几何分布的序列 $X_{n}$ , 参数为 $p_{n} = λ / n$ . 当 $n \to \infin$ 时，可以用 $Y_{n} = \frac{1}{n} X_{n}$ , 是参数为 $λ$ 的指数分布来逼近。

多个连续随机变量

多元密度函数

两个连续随机变量 $X, Y$ 可以这样表示 $f_{X, Y} : R^{2} \to R_{0}^{+}$ ：

\int_{- \infty}^{\infty} \int_{- \infty}^{\infty} f_{X, Y} (x, y) d x d y = 1

对于事件

A

\Pr [A] = \int_{A} f_{X, Y} (x, y) d x d y

定义 100 边缘分布Randverteilung

若 $f_{X, Y}$ 是随机变量 $X, Y$ 的密度函数. 那么边缘分布Randverteilung 是

F_{X} (x) = \Pr [X \leq x] = \int_{- \infty}^{x} [\int_{- \infty}^{\infty} f_{X, Y} (u, v) d v] d u

类似的

f_{X} (x) = \int_{- \infty}^{\infty} f_{X, Y} (x, v) d v

是

X

的边缘密度函数Randdichte

定义 101 独立性

两个连续随机变量 $X, Y$ 是独立的，若对于所有 $x, y \in R$ 满足

\Pr [X \leq x, Y \leq y] = \Pr [X \leq x] \cdot \Pr [Y \leq y]

类似的也有

F_{X, Y} (x, y) = F_{X} (x) \cdot F_{Y} (y)

f_{X, Y} (x, y) = f_{X} (x) \cdot f_{Y} (y)

多个事件的等待问题

定理 102 指数分布最小值

随机变量 $X_{1}, \dots, X_{n}$ 是独立的且是以参数 $λ_{1}, \dots, λ_{n}$ 指数分布. 那么 $X := min {X_{1}, \dots, X_{n}}$ 也是指数分布，以参数 $λ_{1} + \dots + λ_{n}$ .

泊松过程

对于给定 $t > 0$ , $T_{i}$ 是独立的相同的指数分布的随机变量,每个参数为 $λ$

X (t) := max {n \in N ∣ T_{1} + \dots + T_{n} \leq t}

X (t)

是泊松分布的随机变量，参数为

t λ

定理 105 随机变量加和

若 $X, Y$ 是独立的连续随机变量，对于 $Z := X + Y$ 满足

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X} (x) \cdot f_{Y} (z - x) d x

定理 106 正太分布的加和

随机变量 $X_{1}, \dots, X_{n}$ 是独立的且是以参数 $μ_{i}, σ_{i} (1 \leq i \leq n)$ 正态分布. 那么

Z := a_{1} X_{1} + \dots + a_{n} X_{n}

也是正态分布，期望值为

μ = a_{1} μ_{1} + \dots + a_{n} μ_{n}

方差为

σ^{2} = a_{1}^{2} σ_{1}^{2} + \dots + a_{n}^{2} σ_{n}^{2}

连续变量秩生成函数

连续随机变量和离散随机变量有相同的秩生成函数

M_{X} (s) = E [e^{X s}]

中心极限定理

定理108 中心极限值定理

随机变量 $X_{1}, \dots, X_{n}$ 有相同的分布且都互独立. 且期望和方差都存在并且记为 $μ$ 和 $σ^{2}$ .

随机变量 $Y_{n}$ 定义为 $Y_{n} := X_{1} + \dots + X_{n}$ . 那么

Z_{n} := \frac{Y_{n} - n μ}{σ \sqrt{n}}

是渐进的标准正太分布，也即是

Z_{n} \sim N (0, 1)

对于

n \to \infty

定理 109 de Moivre 棣莫弗—拉普拉斯定理

随机变量 $X_{1}, \dots, X_{n}$ 是伯努利分布且都互独立，有相同的成功概率 $p$ .那么

H_{n} := X_{1} + \dots + X_{n}

对于 $n \geq 1$ , 分布函数为

H_{n}^{*} := \frac{H_{n} - n p}{\sqrt{n p (1 - p)}}

当 $n \to \infin$ 时, $H_{n}^{*}$ 是渐进标准正态分布

定理 110 正太分布对于二项分布的极值

若 $H_{n} (n, p) $是一个二项分布的随机变量 . 分布$ H_{n} / n$ 趋近于 $N (p, p (1 - p) / n)$ 对于 $n \to \infty$ .

数理统计

定义 112 估计量

给定一个随机变量 $X$ 密度函数 $f (x; θ)$ . 一个估计量(Schätzvariable,Schätzer)是参数 $θ$ . 一个估计量 $U$ 是一个无偏估计(erwartungstreu)若

E [U] = θ

E [U - θ]

称作估计变量

U

的偏差(Bias).

定义 113 均方误差MSE

若估计变量 $A$ 比 $B$ 有一个小MSE. 那么 $A$ 就是比 $B$ 有效率 effizienter.

M S E := E [(U - θ)^{2}]

一个估计变量是在平方中部常数的. 若当 $n \to \infty$ 时 $M S E \to 0$ .

\begin{aligned} M S E = Var [\bar{X}] & = Var [\frac{1}{n} \sum_{i = 1}^{n} X_{i}] \\ = \frac{1}{n^{2}} \sum_{i = 1}^{n} Var [X_{i}] = \frac{1}{n} Var [X] \end{aligned}

定义 114 Stichprobenmittel 和 Stichprobenvarianz

样本均值和样本方差

\bar{X} := \frac{1}{n} \sum_{i = 1}^{n} X_{i} und S^{2} := \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

最大似然估计

似然估计函数

L (\vec{x}; θ) := \prod_{i = 1}^{n} f (x_{i}; θ)

定义 115 最大似然估计值

估计值 $\hat{θ}$ 是对于分布 $f (x; θ)$ 的参数的最大似然估计值

L (\vec{x}; θ) \leq L (\vec{x}; \hat{θ})

置信区间(Kondenzintervall)

我们要找2个估计量 $U_{1}, U_{2}$ ，使得.

\Pr [U_{1} \leq θ \leq U_{2}] \geq 1 - α

其中

1 - α

是Kondenzniveau置信水平.

由 $\bar{X} \sim N (μ, \frac{σ^{2}}{n})$ 得出

Z := \sqrt{n} \cdot \frac{\bar{X} - μ}{σ}

是标准正态分布. 然后变换成下面的式子

\Pr [- c \leq Z \leq c] = Φ (c) - Φ (- c) \overset{!}{=} 1 - α

再根据查表和题目条件即可解题

定义 118 分位数

$X$ 是随机变量，分布为 $F_{X}$ . 数 $x_{γ}$ 使得

F_{X} (x_{γ}) = γ

是

X

的

γ

-Quantil

定义 119 正态分布的分位数

对于正态分布 $z_{γ}$ 是它的 $γ$ -Quantil . 我们可以用这个来求置信区间

K = [\bar{X} - \frac{z {(1 - \frac{α}{2})}^{σ}}{\sqrt{n}}, \bar{X} + \frac{z_{(1 - \frac{α}{2})} σ}{\sqrt{n}}]

假设检验

检验的定义

K := {\vec{x} \in R^{n}; \vec{x} führt zurAblehnung der Hypothese}

$K$ 是拒绝域.

$\tilde{K} \subseteq R$ 是检验集合 $T$ 中拒绝域中的检验,

$H_{0}$ 是我们要检验的假设Nullhypothese. $H_{1}$ 是另一个假设 Alternative.

检验的错误

1类错误

$H_{0}$ 满足却被拒绝了

\begin{aligned} Fehlerwahrscheinlichkeit 1 . Art & = max_{p \in H_{0}} \Pr_{p} [T \in K] \\ = max_{p \in H_{0}} \Pr_{p} [T \leq k] \end{aligned}

计算是在

H_{0}

的概率里把所有在拒绝域的数量加起来

2类错误

$H_{0}$ 不满足却被接受了

\begin{aligned} Fehlerwahrscheinlichkeit 2 . Art & = sup_{p \in H_{1}} \Pr_{p} [T \notin K] \\ = sup_{p \in H_{1}} \Pr_{p} [T > k] \end{aligned}

计算就是把在接受区间里的

H_{1}

的概率加起来

1类错误的数量用 $α$ 来表示. 也叫显著性差异Signifikanzniveau.

二项检验

若是伯努利分布的随机变量，测试某个概率的大小

H_{0} : p \geq p_{0}, H_{1} : p < p_{0}

然后构造测试量, 用正态分布逼近

T := X_{1} + \dots + X_{n}, \tilde{T} := \frac{T - n p}{\sqrt{n p (1 - p)}}

Z < z_{α} ， Z \geq z_{1 - α}

根据具体情况选择拒绝域的公式

高斯检验

若 $X_{i}$ 服从正态分布

假设

$H_{0} : μ = μ_{0}$ gegen $H_{1} : μ \neq μ_{0}$ ,
$H_{0} : μ \geq μ_{0}$ gegen $H_{1} : μ < μ_{0}$ ,
$H_{0} : μ \leq μ_{0}$ gegen $H_{1} : μ > μ_{0}$ .

检验量

Z := \frac{\bar{X} - μ_{0}}{σ} \sqrt{n}

判断拒绝

$| Z | > z_{1 - α / 2}$ ,
$Z < z_{α}$
$Z > z_{1 - α}$ .

2次t-检验

若 $X_{i}$ 和 $Y_{i}$ 是独立且服从正态分布的随机变量

假设:

$H_{0} : μ_{X} = μ_{Y}$ ， $H_{1} : μ_{X} \neq μ_{Y}$ ,
$H_{0} : μ_{X} \geq μ_{Y}$ ， $H_{1} : μ_{X} < μ_{Y}$
$H_{0} : μ_{X} \leq μ_{Y}$ ， $H_{1} : μ_{X} > μ_{Y} .$

检验量

T := \sqrt{\frac{n + m - 2}{\frac{1}{m} + \frac{1}{n}}} \cdot \frac{\bar{X} - \bar{Y}}{\sqrt{(m - 1) \cdot S_{X}^{2} + (n - 1) \cdot S_{Y}^{2}}}

判断拒绝

$| T | > t_{m + n - 2, 1 - α / 2}$ ,
$T < t_{m + n - 2, α}$ ,
$T > t_{m + n - 2, 1 - α}$ .

卡方检验

$χ^{2}$ -Anpassungstest是卡方检验

若: $X_{1}, . . . X_{n}$ 是独立且相同的随机变量 $W_{X_{i}} = 1, . ., k$ 时可以使用

假设：

\begin{aligned} H_{0} : \Pr [X = i] = p_{i} i = 1, \dots, k, \\ H_{1} : \Pr [X = i] \neq p_{i} 至少存在 i \in {1, \dots, k}, \end{aligned}

检验量：

T = \sum_{i = 1}^{k} \frac{{(h_{i} - n p_{i})}^{2}}{n p_{i}}

判断拒绝

T > χ_{k - 1, 1 - α}^{2}

随机过程

离散时间处理

定义 123

一个在状态集合 $S = {0, \dots, n - 1}$ 有限的马尔科夫链(Markov-Kette) 由一个无限的随机变量序列 ${(X_{t})}_{t \in N_{0}}$ 组成. 它的值域是 $S$ , 开始分布Startverteilung 是 $q_{0} mit q_{0}^{T} \in R^{n}$ . $q_{0}$ 的元素都是非负的且加和为1. 对于下标集合 $I \subseteq {0, \dots, t - 1}$ 和任意状态 $i, j, s_{k} (k \in I)$ . 满足：

\begin{aligned} \Pr [X_{t + 1} = j ∣ X_{t} = i, \forall k \in I & : X_{k} = s_{k}] = \\ \Pr [X_{t + 1} = j ∣ X_{t} = i] \end{aligned}

并且

p_{i j} := \Pr [X_{t + 1} = j ∣ X_{t} = i]

$P = {(p_{i j})}_{0 \leq i, j < n}$ 是转移矩阵,例子

$p_{i, j}^{(n)}$ 是从 $i$ 到 $j$ 走 $n$ 步走到的概率

定义 126 步数

随机变量

T_{i j} := min {n \geq 0 ∣ X_{n} = j, wenn X_{0} = i}

从

i

走到

j

的步数.

h_{i j} := E [T_{i j}]

是期望.

f_{i j} := \Pr [T_{i j} < \infty]

是从

i

走到

j

的概率.

定义 127 到自己的步数

T_{i} := min {n \geq 1 ∣ X_{n} = i, wenn X_{0} = i}

是从 $i$ 开始又走回来的步数. 同理

f_{i} := \Pr [T_{i} < \infty]

是走回来的概率

定理 129 状态转移方程

\begin{array}{l} h_{i j} = 1 + \sum_{k \neq j} p_{i k} h_{k j} für alle i, j \in S, i \neq j \\ h_{j} = 1 + \sum_{k \neq j} p_{j k} h_{k j} \end{array}

\begin{array}{l} f_{i j} = p_{i j} + \sum_{k \neq j} p_{i k} f_{k j} für alle i, j \in S, i \neq j \\ f_{j} = p_{j j} + \sum_{k \neq j} p_{j k} f_{k j} \end{array}

定义 132 stationäre Verteilung稳定分布

这个分布满足

π = π \cdot P

同时

π

中加和是

1

定理 134 irreduzibel不可简化的

一个马尔科夫链是不可简化的，若对于所有状态对 $i, j \in S$ 存在 $n \in N$ 使得 $p_{i j}^{(n)} > 0$ .

也就是走几步一定可以到

定理 136 irreduzibel定理

一个不可简化的有限马尔科夫链只有1个稳定分布stationäre Verteilung, 并且满足 $π_{j} = 1 / h_{j j}$ für alle $j \in S$

定义 137 Periode周期

一个状态 $j$ 的 Periode 是最大的数 $ξ \in N$ , 使得

{n \in N_{0} ∣ p_{j j}^{(n)} > 0} \subseteq {i \cdot ξ ∣ i \in N_{0}}

一个状态的

ξ = 1

就是非周期性aperiodisch的. 若所有状态是非周期性的aperiodisch，那么这个马尔科夫链是非周期性aperiodisch的

定理138 aperiodisch非周期性

一个状态 $i \in S$ 是非周期性的aperiodisch, 当且仅当存在 $n_{0} \in N$ 使得对于所有 $n \in N, n \geq n_{0}$ ， $p_{i i}^{(n)} > 0$ 成立

定义 140 ergodisch可遍历的

不可简化的Irreduzibel 和非周期性 aperiodisch 的马尔科夫链是可遍历的ergodisch

定理 141 Fundamentalsatz für ergodische Markov-Ketten可遍历的马尔可夫链基本定理

对于所有有限的可遍历的ergodisch的马尔科夫链 ${(X_{t})}_{t \in N_{0}}$ 满足

lim_{n \to \infty} q_{n} = π

其中

π

是唯一的stationäre Verteilung.

离散概率空间

基础部分

定义1 离散概率空间

定义2 单位元事件

定义4 相对频繁度(relative Häufigkeit)

定义5 无限概率空间

定理8 性质

定理9 容斥原理(Siebformel)

条件概率

定义12 条件概率

定理16 乘法原理

定理18 全概率公式

定理19 贝叶斯公式

独立性(独立性)

定理 23

定理24

随机变量

定义25 随机变量

定义27 概率密度函数和分布函数

定义 29 期望

定理 32 期望的单调性

定理 33 期望的线性性

定理 34 期望计算公式

定义 35 条件期望

定理 36 条件期望计算期望

定义 38 方差和标准差

定理 39 方差和期望

定理 41 方差公式

定义 42 矩

多变量

随机变量的独立性

定义45 独立性

定理46 独立性扩展1

定理47 独立性扩展2

组合随机变量

定理49 独立的随机变量加和

组合随机变量的矩

定理50 期望的线性性

定理52 期望的乘积性

定义53 指示函数

定理54 方差加和

重要分布

伯努利分布

二项分布

定义 55 二项分布

定理 56 二项分布加和

几何分布

定义57 几何分布

一个性质

泊松分布

定理59 泊松分布随机变量加和

泊松分布与二项分布

概率的估计

不等式

定理60 马尔可夫不等式

定理 61 切比雪夫不等式

大数定律

定理 63 大数定律

切诺夫界

定理 64 切诺夫界 1

定理 66 切诺夫界 2

引理 67 切诺夫界扩展

推论 68 推论公式

概率生成函数

定义70 概率生成函数

定理71 函数的唯一性

伯努利分布

均匀分布 {0,...,n}

二项分布

几何分布

泊松分布

计算期望方差

定义74 秩生成函数

随机变量加和

定理75 和的生成函数

随机和

定理77 和的生成函数

连续概率空间

连续随机变量

定义79 连续随机变量

均匀分布 ${0, . . ., n}$