常见概率分布小记

概率,或许没有数论那么梦幻,但说不准能让你在饭桌上少抽中「头签」,一眼看破一些无聊的商业把戏。不过本文还不及这么有趣,只是记录一下几种简单的概率分布而已。

伯努利分布

伯努利分布(Bernoulli distribution)又称两点分布或 0-1 分布。

指的是一个单次事件,只有两种可能结果:成功(1)或失败(0)。

对于一个随机变量 $X$ :

$$
P(x = 1) = p
$$

$$
P(x = 0) = 1 - p
$$

其概率质量函数(离散随机变量特定取值的概率)为:

$$
fx(x) = p^x \cdot (1-p)^{1-x}
$$

其数学期望为:

$$
E(X) = \sum_0^1 x_i \cdot fx(x) = 0 + p = p
$$

其方差为:

$$
var(X) = \sum_0^1 (x_i - E(X))^2 \cdot fx(x_i) = (0 - p)^2 \cdot (1 - p) + (1 - p)^2 \cdot p = pq
$$

二项分布

对于 n 个 0-1 独立的 0-1 实验中的成功次数离散概率分布,其中每单次成功概率为 $p$。当 $n = 1$ 时,问题退化回伯努利分布。

如果随机变量 $X$ 服从二项分布,则记为:$X \sim B(n,p)$。

n 次实验正好得到 k 次成功的概率为:

$$
f(k; n,p) = C_n^k \cdot p^n \cdot (1-p)^{n-k}
$$

其中 $C_n^k$(也常记为 $\binom{n}{k}$)为组合数/二项式系数。

这个公式的意义:我们希望有 $k$ 次成功即 $n-k$ 次失败,先从 $n$ 个位置中任意抽取 $k$ 个位置($C_n^k$),并让这 $k$ 个位置成功($p^k$),让剩下 $n - k$ 个位置失败($(1 - p)^{n-k}$)。

一般的二项分布是 $n$ 次独立伯努利实验的和,它的期望和方差分别就是每次单独实验的期望和方差的和:

$$
E(X) = np
$$

$$
var(X) = np(1-p)
$$

超几何分布

对于有限个物体集合,不放回地抽取 $n$ 个满足某些条件的。

例如有总共 $N$ 个物品,其中 $K$ 个被标记。超几何分布描述了从中抽取 $n$ 个恰好有 $k$ 个被标记的概率:

$$
f(k;n,N,K) = \frac{C_K^k \cdot C_{N-K}^{n-k}}{C_N^n}
$$

上式意义为:$C_N^n$ 为从 $N$ 个中取 $n$ 个的总方法数,$C_K^k$ 表示从 $K$ 个被标记的中选取 $k$ 个,$C_{N-K}^{n-k}$ 即从剩下 $N-K$ 个未被标记的中选取 $n-k$ 个补齐。

当 $n = 1$ 时,超几何分布还原回伯努利分布。

正态分布

正态分布又称高斯分布,一个常见的连续概率分布(上述均为离散概率分布)。若一个随机变量 $X$ 服从一个位置参数 $\mu$ 和尺度参数 $\sigma$ 的正态分布,记为 $X \sim N (\mu, \sigma ^2)$。

则其概率密度函数为:

$$
f(x; \mu, \sigma) = \frac{1}{\sigma \sqrt{2 \pi}} \cdot e^{- \frac{(x - \mu)^2}{2 \sigma ^2}}
$$

概率质量函数与概率密度函数都是描述随机变量取特定值的概率,只不过前者针对离散随机变量而言,而后者针对连续随机变量而言。

正态分布的期望即位置参数 $\mu$,决定分布的位置;标准差即尺度参数 $\sigma$,决定分布的幅度。

对于任何实数 $a,b \ (a<b)$,任何一个随机变量 $X$ 满足 $a < X \leq b$ 的概率为:

$$
P(a<X \leq b) = \int_{a}^{b} f(x;\mu, \sigma) dx
$$

特别的:

  • 函数曲线 68.268949% 的面积在 $(\mu - \sigma,\mu + \sigma)$ 范围内
  • 函数曲线 95.449974% 的面积在 $(\mu - 2 \sigma,\mu + 2 \sigma)$ 范围内
  • 函数曲线 99.730020% 的面积在 $(\mu - 3 \sigma,\mu + 3 \sigma)$ 范围内
  • 函数曲线 99.993666% 的面积在 $(\mu - 4 \sigma,\mu + 4 \sigma)$ 范围内

也正因如此,我们一般不去讨论距离 $\mu$ 超过 $4 \sigma$ 的区间。


(To be continued…)

常见概率分布小记
本文作者
ChrAlpha
最后更新
2020-05-16
许可协议
转载或引用本文时请遵守许可协议,注明出处、不得用于商业用途!

评论

您所在的地区可能无法访问 Disqus 评论系统,请切换网络环境再尝试。