常见概率分布小记

2020-05-16 笔记本

概率,或许没有数论那么梦幻,但说不准能让你在饭桌上少抽中「头签」,一眼看破一些无聊的商业把戏。不过本文还不及这么有趣,只是记录一下几种简单的概率分布而已。

伯努利分布

伯努利分布(Bernoulli distribution)又称两点分布或 0-1 分布。

指的是一个单次事件,只有两种可能结果:成功(1)或失败(0)。

对于一个随机变量 XX

P(x=1)=pP(x = 1) = p

P(x=0)=1pP(x = 0) = 1 - p

其概率质量函数(离散随机变量特定取值的概率)为:

fx(x)=px(1p)1x={p,x=11p,x=0fx(x) = p^x \cdot (1-p)^{1-x} = \left\{\begin{matrix} p, & x = 1 \\ 1-p, & x = 0 \end{matrix}\right.

其数学期望为:

E(X)=01xifx(x)=0+p=pE(X) = \sum_0^1 x_i \cdot fx(x) = 0 + p = p

其方差为:

var(X)=01(xiE(X))2fx(xi)=(0p)2(1p)+(1p)2p=pqvar(X) = \sum_0^1 (x_i - E(X))^2 \cdot fx(x_i) = (0 - p)^2 \cdot (1 - p) + (1 - p)^2 \cdot p = pq

二项分布

对于 n 个 0-1 独立的 0-1 实验中的成功次数离散概率分布,其中每单次成功概率为 pp。当 n=1n = 1 时,问题退化回伯努利分布。

如果随机变量 XX 服从二项分布,则记为:XB(n,p)X \sim B(n,p)

n 次实验正好得到 k 次成功的概率为:

f(k;n,p)=Cnkpn(1p)nkf(k; n,p) = C_n^k \cdot p^n \cdot (1-p)^{n-k}

其中 CnkC_n^k(也常记为 (nk)\binom{n}{k})为组合数/二项式系数。

这个公式的意义:我们希望有 kk 次成功即 nkn-k 次失败,先从 nn 个位置中任意抽取 kk 个位置(CnkC_n^k),并让这 kk 个位置成功(pkp^k),让剩下 nkn - k 个位置失败((1p)nk(1 - p)^{n-k})。

一般的二项分布是 nn 次独立伯努利实验的和,它的期望和方差分别就是每次单独实验的期望和方差的和:

E(X)=npE(X) = np

var(X)=np(1p)var(X) = np(1-p)

超几何分布

对于有限个物体集合,不放回地抽取 nn 个满足某些条件的。

例如有总共 NN 个物品,其中 KK 个被标记。超几何分布描述了从中抽取 nn 个恰好有 kk 个被标记的概率:

f(k;n,N,K)=CKkCNKnkCNnf(k;n,N,K) = \frac{C_K^k \cdot C_{N-K}^{n-k}}{C_N^n}

上式意义为:CNnC_N^n 为从 NN 个中取 nn 个的总方法数,CKkC_K^k 表示从 KK 个被标记的中选取 kk 个,CNKnkC_{N-K}^{n-k} 即从剩下 NKN-K 个未被标记的中选取 nkn-k 个补齐。

n=1n = 1 时,超几何分布还原回伯努利分布。

正态分布

正态分布又称高斯分布,一个常见的连续概率分布(上述均为离散概率分布)。若一个随机变量 XX 服从一个位置参数 μ\mu 和尺度参数 σ\sigma 的正态分布,记为 XN(μ,σ2)X \sim N (\mu, \sigma ^2)

则其概率密度函数为:

f(x;μ,σ)=1σ2πe(xμ)22σ2f(x; \mu, \sigma) = \frac{1}{\sigma \sqrt{2 \pi}} \cdot e^{- \frac{(x - \mu)^2}{2 \sigma ^2}}

概率质量函数与概率密度函数都是描述随机变量取特定值的概率,只不过前者针对离散随机变量而言,而后者针对连续随机变量而言。

正态分布的期望即位置参数 μ\mu,决定分布的位置;标准差即尺度参数 σ\sigma,决定分布的幅度。

对于任何实数 a,b(a<b)a,b \ (a<b),任何一个随机变量 XX 满足 a<Xba < X \leq b 的概率为:

P(a<Xb)=abf(x;μ,σ)dxP(a<X \leq b) = \int_{a}^{b} f(x;\mu, \sigma) dx

特别的:

  • 函数曲线 68.268949% 的面积在 (μσ,μ+σ)(\mu - \sigma,\mu + \sigma) 范围内
  • 函数曲线 95.449974% 的面积在 (μ2σ,μ+2σ)(\mu - 2 \sigma,\mu + 2 \sigma) 范围内
  • 函数曲线 99.730020% 的面积在 (μ3σ,μ+3σ)(\mu - 3 \sigma,\mu + 3 \sigma) 范围内
  • 函数曲线 99.993666% 的面积在 (μ4σ,μ+4σ)(\mu - 4 \sigma,\mu + 4 \sigma) 范围内

也正因如此,我们一般不去讨论距离 μ\mu 超过 4σ4 \sigma 的区间。


(To be continued...)

本文作者:ChrAlpha

文章默认使用 CC BY-NC-SA 4.0 协议进行许可,使用时请注意遵守协议。

本文链接: https://blog.ichr.me/post/some-common-probability-distributions/

笔记本

评论

您所在的地区可能无法访问 Disqus 评论系统,请切换网络环境再尝试。