概率分布

二项分布

给定事件发生的概率 p,n 次试验中事件发生 k 次的概率:

$$ k \mapsto \mathrm{B}(k;n,p)=\begin{pmatrix}n\\k\end{pmatrix}p^k (1-p)^{n-k} $$

$\beta$ 分布

看作二项分布的似然函数归一化为概率的结果,在 $\alpha + \beta$ 次试验中: $\alpha$ 为事件发生的次数($|H|$),$\beta$ 为事件不发生的次数($|\neg H|$),Beta 分布表示了事件发生的概率有多大可能性取 p。

$$ p\mapsto \mathrm{Be}(p;\alpha,\beta)=\frac{p^{\alpha-1}(1-p)^{\beta-1}}{B(\alpha, \beta)} $$

B函数的形式类似与组合函数:

$$ B\left( {x,y}\right) = \frac{\left( {x - 1}\right) !\left( {y - 1}\right) !}{\left( {x + y - 1}\right) !} $$

$\alpha-1,\beta-1,B(\alpha,\beta)$ 均为归一化所作的数学处理

分布的核

概率分布$f(x)$由两部分组成:包含变量$x$的部分(称为**核),**以及归一化项。

后验概率和联合似然的核是一致的,因此可以通过联合似然的核的形式推出后验概率的分布函数(包括归一化因子)。

Guassian-Wishart 分布

高斯威沙特分布是多元正态分布(未知均值和方差)的共轭分布。

贝叶斯统计

<aside> 💭 贝叶斯是结合了先验信息的似然估计,它综合了总体信息、样本信息(from 似然函数)以及先验信息(from 先验概率)。

</aside>

共轭先验

共轭先验导出相同函数族的后验分布,这样做的优点:

  1. 简化计算