Article Outline
1.随机变量
定义：如果一个随机试验的结果可以用一个变量来表示，那么该变量叫作<b>随机变量</b>b>
离散行随机变量：可以按照一定次序列出的随机变量，常用字母$\xi$、$\eta$等表示。
连续型随机变量：如果变量可以在某个区间任取一实数，即变量的取值是连续的。
表1 离散型随机变量$\xi$的分布列
| $\xi$ | $a_1$ | $a_2$ | $\dots$ | $a_n$ |
|---|---|---|---|---|
| P | $p_1$ | $p_2$ | $\dots$ | $p_n$ |
常见的概率分布有伯努利分布、二项分布、泊松分布和正太分布。
2.期望和方差
- 期望定义：假设离散型随机变量$\xi$的分布列如表1所示，则称$a_1p_1+a_2p_2+\ldots+a_np_n$为$\xi$的数学期望，记作$E\xi$。期望反映随机变量取值的平均和集中趋势，具有以下性质：
- 如果$\eta=a\xi+b$，则$E\eta=aE\xi+b$,a、b为常数
- $E(\xi_1+\xi_2)=E\xi_1+E\xi_2$
- 方差定义：假设离散型随机变量$\xi$的分布列如表1所示，则称$(a_1-E\xi)^2p_1+(a_2-E\xi)^2p_2+\ldots+(a_n-E\xi)^2p_n$为$\xi$的方差，记作$D\xi$,标准差为$\sqrt{D\xi}$。方差和标准差反应随机变量关于期望的稳定、集中与离散的程度。性质：
- $D(a\xi+b)=a^2D\xi$
- 如果$\xi \sim B(n,p)$，则$D\xi=np(1-p)$,B表示二项分布
3.伯努利分布
伯努利分布又称两点分布，其概率分布列如下：
| $\xi$ | 1 | 0 |
|---|---|---|
| P | p | 1-p |
设概率质量函数为： $$ f_X(x)=p^x(1-p)^{1-x}=\begin{equation} \begin{cases} p& \text{x=1}\ 1-p& \text{x=0} \end{cases} \end{equation} $$ 则随机变量$X$的期望为$p$，方差为$p(1-p)$
probs=np.array([0.6,0.4])
face=[0,1]
plt.bar(face,probs)
plt.title("Bernoulli Distribution",fontsize=12)
plt.ylabel("prob",fontsize=12)
plt.xlabel("x",fontsize=12)
axes=plt.gca()
axes.set_ylim([0,1])
4.二项分布
二项分布即独立的进行n词伯努利实验，如果概率分布列如下，则称$\xi$服从伯努利分布。伯努利分布是二项式分布中n=1的情形。
| $\xi$ | 0 | 1 | 2 | $\dots$ | n |
|---|---|---|---|---|---|
| P | $C_n^0p^0(1-p)^n$ | $C_n^1p^1(1-p)^{n-1}$ | $C_n^2p^2(1-p)^{n-2}$ | $\ldots$ | $C_n^np^n(1-p)^0$ |
当一次实验中有多余两种可能的结果，则二项式分布扩展为多项式分布。
import numpy as np
import matplotlib.pyplot as plt
import math
import scipy.stats as stats
import seaborn as sns
for prob in range(3,10,3):
x=np.arange(0,25)
binom=stats.binom.pmf(x,20,0.1*prob)
plt.plot(x,binom,"-o",label="p={:f}".format(0.1*prob))
plt.xlabel('Random Variable', fontsize=12)
plt.ylabel('Probability', fontsize=12)
plt.title("Binomial Distribution varying p")
plt.legend()
5.泊松分布
如果$\xi$的概率分布列为： $$ P(X=K)=\frac{\lambda ^k}{k!}e^{-\lambda},(k=0,1,...,n) $$ 则称$\xi$服从泊松分布。其中,$\lambda$表示单位时间或者单位面积内随机事件发生的平均概率，当二项式的n很大而p很小时，泊松分布是二项式分布的近似。泊松分布适合描述在单位时间、单位空间内罕见事件发生次数的分布。
for lambd in range(2, 8, 2):
n = np.arange(0, 10)
poisson = stats.poisson.pmf(n, lambd)
plt.plot(n, poisson, '-o', label="λ = {:f}".format(lambd))
plt.xlabel('Number of Events', fontsize=12)
plt.ylabel('Probability', fontsize=12)
plt.title("Poisson Distribution varying λ")
plt.legend()
6.正态分布
$$ f(x;\eta,\sigma)=ae^{\frac{-(x-\eta)^2}{2\sigma^2}} $$
如果一个函数形如上式，其中,$a,\eta,\sigma$为实数常数，且$a>0$，则称其为高斯函数。
如果随机变量$x$服从一个位置参数为$\eta$、尺寸参数为$\sigma$的概率分布，并且其概率密度函数为： $$ \phi(x)=\frac{1}{\sqrt{2\pi\sigma}}e^{\frac{-(x-\eta)^2}{2\sigma^2}} $$ 则随机变量$X$服从正太分布，右称高斯分布。
import numpy as np
import matplotlib.pyplot as plt
import math
u=1 #均值
u01=-2
sig=math.sqrt(0.2) #标准差
x=np.linspace(u-3*sig,u+3*sig,50)
y_sig=np.exp(-(x-u)**2/(2*sig**2))/(math.sqrt(2*math.pi)*sig)
print(x)
print("="*20)
print(y_sig)
plt.plot(x,y_sig,"r-",linewidth=2)
plt.grid(True)
plt.show()
7.条件概率、联合概率和全概率
定义：如果$A$和$B$是两个事件，且$P(B)\neq 0$,那么在给定$B$的条件下,$A$发生的概率为: $$ P(A|B)=\frac{P(A \bigcap B )}{P(B)} $$ 其中$P(A \bigcap B)$是联合概率，表示$A$和$B$同时发生的概率，也可记作$P(A,B)$
假设$B_n:1,2,3,\ldots$为有限或者无限个事件，它们两两互斥并且在每次试验中至少有一个发生，则称$B_n$为一完备事件组，且每个集合$B_n$都是一个可测集合，则对任意事件$A$有全概率公式：
$$ P(A)=\sum_nP(A\bigcap B)=\sum _nP(A|B_n)P(B_n) $$
8.先验概率和后验概率
先验概率（prior probability）：指根据以往经验和分析。在实验或采样前就可以得到的概率。
后验概率（posterior probability）：指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。
9.贝叶斯公式
- 定义：设$B_1,B_2,\ldots,B_n$是互不相容的非零概率事件完备系，则对任意非零概率的事件$A$和$k=1,\ldots,n$，有
$$ P(B_k|A)=\frac{P(B_k)P(A|B_k)}{\sum_{j=1}^nP(B_j)P(A|B_j)} $$
10.最大似然估计
在机器学习中，似然函数是一种关于模型中参数的函数。似然函数基于参数的似然性，"似然性"与“概率”的意思很近，但又有所区别。概率用于在已知参数的情况下，预测接下来的观测发生的结果；似然性用于根据一些观测结果，估计给定模型的参数可能值。假设$X$是观测结果序列，它的概率分布$f(x)$依赖参数$\theta$,则似然函数表示为 $$ L(\theta|x)=f_\theta(x)=P_\theta(X=x) $$ 最大似然估计的思想是假设每个观测结果$x$是独立同分布的，通过似然函数$L(\theta|x)$求观测结果$X$发生的概率最大的参数$\theta$，即$argmax_\theta f(X;\theta)$。比如在伯努利分布中,参数$\theta$就是$P$;在泊松分布中，$\theta$代表$\lambda$。
求解最大似然估计的一般步骤如下：
- 写出似然函数
- 对似然函数取对数，得到对数似然函数
- 求对数似然函数的关于参数组的偏导数，并令其为0，得到似然方程组
- 解似然函数，得到参数组的值
参考
[1] <<智能问答与深度学习>>