《Deep Learning》第五章笔记（上）

Deep Learning 第五章

1.基本假设（独立同分布~iid）

​ 训练集与数据集的样本独立的由分布函数$p_{data}$产生

2.估计

​ $p_{model}(x;\theta )$为一族由θ确定的在相同空间上的概率分布。​ 使用这一分布来将输入$x$映射到实数来估计真实概率分布$p_{data}(x)$

3.最大似然估计（MLE)

​ 定义：${\theta }_{ML}=\arg {\max }_{\theta }{p}_{model}(\mathbb{X};\theta )=\arg {\max }_{\theta }{\prod }_{i=1}^m{p}_{model}(x^{(i)};\theta )$​ log形式：$\arg {\max }_{\theta }{\sum }_{i=1}^{m}log{p}_{model}(x^{(i)};\theta )$

4.MLE与loss function联系 $$MLE\to 最小化KL散度\to 最小化交叉熵\to 最小化(负对数似然组成的)损失函数$$

自信息：$I(x)=-logP(x)$

香农熵：$H(x)={\mathbb{E}}_{x\sim P}[I(x)]=-{\mathbb{E}}_{x\sim P}[logP(x)]$

H(x)为X=x中所用自信息的均值，故也可以写作$H(x)=-{\sum }_{x}P(x)logP(x)$

KL散度定义:对同一随机变量x有两个单独的概率分布P(x)和Q(x)，可以用KL散度衡量分布间的差异

$D_{KL}(P||Q)={\mathbb{E}}_{x\sim P}[log\frac{P(x)}{Q(x)}]={\mathbb{E}}_{x\sim P}[logP(x)-log(Q(x))]$

交叉熵定义:$H(P,Q)=H(P)+D_{KL}(P||Q),H(P,Q)=-{\mathbb{E}}_{x\sim P}logQ(x)$

Q对应定义在的模型上的分布，P对应定义在训练集上的经验分布，可以使用最小化KL散度的方式，来用Q来拟合P，又因为在P确定时，H§为常数，此时最小化KL散度等价于最小化交叉熵。 $$\begin{gathered} argmi{n}_{\theta }H(P,Q)=argmi{n}_{\theta }-{\mathbb{E}}_{x\sim P}logQ(x)=argma{x}_{\theta }{\mathbb{E}}_{x\sim P}logQ(x) \\ 由上方对数MLE定义：{\theta }_{ML}=\arg \underset{\theta }{\max }\sum _{i=1}^{m}log{p}_{model}(x^{(i)};\theta ), \\ {\theta }_{ML}除以m可以得到argma{x}_{\theta }{\mathbb{E}}_{x\sim {\hat{P}}_{data}}log{p}_{model}(x), \\ {\hat{p}}_{data}对应P,p_{model}对应Q, \\ argma{x}_{\theta }{\mathbb{E}}_{x\sim {\hat{P}}_{data}}log{p}_{model}(x)=argma{x}_{\theta }{\mathbb{E}}_{x\sim P}logQ(x)=argmi{n}_{\theta }H(P,Q) \end{gathered}$$ 这里不是很懂$argma{x}_{\theta }{\mathbb{E}}_{x\sim {\hat{P}}_{data}}log{p}_{model}(x)为什么等于arg{\max }_{\theta }\frac{1}{m}{\sum }_{i=1}^{m}log{p}_{model}(x^{(i)};\theta )$,似乎是估计时默认${\hat{p}}_{data}$为均匀分布。