统计学习方法（六）：逻辑斯蒂回归和最大熵模型

逻辑斯蒂回归：判别模型，分类

二项逻辑斯蒂回归思路： 线性回归的预测值为一系列实值，为了使输出值变成分类所需的0和1，需要有一个映射将线性回归的输出变在（0，1）之间。这个函数为sigmoid函数。 $$sigmoid(x)=\frac{1}{1+{\mathrm{e}}^{-x}}$$ 将线性函数y = wx+b 先合并b到矩阵中：y = w’x’，代入到sigmoid函数中： $$y(x)=\frac{1}{1+{\mathrm{e}}^{-wx}}$$ 但是现在只是将输出限定在（0，1）间，还没有完成0、1二分类，应该出现一个阈值作为0或者1的判断界限。这个阈值就是要学习的东西，反映在参数上就是w和b。 $$p_1=P(Y=1\mid x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$$ $$p_0=P(Y=0\mid x)=\frac{1}{1+\exp (w\cdot x)}$$ $$P(y\mid x)=p_1^y{p}_0^{1-y}$$ 那么目的就是将$P(y\mid x)$最大化，输出使它最大化的w和b 具体推导： 其中的$\phi$表示$\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$

二项逻辑斯蒂回归可以推广至多项逻辑斯蒂回归，原理使一样的，只是分类不在只是0和1。

最大熵模型：判别模型

核心：解决约束最优化问题

思想：在给定训练集下，即给定约束(经验知识)下，能够得到符合约束的条件概率模型集合{P(y|X)}。其中，约束通过特征函数关联到条件概率，条件概率通过熵进行选择。

最大熵：在约束条件的情况下，会出现很多个满足约束条件的模型，其中该选哪一个呢？选择熵最大的，也就是最无法确定的是最符合自然规律的。

推导：根据约束和最大熵变为约束最优化问题，也就是一个方程组。 $$\begin{array}{cl}{\max }_{P\in C}& H(P)=-{\sum }_{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)\\ \text{ s.t. }& E_P\left(f_i\right)=E_{\tilde{p}}\left(f_i\right),i=1,2,\cdots ,n\\ & {\sum }_{y}P(y\mid x)=1\end{array}$$

这里的约束条件是：训练集样本经验分布的期望$E_{\tilde{p}}\left(f_i\right)$=模型的期望$E_P\left(f_i\right)$。以及所有情况的条件概率和为1。 这里的最大熵为：$P(y\mid x)$的条件熵，也就是：$$\underset{p_{ϵ}\mathbf{C}}{\max }H(P)=-\sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)$$这里转化为高数问题，运用拉格朗日乘子法计算约束问题