逻辑回归：
假设函数
逻辑函数
代价函数
防止过拟合的代价函数
逻辑回归通常用于解决分类问题，最终要预测的结果是离散的值，分类通常有二元分类和多元分类/n元分类。
针对二元分类，如 0-1分类， 的结果表示根据选择的参数计算输出变量=1的可能性，eg. = 0.7，表示有70%的概率 y=1，30%的概率 y=0.
针对多元分类，如邮件分类：有来自家人的邮件、来自工作的邮件、来自朋友的邮件、有关兴趣爱好邮件，这四类可分别用y=1、y=2、y=3、y=4来代表，多元分类可转化为多次二元分类来解决，参考示例：
将x=k划分到 max h(x)对应的那一类。
逻辑回归模型最后计算输出的只有1个，而神经网络可以有多个。逻辑回归可以看成是满足两个条件的神经网络：
1、只有输入层和输出层（单层神经网络）
2、输出层只有一个神经元
上图为逻辑回归的画法，逻辑回归分为线性回归和非线性变换两部分。
而在神经网络中只有输入层、隐藏层和输出层，每个隐藏层或输出层的值都是由上一层神经元经过加权求和与非线性变换而得到的（其中非线性变换函数又称激活函数），因此基于逻辑回归的神经网络画法如下：
上图只有一个输入层和一个输出层，推广到多层或多个输出神经元的神经网络如下：
假设：
训练样本数为m
神经网络总层数为L
每层神经元的个数为
输出层特征个数为K ，
下面开始逐层计算隐藏层和输出层，如下：
其中 l (1，L-1)，L-1是由于最后一层是输出层、不用再计算，只在倒数第二层就结束了；
j (1，)，是因为在神经网络中对的维度/尺寸的定义是：
因此，矩阵的列数会一直计算到倒数第二层，假设倒数第二层的神经元个数为，则行数会计算到最后一层。
