通过B站，理解了逻辑回归和交叉熵： Q: 逻辑回归为什么不可以叫逻辑分类？ A: 用回归的方法（找到不同类别之间的分界线）解决逻辑分类问题（包括二分类和多分类问题）。
基于sigmoid的二分类问题的交叉熵 sigmoid的输出是[0,1]这是一个概率的范围。 对于二分类问题，给定一个数据[x, y l a b e l y_{label} ylabel], 预测值为 y p r e d y_{pred} ypred.
当 y l a b e l y_{label} ylabel为0时，损失函数表示为-log(1- y p r e d y_{pred} ypred)，如果 y p r e d y_{pred} ypred为1，则损失函数会接近无穷大。这与目标的最小化损失违背，迫使神经网络重新搜寻更优解。反之，损失函数为0，符合预期。
当 y l a b e l y_{label} ylabel为1时，损失函数表示为-log( y p r e d y_{pred} ypred)，如果 y p r e d y_{pred} ypred为0，则损失函数会接近无穷大。这与目标的最小化损失违背，迫使神经网络重新搜寻更优解。反之，损失函数为0，符合预期。
交叉熵将两者组合起来，得到的形式为： - y l a b e l y_{label} ylabel*log( y p r e d y_{pred} ypred)-(1- y l a b e l y_{label} ylabel)*log(1- y p r e d y_{pred} ypred)
