文章目录

1.RNN1.1 模型1.2 问题 2.LSTM2.1 RNN和LSMT模型对比2.2 sigmoid2.3 具体模块讲解2.3.1 总体2.3.2 细胞状态2.3.3 门2.3.3.1 遗忘门2.3.3.2 输入门2.3.3.3 输出门2.3.3.4 三个门总结 3.参考

1.RNN

提到LSTM不得不提到RNN，因为LSTM是一种特殊的RNN。但本文只会简单的介绍RNN！

1.1 模型

模型展开:

反向传播：

1.2 问题

简单的RNN模型有梯度消失、梯度爆炸以及不能很好解决长依赖等问题！而这些问题在LSTM中得到了很好地解决！

2.LSTM

2.1 RNN和LSMT模型对比

2.2 sigmoid

sigmoid是每个门都会用到的函数：

2.3 具体模块讲解

2.3.1 总体

接下来会选择 t 时刻的LSTM进行讲解，图中加号表示相加，乘号表示逐点相乘，σ表示sigmoid函数，tanh就是tanh函数：

2.3.2 细胞状态

2.3.3 门

2.3.3.1 遗忘门

2.3.3.2 输入门

更新C_t

2.3.3.3 输出门

2.3.3.4 三个门总结

3.参考

https://blog.csdn.net/qq_31278903/article/details/88690959 https://www.jianshu.com/p/9bd54a24bfc9