读 Mamba 那批论文的时候,我发现自己对 RNN 的了解停在示意图上:LSTM 三个门各自叫什么记得,公式没推过。S4 的论文又反复拿 RNN 做对比,于是我决定把这条线从头读一遍,从 Hopfield 网络一路记到今天。这篇是我的笔记,按时间顺序排,公式都自己推过。
一张时间线
| 时间 | 工作 | 留下了什么 |
|---|---|---|
| 1982 | Hopfield 网络 | 对称权重、能量函数,网络状态随时间演化的思路 |
| 1986 | Jordan 网络 | 把输出反馈回隐层 |
| 1990 | Elman 网络 | 隐层自反馈,后来的 simple RNN |
| 1990 | Werbos 的 BPTT | 沿时间反向传播的训练算法 |
| 1991 | Hochreiter 毕业论文 | 指出梯度消失问题 |
| 1994 | Bengio 等人 | 证明长程依赖学习困难 |
| 1997 | LSTM;同年双向 RNN | 梯度问题有了实用解法 |
| 2000 | 遗忘门、peephole | LSTM 定型 |
| 2014 | GRU、seq2seq、attention | RNN 的全盛期 |
| 2017 | Transformer、SRU | 自注意力接棒;RNN 开始简化改造 |
| 2018 | IndRNN | 逐元素递归,稳定性可控 |
| 2021–2024 | S4、Mamba、minLSTM | 线性递归复兴 |
Elman 网络和 BPTT
Hopfield 网络做的是联想记忆,不算序列模型。真正把「上一时刻的状态」用起来的起点,我记在 Jordan(1986)和 Elman(1990)这里。Jordan 把输出反馈回隐层,Elman 改成隐层自己反馈,这个结构活了下来:
训练用 BPTT:把网络沿时间展开成一条共享权重的链,误差从最后一个时刻一路反传。链式法则里最关键的一项,是 对 的偏导:
每往回一步,就多乘一个 。 的导数最大是 1,所以这一项的范数大致被 管着,其中 , 是 的谱范数:
时梯度按指数衰减,这就是梯度消失; 时指数爆炸。爆炸还能用梯度裁剪硬压,消失没有便宜的解法。Hochreiter 1991 年就在毕业论文里指出过,Bengio 等人 1994 年给出了完整分析。
LSTM:给梯度留一条不走矩阵的路
LSTM(Hochreiter & Schmidhuber, 1997)的思路很直接:给梯度留一条不经过矩阵连乘的路。这条路叫 cell state,更新全是逐元素操作。原文里管它叫常数误差旋转(Constant Error Carousel),误差可以原封不动地在时间轴上转。
把三个门先当成常数看, 对 的偏导就是:
遗忘门输出接近 1,梯度几乎原样传回;接近 0,对应位置的记忆被丢弃。门的具体数值由当前输入和上一时刻状态算出来,所以每条样本、每个位置该记住多少是学出来的,不是写死的。
1997 年的原版没有遗忘门, 恒为 1,记忆只能增不能清。遗忘门是 Gers 等人在 2000 年补上的,顺手还加了 peephole 连接,让门能直接看到 。另一个后来常见的做法是训练时把遗忘门偏置初始化成 1(Jozefowicz 等,2015),让网络早期更愿意记住。
GRU:两个门的精简版
GRU(Cho 等,2014)把 LSTM 砍到两个门:
在旧状态和候选状态之间插值: 接近 0 时 ,梯度原样通过。 决定候选状态里旧状态占多大分量。参数大约是 LSTM 的四分之三。
至于谁更强,Jozefowicz 等(2015)和 Greff 等(2017)都做过大规模对比,结论是变体之间没有显著赢家,带大遗忘门的 LSTM 和 GRU 都在第一梯队。选哪个更多是工程习惯。
双向、编码解码和退场
双向 RNN(Schuster & Paliwal, 1997)前后各扫一遍序列,音素识别这类任务靠它拿到两侧上下文。2014 年 seq2seq(Sutskever 等)把翻译做成编码解码:整个源句压进最后一个隐状态,再由解码器逐词生成。句子一长,单个向量就装不下,Bahdanau 同年用 attention 让解码每一步直接加权读取编码器所有状态,缓解了瓶颈。到 2017 年 Transformer 干脆把按时间顺序的递归整个去掉,自注意力并行计算,训练快出一个量级,RNN 从此退出主流 NLP。
线性递归的余波
退场不等于死透。2017 年 SRU(Lei 等)把矩阵乘法改成只依赖 ,时间上的递归只剩逐元素运算,绝大部分计算可以并行。2018 年 IndRNN(Li 等)更进一步,隐层每维拆成独立的一维递归:
矩阵递归退化成标量,稳定性直接靠约束 保证,这是之前所有 RNN 都做不到的。
这条线走到 2021 年的 S4、2023 年的 Mamba:状态空间模型把线性递归 结构化,再配上并行扫描,训练和推理都快。2024 年甚至有人把 LSTM、GRU 删掉门之间的依赖后重新做成线性形式(minLSTM、minGRU),发现可以并行扫描训练,RNN 的直觉又回潮了。
我的下一步是把 S4 和 Mamba 的公式按同样的方式推一遍。
参考资料
- Hopfield: Neural networks and physical systems with emergent collective computational abilities (1982)
- Jordan: Serial Order: A Parallel Distributed Processing Approach (1986)
- Elman: Finding Structure in Time (1990)
- Hochreiter: Untersuchungen zu dynamischen neuronalen Netzen (1991)
- Bengio et al.: Learning Long-Term Dependencies with Gradient Descent is Difficult (1994)
- Hochreiter & Schmidhuber: Long Short-Term Memory (1997)
- Schuster & Paliwal: Bidirectional Recurrent Neural Networks (1997)
- Gers et al.: Learning to Forget (2000)
- Cho et al.: Learning Phrase Representations using RNN Encoder–Decoder (2014)
- Jozefowicz et al.: An Empirical Exploration of Recurrent Network Architectures (2015)
- Greff et al.: LSTM: A Search Space Odyssey (2017)
- Sutskever et al.: Sequence to Sequence Learning with Neural Networks (2014)
- Bahdanau et al.: Neural Machine Translation by Jointly Learning to Align and Translate (2014)
- Vaswani et al.: Attention Is All You Need (2017)
- Lei et al.: Simple Recurrent Units for Highly Parallelizable Recurrence (2017)
- Li et al.: Independently Recurrent Neural Network (IndRNN) (2018)
- Gu et al.: Efficiently Modeling Long Sequences with Structured State Spaces (S4, 2021)
- Gu & Dao: Mamba: Linear-Time Sequence Modeling with Selective State Spaces (2023)
- Feng et al.: Were RNNs All We Needed? (2024)