1575 字
8 分钟
我把循环神经网络从头读了一遍

读 Mamba 那批论文的时候,我发现自己对 RNN 的了解停在示意图上:LSTM 三个门各自叫什么记得,公式没推过。S4 的论文又反复拿 RNN 做对比,于是我决定把这条线从头读一遍,从 Hopfield 网络一路记到今天。这篇是我的笔记,按时间顺序排,公式都自己推过。

一张时间线#

时间工作留下了什么
1982Hopfield 网络对称权重、能量函数,网络状态随时间演化的思路
1986Jordan 网络把输出反馈回隐层
1990Elman 网络隐层自反馈,后来的 simple RNN
1990Werbos 的 BPTT沿时间反向传播的训练算法
1991Hochreiter 毕业论文指出梯度消失问题
1994Bengio 等人证明长程依赖学习困难
1997LSTM;同年双向 RNN梯度问题有了实用解法
2000遗忘门、peepholeLSTM 定型
2014GRU、seq2seq、attentionRNN 的全盛期
2017Transformer、SRU自注意力接棒;RNN 开始简化改造
2018IndRNN逐元素递归,稳定性可控
2021–2024S4、Mamba、minLSTM线性递归复兴

Elman 网络和 BPTT#

Hopfield 网络做的是联想记忆,不算序列模型。真正把「上一时刻的状态」用起来的起点,我记在 Jordan(1986)和 Elman(1990)这里。Jordan 把输出反馈回隐层,Elman 改成隐层自己反馈,这个结构活了下来:

ht=tanh⁡ ⁣(Wxh xt+Whh ht−1+bh)yt=softmax⁡ ⁣(Why ht+by)\begin{aligned} h_t &= \tanh\!\big(W_{xh}\,x_t + W_{hh}\,h_{t-1} + b_h\big) \\ y_t &= \operatorname{softmax}\!\big(W_{hy}\,h_t + b_y\big) \end{aligned}

训练用 BPTT:把网络沿时间展开成一条共享权重的链,误差从最后一个时刻一路反传。链式法则里最关键的一项,是 hTh_T 对 hth_t 的偏导:

∂hT∂ht=∏k=t+1Tdiag⁡ ⁣(tanh⁡′(⋅)) Whh⊤\frac{\partial h_T}{\partial h_t} = \prod_{k=t+1}^{T} \operatorname{diag}\!\big(\tanh'(\cdot)\big)\, W_{hh}^{\top}

每往回一步,就多乘一个 diag⁡(tanh⁡′(⋅)) Whh⊤\operatorname{diag}(\tanh'(\cdot))\,W_{hh}^{\top}。tanh⁡\tanh 的导数最大是 1,所以这一项的范数大致被 (γf γW)T−t\big(\gamma_f\,\gamma_W\big)^{T-t} 管着,其中 γf=1\gamma_f=1,γW\gamma_W 是 WhhW_{hh} 的谱范数:

∥∂hT∂ht∥  ≲  (γW)T−t\Big\Vert \frac{\partial h_T}{\partial h_t} \Big\Vert \;\lesssim\; \big(\gamma_W\big)^{T-t}

γW<1\gamma_W < 1 时梯度按指数衰减,这就是梯度消失;γW>1\gamma_W > 1 时指数爆炸。爆炸还能用梯度裁剪硬压,消失没有便宜的解法。Hochreiter 1991 年就在毕业论文里指出过,Bengio 等人 1994 年给出了完整分析。

LSTM:给梯度留一条不走矩阵的路#

LSTM(Hochreiter & Schmidhuber, 1997)的思路很直接:给梯度留一条不经过矩阵连乘的路。这条路叫 cell state,更新全是逐元素操作。原文里管它叫常数误差旋转(Constant Error Carousel),误差可以原封不动地在时间轴上转。

it=σ(Wixt+Uiht−1+bi)ft=σ(Wfxt+Ufht−1+bf)ot=σ(Woxt+Uoht−1+bo)gt=tanh⁡(Wgxt+Ught−1+bg)\begin{aligned} i_t &= \sigma\big(W_i x_t + U_i h_{t-1} + b_i\big) \\ f_t &= \sigma\big(W_f x_t + U_f h_{t-1} + b_f\big) \\ o_t &= \sigma\big(W_o x_t + U_o h_{t-1} + b_o\big) \\ g_t &= \tanh\big(W_g x_t + U_g h_{t-1} + b_g\big) \end{aligned}ct=ft⊙ct−1+it⊙gtht=ot⊙tanh⁡(ct)\begin{aligned} c_t &= f_t \odot c_{t-1} + i_t \odot g_t \\ h_t &= o_t \odot \tanh(c_t) \end{aligned}

把三个门先当成常数看,ctc_t 对 ct−1c_{t-1} 的偏导就是:

∂ct∂ct−1=diag⁡(ft)\frac{\partial c_t}{\partial c_{t-1}} = \operatorname{diag}(f_t)

遗忘门输出接近 1,梯度几乎原样传回;接近 0,对应位置的记忆被丢弃。门的具体数值由当前输入和上一时刻状态算出来,所以每条样本、每个位置该记住多少是学出来的,不是写死的。

1997 年的原版没有遗忘门,ff 恒为 1,记忆只能增不能清。遗忘门是 Gers 等人在 2000 年补上的,顺手还加了 peephole 连接,让门能直接看到 ct−1c_{t-1}。另一个后来常见的做法是训练时把遗忘门偏置初始化成 1(Jozefowicz 等,2015),让网络早期更愿意记住。

GRU:两个门的精简版#

GRU(Cho 等,2014)把 LSTM 砍到两个门:

zt=σ(Wzxt+Uzht−1+bz)rt=σ(Wrxt+Urht−1+br)nt=tanh⁡(Wnxt+Un(rt⊙ht−1)+bn)ht=(1−zt)⊙ht−1+zt⊙nt\begin{aligned} z_t &= \sigma\big(W_z x_t + U_z h_{t-1} + b_z\big) \\ r_t &= \sigma\big(W_r x_t + U_r h_{t-1} + b_r\big) \\ n_t &= \tanh\big(W_n x_t + U_n (r_t \odot h_{t-1}) + b_n\big) \\ h_t &= (1 - z_t) \odot h_{t-1} + z_t \odot n_t \end{aligned}

ztz_t 在旧状态和候选状态之间插值:zz 接近 0 时 ht≈ht−1h_t \approx h_{t-1},梯度原样通过。rtr_t 决定候选状态里旧状态占多大分量。参数大约是 LSTM 的四分之三。

至于谁更强,Jozefowicz 等(2015)和 Greff 等(2017)都做过大规模对比,结论是变体之间没有显著赢家,带大遗忘门的 LSTM 和 GRU 都在第一梯队。选哪个更多是工程习惯。

双向、编码解码和退场#

双向 RNN(Schuster & Paliwal, 1997)前后各扫一遍序列,音素识别这类任务靠它拿到两侧上下文。2014 年 seq2seq(Sutskever 等)把翻译做成编码解码:整个源句压进最后一个隐状态,再由解码器逐词生成。句子一长,单个向量就装不下,Bahdanau 同年用 attention 让解码每一步直接加权读取编码器所有状态,缓解了瓶颈。到 2017 年 Transformer 干脆把按时间顺序的递归整个去掉,自注意力并行计算,训练快出一个量级,RNN 从此退出主流 NLP。

线性递归的余波#

退场不等于死透。2017 年 SRU(Lei 等)把矩阵乘法改成只依赖 xtx_t,时间上的递归只剩逐元素运算,绝大部分计算可以并行。2018 年 IndRNN(Li 等)更进一步,隐层每维拆成独立的一维递归:

hn,t=ReLU⁡ ⁣(wn hn,t−1+un⊤xt+bn)h_{n,t} = \operatorname{ReLU}\!\big(w_n\,h_{n,t-1} + u_n^{\top}x_t + b_n\big)

矩阵递归退化成标量,稳定性直接靠约束 ∣wn∣|w_n| 保证,这是之前所有 RNN 都做不到的。

这条线走到 2021 年的 S4、2023 年的 Mamba:状态空间模型把线性递归 h′=Ah+Buh' = Ah + Bu 结构化,再配上并行扫描,训练和推理都快。2024 年甚至有人把 LSTM、GRU 删掉门之间的依赖后重新做成线性形式(minLSTM、minGRU),发现可以并行扫描训练,RNN 的直觉又回潮了。

我的下一步是把 S4 和 Mamba 的公式按同样的方式推一遍。

参考资料#

我把循环神经网络从头读了一遍
https://fuwari.vercel.app/posts/rnn-from-hopfield-to-gru/
作者
Hachi
发布于
2026-10-10
许可协议
CC BY-NC-SA 4.0
ESP32-C3、C5、C6、S3 怎么选
深入浅出ROS2-Fast DDS