卷积神经网络 (CNN)

卷积用小核在图像上滑动做局部加权求和：
$(f*k)(i,j)=\sum_{m,n} f(i+m,,j+n),k(m,n)$
参数共享与局部感受野大幅减少参数并带来平移不变性；池化做降采样、压缩信息、扩大感受野。深层堆叠从边缘到纹理再到物体，逐级抽象。

循环神经网络 (RNN)

处理序列，隐状态随时间传递 $\mathbf h_t=\phi(W\mathbf h_{t-1}+U\mathbf x_t)$，建模时序依赖。训练用随时间反向传播 (BPTT)。

梯度消失/爆炸与 LSTM/GRU

长序列中梯度连乘导致消失或爆炸。LSTM 引入细胞状态与门机制（输入/遗忘/输出门）让梯度沿“高速公路”稳定流动；GRU 是其精简版。

例题

例　$3\times3$ 卷积核作用于 $5\times5$ 图像（步长 1、无填充）输出 $3\times3$；参数仅 $9$ 个却作用于整幅图——参数共享的威力。

应用

CNN 主宰计算机视觉（分类、检测、分割、医学影像）；RNN/LSTM 长期用于语音、文本、时间序列与金融预测。门控与残差思想解决了深层训练的梯度难题。