概率图模型

用图表达变量间的依赖与条件独立：贝叶斯网络（有向无环图，联合分布按父节点因子分解）、马尔可夫随机场（无向图，按团因子分解）。推断用变量消除、信念传播。

隐马尔可夫模型 (HMM)

时序隐状态 + 观测，Viterbi 算法求最可能状态序列，前向–后向算法算边际概率，广泛用于语音、分词、基因序列。

变分推断与 ELBO

后验 $p(z\mid x)$ 难算时，用简单分布 $q(z)$ 近似，最大化证据下界 (ELBO)：
$\log p(x)\ge \mathbb E_{q}[\log p(x\mid z)]-D_{\mathrm{KL}}\big(q(z),|,p(z)\big)$
等价于最小化 $q$ 与真后验的 KL 散度。

变分自编码器 (VAE)

用神经网络参数化编码器 $q(z\mid x)$ 与解码器 $p(x\mid z)$，以 ELBO 为目标、用重参数化技巧让采样可反向传播，得到可生成新样本的隐变量模型。

例题

例　ELBO 两项的拉锯：重建项要 $z$ 保留信息以重建 $x$，KL 项要 $q(z\mid x)$ 贴近先验 $N(0,I)$——平衡二者得到既能重建又规整的隐空间。

应用

概率图模型给出可解释、可注入先验的建模框架；变分推断让贝叶斯方法可扩展到大数据；VAE 是生成模型与表示学习的桥梁，思想延伸到扩散模型。