生成对抗网络 (GAN)

生成器 $G$ 与判别器 $D$ 玩极小极大博弈
$\min_G\max_D\ \mathbb E_{x}[\log D(x)]+\mathbb E_{z}[\log(1-D(G(z)))]$
训练不稳易模式崩溃,Wasserstein GAN 用更平滑的距离改善稳定性,理想点是纳什均衡。

扩散模型

正向过程逐步给数据加噪直至纯噪声,反向过程学习逐步去噪(等价于分数匹配,估计 $\nabla_x\log p(x)$)。它训练稳定、生成质量高,是 Stable Diffusion、DALL·E 等的基础。

因果推断

相关不等于因果。因果图 (DAG)do-演算 区分干预与观测;后门/前门准则识别可估计的因果效应;反事实与结构因果模型回答“如果当初……会怎样”。

元学习

“学会学习”:MAML 通过内外两层循环学到一个易于快速适应新任务的初始化,支撑少样本学习

例题

 冰淇淋销量与溺水数正相关,但二者由“气温”这一混淆变量驱动;控制气温后相关消失——这正是后门准则要调整的。

应用

生成模型创造图像、音频、分子、代码;因果推断支撑医疗、经济与政策评估和可信 AI;元学习与少样本学习推动模型在数据稀缺场景快速落地。这些是当代机器学习最活跃的前沿。