线性规划与对偶

在线性约束下优化线性目标，可行域是凸多面体，最优值在顶点取得。单纯形法沿顶点搜索，对偶理论给出下界与敏感性分析——这是运筹与经济的基础。

凸优化与 KKT

凸优化（凸目标 + 凸约束）的局部最优即全局最优，是“可高效求解”的分水岭。带约束最优解满足 KKT 条件，拉格朗日乘数法是其特例。

梯度类方法

无约束优化用梯度下降 $\mathbf x_{k+1}=\mathbf x_k-\eta\nabla f(\mathbf x_k)$；大数据用随机梯度下降 (SGD) 每步只用小批样本。动态规划则把多阶段决策拆成子问题递推求解。

例题

例　最小化 $f(x)=x^2$：梯度下降 $x_{k+1}=x_k-\eta\cdot2x_k=(1-2\eta)x_k$，当 $0<\eta<1$ 时几何收敛到 $0$。

应用

深度学习训练本质是用 SGD 最小化损失；投资组合在风险约束下最大化收益（凸优化）；物流配送、生产排程、电网调度、广告竞价都归结为最优化问题。它是 AI 与决策科学的引擎。