一、课程概述

本课程主要讨论数据科学中的优化问题，包含以下内容：

• 优化模型的基本形式与实际例子
• 一阶迭代方法
• 数据分析中的典型问题与优化方法

二、为什么要用优化？

在数据科学与机器学习中，很多问题都可以归结为优化问题。例如：

• 回归问题
• 数据补全问题
• 数据结构检测
• 降维问题
• 数据分类问题

这些问题通常涉及到参数的选择，使得模型对真实数据拟合得更好或者揭示数据的某种结构。

三、优化模型的基本形式

1、无约束优化模型

其中 是光滑函数（本课程中指 （连续函数）且梯度 Lipschitz 连续）。

2、正则化模型

正则化模型是一种在机器学习和统计建模中常用的方法，目的是防止模型过拟合（即模型在训练数据上表现很好，但在新数据上表现很差）。它通过在损失函数中加入一个“惩罚项”来约束模型参数，使模型不会变得过于复杂。

• 是凸函数，可以是非光滑的，用于控制解的复杂度和结构。
• 是正则化参数。

3、有约束优化模型

例如：

其中 ，所有向量不等式分量逐个解释。

4、稀疏目标函数（函数和形式）

数据分析中目标函数常为分项和：

每个 只依赖于 的部分分量，且 ，通常只可得梯度，无高阶信息。

四、一阶迭代方法

一阶方法是一类迭代算法，产生解序列：

每步更新：

• 由 或 计算
• 步长 可固定或自适应

五、数据分析问题的优化建模

1、数据集与模型

• 数据集 ， 是特征， 是观测
• 参数模型 ，参数

2、数据拟合问题

目标：找到 使得对所有 有 ，即

其中

典型损失：

六、回归问题

1、无截距线性回归

其中 。

2、有截距线性回归

定义

则模型为 。

3、Ridge回归 (Tikhonov正则化)

减少对噪声的敏感性。

4、Lasso回归

倾向于稀疏解（特征选择）。

七、字典学习（Dictionary Learning）

数据 ，学习字典 和稀疏编码 ，使得

优化模型：

其中 表示每列至多 个非零分量。

八、矩阵补全（Matrix Completion）

定义迹内积：

数据拟合模型：

其中 是核范数（奇异值之和），有助于获得低秩解。

九、稀疏逆协方差估计

样本估计：

优化模型：

• 表示 半正定
• 保证可逆， 使得 稀疏

对数似然形式推导如下：

十、主成分分析（PCA）

1、鲁棒PCA

数据矩阵 拟合为低秩部分 和稀疏部分 ：

核范数鼓励 低秩， 稀疏视为异常值。

2、稀疏主成分分析

传统PCA：

稀疏化约束：

NP-难，可用凸松弛：

十一、数据分离（支持向量机 SVM）

数据 ，，寻找分离超平面 。

原始约束：

优化目标：

如果不可行，则使用软间隔：

等价于：

引入非线性变换 ，约束：

优化目标：

可等价为对偶问题：

其中

仅需核函数 ，如高斯核：

十二、多分类问题与逻辑回归

数据 ，， 是 的标准基。

参数 ，多项式回归概率模型：

最大化对数似然：

如果 ，则 。

十三、深度学习中的多分类逻辑回归

神经网络参数 ，输入 ， 层：

激活函数举例：

• （Sigmoid）
• （ReLU）

最终优化目标：

目标函数为分项和，但由于网络非线性，整体为非凸优化。