166
文章
32
标签
102.3W
文字
数据科学与工程优化（五）
一、随机梯度下降法（SGD）背景 许多机器学习与数据科学中的目标函数都具有求和结构： $$ \min{x \in \mathbb{R}^n} fx = \frac{1}{m} \sum{j=1}^{m} fjx $$ 例如，$fjx = \|aj^T x yj\|^2$，$aj, yj$ 是数据点，$m$ 很大。 标准梯度下降法...
数据科学与工程优化（四）
一、梯度法复杂度总结 对于 $L$光滑但非凸的 $f$，最速下降法（Steepest Descent）收敛速率为 $$ O\left\frac{1}{\sqrt{k}}\right $$ 对于 $L$光滑且凸的 $f$， $$ O\left\frac{1}{k}\right $$ 若 $f$ 还是 $\ga...
数据科学与工程优化（三）
一、最速下降法 最速下降法（Steepest Descent）用于求解无约束优化问题： $$ \min{x \in \mathbb{R}^n} fx $$ 其中 $f: \mathbb{R}^n \to \mathbb{R}$ 是 $L$光滑函数。算法通过迭代更新： $$ x{k+1} = xk + \alphak dk $$...
数据科学与工程优化（二）
一、基本术语和模型 考虑以下优化模型： $$ \min{x \in \mathbb{R}^n} fx \quad \text{s.t.} \quad x \in F $$ 1、最小化点的定义 局部极小点（local minimiser）：$x^ \in F$，若存在 $\varepsilon 0$，使得对所有 $x \in ...
数据科学与工程优化（一）
一、课程概述 本课程主要讨论数据科学中的优化问题，包含以下内容： 优化模型的基本形式与实际例子 一阶迭代方法 数据分析中的典型问题与优化方法 二、为什么要用优化？ 在数据科学与机器学习中，很多问题都可以归结为优化问题。例如： 回归问题 数据补全问题 数据结构检测 降维问题 数据分类问题 这些问题通...
简洁优雅的播放器——Meloria Music Player
💫 介绍 description 这是一款为你精心打造的、功能丰富、界面美观的本地音乐播放器。运行于 Windows 平台，使用 Flutter 构建，使用 Dart / C++ 开发，采用 Material You 外观设计，带来流畅的原生体验。 !MeloriaMusicPlayerhttps://socialify.git.ci/laogu...
常见激活函数表达式及其特性
1、Sigmoid 函数 表达式： $$ \sigmax = \frac{1}{1 + e^{x}} $$ 导数： $$ \sigma'x = \sigmax1 \sigmax $$ 特性： 输出区间：$0, 1$ 非线性，可微 在$x \to +\infty$时趋近于1，$x \to \infty$时...
最小二乘法
最小二乘法（Least Squares Method）是一种用于数据拟合的方法，通过最小化观测值与模型预测值之间的误差平方和，来求得模型参数的最优估计。下面以一元线性回归为例，详细推导最小二乘法的过程。 一、问题描述 给定 $n$ 组数据点 $x1, y1, x2, y2, \ldots, xn, yn$，希望用一个线性函数 $$ y...
常用积分表
一、常见积分表 | 序号 | 积分表达式 | 积分结果 | | | | | | 1 | $\int x^n \, \mathrm{d}x$ ...
常微分方程求解（6）
设$n$阶常数矩阵$\mathbf{A}$中的每一元素$a{ij}\ i,j=1,\cdots,n$都是常数，则称 $$ \frac{\mathrm{d}\mathbf{x}}{\mathrm{d}t} = \mathbf{Ax} + \mathbf{f}t $$ 为常系数线性微分方程组。 我们先介绍常系数齐次方程组 $$ \frac{\m...