数据科学与工程优化(一)
一、课程概述 本课程主要讨论数据科学中的优化问题,包含以下内容: 优化模型的基本形式与实际例子 一阶迭代方法 数据分析中的典型问题与优化方法 二、为什么要用优化? 在数据科学与机器学习中,很多问题都可以归结为优化问题。例如: 回归问题 数据补全问题 数据结构检测 降维问题 数据分类问题 这些问题通...
常见激活函数表达式及其特性
1、Sigmoid 函数 表达式: $$ \sigmax = \frac{1}{1 + e^{x}} $$ 导数: $$ \sigma'x = \sigmax1 \sigmax $$ 特性: 输出区间:$0, 1$ 非线性,可微 在$x \to +\infty$时趋近于1,$x \to \infty$时...
只使用Numpy实现MNIST手写数字分类
一、实验目的 本实验旨在通过MNIST手写数字分类任务,深入理解和实践深度学习的基本概念与核心算法,具体目标如下: 1、理解深度学习核心概念: (1)掌握神经网络(Neural Networks)的基本结构、前向传播和反向传播机制。 (2)理解梯度下降(Gradient Descent)优化算法及其在参数更新中的作用。 (3)掌握链式...