138
文章
26
标签
74.8W
文字
因果推理
一、因果推理的基本概念 1、因果推理 哲学上把现象和现象之间那种“引起和被引起”的关系，叫做因果关系，其中引起某种现象产生的现象叫做原因，被某种现象引起的现象叫做结果。因果推理是一种重要的推理手段，是人类智能的重要组成。 2、辛普森悖论 辛普森悖论是统计学中的一种反直觉现象，指的是在分组数据中，某种趋势在各子组中都存在，但当把所有...
逻辑与推理
!NOTE 这份文章主要涉及命题逻辑、谓词逻辑和知识图谱推理，有关因果推理的内容，点击链接因果推理https://www.laoguantx.top/posts/CausalInference。 一、命题逻辑 1、相关概念与定理 命题逻辑是应用一套形式化规则对以符号表示呃描述性陈述进行推理的系统。 命题是一个能够确定为真或...
数据科学与工程优化（七）
一、人工智能的历史与突破 2017年：深度伪造（Deep Fake）技术流行，合成图像达到较高分辨率，但尚未商业化。 2021年：DALLE面世，首次实现“从文本生成图像”，训练数据为图像描述，规模尚小。 2022年：ChatGPT发布，两个月后月活跃用户过亿，成为史上增长最快的消费级软件。 2024年：SORA发布，能从文本生成高质量视...
数据科学与工程优化(Code II)
一、概述 这个Python程序实现了经典的梯度下降算法和随机梯度下降算法，并在两个不同的优化问题上进行了比较实验：Rosenbrock函数和强凸二次函数。 二、功能模块 1、测试函数定义 Rosenbrock函数 函数: rosenbrockw 描述: 经典的非凸优化测试函数，也称为"香蕉函数" 数学表达式: fx,...
数据科学与工程优化(Code I)
本项目包含三个 MATLAB 脚本/函数文件，主要用于演示和实现最速下降法（Steepest Descent Method）在不同目标函数上的优化过程。适合用于数值优化、无约束优化方法的学习与实验。 文件列表 1. Steepestdescentmethod.m 2. Rosenbrockfunction.m 3. Scaledquadra...
数据科学与工程优化（六）
一、噪声地板（Noise Floor）问题背景 在实际SGD（随机梯度下降）中，由于每次只用部分样本（甚至单样本）估计梯度，噪声地板（noise floor）不可避免：即SGD只能收敛到一个残差带（目标函数的最优值附近的宽区间），而非真正精确的最优点。这在大规模数据和非精确（有噪声）目标情况下尤其明显。 二、降低噪声地板的三大方法 方法...
数据科学与工程优化（五）
一、随机梯度下降法（SGD）背景 许多机器学习与数据科学中的目标函数都具有求和结构： $$ \min{x \in \mathbb{R}^n} fx = \frac{1}{m} \sum{j=1}^{m} fjx $$ 例如，$fjx = \|aj^T x yj\|^2$，$aj, yj$ 是数据点，$m$ 很大。 标准梯度下降法...
数据科学与工程优化（四）
一、梯度法复杂度总结 对于 $L$光滑但非凸的 $f$，最速下降法（Steepest Descent）收敛速率为 $$ O\left\frac{1}{\sqrt{k}}\right $$ 对于 $L$光滑且凸的 $f$， $$ O\left\frac{1}{k}\right $$ 若 $f$ 还是 $\ga...
数据科学与工程优化（三）
一、最速下降法 最速下降法（Steepest Descent）用于求解无约束优化问题： $$ \min{x \in \mathbb{R}^n} fx $$ 其中 $f: \mathbb{R}^n \to \mathbb{R}$ 是 $L$光滑函数。算法通过迭代更新： $$ x{k+1} = xk + \alphak dk $$...
数据科学与工程优化（二）
一、基本术语和模型 考虑以下优化模型： $$ \min{x \in \mathbb{R}^n} fx \quad \text{s.t.} \quad x \in F $$ 1、最小化点的定义 局部极小点（local minimiser）：$x^ \in F$，若存在 $\varepsilon 0$，使得对所有 $x \in ...