112
文章
21
标签
18.9W
文字
最小二乘法
最小二乘法（Least Squares Method）是一种用于数据拟合的方法，通过最小化观测值与模型预测值之间的误差平方和，来求得模型参数的最优估计。下面以一元线性回归为例，详细推导最小二乘法的过程。 一、问题描述 给定 $n$ 组数据点 $x1, y1, x2, y2, \ldots, xn, yn$，希望用一个线性函数 $$ y...
矩估计和极大似然估计
一、矩估计（Method of Moments, MM） 1、意义 矩估计是一种参数估计方法。其基本思想是用样本矩（即样本的若干阶幂平均）去逼近总体矩（即理论矩），从而求出未知参数的估计值。也就是说，通过样本的统计量去“模拟”总体分布的性质。 2、计算方法 （1）一般步骤 1. 设总体分布含有$k$个未知参数$\theta...
枢轴量
概率论与数理统计中的枢轴量法详解 一、基本概念 在概率论与数理统计中，枢轴量法（Pivot Quantity Method）是一种常用的构造置信区间的方法。其核心思想是通过构造一个在参数未知时依然服从已知分布的函数（枢轴量），进而推导出参数的置信区间。 设有样本 $X1, X2, \ldots, Xn$，依概率分布 $fx;\theta$...
统计分布
一、抽样分布定义 统计量的分布称为抽样分布 sampling distribution。在使用统计量进行统计推断时需要知道抽样分布。一般情况下，要给出统计量的精确分布是很困难的，但在某些特殊情形下，如总体服从正态分布的情形下，我们可以给出某些统计量的精确分布，这些精确的抽样分布为正态总体情形下的参数推断提供了理论依据。 在数理统计中，最重要的三个...
统计量
一、统计量的定义 设 $X1,X2,\cdots,Xn$ 是来自总体 $X$ 的一个样本，$gX1,X2,\cdots ,Xn$ 是样本 $X1,X2,\cdots,Xn$ 的函数，若$g$不含未知参数，则称 $gX1,X2,\cdots,Xn$是一统计量。 二、常用统计量 在统计学中，根据不同的目的可以构造出许多不同的统计量，下面是几个...
大数定律及相关概率不等式与收敛概念
一、依概率收敛（Convergence in Probability） 严谨定义： 设 $\{Xn\}$ 是一列随机变量，$X$ 是某个随机变量。如果对任意的 $\varepsilon 0$，都有 $$ \lim{n \to \infty} P|Xn X| \varepsilon = 0, $$ 则称 $Xn$ 依概率收敛于 $X$...
方差
一、方差的定义与性质 方差是对随机变量取值离散程度的度量。 离散型随机变量 $X$ 的方差定义为 $$ \mathrm{Var}X = E\biglX \mu^2\bigr = \sumk xk \mu^2 pk $$ 连续型随机变量 $X$ 的方差定义为 $$ \mathrm{Var}X = E\biglX \m...