统计学系列条目
回归分析
模型
线性回归 简单线性回归 普通最小二乘法（OLS） 多项式回归 一般线性模型
广义线性模式 离散选择（英语：Discrete choice） 对数几率回归 多项罗吉特（英语：Multinomial logit） 混合罗吉特 波比（英语：Probit model） 多项式波比（英语：Multinomial probit） 排序性模型（英语：Ordered logit） 有序波比（英语：Ordered probit） 泊松回归
等级线性模型 固定效应（英语：Fixed effects model） 随机效应（英语：Random effects model） 混合模型（英语：Mixed model）
非线性回归 非参数 半参数 稳健 分位数回归 保序回归 主成分 最小角 局部（英语：Local regression） 分段
含误差变量（英语：Errors-in-variables models）
估计
最小二乘法 普通最小二乘法 线性 偏最小二乘回归 总体（英语：Total least squares） 广义 加权 非线性 非负（英语：Non-negative least squares） 重复再加权（英语：Iteratively reweighted least squares） 脊回归（岭回归） LASSO
最小绝对值导数法（英语：Least absolute deviations） 贝叶斯（英语：Bayesian linear regression） 贝叶斯多元
背景
回归模型验证（英语：Regression model validation） 平均响应和预测响应（英语：Mean and predicted response） 误差和残差 拟合优度 学生化残差（英语：Studentized residual） 高斯-马尔可夫定理
概率与统计主题
查 论 编

统计学和最优化中，误差（error）和残差（residual）是两个相近但有区别的概念，二者均是统计样本中某一元素的观测值（英语：observed value）与其“真值”（未必可直接观测得到）之间的离差的度量。观察的误差是观测值与相关量（例如总体平均值）的真值之间的差值。残差是观测值与统计量的估计值（例如样本均值）之间的差值。这种区别在回归分析中至关重要，回归分析中，这些概念有时称为回归误差（regression errors）和回归残差（regression residuals），它们引出了学生化残差（英语：studentized residual）的概念。

计量经济学中，误差也称为扰动（disturbances）。^[1][2][3]

简介

假设有一系列取自单变量分布（英语：univariate distribution）的观察结果，我们想要估计该分布的平均值。此时，误差是观测值与总体均值的偏差，而残差是观测值与样本均值的偏差。

统计误差（statistical error）是观察值与其期望的差异程度，而期望基于随机选择统计单位的总体。例如，如果21岁男性的平均身高为1.75米，而随机选出的一名男性身高为1.80米，则“误差”为0.05米；如果随机选出男性人身高1.70米，则“误差”为-0.05 米。期望是整个总体的均值，通常是无法观测的，因此统计误差也无从知晓。

而残差（residual）是对无法观测的统计误差的可观测估计。在上述的男性身高的例子中，假设我们随机抽取n个人作为样本。样本均值可以很好地估计总体均值。此时：

• 样本中每个人的身高与无法观测的总体均值之间的差值是统计误差，
• 样本中每个人的身高与可观测的样本均值之间的差值是残差。

注意，由于样本均值的定义，随机样本内的残差之和必然为零，因此残差必然不是相互独立的。而统计误差是独立的，它们在随机样本中的总和几乎肯定不为零。

统计误差（尤其是正态分布的）的数值可以用标准分数（或“z分数”）来标准化，而残差可以用t统计量（英语：t-statistic），或更一般的学生化残差（英语：studentized residuals）来标准化。

单变量分布

假定有一个均值为μ、标准差为σ的正态分布总体，从中随机选择个体，得到样本：

${\displaystyle X_{1},\dots ,X_{n}\sim N\left(\mu ,\sigma ^{2}\right)\,}$

其样本均值为

${\displaystyle {\overline {X))={X_{1}+\cdots +X_{n} \over n))$

它是一个随机变量分布，服从：

${\displaystyle {\overline {X))\sim N\left(\mu ,{\frac {\sigma ^{2)){n))\right).}$

其统计误差为：

${\displaystyle e_{i}=X_{i}-\mu ,\,}$

其期望为0，^[4]而残差为：

${\displaystyle r_{i}=X_{i}-{\overline {X)).}$

统计误差的平方和除以σ²，得到自由度为n的卡方分布：

${\displaystyle {\frac {1}{\sigma ^{2))}\sum _{i=1}^{n}e_{i}^{2}\sim \chi _{n}^{2}.}$

然而，因为总体均值未知，这个数量是不可观测的。但是，残差的平方和是可观测的。该总和除以σ²的商是n - 1自由度的卡方分布：

${\displaystyle {\frac {1}{\sigma ^{2))}\sum _{i=1}^{n}r_{i}^{2}\sim \chi _{n-1}^{2}.}$

自由度为n和n - 1之间的区别是对总体（均值、方差未知）的方差估计值的贝塞尔校正（英语：Bessel's correction）。若总体均值已知，则无需进行校正。

参见

参考文献

• Cook, R. Dennis; Weisberg, Sanford. Residuals and Influence in Regression. Repr. New York: Chapman and Hall. 1982 [23 February 2013]. ISBN 041224280X. （原始内容存档于2022-04-06）. 
• Cox, David R.; Snell, E. Joyce. A general definition of residuals. Journal of the Royal Statistical Society, Series B. 1968, 30 (2): 248–275. JSTOR 2984505. 
• Weisberg, Sanford. Applied Linear Regression 2nd. New York: Wiley. 1985 [23 February 2013]. ISBN 9780471879572. （原始内容存档于2022-07-12）. 
• Hazewinkel, Michiel (编), Errors, theory of, 数学百科全书, Springer, 2001, ISBN 978-1-55608-010-4 

外部链接

• 维基共享资源上的相关多媒体资源：误差

查 论 编 统计学 描述统计学 连续概率 集中趋势 平均数 平方 算术 几何 调和 算术-几何 几何-调和 希罗／平均数不等式 中位数 众数 离散程度 全距 变异系数 百分位数 四分位距 四分位数 标准差 方差 平均差 标准分数 切比雪夫不等式 基尼系数 分布形态（英语：Shape of the distribution） 中心极限定理 矩 偏态 峰态 离散概率 次数（英语：Count data） · 列联表（英语：Contingency table） 推论统计学 和假设检验 推论统计学 置信区间 区间估计（英语：Interval estimation） 显著性差异 元分析 贝叶斯推断 实验设计 总体 抽样 重抽样 刀切法 自助法 交叉验证 重复（英语：Replication (statistics)） 阻碍 灵敏度和特异度 区集（英语：Blocking (statistics)） 缺失数据 样本量（英语：Sample size） 标准误 零假设 备择假设 第一类错误与第二类错误 统计功效 效应值 常规估计 贝叶斯推断 区间估计（英语：Interval estimation） 最大似然估计 最小距离估计（英语：Minimum distance estimation） 矩估计 最大间距 假设检验 Z检验 学生t检验 F检验 卡方检验 Wald检验（英语：Wald test） 曼-惠特尼检验（英语：Mann–Whitney U test） 秩和检验 生存分析 生存函数 乘积极限估计量 对数秩和检验 失效率 危险比例模式 相关及 回归分析 相关性 干扰因素 皮尔逊积矩相关系数 等级相关（英语：Rank correlation） (斯皮尔曼等级相关系数 肯德等级相关系数（英语：Kendall tau rank correlation coefficient）) 自由度 误差和残差 线性回归 线性模型（英语：Linear model） 一般线性模型 广义线性模型 简单线性回归 普通最小二乘法 贝叶斯回归（英语：Bayesian linear regression） 方差分析 协方差分析（英语：Analysis of covariance） 非线性回归 非参数回归模型（英语：Nonparametric regression） 半参数回归模型（英语：Semiparametric regression） 逻辑斯谛回归 统计图形 饼图 条形图 双标图 箱形图 管制图 森林图（英语：Forest plot） 直方图 分位图 趋势图 散点图 茎叶图 雷达图（英语：Radar chart） 示意地图 其他 统计类型（维基数据所列：Q47103999） 回应过程效度 统计误用 分类 主题 共享资源 专题