统计学系列条目
回归分析
模型
线性回归 简单线性回归 普通最小二乘法（OLS） 多项式回归 一般线性模型
广义线性模式 离散选择（英语：Discrete choice） 对数几率回归 多项罗吉特（英语：Multinomial logit） 混合罗吉特 波比（英语：Probit model） 多项式波比（英语：Multinomial probit） 排序性模型（英语：Ordered logit） 有序波比（英语：Ordered probit） 泊松回归
等级线性模型 固定效应（英语：Fixed effects model） 随机效应（英语：Random effects model） 混合模型（英语：Mixed model）
非线性回归 非参数 半参数 稳健 分位数回归 保序回归 主成分 最小角 局部（英语：Local regression） 分段
含误差变量（英语：Errors-in-variables models）
估计
最小二乘法 普通最小二乘法 线性 偏最小二乘回归 总体（英语：Total least squares） 广义 加权 非线性 非负（英语：Non-negative least squares） 重复再加权（英语：Iteratively reweighted least squares） 脊回归（岭回归） LASSO
最小绝对值导数法（英语：Least absolute deviations） 贝叶斯（英语：Bayesian linear regression） 贝叶斯多元
背景
回归模型验证（英语：Regression model validation） 平均响应和预测响应（英语：Mean and predicted response） 误差和残差 拟合优度 学生化残差（英语：Studentized residual） 高斯-马尔可夫定理
概率与统计主题
查 论 编

回归分析（英语：Regression Analysis）是一种统计学上分析数据的方法，目的在于了解两个或多个变数间是否相关、相关方向与强度，并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。一般来说，通过回归分析我们可以由给出的自变量估计因变量的条件期望。

回归分析是建立被解释变数${\displaystyle Y}$（或称因变量、依变数、反因变量）与解释变数${\displaystyle X}$（或称自变量、独立变数）之间关系的模型。简单线性回归使用一个自变量${\displaystyle X}$，复回归使用超过一个自变量（${\displaystyle X_{1},X_{2}...X_{i))$）。

起源

回归的最早形式是最小二乘法，由1805年的勒让德（Legendre）^[1]，和1809年的高斯（Gauss）出版^[2]。勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展^[3]，包括高斯－马尔可夫定理的一个版本。

“回归”一词最早由法兰西斯·高尔顿（Francis Galton）所使用^[4][5]。他曾对亲子间的身高做研究，发现父母的身高虽然会遗传给子女，但子女的身高却有逐渐“回归到中等（即人的平均值）”的现象。不过当时的回归和现在的回归在意义上已不尽相同。

在1950年代和60年代，经济学家使用机械电子桌面计算器来计算回归。在1970年之前，这种计算方法有时需要长达24小时才能得出结果^[6]。

回归分析原理

• 目的在于找出一条最能够代表所有观测资料的函数曲线（回归估计式）。
• 用此函数代表因变数和自变量之间的关系。

参数估计

• 动差估计（Method of Moment；MOM）
• 最小二乘法（Ordinary Least Square Estimation；OLSE）
• 最大似然估计（Maximum Likelihood Estimation；MLE）

回归模型

回归模型主要包括以下变量：

• 未知参数，记为${\displaystyle \beta }$，可以代表一个标量或一个向量。
• 自变量，${\displaystyle \mathbf {X} }$。
• 因变量，${\displaystyle Y}$。

回归模型将${\displaystyle Y}$和一个关于${\displaystyle \mathbf {X} }$和${\displaystyle \beta }$的函数关联起来。

在不同的应用领域有各自不同的术语代替这里的“自变量”和“因变量”。

${\displaystyle Y\approx f(\mathbf {X} ,{\boldsymbol {\beta )))}$

这个估计值通常写作:${\displaystyle E(X|Y)=f(\mathbf {X} ,{\boldsymbol {\beta )))}$。

在进行回归分析时，函数${\displaystyle f}$的形式必须预先指定。有时函数${\displaystyle f}$的形式是在对${\displaystyle Y}$和${\displaystyle \mathbf {X} }$关系的已有知识上建立的，而不是在数据的基础之上。如果没有这种已有知识，那么就要选择一个灵活和便于回归的${\displaystyle f}$的形式。

假设现在未知向量${\displaystyle \beta }$的维数为k。为了进行回归分析，必须要先有关于${\displaystyle Y}$的信息：

• 如果以${\displaystyle (Y,\mathbf {X} )}$的形式给出了${\displaystyle N}$个数据点，当${\displaystyle N<k}$时，大多数传统的回归分析方法都不能进行，因为数据量不够导致回归模型的系统方程不能完全确定${\displaystyle \beta }$。
• 如果恰好有${\displaystyle N=k}$个数据点，并且函数${\displaystyle f}$的形式是线性的，那么方程${\displaystyle Y=f(\mathbf {X} ,{\boldsymbol {\beta )))}$能精确求解。这相当于解一个有${\displaystyle N}$个未知量和${\displaystyle N}$个方程的方程组。在${\displaystyle \mathbf {X} }$线性无关的情况下，这个方程组有唯一解。但如果${\displaystyle f}$是非线性形式的，解可能有多个或不存在。
• 实际中${\displaystyle N>k}$的情况占大多数。这种情况下，有足够的信息用于估计一个与数据最接近的${\displaystyle \beta }$值，这时当回归分析应用于这些数据时，可以看作是解一个关于${\displaystyle \beta }$的超定方程。

在最后一种情况下，回归分析提供了一种完成以下任务的工具： ⒈找出一个未知量${\displaystyle \beta }$的解使因变量${\displaystyle Y}$的预测值和实际值差别最小(又称最小二乘法)。

⒉在特定统计假设下，回归分析使用数据中的多余信息给出关于因变量${\displaystyle Y}$和未知量${\displaystyle \beta }$之间的关系。

回归分析的种类

简单线性回归

简单线性回归（英语：simple linear regression）

• 应用时机

1. 以单一变数预测
2. 判断两变数之间相关的方向和程度

复回归（或多变量回归）

复回归分析（英语：multiple regression analysis）是简单线性回归的一种延伸应用，用以了解一个依变项与两组以上自变项的函数关系。

对数线性回归

对数线性回归（英语：Log-linear model）（英语：Log-linear model），是将解释变项（实验设计中的自变项）和反应变项（实验设计中的依变项）都取对数值之后再进行线性回归，所以依据解释变项的数量，可能是对数简单线性回归，也可能是对数复回归。

非线性回归

对数几率回归

对数几率回归（英语：Logistic Regression）

偏回归

偏回归（英语：Partial Regression）（英语：Partial Regression）

用于研究单个自变量对因变数的影响，同时控制其他自变量的影响。它通常应用在多元回归模型中，以解决自变量之间存在共线性时的问题，或者用于探索自变量之间的相互作用。

自回归

自回归滑动平均模型

差分自回归滑动平均模型

向量自回归模型

参阅

参考资料

外部链接

1. 解读回归分析的原理及结构

查 论 编 统计学 描述统计学 连续概率 集中趋势 平均数 平方 算术 几何 调和 算术-几何 几何-调和 希罗／平均数不等式 中位数 众数 离散程度 全距 变异系数 百分位数 四分位距 四分位数 标准差 方差 平均差 标准分数 切比雪夫不等式 基尼系数 分布形态（英语：Shape of the distribution） 中心极限定理 矩 偏态 峰态 离散概率 次数（英语：Count data） · 列联表（英语：Contingency table） 推论统计学 和假设检验 推论统计学 置信区间 区间估计（英语：Interval estimation） 显著性差异 元分析 贝叶斯推断 实验设计 总体 抽样 重抽样 刀切法 自助法 交叉验证 重复（英语：Replication (statistics)） 阻碍 灵敏度和特异度 区集（英语：Blocking (statistics)） 缺失数据 样本量（英语：Sample size） 标准误 零假设 备择假设 第一类错误与第二类错误 统计功效 效应值 常规估计 贝叶斯推断 区间估计（英语：Interval estimation） 最大似然估计 最小距离估计（英语：Minimum distance estimation） 矩估计 最大间距 假设检验 Z检验 学生t检验 F检验 卡方检验 Wald检验（英语：Wald test） 曼-惠特尼检验（英语：Mann–Whitney U test） 秩和检验 生存分析 生存函数 乘积极限估计量 对数秩和检验 失效率 危险比例模式 相关及 回归分析 相关性 干扰因素 皮尔逊积矩相关系数 等级相关（英语：Rank correlation） (斯皮尔曼等级相关系数 肯德等级相关系数（英语：Kendall tau rank correlation coefficient）) 自由度 误差和残差 线性回归 线性模型（英语：Linear model） 一般线性模型 广义线性模型 简单线性回归 普通最小二乘法 贝叶斯回归（英语：Bayesian linear regression） 方差分析 协方差分析（英语：Analysis of covariance） 非线性回归 非参数回归模型（英语：Nonparametric regression） 半参数回归模型（英语：Semiparametric regression） 逻辑斯谛回归 统计图形 饼图 条形图 双标图 箱形图 管制图 森林图（英语：Forest plot） 直方图 分位图 趋势图 散点图 茎叶图 雷达图（英语：Radar chart） 示意地图 其他 统计类型（维基数据所列：Q47103999） 回应过程效度 统计误用 分类 主题 共享资源 专题

规范控制数据库：各地 法国 BnF data 德国 以色列 美国 日本 捷克