统计学系列条目
迴歸分析
模型
線性回歸 简单线性回归 普通最小二乘法（OLS） 多项式回归 一般线性模型
廣義線性模式 离散选择（英语：Discrete choice） 对数几率回归 多项罗吉特（英语：Multinomial logit） 混合罗吉特 波比（英语：Probit model） 多项式波比（英语：Multinomial probit） 排序性模型（英语：Ordered logit） 有序波比（英语：Ordered probit） 泊松回归
等级线性模型 固定效应（英语：Fixed effects model） 随机效应（英语：Random effects model） 混合模型（英语：Mixed model）
非线性回归 非参数 半参数 稳健 分位数迴歸 保序回归 主成分 最小角 局部（英语：Local regression） 分段
含误差变量（英语：Errors-in-variables models）
估计
最小二乘法 普通最小二乘法 线性 偏最小二乘回归 总体（英语：Total least squares） 广义 加权 非线性 非负（英语：Non-negative least squares） 重复再加权（英语：Iteratively reweighted least squares） 脊迴歸（嶺迴歸） LASSO
最小绝对值导数法（英语：Least absolute deviations） 贝叶斯（英语：Bayesian linear regression） 贝叶斯多元
背景
回归模型驗證（英语：Regression model validation） 平均响应和预测响应（英语：Mean and predicted response） 误差和残差 拟合优度 学生化残差（英语：Studentized residual） 高斯-马尔可夫定理
概率与统计主题
查 论 编

在回归分析当中，最常用的估计${\displaystyle \beta }$（回归系数）的方法是普通最小二乘法（英語：ordinary least squares，簡稱OLS），它基於誤差值之上。用這種方法估计${\displaystyle \beta }$，首先要計算残差平方和（residual sum of squares；RSS），RSS是指将所有误差值的平方加起來得出的数：

${\displaystyle RSS=\sum _{i=1}^{n}e_{i}^{2}\,}$

${\displaystyle \beta _{0))$與${\displaystyle \beta _{1))$的数值可以用以下算式计算出來：

${\displaystyle {\widehat {\beta ))_{1}={\frac {\sum (x_{i}-{\bar {x)))(y_{i}-{\bar {y)))}{\sum (x_{i}-{\bar {x)))^{2))))$

${\displaystyle {\widehat {\beta ))_{0}={\bar {y))-{\widehat {\beta ))_{1}{\bar {x))}$

当中${\displaystyle {\bar {x))}$為${\displaystyle x}$的平均值，而${\displaystyle {\bar {y))}$為${\displaystyle y}$的平均值。

假设总体的误差值有一个固定的變異數，這个變異數可以用以下算式估计：

${\displaystyle {\hat {\sigma ))_{\varepsilon }^{2}={\frac {RSS}{n-2)).\,}$

這個数就是均方误差（mean square error），這個分母是样本大小减去模型要估计的参数的量。這個回归模型当中有两个未知的参数（${\displaystyle \beta _{0))$與${\displaystyle \beta _{1))$）。^[1]

而這些参数估计的标准误差（standard error）為：

${\displaystyle {\hat {\sigma ))_{\beta _{1))={\hat {\sigma ))_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x)))^{2))))}$

${\displaystyle {\hat {\sigma ))_{\beta _{0))={\hat {\sigma ))_{\varepsilon }{\sqrt ((\frac {1}{n))+{\frac ((\bar {x))^{2)){\sum (x_{i}-{\bar {x)))^{2))))}={\hat {\sigma ))_{\beta _{1)){\sqrt {\frac {\sum x_{i}^{2)){n))))$

有了上面這个模型，研究者手上就有会有${\displaystyle \beta _{0))$與${\displaystyle \beta _{1))$的估计值，就可以用這個算式來预测${\displaystyle Y}$的数值。

參見

• 最小均方误差
• 非线性最小二乘法

參考資料