残差平方和

为了明确解释变量和随机误差各产生的效应是多少，统计学上把数据点与它在回归直线上相应位置的差异称为残差，把每个残差平方之后加起来 称为残差平方和，它表示随机误差的效应。一组数据的残差平方和越小,其拟合程度越好。

按定义，残差平方和应为^[2]

等精度测量：

﹝﹞

非等精度测量：

﹝﹞

式中是测量数据的残差，为相应的权。在一般情况下

式中，为直接测量参数的估计值。

对于线性参数，残差为

式中

用矩阵形式表示的残差平方和为

﹝﹞=

线性参数测量数据的残差平方和可进一步写成

(对等精度测量)

(对非等精度测量)

式中符号的意义与前面相应的的符号一致。

以上给出了残差平方和的一般形式。在具体解算时，从计算方便考虑，对不同的解算方法，残差平方和的计算各有相应的具体方法。^[2]

解释变量与残差平方和

残差平方和RSS具有以下性质：^[3]

性质1只有常数项没有其他解释变量的回归方程的RSS和TSS相等，其决定系数为0。

性质2增加解释变量必然导致RSS减小。因此，如果想降低RSS，只要在回归方程中尽可能地加入解释变量就能达到目的。

性质3包含常数项全部解释变量的个数K等于样本数n时，RSS为0，决定系数为1。

F检验和t检验之间的关系

在一些场合t检验不仅可以进行双侧检验，也可以进行单侧检验。而F检验没有单侧和双侧的区别。当进行双侧检验的时候两种检验的P值相同。

概率分布

残差带权平方和除以单位权方差服从分布。即^[4]

式中自由度f就是平差中多余观测数。由于，，f对于一个平差系统是不变量，与具体采用的平差方法无关。

数学期望和方差

易知的数学期望为

由此可知

即单位权方差为的无偏估计。

且

则有

或

即方差估计的标准差与成正比与成反比。可见自由度f 愈小，方差估计的精度就愈差。

概率表达式

或

分位值，以自由度f和显著水平可由分布表中查得。^[4]