当数据之间具有了 显著性差异,就说明参与比对的数据不是来自于同一 总体(Population),而是来自于具有差异的两个不同总体,这种差异可能因参与比对的数据是来自不同实验对象的,比如一些一般能力测验中,大学学历被试组的成绩与小学学历被试组会有 显著性差异。也可能来自于 实验处理对实验对象造成了根本性状改变,因而前测后测的数据会有显著性差异。
例如,记忆术研究发现,被试学习某记忆法前的成绩和学习记忆法后的记忆成绩会有显著性差异,这一差异很可能来自于学××记忆法对被试记忆能力的改变。
显著性差异是一种有量度的或然性评价。 比如,我们说A、B两数据在0.05水平上具备显著性差异,这是说两组数据具备显著性差异的可能性为95%。两个数据所代表的样本还有5%的可能性是没有差异的。这5%的差异是由于随机误差造成的。
通常情况下,实验结果达到0.05水平或0.01水平,才可以说数据之间具备了差异显著或是极显著。在作结论时,应确实描述方向性(例如显著大于或显著小于)。sig值通常用 P>0.05 表示差异性不显著;0.01<P<0.05 表示差异性显著;P<0.01表示差异性极显著。
如果我们是检验某实验(Hypothesis Test)中测得的数据,那么当数据之间具备了显著性差异,实验的 虚无假设(Null Hypothesis)就可被推翻, 对立假设(Alternative Hypothesis)得到支持;反之若数据之间不具备显著性差异,则实验的备则假设可以被推翻,虚无假设得到支持。