指数族分布

借助指数族分布，对响应变量Y的描述将不再局限于正态分布，称观测来自指数族分布，如果其概率密度函数可以表达为如下形式：

其中：

(1)是指数族的自然参数(natural parameter)，是我们感兴趣的参数；称为尺度参数或讨厌参数；

(2)以及是依据不同指数族而确定的函数。注意只由和决定。

指数族的均值、方差都有简洁的表达式。由于

因此可知随机变量的均值为

此外，由于

可以得到方差公式

指数族包含了很多常用的概率分布。例如，正态分布的密度函数为

上式可以化为(1)式的形式

对应于(1)式，我们有。由此可见，正态分布属于(1)式所定义的概率指数族。

同样的，Bernoulli分布也属于指数族，这是因为它的概率密度函数

可以化为

再令可得

对应于(1)式，我们有。

此外，泊松分布的密度函数为

伽马分布的密度函数为

泊松分布和伽马分布都属于指数族，下表总结了所有的指数族分布^[1]。

表1 指数族分布总结

正态分布
两点分布
二项分布
泊松分布
伽马分布