お遊び1：母関数から平均・分散を求めてみよう〜連続分布編〜

$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}}$

（補足）

• 上記にて「×」の分布はすそが厚い分布です。（参照：＜連続分布＞：「8. コーシー分布」）

（注意）

• ここでは、＜連続分布＞で扱った分布の内、積率母関数がきれいな形で書けるものを扱います。また、積率母関数の導出は＜連続分布＞で済ませているので、ここでは扱いません。
  
  
• ここでの各分布の番号は＜連続分布＞における番号と同じものを使用しています。

1. （連続）一様分布

$X \sim \U(a, b)$である時、積率母関数$M^X(\theta)$は、
$$\begin{aligned} M^X(\theta)(=E[e^{\theta X}])= \begin{cases} \dfrac{e^{b\theta}-e^{a\theta}}{(b-a)\theta} ~~ &{\small (\theta \neq 0)} \\[5px] 1 ~~ &{\small (\theta = 0)} \end{cases} \end{aligned}$$でした。


まず$M^{X \prime}(0)$について考えると、
$$\begin{aligned} M^{X \prime}(0) &(= \left. E[X e^{\theta X}] \right|_{\theta=0}) = E[X] \\[10px] &= \lim_{\theta \to 0} \dfrac{M^{X}(\theta)-M^{X}(0)}{\theta} \\[10px] &= \lim_{\theta \to 0} \dfrac{\dfrac{e^{b\theta}-e^{a\theta}}{(b-a)\theta}-1}{\theta} \\[10px] &= \lim_{\theta \to 0} \dfrac{e^{b\theta}-e^{a\theta}-(b-a)\theta}{(b-a)\theta^2} \\[10px] &= \lim_{\theta \to 0} \dfrac{b e^{b\theta}-ae^{a\theta}-(b-a)}{(b-a) \cdot 2 \theta} \\ &{\scriptsize (不定形なので分母分子を\thetaで微分した←ロピタルの定理)} \\[10px] &= \lim_{\theta \to 0} \dfrac{b^2 e^{b\theta}-a^2 e^{a\theta}}{(b-a) \cdot 2} \\ &{\scriptsize (不定形なので分母分子を\thetaで微分した←ロピタルの定理)} \\[10px] &= \dfrac{b^2-a^2}{2(b-a)} \\[10px] &= \dfrac{1}{2} (a+b) \end{aligned}$$

次に$M^{X \prime\prime}(0)$について考えると、
$$\begin{aligned} M^{X \prime\prime}(0) &(= \left. E[X^2 e^{\theta X}] \right|_{\theta=0} ) = E[X^2] \\[10px] &= \lim_{\theta \to 0} \dfrac{M^{X \prime}(\theta)-M^{X \prime}(0)}{\theta} \\[10px] &= \lim_{\theta \to 0} \dfrac{(\dfrac{e^{b\theta}-e^{a\theta}}{(b-a)\theta})^{\prime}-\dfrac{a+b}{2}}{\theta} \\[10px] &= \lim_{\theta \to 0} \dfrac{\dfrac{be^{b\theta}-ae^{a\theta}}{(b-a) \theta}-\dfrac{e^{b\theta}-e^{a\theta}}{(b-a) \theta^2}-\dfrac{a+b}{2}}{\theta} \\[10px] &= \lim_{\theta \to 0} \dfrac{\theta (be^{b\theta}-ae^{a\theta})-(e^{b\theta}-e^{a\theta})-\dfrac{(b^2-a^2) \theta^2}{2}}{(b-a) \theta^3} \\[10px] &= \lim_{\theta \to 0} \dfrac{(b \theta-1)e^{b \theta}-(a \theta-1)e^{a \theta}-\dfrac{(b^2-a^2) \theta^2}{2}}{(b-a)\theta^3} \\[10px] &= \lim_{\theta \to 0} \dfrac{be^{b\theta} + (b\theta-1)be^{b\theta}-ae^{a\theta}-(a\theta-1)ae^{a\theta}-\dfrac{(b^2-a^2)\cdot 2 \theta}{2}}{(b-a) \cdot 3 \theta^2} \\ &{\scriptsize (不定形なので分母分子を\thetaで微分した←ロピタルの定理)} \\[10px] &= \lim_{\theta \to 0} \dfrac{b^2 \theta \cdot e^{b\theta}-a^2 \theta \cdot e^{a\theta}-(b^2-a^2)\theta}{(b-a) \cdot 3 \theta^2} \\[10px] &= \lim_{\theta \to 0} \dfrac{(b^2 + b^3 \theta) e^{b\theta}-(a^2 + a^3\theta)e^{a\theta}-(b^2-a^2)}{(b-a) \cdot 6\theta} \\ &{\scriptsize (不定形なので分母分子を\thetaで微分した←ロピタルの定理)} \\[10px] &= \lim_{\theta \to 0} \dfrac{(2b^3 + b^4 \theta)e^{b\theta}-(2a^3 + a^4 \theta)e^{a\theta}}{6(b-a)} \\ &{\scriptsize (不定形なので分母分子を\thetaで微分した←ロピタルの定理)} \\[10px] &= \dfrac{2 b^3-2 a^3}{6(b-a)} \\[10px] &= \dfrac{1}{3} (b^2 + ab + a^2) \end{aligned}$$


よって、
$$\begin{aligned} E[X] &= \dfrac{1}{2} (a+b) \\[10px] V[X] &= E[X^2]-(E[X])^2 \\[5px] &= \dfrac{1}{3} (b^2 + ab + a^2)-\{ \dfrac{1}{2} (a+b) \}^2 \\[5px] &= \dfrac{1}{12} (b-a)^2 \end{aligned}$$となります。

2. （単変量）正規分布

$X \sim$である時、積率母関数$M^X(\theta)$は、
$$\begin{aligned} M^X(\theta)(=E[e^{\theta X}])= \exp[\mu \theta + \dfrac{1}{2}\sigma^2 \theta^2] \end{aligned}$$でした。


上式を$\theta$で微分すると、
$$\begin{aligned} M^{X \prime}(\theta) &= E[X e^{\theta X}] \\[5px] &= \exp[\mu \theta + \dfrac{1}{2}\sigma^2 \theta^2] \cdot (\mu + \sigma^2 \theta) \\[10px] M^{X \prime\prime}(\theta) &= E[X^2 e^{\theta X}] \\[5px] &= \exp[\mu \theta + \dfrac{1}{2}\sigma^2 \theta^2] \cdot (\mu + \sigma^2 \theta)^2 + \exp[\mu \theta + \dfrac{1}{2}\sigma^2 \theta^2] \cdot \sigma^2 \\[5px] &= \{ (\mu + \sigma^2 \theta)^2 + \sigma^2 \} \cdot \exp[\mu \theta + \dfrac{1}{2}\sigma^2 \theta^2] \end{aligned}$$となり、
$$\begin{aligned} &M^{X \prime}(0) = E[X] = \mu \\[5px] &M^{X \prime\prime}(0) = E[X^2] = \mu^2 + \sigma^2 \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= \mu \\[10px] V[X] &= E[X^2]-(E[X])^2 \\ &= (\mu^2 + \sigma^2)-(\mu)^2 \\ &= \sigma^2 \end{aligned}$$となります。

3. 多変量正規分布

確率ベクトル$\vec X = (X_1, \ldots, X_K)^\top$に対して$\vec X \sim \N_n(\vec \mu, \vec \Sigma)$である時、積率母関数$M^{\vec X}(\vec \theta)$は、 $$\begin{aligned} M^{\vec X}(\vec \theta)(=E[e^{\vec \theta^{\top} \vec X}]) = \exp [\vec \theta^\top \vec \mu + \vec \theta^\top \vec \Sigma \vec \theta \cdot \dfrac{1}{2}] ~~~~~ \mathrm{(A)} \end{aligned}$$でした。


$\mathrm{(A)}$を$\vec \theta$で偏微分すると、
$$\begin{aligned} \dfrac{\partial}{\partial \vec \theta} M^{\vec X}(\vec \theta) &= E[ \vec X e^{\vec \theta^{\top} \vec X}] \\ &= \exp [\vec \theta^\top \vec \mu + \vec \theta^\top \vec \Sigma \vec \theta \cdot \dfrac{1}{2}] \cdot (\vec \mu + \vec \Sigma \vec \theta) \\[10px] (\dfrac{\partial}{\partial \vec \theta}) (\dfrac{\partial}{\partial \vec \theta})^{\top} M^{\vec X}(\vec \theta) &= E[ \vec X \vec X^{\top} e^{\vec \theta^{\top} \vec X}] \\ &= \exp [\vec \theta^\top \vec \mu + \vec \theta^\top \vec \Sigma \vec \theta \cdot \dfrac{1}{2}] \cdot (\vec \mu + \vec \Sigma \vec \theta) (\vec \mu + \vec \Sigma \vec \theta)^{\top} \\ &+ \exp [\vec \theta^\top \vec \mu + \vec \theta^\top \vec \Sigma \vec \theta \cdot \dfrac{1}{2}] \cdot \vec \Sigma \end{aligned}$$となり、
$$\begin{aligned} \left. \dfrac{\partial}{\partial \vec \theta} M^{\vec X}(\vec \theta) \right|_{\vec \theta = \vec 0} &= E[\vec X] \\[5px] &= \vec \mu \\[10px] \left. (\dfrac{\partial}{\partial \vec \theta}) (\dfrac{\partial}{\partial \vec \theta})^{\top} M^{\vec X}(\vec \theta) \right|_{\vec \theta = \vec 0} &= E[ \vec X \vec X^{\top}] – (E[\vec X])(E[\vec X])^{\top} \\[5px] &= (\vec \mu \vec \mu^{\top} + \vec \Sigma)-\vec \mu \vec \mu^{\top} \\[5px] &= \vec \Sigma \end{aligned}$$となります。

5. 混合正規分布

$X \sim \sum_{k=1}^K \pi_k \N(\mu_k, \sigma_k^2)$である時、積率母関数$M^X(\theta)$は、
$$\begin{aligned} M^X(\theta)(=E[e^{\theta X}])= \sum_{k=1}^K \pi_k \cdot \exp [ (\mu_k \theta + \dfrac{1}{2}\sigma_k^2 \theta^2)] \end{aligned}$$でした。


上式を$\theta$で微分すると、
$$\begin{aligned} M^{X \prime}(\theta) &= E[X e^{\theta X}] \\ &= \sum_{k=1}^K \pi_k \cdot \exp [ (\mu_k \theta + \dfrac{1}{2}\sigma_k^2 \theta^2)] \cdot (\mu_k + \sigma_k^2 \theta) \\[20px] M^{X \prime\prime}(\theta) &= E[X^2 e^{\theta X}] \\ &= \sum_{k=1}^K \pi_k \cdot \{ \exp [ (\mu_k \theta + \dfrac{1}{2}\sigma_k^2 \theta^2)] \cdot (\mu_k + \sigma_k^2 \theta)^2 + \exp [ (\mu_k \theta + \dfrac{1}{2}\sigma_k^2 \theta^2)] \cdot \sigma_k^2 \} \end{aligned}$$となり、
$$\begin{aligned} &M^{X \prime}(0) = E[X] = \sum_{k=1}^K \pi_k \mu_k \\ &M^{X \prime\prime}(0) = E[X^2] = \sum_{k=1}^K \pi_k ( \mu_k^2 + \sigma_k^2) \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= \sum_{k=1}^K \pi_k \mu_k \\[20px] V[X] &= E[X^2]-(E[X])^2 \\ &= \sum_{k=1}^K \pi_k ( \mu_k^2 + \sigma_k^2)-(\sum_{k=1}^K \pi_k \mu_k)^2 \end{aligned}$$となります。

6. $\chi^2$分布

$X \sim \chi^2(n)$である時、積率母関数$M^X(\theta)$は、
$$\begin{aligned} M^X(\theta)(=E[e^{\theta X}])= (1-2 \theta)^{-\frac{n}{2}} ~~ {\small (ただし1-2\theta \gt 0)} \end{aligned}$$でした。


上式を$\theta$で微分すると、
$$\begin{aligned} M^{X \prime}(\theta) &= E[X e^{\theta X}] \\[5px] &= (- \dfrac{n}{2})(1-2 \theta)^{-\frac{n}{2}-1} \cdot (-2) \\[5px] &= n (1-2 \theta)^{-\frac{n}{2}-1} \\[10px] M^{X \prime\prime}(\theta) &= E[X^2 e^{\theta X}] \\[5px] &= n(-\dfrac{n}{2}-1) (1-2 \theta)^{-\frac{n}{2}-2} \cdot (-2) \\[5px] &= n(n+2) (1-2 \theta)^{-\frac{n}{2}-2} \end{aligned}$$となり、
$$\begin{aligned} &M^{X \prime}(0) = E[X] = n \\[5px] &M^{X \prime\prime}(0) = E[X^2] = n(n+2) \end{aligned}$$となります。 よって、
$$\begin{aligned} E[X] &= n \\[10px] V[X] &= E[X^2]-(E[X])^2 \\ &= n(n+2)-n^2 \\ &= 2n \end{aligned}$$となります。

10. 指数分布

$X \sim \Exp(\lambda)$である時、積率母関数$M^X(\theta)$は、
$$\begin{aligned} M^X(\theta)(=E[e^{\theta X}])= \dfrac{\lambda}{\lambda-\theta} ~~ {\small (ただし\lambda-\theta \gt 0)} \end{aligned}$$でした。


上式を$\theta$で微分すると、
$$\begin{aligned} &M^{X \prime}(\theta) = E[X e^{\theta X}] = \dfrac{\lambda}{(\theta-\lambda)^2} \\ &M^{X \prime\prime}(\theta) = E[X^2 e^{\theta X}] = – \dfrac{2 \lambda}{(\theta-\lambda)^3} \end{aligned}$$となり、
$$\begin{aligned} &M^{X \prime}(0) = E[X] = \dfrac{1}{\lambda} \\ &M^{X \prime\prime}(0) = E[X^2] = \dfrac{2}{\lambda^2} \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= \dfrac{1}{\lambda} \\[10px] V[X] &= E[X^2]-(E[X])^2 \\ &= \dfrac{2}{\lambda^2}-(\dfrac{1}{\lambda})^2 \\ &= \dfrac{1}{\lambda^2} \end{aligned}$$となります。

11. ガンマ分布

$X \sim \Ga(a, b)$である時、積率母関数$M^X(\theta)$は、
$$\begin{aligned} M^X(\theta)(=E[e^{\theta X}])= (1-b\theta)^{-a} ~~ {\small (ただし1-b\theta \gt 0)} \end{aligned}$$でした。


上式を$\theta$で微分すると、
$$\begin{aligned} M^{X \prime}(\theta) &= E[X e^{\theta X}] \\[5px] &= (-a) (1-b\theta)^{-a-1} \cdot (-b) \\[5px] &= ab (1-b\theta)^{-a-1} \\[10px] M^{X \prime\prime}(\theta) &= E[X^2 e^{\theta X}] \\[5px] &= ab (-a-1) (1-b\theta)^{-a-2} \cdot (-b) \\[5px] &= ab^2 (a+1) (1-b\theta)^{-a-2} \end{aligned}$$となり、
$$\begin{aligned} &M^{X \prime}(0) = E[X] = ab \\[5px] &M^{X \prime\prime}(0) = E[X^2] = ab^2 (a+1) \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= ab \\[10px] V[X] &= E[X^2]-(E[X])^2 \\ &= ab^2 (a+1)-(ab)^2 \\ &= ab^2 \end{aligned}$$となります。