お遊び1：母関数から平均・分散を求めてみよう〜離散分布編〜

$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}}$

（注意）

• ここでは、＜離散分布＞で扱った分布の内、確率母関数がきれいな形で書けるものを扱います。また、確率母関数の導出は＜離散分布＞で済ませているので、ここでは扱いません。
  
  
• ここでの各分布の番号は＜離散分布＞における番号と同じものを使用しています。

1. ベルヌーイ分布

$X \sim \Bern(p)$である時、確率母関数$G^X(s)$は、
$$\begin{aligned} G^X(s)(=E[s^X])=ps + (1-p) \end{aligned}$$でした。


上式を$s$で微分すると、
$$\begin{aligned} &G^{X^{\prime}}(s) = E[X s^{X-1}] = p \\ &G^{X^{\prime\prime}}(s) = E[X(X-1) s^{X-2}] = 0 \end{aligned}$$となり、 $$\begin{aligned} &G^{X^{\prime}}(1) = E[X] = p \\ &G^{X^{\prime\prime}}(1) = E[X(X-1)] = 0 \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= p \\[5px] V[X] &= E[X^2]-(E[X])^2 \\ &= \{ E[X(X-1)] + E[X] \}-(E[X])^2 \\ &= (0 + p)-p^2 \\ &= p(1-p) \end{aligned}$$となります。

2. 二項分布

$X \sim \Bin (n, p)$である時、確率母関数$G^X(s)$は、
$$\begin{aligned} G^X(s)(=E[s^X])= \{ps + (1-p) \}^n \end{aligned}$$でした。


上式を$s$で微分すると、
$$\begin{aligned} &G^{X^{\prime}}(s) = E[X s^{X-1}] = n \{ps + (1-p) \}^{n-1} \cdot p \\ &G^{X^{\prime\prime}}(s) = E[X(X-1) s^{X-2}] = n(n-1) \{ps + (1-p) \}^{n-2} \cdot p^2 \end{aligned}$$となり、
$$\begin{aligned} &G^{X^{\prime}}(1) = E[X] = np \\ &G^{X^{\prime\prime}}(1) = E[X(X-1)] = n(n-1)p^2 \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= np \\[5px] V[X] &= E[X^2]-(E[X])^2 \\ &= \{ E[X(X-1)] + E[X] \}-(E[X])^2 \\ &= \{ n(n-1)p^2 + np \}-(np)^2 \\ &= np(1-p) \end{aligned}$$となります。

3. 多項分布

確率ベクトル$\vec X = (X_1, \ldots, X_K)^\top$に対して$\vec X \sim \Mn (n; p_1, \ldots, p_K)$である時、
確率母関数$G^{\vec X}(s_1, \ldots, s_K)$は、
$$\begin{aligned} G^{\vec X}(s_1, \ldots, s_K) (= E[s_1^{X_1} \cdots s_K^{X_K}]) = (p_1 s_1 + \cdots + p_K s_K )^n ~~~~~ \mathrm{(A)} \end{aligned}$$でした。

（$E[X_i], V[X_i]$について）
$\mathrm{(A)}$を$s_1$で偏微分すると、
$$\begin{aligned} \dfrac{\partial}{\partial s_i} G^{\vec X}(s_1, \ldots, s_K) &= E[s_1^{X_1} \cdots (X_i s_i^{X_i-1}) \cdots s_K^{X_K}] \\ &= n(p_1 s_1 + \cdots + p_K s_K)^{n-1} \cdot p_i ~~~~~ \mathrm{(B)} \\[10px] \dfrac{\partial^2}{\partial s_i^2} G^{\vec X}(s_1, \ldots, s_K) &= E[s_1^{X_1} \cdots (X_i(X_i-1)s_i^{X_i-2}) \cdots s_K^{X_K}] \\ &= n(n-1)(p_1 s_1 + \cdots + p_K s_K)^{n-2} \cdot p_i^2 \end{aligned}$$となり、 $$\begin{aligned} \left. \dfrac{\partial}{\partial s_i} G^{\vec X}(s_1, \ldots, s_K) \right|_{s_1=1, \ldots, s_K=1} &= E[X_i] \\[5px] &= n(p_1 + \cdots + p_K) \cdot p_i \\[5px] &= np_i \\ &{\scriptsize (\sum_{i=1}^K p_i = 1)} \\[10px] \left. \dfrac{\partial^2}{\partial s_i^2} G^{\vec X}(s_1, \ldots, s_K) \right|_{s_1=1, \ldots, s_K=1} &= E[X_i (X_i-1)] \\[5px] &= n(n-1)(p_1 + \cdots + p_K) \cdot p_i^2 \\[5px] &= n(n-1) p_i^2 \\ &{\scriptsize (\sum_{i=1}^K p_i = 1)} \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X_i] &= np_i \\[5px] V[X_i] &= E[X_i^2]-(E[X_i])^2 \\ &= \{ E[X_i(X_i-1)] + E[X_i] \}-(E[X_i])^2 \\ &= \{ n(n-1)p_i^2 + np_i \}-(np_i)^2 \\ &= np_i(1-p_i) \end{aligned}$$となります。




（$\Cov[X_i, X_j]$について）
$\mathrm{(B)}$の両辺を$s_j ~ {\small (i \neq j)}$で偏微分すると、
$$\begin{aligned} \dfrac{\partial}{\partial s_j} \dfrac{\partial}{\partial s_i} G^{\vec X}(s_1, \ldots, s_K) &= E[s_1^{X_1} \cdots (X_i s_i^{X_i – 1}) \cdots (X_j s_j^{X_j – 1}) \cdots s_K^{X_K}] \\ &= n(n-1)(p_1 s_1 + \cdots + p_K s_K)^{n-2} \cdot p_i p_j \end{aligned}$$となり、
$$\begin{aligned} \left. \dfrac{\partial}{\partial s_j} \dfrac{\partial}{\partial s_i} G^{\vec X}(s_1, \ldots, s_K) \right|_{s_1=1, \ldots, s_K=1} &= E[X_i X_j] \\[5px] &= n(n-1) (p_1 + \cdots + p_K)^{n-2} \cdot p_i p_j \\[5px] &= n(n-1) p_i p_j \\ &{\scriptsize (\sum_{i=1}^K p_i = 1)} \end{aligned}$$となります。


よって、
$$\begin{aligned} \Cov[X_i, X_j] &= E[(X_i-E[X_i])(X_j-E[X_j])] \\ &{\scriptsize (\Covの定義より)} \\[5px] &= E[X_i X_j]-E[X_i] E[X_j] \\[5px] &= n(n-1) p_i p_j-(np_i)(np_j) \\[5px] &= – n p_i p_j \end{aligned}$$となります。

4. ポアソン分布

$X \sim \Po (\lambda)$である時、確率母関数$G^X(s)$は、
$$\begin{aligned} G^X(s)(=E[s^X])=\exp[\lambda (s-1)] \end{aligned}$$でした。


上式を$s$で微分すると、
$$\begin{aligned} &G^{X^{\prime}}(s) = E[X s^{X-1}] = \exp [\lambda (s-1)] \cdot \lambda \\ &G^{X^{\prime\prime}}(s) = E[X(X-1) s^{X-2}] = \exp [\lambda (s-1)] \cdot \lambda^2 \end{aligned}$$となり、
$$\begin{aligned} &G^{X^{\prime}}(1) = E[X] = \lambda \\ &G^{X^{\prime\prime}}(1) = E[X(X-1)] = \lambda^2 \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= \lambda \\[10px] V[X] &= E[X^2]-(E[X])^2 \\ &= \{ E[X(X-1)] + E[X] \}-(E[X])^2 \\ &= \{ \lambda^2 + \lambda \}-(\lambda)^2 \\ &= \lambda \end{aligned}$$となります。

6. 幾何分布

$X \sim \Geo(p)$である時、確率母関数$G^X(s)$は、
$$\begin{aligned} G^X(s)(=E[s^X])= \frac{ps}{1-(1-p)s} ~~ {\small (ただし|(1-p)s| \lt 1)} \end{aligned}$$でした。


上式を$s$で微分すると、
$$\begin{aligned} &G^{X^{\prime}}(s) = E[X s^{X-1}] = \dfrac{p}{\{1-(1-p)s\}^2} \\[10px] &G^{X^{\prime\prime}}(s) = E[X(X-1) s^{X-2}] = \dfrac{2p(1-p)}{\{1-(1-p)s\}^3} \end{aligned}$$となり、
$$\begin{aligned} &G^{X^{\prime}}(1) = E[X] = \dfrac{1}{p} \\ &G^{X^{\prime\prime}}(1) = E[X(X-1)] = \dfrac{2(1-p)}{p^2} \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= \dfrac{1}{p} \\[10px] V[X] &= E[X^2]-(E[X])^2 \\[5px] &= \{ E[X(X-1)] + E[X] \}-(E[X])^2 \\[5px] &= \dfrac{2(1-p)}{p^2} + \dfrac{1}{p}-(\dfrac{1}{p})^2 \\[5px] &= \dfrac{1-p}{p^2} \end{aligned}$$となります。

7. 負の二項分布

$X \sim \NB (r, p)$である時、確率母関数$G^X(s)$は、
$$\begin{aligned} G^X(s)(=E[s^X])= \left\{\frac{ps}{1-(1-p)s} \right\}^r ~~ {\small (ただし|(1-p)s| \lt 1)} \end{aligned}$$でした。


上式を$s$で微分すると、
$$\begin{aligned} G^{X^{\prime}}(s) &= E[X s^{X-1}] \\[5px] &= r \left\{\frac{ps}{1-(1-p)s} \right\}^{r-1} \cdot (\frac{ps}{1-(1-p)s})^{\prime} \\[5px] &= r \left\{\frac{ps}{1-(1-p)s} \right\}^{r-1} \cdot \dfrac{p}{\{1-(1-p)s\}^2} \\[5px] &= rp^r \cdot \dfrac{s^{r-1}}{\{1-(1-p)s\}^{r+1}} \\[20px] G^{X^{\prime\prime}}(s) &= E[X(X-1) s^{X-2}] \\[5px] &= rp^r \cdot \{ (r-1) s^{r-2} \cdot \dfrac{1}{\{1-(1-p)s\}^{r+1}} + s^{r-1} \cdot (-r-1) \dfrac{\{-(1-p)\}}{\{1-(1-p)s\}^{r+2}} \} \\[5px] &= rp^r \cdot \dfrac{1}{\{1-(1-p)s\}^{r+2}} \cdot \{ (r-1) s^{r-2} (1-(1-p)s) + (1-p)s^{r-1}(r+1) \} \\[5px] &= rp^r \cdot \dfrac{1}{\{1-(1-p)s\}^{r+2}} \cdot s^{r-2} \cdot \{ (r-1)\{1-(1-p)s\} + (1-p)s(r+1) \} \\[5px] &= rp^r \cdot \dfrac{s^{r-2} \{r-1+2(1-p)s\}}{\{1-(1-p)s\}^{r+2}} \end{aligned}$$となり、
$$\begin{aligned} &G^{X^{\prime}}(1) = E[X] = \dfrac{r}{p} \\ &G^{X^{\prime\prime}}(1) = E[X(X-1)] = \dfrac{r\{r-1+2(1-p)\}}{p^2} \end{aligned}$$となります。


よって、
$$\begin{aligned} E[X] &= \dfrac{r}{p} \\[10px] V[X] &= E[X^2]-(E[X])^2 \\[5px] &= \{ E[X(X-1)] + E[X] \}-(E[X])^2 \\[5px] &= \dfrac{r\{r-1+2(1-p)\}}{p^2} + \dfrac{r}{p}-(\dfrac{r}{p})^2 \\[5px] &= \dfrac{r}{p^2} \cdot \{ (r-1+2(1-p)) + p-r \} \\[5px] &= \dfrac{(1-p)r}{p^2} \end{aligned}$$となります。