$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}}$
今回は「指数型分布族」という分布の族（グループ）を扱います。
指数の型をとる分布の族、ですか。
正規分布はその確率密度関数に指数が含まれており、この族に含まれそうですね。
確かに正規分布は指数型分布族に含まれますが、実はこれまで扱ってきた分布の多くがこの族に含まれます。指数型分布族は統計学で重要な役割を持つので、しっかりと押さえておきましょう。
1. 指数型分布族
（定義）
『ある分布が指数型分布族に属する』とは、その分布の確率密度関数（または確率関数）を$f(x)$、その分布パラメータを$\theta$とした時、
$$\begin{aligned} f(x) = h(x) \cdot \exp [\sum_{i=1}^s T_i(x) \phi_i(\theta)-c(\theta)] ~~~~~ \mathrm{(A)} \end{aligned}$$の形式で書くことができることです。
- $\mathrm{(A)}$は、
$$\begin{aligned} f(x) = \underbrace{h(x)}_{\thetaを含まず \\ xを含む} \cdot \underbrace{\exp [\sum_{i=1}^s T_i(x) \phi_i(\theta)-c(\theta)]}_{\thetaを含み \\ (Tを通してしか)xを含まない} \end{aligned}$$と見ることができるので、フィッシャー・ネイマンの分解定理*より$(T_1, \ldots, T_s)$は分布パラメータ$\theta$の十分統計量となります。（ *：「フィッシャー・ネイマンの分解定理」は＜十分統計量＞で扱う内容なので、ご存じない方は＜十分統計量＞を参照ください。ご存じない方は一旦この部分を飛ばしてしまっても良いと思います。）
そして、$\vec X=(X_1, \ldots, X_n), ~ X_i \overset{i.i.d}\sim F ~ {\small (i=1, \ldots, n)}$である時、
$$\begin{aligned} {\small (\vec Xの確率密度関数)} &= {\small (X_1の確率密度関数)} \times \cdots \times {\small (X_nの確率密度関数)} \\ &{\scriptsize (独立性より)} \\ &= \prod_{j=1}^n \{ h(x_j) \cdot \exp [\sum_{i=1}^s T_i(x_j) \phi_i(\theta)-c(\theta)] \} \\ &= \underbrace{\{ \prod_{j=1}^n h(x_j) \}}_{h(\vec x)} \cdot \exp [\underbrace{\sum_{i=1}^s ( \underbrace{\sum_{j=1}^n T_i(x_j))}_{T_i(\vec x)}}_{T_1(\vec x) + \cdots + T_s(\vec x)} \phi_i(\theta)-n c(\theta)] \end{aligned}$$となります。
これは$X_1, \ldots, X_n$という$n$個の統計量を$T_1(\vec x), \ldots, T_s(\vec x)$という$s (\leqq n)$個の十分統計量に縮約できたということです。（これが嬉しい！） - ＜離散分布＞で扱った分布のうち、
・ベルヌーイ分布
・二項分布*
・多項分布*
・ポアソン分布
・負の二項分布*
・幾何分布
は指数型分布族に属します。
（*：ただし、これらの分布については特定の分布パラメータが既知である時のみ（例. $\Bin(n,p)$の”$n$”）指数型分布族に属します） - ＜連続分布＞で扱った分布のうち、
・正規分布（単変量、多変量とも）
・対数正規分布
・$\chi^2$分布
・指数分布
・ガンマ分布
・ベータ分布
は指数型分布族に属します。
それでは以下、ある分布が指数型分布族に属するか（即ち、$\mathrm{(A)}$の形式で書けるのか）を確認してみましょう！
例題1.
正規分布$\N(\mu, \sigma^2)$について、
(1).【$\mu$：未知、$\sigma^2$：既知】である時
(2).【$\mu$：既知、$\sigma^2$：未知】である時
(3).【$\mu$：未知、$\sigma^2$：未知】である時
の$3$つの場合について、指数型分布族に属するか（即ち、$\mathrm{(A)}$の形式で書けるのか）を確認せよ。
解答.
$\N(\mu, \sigma^2)$の確率密度関数$f(x)$は、
$$\begin{aligned} f(x) &= \dfrac{1}{\sqrt{2 \pi \sigma^2}} \exp [- \dfrac{(x-\mu)^2}{2 \sigma^2}] \\ &= \exp [- \dfrac{1}{2 \sigma^2} x^2 + \dfrac{\mu}{\sigma^2} x-\dfrac{\mu^2}{2 \sigma^2}-\dfrac{1}{2} \log (2 \pi \sigma^2)] \end{aligned}$$と変形できる。
これより、各場合について以下の様になる。
・(1).【$\mu$：未知、$\sigma^2$：既知】である時
$$\begin{aligned} f(x) = \underbrace{\exp [ – \dfrac{1}{2 \sigma^2} x^2-\dfrac{1}{2} \log (2 \pi \sigma^2)]}_{h(x)} \cdot \exp [ \underbrace{\dfrac{\mu}{\sigma^2}}_{\phi(\mu)} \underbrace{x}_{T(x)}-\underbrace{\dfrac{\mu^2}{2 \sigma^2}}_{c(\mu)}] \end{aligned}$$
・(2).【$\mu$：既知、$\sigma^2$：未知】である時
$$\begin{aligned} f(x) = \underbrace{1}_{h(x)} \cdot \exp [ \underbrace{- \dfrac{1}{2 \sigma^2}}_{\phi(\sigma^2)} \underbrace{(x-\mu)^2}_{T(x)}-\underbrace{\dfrac{1}{2} \log(2 \pi \sigma^2)}_{c(\sigma^2)} ] \end{aligned}$$
・(3).【$\mu$：未知、$\sigma^2$：未知】である時
$$\begin{aligned} f(x) = \underbrace{1}_{h(x)} \cdot \exp [ \underbrace{- \dfrac{1}{2 \sigma^2}}_{\phi_1(\mu, \sigma^2)} \underbrace{x^2}_{T_1(x)} + \underbrace{\dfrac{\mu}{\sigma^2}}_{\phi_2(\mu, \sigma^2)} \underbrace{x}_{T_2(x)}-\underbrace{ \dfrac{\mu^2}{2 \sigma^2}-\dfrac{1}{2} \log (2 \pi \sigma^2)}_{c(\mu, \sigma^2)} ] ~~~~~ \mathrm{(B)} \end{aligned}$$
よって、(1)-(3)のいずれの場合についても$\mathrm{(A)}$の形式で書けるため、$\N(\mu, \sigma^2)$は指数型分布族に属する。
（注意：$\mathrm{(B)}$の”${c(\mu, \sigma^2)}$”は単に”$\mu, \sigma^2$”から構成される部分、とみてください）
例題2.
ポアソン分布$\Po(\lambda)$について、指数型分布族に属するか（即ち、$\mathrm{(A)}$の形式で書けるのか）を確認せよ。
解答.
$\Po(\lambda)$の確率関数$p(x)$は、
$$\begin{aligned} p(x) = \underbrace{\dfrac{1}{x!}}_{h(x)} \cdot \exp [ \underbrace{x}_{T(x)} \underbrace{\log \lambda}_{\phi(\lambda)}-\underbrace{\lambda}_{c(\lambda)} ] \end{aligned}$$と変形できる。 よって、$\mathrm{(A)}$の形式で書けるため、$\Po(\lambda)$は指数型分布族に属する。
例題3.
二項分布$\Bin(n,p)$について、
(1).【$n$：未知、$p$：既知】である時
(2).【$n$：既知、$p$：未知】である時
(3).【$n$：未知、$p$：未知】である時
の$3$つの場合について、指数型分布族に属するか（即ち、$\mathrm{(A)}$の形式で書けるのか）を確認せよ。
解答.
$\Bin(n,p)$の確率関数$p(x)$は、
$$\begin{aligned} p(x) &= \binom{n}{x} \cdot p^x (1-p)^{n-x} \\ &=\exp [ x \log (\dfrac{p}{1-p}) + n \log (1-p) + \log \binom{n}{x} ] \end{aligned}$$と変形できる。
これより、各場合について以下の様になる。
・(1).【$n$：未知、$p$：既知】である時
$$\begin{aligned} p(x) = (\dfrac{p}{1-p})^x \cdot \exp [n \log(1-p) + \log \binom{n}{x}] \end{aligned}$$
・(2).【$n$：既知、$p$：未知】である時
$$\begin{aligned} p(x) = \underbrace{\binom{n}{x}}_{h(x)} \cdot \exp [ \underbrace{x}_{T(x)} \underbrace{\log(\dfrac{p}{1-p})}_{\phi(p)} + \underbrace{n \log(1-p)}_{c(p)} ] ~~~~~ \mathrm{(C)} \end{aligned}$$
・(3).【$n$：未知、$p$：未知】である時
$$\begin{aligned} p(x) = \exp [ x \log (\dfrac{p}{1-p}) + n \log (1-p) + \log \binom{n}{x} ] \end{aligned}$$
よって、(2)の場合には$\mathrm{(A)}$の形式で書けるため、$\Bin(n,p)$は指数型分布族に属する。
しかし、(1)(3)の場合には”$\log \displaystyle \binom{n}{x}$”を$\sum T_i(x) \phi(n)$の形式で書くことができないため、これらの場合には$\Bin(n,p)$は指数型分布族に属さない。
（注意：$\mathrm{(A)}$に合わせるならば$\mathrm{(C)}$の”${c(p)}$”は”$- {c(p)}$”とすべきですが、$\pm$はどちらでも構わないので
“${c(p)}$”としました。単に”$p$”から構成される部分、とみてください）
