$ \gdef \vec#1{\boldsymbol{#1}} \gdef \rank {\mathrm{rank}} \gdef \det {\mathrm{det}}$
今回の内容はどういったものでしょうか？
確率変数$X$の従う分布が既知である時に、
$X$にある変換を用いて産み出された$Y$の従う分布の、近似的なモーメント（平均・分散）を求める、という内容です。
なんだか＜確率変数の変数変換＞の内容と似ていますね。
＜確率変数の変数変換＞でやった通りに、ヤコビアンを用いて直接$Y$の従う分布の、『正確な』平均・分散を求めてしまったらよいのではないでしょうか？
『近似的に』とは言わずに。。
もちろん直接求められる場合にはよいのですが、それが困難ないし不可能な場合には、今回扱う内容が有効になります！
1. 変数変換後の分布の、近似的な平均・分散
確率変数$X$に対して（ただし$X \sim F~~(E[X] = \mu, V[X] = \sigma^2)$）、（必要回の連続微分が可能な）ある変換$g$によって$$ \begin{aligned} X \overset{\displaystyle {g}}\longrightarrow Y \end{aligned}$$と新たな確率変数$Y$を産み出したとします。
この時、$Y$の従う分布の、近似的な平均・分散を求めます。
ポイントは、$\boldsymbol{Y = g(X)}$を$\boldsymbol{\mu}$まわりでTaylor展開すること、です。
1-1. 変数変換後の分布の、近似的な平均
以下、$Y$の従う分布の、近似的な平均を求めます。
$Y = g(X)$を$\mu$まわりでTaylor展開すると、
$$ \begin{aligned} Y &= g(X) \\[5px] &= g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu) + \frac{g^{\prime\prime}(\mu)}{2!}(X – \mu)^2 + \cdots \\[5px] &\fallingdotseq g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu) ~~~~~\mathrm{(A)} \end{aligned}$$
両辺に対して期待値をとると、
$$ \begin{aligned} E[Y] &\fallingdotseq E[g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu)] \\[5px] &= g(\mu) + \frac{g^{\prime}(\mu)}{1!} E[X – \mu] \\[5px] &= g(\mu) \\ &{\scriptsize (E[X – \mu] = E[X] – \mu =\mu – \mu =0より)} \end{aligned}$$
求まりましたね！
- $\mathrm{(A)}$はTaylor展開の$1$次の項までを採用した結果ですが、より精密な近似をする場合には$2$次の項までを採用して以下の様になります。
$$ \begin{aligned} Y &= g(X) \\ &= g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu) + \frac{g^{\prime\prime}(\mu)}{2!}(X – \mu)^2 + \cdots \\ &\fallingdotseq g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu) + \frac{g^{\prime\prime}(\mu)}{2!}(X – \mu)^2 ~~~~~\mathrm{(B)} \end{aligned}$$
両辺に対して期待値をとると、
$$ \begin{aligned} E[Y] &\fallingdotseq E[g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu) + \frac{g^{\prime\prime}(\mu)}{2!}(X – \mu)^2] \\ &= g(\mu) + \frac{g^{\prime}(\mu)}{1!} E[X – \mu] + \frac{g^{\prime\prime}(\mu)}{2!}E[(X – \mu)^2] \\ &= g(\mu) + \frac{g^{\prime\prime}(\mu)}{2!} V[X] \\ &{\scriptsize (定義よりV[X]=E[(X – \mu)^2])} \\ &= g(\mu) + \frac{g^{\prime\prime}(\mu)}{2!} \sigma^2 \end{aligned} $$
$1$次の項までを採用した場合は、$E[Y] \fallingdotseq g(\mu)$、と$\mu$のみの式になりますが、$2$次の項までを採用した場合は、$E[Y] \fallingdotseq g(\mu) + \displaystyle \frac{g^{\prime\prime}(\mu)}{2!} \sigma^2$、と$\mu, \sigma$の式になるのは面白いですね。
1-2. 変数変換後の分布の、近似的な分散
以下、$Y$の従う分布の、近似的な分散を求めます。
$\mathrm{(A)}$の両辺に対して分散をとると、
$$ \begin{aligned} V[Y] &\fallingdotseq V[g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu)] \\[5px] &= (\frac{g^{\prime}(\mu)}{1!})^2 \cdot V[X – \mu] \\ &{\scriptsize (V[(定数)+ \bullet] = V[\bullet]より)} \\[5px] &= (g^{\prime}(\mu))^2 \cdot V[X] \\[5px] &= (g^{\prime}(\mu))^2 \cdot \sigma^2 \end{aligned}$$
求まりましたね！
- こちらはTaylor展開の$1$次の項までを採用した結果ですが、$\mu, \sigma$の式になっています。
- 分散についても、Taylor展開の$2$次の項までを採用しようとすると（$\mathrm{(B)}$の両辺について分散をとると）、$V[(X – \mu)^2]$という項が出てきます。この計算は4次モーメント$E[(X – \mu)^4]$があれば計算可能ですが、やや手間がかかるので割愛します。
例題1.
確率変数列$\{ X_n \}$に対して、$X_i \overset{i.i.d}\sim F ~~ (E[X_i] = \mu, V[X_i] = \sigma^2) ~ {\small (i=1, \ldots, n)}$であるとする。
この時、$\bar{X_n}^2$の従う分布の、近似的な平均・分散を求めよ。
（ただし$\bar{X_n} = \displaystyle \frac{1}{n} \sum_{i=1}^n X_i$）
解答.
変換$g$を$g(X) = X^2$として$g(X)$を$\mu$まわりでTaylor展開すると、 $$ \begin{aligned} g(X) &= g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu) + \frac{g^{\prime\prime}(\mu)}{2!}(X – \mu)^2 + \cdots \\[5px] &\fallingdotseq g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu) ~~~~~\mathrm{(C)} \end{aligned}$$
$\mathrm{(C)}$の両辺に対して期待値をとると、
$$ \begin{aligned} E[g(X)] &\fallingdotseq E[g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu)] \\[5px] &= g(\mu) + \frac{g^{\prime}(\mu)}{1!} E[X – \mu] \\[5px] &= g(\mu) ~~~~~\mathrm{(D)} \end{aligned}$$
$\mathrm{(C)}$の両辺に対して分散をとると、
$$ \begin{aligned} V[g(X)] &\fallingdotseq V[g(\mu) + \frac{g^{\prime}(\mu)}{1!}(X – \mu)] \\[5px] &= (\frac{g^{\prime}(\mu)}{1!})^2 \cdot V[X – \mu] \\[5px] &= (g^{\prime}(\mu))^2 \cdot V[X] ~~~~~\mathrm{(E)} \end{aligned}$$
$\mathrm{(C), (D)}$に$X = \bar{X_n}$を代入すると、
$$ \begin{aligned} E[g( \bar{X_n} )] &\fallingdotseq g(\mu) = \mu^2 \\[10px] V[g( \bar{X_n} )] &\fallingdotseq (g^{\prime}(\mu))^2 \cdot V[\bar{X_n}] \\[5px] &= \left.\{ (X^2)^{\prime} \right|_{X=\mu} \} \cdot \frac{\sigma^2}{n} \\ &{\scriptsize ＜補足. 標本平均の分散＞} \\[5px] &= (2 \mu)^2 \cdot \frac{\sigma^2}{n} \\[5px] &= \frac{4 \mu^2 \sigma^2}{n} \end{aligned}$$
(参照：＜補足. 標本平均の分散＞)
まとめ.
- 確率変数$X$に対して（$X \sim F ~~ (E[X] = \mu, V[X] = \sigma^2)$）、ある変換$g$により新たな確率変数$g(X)$を産み出した時、$g(X)$の$\mu$まわりでのTaylor展開を用いることで、$g(X)$の従う分布の、近似的な平均・分散を求めることができる。
