補足. ラオ・ブラックウェルの定理

$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}}$

(ラオ・ブラックウェルの定理)
推定量$\hat{\theta}_{n}$、十分統計量$T$について、
$$\begin{aligned} \hat{\theta}_{n}^{*} = E_{\theta}[\hat{\theta}_{n}|T] \end{aligned}$$として新たな推定量$\hat{\theta}_{n}^{*}$を産み出した時、
$$\begin{aligned} E_{\theta}[(\hat{\theta}_{n}^{*}-\theta)^2] \leqq E_{\theta}[(\hat{\theta}_{n}-\theta)^2] ~~ (\forall \theta) \end{aligned}$$が成立する。

(証明)

$E_{\theta}^{\vec X}[(\hat{\theta}_{n}^{*}-\theta)^2]$について、
$$\begin{aligned} E_{\theta}^{\vec X}[(\hat{\theta}_{n}^{*}-\theta)^2] &= E_{\theta}^{T}[(E_{\theta}^{\vec X|T}[\hat{\theta}_{n}|T]-\theta)^2] \\ &{\scriptsize (くり返しの公式より)} \\[10px] &= E_{\theta}^{T}[(E_{\theta}^{\vec X|T}[(\hat{\theta}_{n}-\theta)|T])^2] \\ &{\scriptsize (\thetaをEの中に入れただけ)} \\[10px] &= E_{\theta}^{T}[E_{\theta}^{\vec X|T}[(\hat{\theta}_{n}-\theta)^2|T]-V_{\theta}^{\vec X|T}[(\hat{\theta}_{n}-\theta)|T]] \\ &{\scriptsize ((E[\bullet])^2 = E[\bullet^2]-V[\bullet])} \\[10px] &= E_{\theta}^{\vec X}[(\hat{\theta}_{n}-\theta)^2]-E_{\theta}^{T} [\underbrace{V_{\theta}^{\vec X|T}[(\hat{\theta}_{n}-\theta)|T]}_{\geqq 0}] \\[10px] &\leqq E_{\theta}^{\vec X}[(\hat{\theta}_{n}-\theta)^2] \end{aligned}$$となる。