補足.因子分析_回転前後の尤度

$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}} \\ \gdef \indep {\mathop{\perp\!\!\!\!\perp}} \\ \gdef \tr {\mathrm{tr}}$

モデルやそこで使われてるパラメータ表記は＜因子分析＞のものを引き継ぐ形とします。


ここでは、斜交回転させた前後で尤度が変化しないことを示します。
直交回転については斜交回転が直交回転を包含するために、斜交回転の場合だけを示せば十分です。


斜交回転とは、潜在変数$\vec f$・パラメータ$\Lambda$に対してある正則行列$A ~~ (\in \mathbb{R}^{m \times m})$を用いて、
$$\begin{aligned} \vec f_2 &= A \vec f_0 \\ \Lambda_2 &= \Lambda_0 A^{-1} \end{aligned}$$と変換することでした。


斜交回転前は、
$$\begin{aligned} \vec x = \vec \mu + \Lambda_0 \vec f_0 + \vec e ~~~~~ \mathrm{(A)} \end{aligned}$$とモデリングしたために、対数尤度関数$l(\vec \mu, \Phi_0, \Psi, \Lambda_0)$は、
$$\begin{aligned} l(\vec \mu, \Phi_0, \Psi, \Lambda_0) &= -\frac{n}{2} \log(2 \pi)-\frac{1}{2} \log | \Lambda_0 \Phi_0 \Lambda_0^{\top} + \Psi |-\frac{1}{2} \tr[ (\Lambda_0 \Phi_0 \Lambda_0^{\top} + \Psi)^{-1} (\vec x-\vec \mu) (\vec x-\vec \mu)^{\top} ]　~~~~~ \mathrm{(A’)} \end{aligned}$$となりました。


斜交回転後（上記変換後）のパラメータを使って(A)を書き直すと、
$$\begin{aligned} \vec x = \vec \mu + \Lambda_2 \vec f_2 + \vec e ~~~~~ \mathrm{(B)} \end{aligned}$$と斜交回転前（上記変換前）と同様の形でモデリングできることから（上記$\mathrm{(A)}$において、$\Lambda_0 \vec f_0 = \Lambda_0 A^{-1} A \vec f_0 = \Lambda_2 \vec f_2$より）、対数尤度関数$l(\vec \mu, \Phi_2, \Psi, \Lambda_2)$は、
$$\begin{aligned} l(\vec \mu, \Phi_2, \Psi, \Lambda_2) &= -\frac{n}{2} \log(2 \pi)-\frac{1}{2} \log | \Lambda_2 \Phi_2 \Lambda_2^{\top} + \Psi |-\frac{1}{2} \tr[ (\Lambda_2 \Phi_2 \Lambda_2^{\top} + \Psi)^{-1} (\vec x-\vec \mu) (\vec x-\vec \mu)^{\top} ]　~~~~~ \mathrm{(B’)} \end{aligned}$$となります。


$\mathrm{(A’),(B’)}$のうち$\Lambda \Phi \Lambda^{\top}$以外の部分は共通しているので、以下$\Lambda_0 \Phi_0 \Lambda_0^{\top} = \Lambda_2 \Phi_2 \Lambda_2^{\top}$を示すことができれば題意は示されます。


よって、以下では$\Lambda_0 \Phi_0 \Lambda_0^{\top} = \Lambda_2 \Phi_2 \Lambda_2^{\top}$を示します。
$$\begin{aligned} \Lambda_2 \Phi_2 \Lambda_2^{\top} &= (\Lambda_0 A^{-1}) V[f_2] (\Lambda_0 A^{-1})^{\top} \\ &= (\Lambda_0 A^{-1}) V[A \vec f_0] (\Lambda_0 A^{-1})^{\top} \\ &= (\Lambda_0 A^{-1}) A \Phi_0 A^{\top} (\Lambda_0 A^{-1})^{\top} \\ &= (\Lambda_0 A^{-1}) A \Phi_0 A^{\top} (A^{\top})^{-1} \Lambda_0^{\top} \\ &= \Lambda_0 \Phi_0 \Lambda_0^{\top} \end{aligned}$$


以上より、斜交回転させた前後で尤度が変化しないことが示されました。
（冒頭にも記載しましたが、斜交回転は直交回転を包含するため、直交回転させた前後で尤度が変化しないことも示されたことになります）