因子分析

（補足）
$$\begin{aligned} \underbrace{\Sigma}_{\sigma_i} &= \underbrace{\Lambda \Phi \Lambda^{\top}}_{y_{i}} + \underbrace{\Psi}_{\psi_i} \\ &{\scriptsize(下に記載した文字はそれぞれの対角成分)} \end{aligned}$$は、全体のばらつき$\Sigma$を共通のばらつき$\Lambda \Phi \Lambda^{\top}$と独自のばらつき$\Psi$に分解する式と見ることができます。


この式の対角成分に着目すると、
$$\begin{aligned} \sigma_i^2 &= y_i^2 + \psi_i^2 \\ \Rightarrow \underbrace{\frac{y_i^2}{\sigma_i^2}}_{\bullet} + \underbrace{\frac{\phi_i^2}{\sigma_i^2}}_{\circ} &= 1 \end{aligned}$$となり、$\bullet$を『共通性』、$\circ$を『独自性』と言います。

$$\begin{aligned} f(\vec x; \vec \mu, \Sigma) &= \frac{1}{(2 \pi)^{\frac{n}{2}} |\Sigma|^{\frac{1}{2}}} \exp \{ -\frac{1}{2} \textcolor{red}{ (\vec x-\vec \mu)^{\top} \Sigma^{-1} (\vec x-\vec \mu) } \} \\ &= \frac{1}{(2 \pi)^{\frac{n}{2}} |\Sigma|^{\frac{1}{2}}} \exp \{ -\frac{1}{2} \tr [\Sigma^{-1} (\vec x-\vec \mu) (\vec x-\vec \mu)^{\top}] \} \\ &{\scriptsize(上式の赤文字部分はスカラーなので\trをとることができ、その上で中味の順序を入れ替えた)} \\[10px] \Rightarrow l(\vec \mu, \Phi, \Psi, \Lambda) &= \log f(\vec x; \vec \mu, \Sigma) \\ &= -\frac{n}{2} \log(2 \pi)-\frac{1}{2} \log |\Sigma|-\frac{1}{2} \tr[\Sigma^{-1} (\vec x-\vec \mu) (\vec x-\vec \mu)^{\top}] \\ &= -\frac{n}{2} \log(2 \pi)-\frac{1}{2} \log | \Lambda \Phi \Lambda^{\top} + \Psi |-\frac{1}{2} \tr[ (\Lambda \Phi \Lambda^{\top} + \Psi)^{-1} (\vec x-\vec \mu) (\vec x-\vec \mu)^{\top} ]　~~~~~ \mathrm{(A’)} \\ &= -\frac{n}{2} \log(2 \pi)-\frac{1}{2} \log | \Lambda \Lambda^{\top} + \Psi |-\frac{1}{2} \tr[ (\Lambda \Lambda^{\top} + \Psi)^{-1} (\vec x-\vec \mu) (\vec x-\vec \mu)^{\top} ] ~~~~~ \mathrm{(A)} \\ &{\scriptsize(\Phi = I)} \end{aligned}$$

以下制約条件A/Bを加味した上で$\mathrm{(A)}$の最大化をしたいのですが、それをニュートン・ラプソン法で直接的に解くのは難しいです。（ちなみに、$\vec \mu$の最尤推定値は$\bar{\vec x}$となります）


しかしながら、うまく式変形をすることでそれを別方式で解くことができると知られています。
（詳しくはArak Mathai Mathai『Factor Analysis Revisited』2021.などを参照ください）

すたどく

因子分析の計算を手計算ですることはごく稀で、基本的には統計解析ソフトにあるアルゴリズムを使うことになるはずなので、心配はありません。

（補足1）
今回は斜交回転として、ある正則行列$A ~~ (\in \mathbb{R}^{m \times m})$を$\vec f_0, \Lambda_0$に作用させました。

後出しにはなりますが、$A$が満たすべき制約条件が存在します。
それを確認しましょう。


斜交回転後の共通因子の分散共分散行列$\Phi_2$について、
$$\begin{aligned} \Phi_2 &= A \Phi_0 A^{\top} \\ &= A A^{\top} \\ &{\scriptsize(\Phi_0 = I)} \end{aligned}$$となりますが、斜交モデルの必要条件から、$\Phi_2$の各対角成分はすべて$1$である必要があります。


すなわち、$A$が満たすべき制約条件とは『$A A^{\top}$の各対角成分が$1$』となります。

すたどく

ちなみにですが、直交回転させた場合も斜交回転させた場合も、その前後で尤度は変化しません。
この説明については本記事のボリュームが増えてしまったため、興味がある方のみ＜補足.因子分析_回転前後の尤度＞を参照してください。

（補足2）
因子分析には実は2種類：『検証的因子分析』『探索的因子分析』があります。
前者はデータ解析をする前に『背景にあると想定できる変数』を想定しておき、データ解析をしてみてその想定が妥当かを検証するというものです。
後者はデータ解析をする前には『背景にあると想定できる変数』を想定せず、データ解析をしてみて、データから『背景にあると想定できる変数』の想定（解釈）を与えるというものです。

本記事では『探索的因子分析』を意図しています。

例題1.
100人が5教科（英語、数学、理科、社会、国語）のテストを受けた。
各教科について標準化を行った上で、直交モデル・2因子モデルで解析をしたところ、（各因子に対する）因子負荷量の初期解は下記の通り得られた。

この時、以下の問いに答えよ。

(1). 第1因子、第2因子はそれぞれどの様に解釈できるか。

(2). 数学の共通性と独自性を求めよ。

(3). Aさん、Bさん、Cさんの(英語、数学、理科、社会、国語)の点数はそれぞれ$(60, 90, 85, 55, 60), (60, 50, 55, 85, 90), (70, 70, 70, 70, 70)$であった。
Aさん、Bさん、Cさんの因子スコアの候補が$(0.5, -0.5), (1.2, -1.5), (-1.0, 1.0)$である時、Aさんの因子スコアはどれであるか。

解答.
この例題と『1. 因子分析のモデリング』における『$\vec x = \vec \mu + \Lambda \vec f + \vec e$』の対応をまず確認しておく。


$i~~\small{(i=1,\cdots, 100)}$番目の人の点数ベクトル$\vec x_i$を、
$$\begin{aligned} \vec x_i = \begin{pmatrix} x_{i,1} (英語) \\ x_{i,2} (数学) \\ x_{i,3} (理科) \\ x_{i,4} (社会) \\ x_{i,5} (国語) \end{pmatrix} \end{aligned}$$とする。


$\vec x_i, \vec x_j ~~ \small{(i \neq j)}$を考えると、
$$\begin{aligned} \vec x_i &= \begin{pmatrix} x_{i,1} \\ x_{i,2} \\ x_{i,3} \\ x_{i,4} \\ x_{i,5} \end{pmatrix} = \underbrace{\vec \mu}_{=\vec 0 ~~ (標準化されてる)} + \underbrace{\begin{pmatrix} 0.1 & 0.9 \\ 0.8 & 0.1 \\ 0.9 & 0.1 \\ 0.2 & 0.8 \\ 0.1 & 0.9 \end{pmatrix}}_{\Lambda} \underbrace{\begin{pmatrix} f_{i,1} \\ f_{i,2} \end{pmatrix}}_{\vec f_i} + \underbrace{\begin{pmatrix} e_{i,1} \\ e_{i,2} \\ e_{i,3} \\ e_{i,4} \\ e_{i,5} \end{pmatrix}}_{\vec e_i} \\ \vec x_j &= \begin{pmatrix} x_{j,1} \\ x_{j,2} \\ x_{j,3} \\ x_{j,4} \\ x_{j,5} \end{pmatrix} = \underbrace{\vec \mu}_{=\vec 0 ~~ (標準化されてる)} + \underbrace{\begin{pmatrix} 0.1 & 0.9 \\ 0.8 & 0.1 \\ 0.9 & 0.1 \\ 0.2 & 0.8 \\ 0.1 & 0.9 \end{pmatrix}}_{\Lambda} \underbrace{\begin{pmatrix} f_{j,1} \\ f_{j,2} \end{pmatrix}}_{\vec f_j} + \underbrace{\begin{pmatrix} e_{j,1} \\ e_{j,2} \\ e_{j,3} \\ e_{j,4} \\ e_{j,5} \end{pmatrix}}_{\vec e_j} \\ \end{aligned}$$の様にモデリングされている。
（$\vec \mu, \Lambda$は共通であり、$\vec f, \vec e$が対象によって異なる）





(1).
第1因子に対する因子負荷量は理系科目（数学、理科）で大きく、文系科目（英語、社会、国語）で小さい。よって、第1因子は『理系の能力の高さ』と解釈される。

一方で第2因子に対する因子負荷量は理系科目で小さく、文系科目で大きい。よって、第2因子は『文系能力の高さ』と解釈される。

（注意：今回は直交モデルを扱ってるため、『理系の能力の高さ』『文系の能力の高さ』は独立しているという仮定をしている）


(2).
数学の共通性は、$0.8^2 + 0.1^2 = 0.65$、である。
数学の独自性は、$1-0.65 = 0.35$、である。


(補足).
$i$番目の人の数学の点数$x_{i,2}(=0.8 f_{i,1} + 0.1 f_{i,2} + e_{i,2})$についての分散をとると、
$$\begin{aligned} V[x_{i,2}] &= V[0.8 f_{i,1} + 0.1 f_{i,2} + e_{i,2}] \\ &= V[0.8 f_{i,1} + 0.1 f_{i,2}] + V[e_{i,2}] \\ &{\scriptsize(f_{i,1},f_{i,2}とe_{i,2}との独立性より)} \\[10px] \Rightarrow 1 &= \underbrace{\dfrac{V[0.8 f_{i,1} + 0.1 f_{i,2}]}{V[x_{i,2}]}}_{共通性} + \underbrace{\dfrac{V[e_{i,2}]}{V[x_{i,2}]}}_{独自性} \\ &= V[0.8 f_{i,1} + 0.1 f_{i,2}] + V[e_{i,2}] \\ &{\scriptsize(教科ごとに標準化されてるためV[x_{i,2}] = 1)} \\ &= (0.8^2 + 0.1^2) + V[e_{i,2}] \end{aligned}$$よって、上記の通りに数学の共通性・独自性は計算される。


(3).
Aさんは3人の中で、理系科目の点数が高く、文系科目の点数が低い。
よって、因子スコアの第1因子（『理系の能力の高さ』と解釈）が高く、第2因子（『文系の能力の高さ』と解釈）が低いものを選択すべきであり、$(1.2, -1.5)$が答えとなる。

例題2.
100人が5教科の体力テスト（ボール投げ、長距離走、ベンチプレス、遠泳、走り幅跳び）を行なった。
各体力テストについて標準化を行った上で、直交モデル・2因子モデルで解析をしたところ、（各因子に対する）因子負荷量の初期解は下記の通り得られた。

この結果をプロットすると以下の様になる。

この状態と、直交回転ないし斜交回転をさせた後とで、いずれが最もよい解釈を与えるかをその理由とともに答えよ。
（回転させた後のプロットを自身で書いてみるとよい）

解答.
元々のプロットでは右側の3点、左側の2点は因子1ないし因子2の軸近くに存在していないが、回転をさせることでこれらの点を軸近くに存在させることができ、解釈性の向上につながる。


まず元のプロットを直交回転させると、以下の様なプロットになる。
（もちろんこのプロットのみが直交回転後の唯一のプロットではない）

3点は因子1の軸近くにのったが、2点は因子1ないし因子2の軸近くに存在してない。


そこで元のプロットを斜交回転させると、以下の様なプロットになる。
（もちろんこのプロットのみが斜交回転後の唯一のプロットではない）

3点は因子1の軸近くにのり、2点は因子2の軸近くに存在する。


この時、因子1に対する因子負荷量はボール投げ、ベンチプレス、走り幅跳びで大きく、長距離走、遠投はほぼ$0$に近いところにある。
よって、因子1は『瞬発力』として解釈できる。


因子2に対する因子負荷量は長距離走、遠投で大きく、ボール投げ、ベンチプレス、走り幅跳びはほぼ$0$に近いところにある。
よって、因子2は『持久力』として解釈できる。


今回については、因子1『瞬発力』と因子2『持久力』とは多少相関があると想定されることから、元のプロットを斜交回転させることは不自然ではなく、回転後の各点が軸近くに存在することからは、この解釈性が最も高いと考えられる。
（注意：もちろん因子1,2の解釈は上記のみとは限らない）

例題3.
例題2の続きとして、元のプロットを斜交回転させたあとの因子1,2について、10人分のデータをプロットしたところ下記の様であった。
（例題2の段階では斜交回転後の2つの軸は直交していなかったが、例題3では見やすさを優先して直交させる形とした）

この10人のうちから短距離走にエントリーさせることにした。
誰が最も適しているか選択せよ。

解答.
短距離走では持久力は不要で瞬発力が求められるため*、因子2の大きさは関係なく因子1が最も大きい人を選ぶのが妥当である。

*：あくまで因子分析を理解するための極端な一例として例示したのでご理解ください。（つまり実世界では『短距離走では持久力は不要』ということはないのかもしれません）

まとめ.

• 因子分析とは、背景にあると想定できる変数を導く手法である。
  
  
  
• 制約条件のない因子分析モデルでは分布パラメータの解が一意に定まらないため、制約条件を課すことで、分布パラメータの一意な解（初期解）を求める。
  
  
  
• 得られた初期解の解釈が困難である場合には、回転させることで解釈性の向上を試みることができる。