統計学

分割表における検定

$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}} \\ \gdef \indep {\mathop{\perp\!\!\!\!\perp}} \\ \gdef \tr {\mathrm{tr}}$

学習者

分割表の検定はいろいろな種類があってややこしいですよね。。

すたどく

ばらばらに1つずつ暗記しようとすると大変です。
分割表における検定の基本は(ピアソンの)$\chi^2$検定であり、この中に『適合度検定』『独立性検定』『一様性検定』といったものがあります。

学習者

整理して暗記したいと思います。
ところで今回も<分割表の統計モデル>と絡めて展開されるのでしょうか?

すたどく

はい、そうなります。
<分割表の統計モデル>では以下の様な3パターンに対応するモデルと、よく扱われる帰無仮説を紹介しました:①どこもfixされない場合、②総和がfixされる場合、③列和または行和がfixされる場合。パターン①の帰無仮説に対応する検定はあまり扱われないのでここでは扱いません*。パターン②の帰無仮説に対応する検定は『独立性検定であり、行の変数と列の変数が独立かどうかを検定します。パターン③の帰無仮説に対応する検定は『一様性検定であり、『一様性検定』においては、行ないし列の変数の各要素の割合が均一かどうかを検定します。例えば、性別×血液型の分割表がある場合に、男性における血液型A, B, O, ABの割合と女性におけるそれらが一致してるかを検定するといったものです。

学習者

なるほどです。
適合度検定』はどうなりますか?

すたどく

適合度検定』は単純帰無仮説を扱います。例えば、日本人全体における血液型A, B, O, ABの割合が(ある1点の値)0.4, 0.3, 0.2, 0.1であるかを検定するといったものです。独立性検定』『一様性検定』は複合帰無仮説を扱うため、この点が異なります**。

学習者

わかりました。これらの検定は$\chi^2$検定の枠組みに入ると最初に紹介がありましたが、$\chi^2$検定以外にも分割表に対して使用される検定はあるのでしょうか?

すたどく

分割表に対する検定として圧倒的にメジャーなのは$\chi^2$検定ですが、その他の検定を行うこともできます。ここでは最後に尤度比検定を扱います。

*:パターン①のデータが得られた後に、総和をfixするという条件付けを行うと、パターン②に帰着されます。(余計な混乱を生じてしまいそうなので、ここでは深入りを避けます)


**:『適合度検定』が複合帰無仮説を扱うとしてより広い概念と捉えている書籍もありますが、本ページでは、『適合度検定』が単純帰無仮説を扱うものとします。

1. (ピアソンの)$\chi^2$検定

・$O_{ij}$:観測度数
・$E_{ij}$:期待度数(帰無仮説の下で最尤推定に基づいて期待される各セルの度数)
・$p$:フルモデルの下でのモデルの自由度
・$q$:帰無仮説$H_0$の下でのモデルの自由度 とすると、
$$\begin{aligned} \chi^2 = \sum \frac{(O_{ij}-E_{ij})^2}{E_{ij}} \overset{\displaystyle {d}}\longrightarrow \chi^2 (p-q) \end{aligned}$$が一般に成立します。

すたどく

“$O_{ij}$”は”Observed”の略で、”$E_{ij}$”は”Expected”の略です。
なお、<分割表における推定>では$(i,j)$セルの度数を$x_{ij}$としていましたが、ここでは$O_{ij}$が$x_{ij}$に相当すると考えてください。

<分割表の統計モデル>の3パターンについて、$(i,j)$セルの期待度数$E$は$E_{ij}=\frac{x_{i \bullet} x_{\bullet j}}{x_{\bullet \bullet}}$と同じであったことから、いずれのパターンについても同じ検定統計量$\chi^2$に帰着されます。


また、フルモデルと帰無仮説$H_0$の自由度の差分についても、

・パターン①:$IJ-(I+J+1) = (I-1)(J-1)$
・パターン②:$(IJ-1)-\{ (I-1) + (J-1) \} = (I-1)(J-1)$
・パターン③:$(I-1)J-(I-1) = (I-1)(J-1)$

となり、いずれのパターンについても、

・$\chi^2 \leqq \chi^2_{\alpha}((I-1)(J-1)) \Rightarrow$帰無仮説$H_0$を選択
・$\chi^2 \gt \chi^2_{\alpha}((I-1)(J-1)) \Rightarrow$対立仮説$H_1$を選択

という検定が行われます。

すたどく

分割表における検定の基本はこの(ピアソンの)$\chi^2$検定であり、この中に『適合度検定』『独立性検定』『一様性検定』といったものがあります。以下順に確認していきましょう。

1-1. 適合度検定

$K$個のカテゴリーについて、 『各カテゴリーに属する確率がある想定値に等しいか』を検定するのが適合度検定です


適合度検定ではセルの度数がある値に等しいかを検定するため、単純帰無仮説を扱っていることになります。


カテゴリー$k ~ (k=1, 2, \cdots, K)$の観測度数を$O_{k}$、予測度数を$E_{k}$として、背後にある多項分布モデルを$\Mn(n;p_{1},p_{2},\cdots, p_{K})$とします。
(ただし$K$個のカテゴリーの合計を$n$として、$0 \leqq p_{k} \leqq 1, \sum_{k=1}^{K} p_{k} = 1$とする)


この時、帰無仮説$H_0$、対立仮説$H_1$は、ある想定値$\pi_{k}$(ただし、$0 \leqq \pi_{k} \leqq 1, \sum_{k=1}^{K} \pi_{k} = 1$)に対して、

・$H_0: p_{k} = \pi_{k} ~~ (\forall k)$
・$H_1:$ 上式の等式が少なくとも$1$つの$k$について不成立

となります。


すると$H_0, H_1$の自由度は$0, (K-1)$となります。
$H_0$の場合には$p_{k} = \pi_{k} ~~ (\forall k)$、と想定値でfixされているため分布パラメータ$p_{k}$は動く余地がないためです。
$H_1$の場合には$\sum_{k=1}^{K} \pi_{k} = 1 ~~ (\forall i)$、という$1$個の制約条件がつくため、元の自由度$K$からこれを引くためです。




$H_0$の下での予測度数$E_{k}$は、
$$\begin{aligned} E_{k} &= E[n p_{k}] \\ &= n E[p_{k}] \\ &= n \pi_{k} \end{aligned}$$より、検定統計量$\chi^2$は、
$$\begin{aligned} \chi^2 &= \sum_{k} \frac{(O_{k}-E_{k})^2}{O_{k}} \\ &= \sum_{k} \frac{(O_{k}-n \pi_{k})^2}{O_{k}} \overset{\displaystyle {d}}\longrightarrow \chi^2 ((K-1)-0) \end{aligned}$$となります。


実際に得られた分割表からこの$\chi^2$は計算され、

・$\chi^2 \leqq \chi^2_{\alpha} (K-1) \Rightarrow H_0$を選択
・$\chi^2 \gt \chi^2_{\alpha} (K-1) \Rightarrow H_1$を選択

となります。

例1.
日本全体における血液型の人数割合は、A型:40%、O型:30%、B型:20%、AB型:10%、とわかっているものとする。


帰無仮説$H_0$【A型:40%、O型:30%、B型:20%、AB型:10%】を検定するために、ある地域で1000人をランダム抽出したところ、以下の様な結果であった。

AOBAB合計
2503503001001000



この時の予測度数は、
$$\begin{aligned} E_A &= 1000 \times \frac{40}{100} = 400 \\[10px] E_B &= 1000 \times \frac{30}{100} = 300 \\[10px] E_C &= 1000 \times \frac{20}{100} = 200 \\[10px] E_{AB} &= 1000 \times \frac{10}{100} = 100 \end{aligned}$$となるため、検定統計量$\chi^2$は、
$$\begin{aligned} \chi^2 = \frac{(250-400)^2}{400} + \frac{(350-300)^2}{300} + \frac{(300-200)^2}{200} + \frac{(100-100)^2}{100} &= 114.58\cdots \\[10px] &> \chi^2_{0.05} ((4-1)-0) \\[10px] &= \chi^2_{0.05}(3) \\[10px] &= 7.81 \end{aligned}$$となる。


よって帰無仮説$H_0$は棄却される。
(A型:40%、O型:30%、B型:20%、AB型:10%、のうち少なくとも1つは不成立、という結論になる)

すたどく

ここでは総和をfixした場合の$1$行$4$列の分割表を扱ったので、$1 \times 4 = 4$のカテゴリーがあり$4$項分布を想定しました。総和をfixした場合の性別×血液型の$2$行$4$列を扱った場合には、$2 \times 4 = 8$のカテゴリーがあり$8$項分布が想定されます。ただし、展開は全く同じです。

1-2. 独立性検定

$I$行$J$列の分割表について、『行の変数と列の変数が独立かどうか』を検定するのが独立性検定です。


モデルは<分割表における推定>のパターン②『総和がfixされる場合』に相当します。


つまり、 各セルの度数は$IJ$項分布に従うというモデルを想定することができ、同時確率関数$p(x)$は、
$$\begin{aligned} p(x) &= \frac{n!}{\prod_{i,j} x_{ij}!} \prod_{i,j} p_{ij}^{x_{ij}} ~~~~~ \mathrm{(D’)} \\ &{\scriptsize(X_ij \sim \Bin(n,p_{ij})とした)} \end{aligned}$$となり、パラメータの自由度は$(IJ-1)$となります。


$\mathrm{(D’)}$のみ条件が課されたモデルがフルモデルです。
(ただし、$\sum_{i,j} p_{ij} = 1, \sum_{i,j} x_{ij} = n$、は前提)




帰無仮説$H_0$を、$H_0: p_{ij} = p_{i \bullet} p_{\bullet j} ~~ {\small (\forall i, j)} ~~~~~ \mathrm{(E’)}$、とすると、$\mathrm{(D’),(E’)}$が課されたモデルが『条件$H_0$が追加で課されたモデル』です。


(注意)
<分割表における推定>と同じ記号を提示したかったので、『’』をつけて$\mathrm{(D’),(E’)}$と提示しました。

学習者

$H_0: p_{ij} = p_{i \bullet} p_{\bullet j} ~~ {\small (\forall i, j)}$、は『行の変数と列の変数が独立』という仮説になってますね。

すたどく

そうですね。
このモデルを頭に入れた上で、あとは『1. (ピアソンの)$\chi^2$検定』で提示したとおり、$(i,j)$セルの期待度数$E_{ij}$は$E_{ij}=\frac{x_{i \bullet} x_{\bullet j}}{x_{\bullet \bullet}}$であること、フルモデルと帰無仮説$H_0$の自由度の差分は$(I-1)(J-1)$であること、を用いて$\chi^2$検定をしていきます。

例2.
帰無仮説$H_0$【「母親の喫煙習慣」と「子の喘息発症」は独立】を検定するために、ある地域において200組の母子をランダム抽出したところ、以下の様な結果であった。 (注意:仮想のデータです)

子の喘息(+)子の喘息(-)合計
母親の喫煙(+)602080
母親の喫煙(-)10110120
合計70130200



この時の予測度数は、
$$\begin{aligned} E_{母+子+} &= \frac{70 \times 80}{200} \\[10px] E_{母+子-} &= \frac{130 \times 80}{200} \\[10px] E_{母-子+} &= \frac{70 \times 10}{200} \\[10px] E_{母-子-} &= \frac{130 \times 120}{200} \end{aligned}$$となるため、検定統計量$\chi^2$は、
$$\begin{aligned} \chi^2 &= \frac{(60-\frac{70 \times 80}{200})^2}{\frac{70 \times 80}{200}} + \frac{(20-\frac{130 \times 80}{200})^2}{\frac{130 \times 80}{200}} + \frac{(10-\frac{70 \times 10}{200})^2}{\frac{70 \times 10}{200}} + \frac{(110-\frac{130 \times 120}{200})^2}{\frac{130 \times 120}{200}} \\[10px] &> \chi^2_{0.05} ((2-1)(2-1)) \\[10px] &= \chi^2_{0.05}(1) \\[10px] &= 3.84 \end{aligned}$$となる。


よって帰無仮説$H_0$は棄却される。
(「母の喫煙状況」と「子の喘息発症」には相関がある、という結論になる)

1-3. 一様性検定

$I$行$J$列の分割表について、『行ないし列の変数の各要素の割合が均一かどうか』を検定するのが独立性検定です。


モデルは<分割表における推定>のパターン③『列和または行和がfixされる場合』に相当します。


つまり(列和をfixした場合を扱うと)、 同時確率関数$p(x)$は、
$$\begin{aligned} p(x) &= \prod_{j} \{ \frac{n_j!}{\prod_i x_{ij}!} \prod_i p_{ij}^{x_{ij}} \} ~~~~~ \mathrm{(F’)} \end{aligned}$$となり、パラメータの自由度は$(I-1) \times J$となります。
($I$項分布のパラメータの自由度は$(I-1)$であることから由来)


$\mathrm{(F’)}$のみ条件が課されたモデルがフルモデルです。
(ただし、$\sum_{i} p_{ij} = 1, \sum_{i} x_{ij} = n_j$、は前提)




帰無仮説$H_0$を、$H_0: p_{i1} = p_{i2} = \cdots = p_{iJ} ~~ (\forall i) ~~~~~ \mathrm{(G’)}$、とすると、$\mathrm{(F’),(G’)}$が課されたモデルが『条件$H_0$が追加で課されたモデル』です。

学習者

$H_0: p_{i1} = p_{i2} = \cdots = p_{iJ} ~~ (\forall i)$、は『列の変数の各要素の割合が均一』という仮説になってますね。

すたどく

そうですね。
このモデルを頭に入れた上で、あとは『1. (ピアソンの)$\chi^2$検定』で提示したとおり、$(i,j)$セルの期待度数$E_{ij}$は$E_{ij}=\frac{x_{i \bullet} x_{\bullet j}}{x_{\bullet \bullet}}$であること、フルモデルと帰無仮説$H_0$の自由度の差分は$(I-1)(J-1)$であること、を用いて$\chi^2$検定をしていきます。

例3.
帰無仮説$H_0$【男性の血液型割合と女性の血液型割合は等しい】を検定するために、ある地域において男性100名と女性200名をランダム抽出したところ、以下の様な結果であった。
(注意:$H_0$を言い換えるならば【男性のA型の割合$=$女性のA型の割合、かつ、男性のO型の割合$=$女性のO型の割合、かつ、男性のB型の割合$=$女性のB型の割合、かつ、男性のAB型の割合$=$女性のAB型の割合】となります。また、以下は仮想のデータです。)

AOBAB合計
男性40302010100
女性50706020200
合計901008030300



この時の予測度数は、
$$\begin{aligned} E_{男A} &= \frac{90 \times 100}{300} \\[10px] E_{男O} &= \frac{100 \times 100}{300} \\[10px] E_{男B} &= \frac{80 \times 100}{300} \\[10px] E_{男AB} &= \frac{30 \times 100}{300} \\[10px] E_{女A} &= \frac{90 \times 200}{300} \\[10px] E_{女O} &= \frac{100 \times 200}{300} \\[10px] E_{女B} &= \frac{80 \times 200}{300} \\[10px] E_{女AB} &= \frac{30 \times 200}{300} \\[10px] \end{aligned}$$となるため、検定統計量$\chi^2$は、
$$\begin{aligned} \chi^2 &= \frac{(40-E_{男A})^2}{E_{男A}} + \frac{(30-E_{男O})^2}{E_{男O}} + \frac{(20-E_{男B})^2}{E_{男B}} + \frac{(10-E_{男AB})^2}{E_{男AB}} \\[10px] &+ \frac{(50-E_{女A})^2}{E_{女A}} + \frac{(70-E_{女O})^2}{E_{女O}} + \frac{(60-E_{女B})^2}{E_{女B}} + \frac{(20-E_{女AB})^2}{E_{女AB}} \\[10px] &> \chi^2_{0.05} ((2-1)(2-1)) \\[10px] &= \chi^2_{0.05}(1) \\[10px] &= 3.84 \end{aligned}$$となる。


よって帰無仮説$H_0$は棄却される。
(男性の血液型割合と女性の血液型割合は等しくない、という結論になる。言い換えると、①男性のA型の割合$=$女性のA型の割合、②男性のO型の割合$=$女性のO型の割合、③男性のB型の割合$=$女性のB型の割合、④男性のAB型の割合$=$女性のAB型の割合、のうちいずれかの$=$は不成立。)

2. 尤度比検定

『1. $\chi^2$検定』で確認した通り、$\chi^2$検定において、<分割表の統計モデル>の3パターンは全く同じ検定方式に帰着されました。


実は、尤度比検定においても、<分割表の統計モデル>の3パターンは全く同じ検定方式に帰着されます。


具体的には、いずれのパターンについても$E_{ij}=\frac{x_{i \bullet} x_{\bullet j}}{x_{\bullet \bullet}}$は共通しており、検定統計量$L$は、
$$\begin{aligned} L &= 2 \log \frac{\prod_{i,j} O_{ij}^{O_{ij}}}{\prod_{i,j} E_{ij}^{O_{ij}}} \end{aligned}$$と共通になります。




実際に得られた分割表からこの$L$は計算され、

・$L \leqq \chi^2_{\alpha} ((I-1)(J-1)) \Rightarrow H_0$を選択
・$L \gt \chi^2_{\alpha} ((I-1)(J-1)) \Rightarrow H_1$を選択

となります。


なお、上記の$L$の導出について興味のある方は、<補足. 分割表における検定_尤度比検定統計量の導出>を参照ください。

学習者

$\chi^2$検定における検定統計量$\chi^2$と、尤度比検定における検定統計量$L$は形が異なりますが、分布収束先は$\chi^2 ((I-1)(J-1))$と同じなんですかね?

すたどく

その通りです。ところで、$\chi^2$検定と尤度比検定のどちらが望ましいのか?という疑問が湧いてくるかもしれませんが、漸近的には同等となります。(有限の場合にどちらが望ましいのかについてはわからず、書籍などからも確認することができませんでした)

まとめ.

  • 分割表における検定の基本は(ピアソンの)$\chi^2$検定であり、この中に『適合度検定』『独立性検定』『一様性検定』が含まれる。『適合度検定』は単純帰無仮説を検定し、『独立性検定』『一様性検定』は複合帰無仮説を検定する。


  • <分割表の統計モデルにおける>パターン②に対応する検定は『独立性検定』であり、パターン③に対応する検定は『一様性検定』である。


  • 分割表における検定として、(ピアソンの)$\chi^2$検定ではなく尤度比検定などを採用することもできる。
他の記事を参照されたい方はこちら

 サイトマップからお好きな記事をお探しください。