$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}}$
1. 区間推定は検定の受容域の裏返し
区間推定は検定の受容域の裏返しであることを以下説明します。
分布パラメータを$\theta$として、以下の様に帰無仮説$H_0$が単純仮説の場合を考えます。
（$\vec X$：観測データ、$T(\vec X)$：検定統計量、$\alpha$：有意水準）
$$\begin{aligned} \begin{cases} H_0: \theta &= \theta_0 \\ H_1: \theta &\neq \theta_0 \end{cases} \end{aligned}$$
するとその受容域$A(\theta_0)$は、
$$\begin{aligned} Pr_{\theta_0} \{ T(\vec X) \in A(\theta_0) \} \geqq 1-\alpha ~~~~~ \mathrm{(A)} \end{aligned}$$を満たします。
（$\theta_0$ではなく）任意の$\theta (\in \Theta)$に対しては受容域の集まり$A(\theta)$を考えることができ、$A(\theta)$は、
$$\begin{aligned} Pr_{\theta} \{ T(\vec X) \in A(\theta) \} \geqq 1-\alpha ~~~~~ \mathrm{(B)} \end{aligned}$$を満たします。
ここで、
$$\begin{aligned} C(\vec X):= \{ \theta | T(\vec X) \in A(\theta) \} ~ \mathrm{(C)} \end{aligned}$$なる$C(\vec X)$を用いて、
$$\begin{aligned} T(\vec X) \in A(\theta) \iff \theta \in C(\vec X) \end{aligned}$$と同値変形すると、
$$\begin{aligned} &Pr_{\theta} \{ T\vec \in A(\theta) \} \geqq 1-\alpha ~~~~~ \mathrm{(B)} \\ \iff &Pr_{\theta} \{ \theta \in C(\vec X) \} \geqq 1-\alpha ~~~~~ \mathrm{(D)} \end{aligned}$$となっており、それ即ち『区間推定は検定の受容域の裏返し』を意味しています。
ここまでの説明にピンときてない方は上記と例1とを見比べ返してみてください。
例1.
$X_i \overset{i.i.d}\sim \N(\mu, 1^2) ~~ {\small (i=1, \ldots, n)}$である時、帰無仮説$H_0$、対立仮説$H_1$を
$$\begin{aligned} \begin{cases} H_0: \mu = \mu_0 \\ H_1: \mu = \mu_1 \end{cases} \end{aligned}$$と定めた有意水準$\alpha$の検定を考える。
（ただし$z_{\frac{\alpha}{2}}$を標準正規分布の上側$\frac{\alpha}{2}$点とする）
すると、
$$\begin{aligned} Pr_{\mu_0} \{ – z_{\frac{\alpha}{2}} \leqq \frac{\bar{X}_n-\mu_0}{\frac{1}{\sqrt{n}}} \leqq z_{\frac{\alpha}{2}} \} &\geqq 1-\alpha \\ &{\scriptsize ((A)に相当)} \end{aligned}$$が成立するが、（$\mu_0$ではなく）任意の$\mu (\in \mathbb{R})$について考えると、
$$\begin{aligned} Pr_{\mu} \{ – z_{\frac{\alpha}{2}} \leqq \frac{\bar{X}_n-\mu}{\frac{1}{\sqrt{n}}} \leqq z_{\frac{\alpha}{2}} \} &\geqq 1-\alpha \\ &{\scriptsize ((B)に相当)} \\ \iff Pr_{\mu} \{ \bar{X}_n-\frac{1}{\sqrt{n}} \cdot z_{\frac{\alpha}{2}} \leqq \mu \leqq \bar{X}_n+\frac{1}{\sqrt{n}} \cdot z_{\frac{\alpha}{2}} \} &\geqq 1-\alpha \\ &{\scriptsize ((D)に相当)} \\ \end{aligned}$$となる。
よって、観測データ$X_i = x_i ~~ {\small (i=1, \ldots, n)}$が与えられた時、$\mu$についての$100(1-\alpha)$%信頼区間は、
$$\begin{aligned} \bar{x}_n-\frac{1}{\sqrt{n}} \cdot z_{\frac{\alpha}{2}} \leqq \mu \leqq \bar{x}_n+\frac{1}{\sqrt{n}} \cdot z_{\frac{\alpha}{2}} \end{aligned}$$となる。
2. 信頼区間の意味
よくある誤解としては、 『得られた観測データから構成された$100(1-\alpha)$%信頼区間に真の分布パラメータが入る確率は$100(1-\alpha)$%』 というものです。
この誤解を解消するために明確に意識しておくべき点は、
確率的な挙動を有する（確率変数である）のは$\vec X$であり、$\theta$ではない、
ということです。
（注意：ベイズ論では$\theta$も確率変数と扱いますが、ベイズ論以外では$\theta$は定数扱いです）
これを意識した上で以下のことが言えます。
『$Pr_{\theta} \{ \theta \in C( \vec X ) \} = 1-\alpha$』となるようにの$\theta$の$100(1-\alpha)$%信頼区間$C(\vec X)$を構成した時、『$100(1-\alpha)$%信頼区間$C(\vec X)$が真の分布パラメータを含む確率は$100(1-\alpha)$%』は正しいです。
しかし観測データの実現値$\vec X = \vec x$を以て、信頼区間の実現値$C(\vec x)$を構成した時，『$C(\vec x)$が真の分布パラメータを含む確率は$100(1-\alpha)$%』は間違いです。というのも$C(\vec x),\theta$はそれぞれ定まった集合、数であるため、$\theta\in C(\vec x)$である確率は$0$か$1$のいずれかであるためです。
実際に観測データを得るのは$1$回であることが多いですが、仮に$500$セットの観測データ$\vec x_1,\ldots, \vec x_{500}$を得て毎回$C(\vec x_1), \ldots, C(\vec x_{500})$という形の信頼区間の実現値を構成したとすれば、$C(\vec x_1), \ldots, C(\vec x_{500})$のうちおおよそ$500(1-\alpha)$個の区間は真の分布パラメータを含むことが期待されます。
すぐにピンとこない場合もあるかもしれませんが、その場合には少し時間をあけて何回か読み直してみてください。
