$\gdef \vec#1{\boldsymbol{#1}} \\ \gdef \rank {\mathrm{rank}} \\ \gdef \det {\mathrm{det}} \\ \gdef \Bern {\mathrm{Bern}} \\ \gdef \Bin {\mathrm{Bin}} \\ \gdef \Mn {\mathrm{Mn}} \\ \gdef \Cov {\mathrm{Cov}} \\ \gdef \Po {\mathrm{Po}} \\ \gdef \HG {\mathrm{HG}} \\ \gdef \Geo {\mathrm{Geo}}\\ \gdef \N {\mathrm{N}} \\ \gdef \LN {\mathrm{LN}} \\ \gdef \U {\mathrm{U}} \\ \gdef \t {\mathrm{t}} \\ \gdef \F {\mathrm{F}} \\ \gdef \Exp {\mathrm{Exp}} \\ \gdef \Ga {\mathrm{Ga}} \\ \gdef \Be {\mathrm{Be}} \\ \gdef \NB {\mathrm{NB}}$
目的変数$y_i$が『説明変数$x_{i,1}, \ldots, x_{i,d}$の線形和＋誤差$\varepsilon_i$』で表現されるというモデルを「線形回帰モデル」と言います。
説明変数が$1$つの場合を「単変量線形回帰モデル」と言い、複数の場合を「多変量線形回帰モデル」と言うんですよね。
そうですね！
ところで、単に「線形回帰モデル」と言った場合に$\varepsilon_i$に正規性があること（$\varepsilon_i \sim \N(0, \sigma^2)$）を暗に仮定されていることが多いです。本サイトでは用語の使い方を明確化するために、$\varepsilon_i$に正規性を仮定しない一般の場合を「線形回帰モデル」と言い、$\varepsilon_i$に正規性を仮定する場合を「正規線形回帰モデル」と言います。
1. 線形回帰モデル
目的変数$y_i$、説明変数$x_{i,1}, \ldots, x_{i,d} ~ {\small (i=1, \cdots, n)}$に対して、
$$\begin{aligned} y_i &= \beta_1 x_{i,1} + \cdots + \beta_d x_{i,d} + \varepsilon_i ~~~~~ \mathrm{(A)} \\ \iff \vec Y &= \vec X \vec \beta + \vec \varepsilon \end{aligned}$$なるモデルを「線形回帰モデル」と言います。
ただし、
$$\begin{aligned} \vec X &= \begin{pmatrix} x_{1,1} &\cdots &x_{1,d} \\ \vdots &\ddots &\vdots \\ x_{n,1} &\cdots &x_{n,d} \end{pmatrix} ~~ (\in \mathbb{R}^{n \times d}) \\ \vec Y &= (y_1, \cdots, y_n)^{\top} ~~ (\in \mathbb{R}^{n}) \\ \vec \beta &= (\beta_1, \cdots, \beta_d)^{\top} ~~ (\in \mathbb{R}^{d}) \\ \vec \varepsilon &= (\varepsilon_1, \cdots, \varepsilon_n)^{\top} ~~ (\in \mathbb{R}^{n}) \end{aligned}$$とします。
補足.
- $\beta_1, \cdots, \beta_d$を「回帰係数」と言い、それをベクトル形式でまとめた$\vec \beta$を「回帰係数ベクトル」と言います。また、$\varepsilon_1, \cdots, \varepsilon_n$を「誤差項」と言い、それらをベクトル形式でまとめた$\vec \varepsilon$を「誤差項ベクトル」と言います。
- $\mathrm{(A)}$において、『$x_{i,1}, \ldots, x_{i,d} ~ {\small (i=1, \cdots, n)}$は確率的なふるまいをもたない定数、$y_i, \varepsilon_i ~ {\small (i=1, \cdots, n)}$は確率的なふるまいをもつ変数（確率変数）』として扱います。
（ただし、『$x_{i,1}, \ldots, x_{i,d}, y_i, \varepsilon_i ~ {\small (i=1, \cdots, n)}$は確率変数』と扱う場合もあります） - 上記において通常は、$(x_{1,1}, \cdots, x_{n, 1})^{\top} = \vec 1$、とします。この時$\mathrm{(A)}$は、
$$\begin{aligned} y_i = \beta_1 + \beta_2 x_{i,2} + \cdots + \beta_d x_{i,d} + \varepsilon_i ~~ {\small (i=1, \cdots, n)} \end{aligned}$$となり、$y_i ~ {\small (i=1, \cdots, n)}$は共通の切片項$\beta_1$をもつことになります。
2. 正規線形回帰モデル
目的変数$y_i$、説明変数$x_{i,1}, \ldots, x_{i,d} ~ {\small (i=1, \cdots, n)}$に対して、
$$\begin{aligned} &\begin{cases} y_i &= \beta_1 x_{i,1} + \cdots + \beta_d x_{i,d} + \varepsilon_i \\ \color{red}{\varepsilon_i} &\color{red}{\overset{i.i.d} \sim} \color{red}{\N(0, \sigma^2)} \end{cases} \\ \iff &\begin{cases} \vec Y &= \vec X \vec \beta + \vec \varepsilon \\ \color{red}{\vec \varepsilon} &\color{red}{\sim} \color{red}{\N_n(0, \sigma^2 I_n)} \end{cases} \end{aligned}$$なるモデルを「正規線形回帰モデル」と言います。
ただし、
$$\begin{aligned} \vec X &= \begin{pmatrix} x_{1,1} &\cdots &x_{1,d} \\ \vdots &\ddots &\vdots \\ x_{n,1} &\cdots &x_{n,d} \end{pmatrix} ~~ (\in \mathbb{R}^{n \times d}) \\ \vec Y &= (y_1, \cdots, y_n)^{\top} ~~ (\in \mathbb{R}^{n}) \\ \vec \beta &= (\beta_1, \cdots, \beta_d)^{\top} ~~ (\in \mathbb{R}^{d}) \\ \vec \varepsilon &= (\varepsilon_1, \cdots, \varepsilon_n)^{\top} ~~ (\in \mathbb{R}^{n}) \end{aligned}$$とします。
このモデルで推定・検定をすべきパラメータは$\vec \beta, \sigma^2$となります。
