本节就不推导了。最艰难的部分已经过去了，多因素的推导过程和单因素大同小异，并且一大堆下标，真的认真计算的话会被水淹没不知所措的。只要多多观察总结规律就很容易。
Two way ANOVA with interactive
模型
最主要的区别是多了个交叉项，我们要考虑两个维度的因素可能会存在协同作用。假设有两个因素 $A$ 和 $B$，因素 $A$ 有 $I$ 个等级，因素 $B$ 有 $J$ 个等级。每个处理组的个体数相等，记作 $n$（不然真的会被恶心死）。（所以一共有 $nIJ$ 个个体） $$ y_{i,j,l}=\eta+\alpha_i+\beta_j+\omega_{i,j}+e_{i,j,l}, $$ 其中 $\omega_{i,j}$ 表示协同作用，$e_{i,j,l}\overset{i.i.d.}\sim N(0,\sigma^2)$.
其实真正的自由参数只有 $IJ$ 个，即 $$ y_{i,j,l}=\mu_{i,j}+e_{i,j,l}. $$ 它们的对应关系是：
- $\eta=\bar\mu_{\cdot,\cdot}$, 表示整体均值，
- $ \alpha_i=\bar\mu_{i,\cdot}-\eta$, 表示 $A$ 的第 $i$ 组的 buff，
- $\beta_j=\bar\mu_{\cdot,j}-\eta$, 表示 $B$ 的第 $j$ 组的 buff，
- $\omega_{i,j}=(\mu_{i,j}-\eta)-(\bar\mu_{i,\cdot}-\eta)-(\bar\mu_{\cdot,j}-\eta)=\mu_{i,j}-\bar\mu_{i,\cdot}-\bar\mu_{\cdot,j}+\eta$, 表示共同作用的额外 buff。
模型估计 $\mu_{i,j}$ 换成 $\bar y_{i,j,\cdot}$ 即可，另外 $\hat e_{i,j,l}=y_{i,j,l}-\bar y_{i,j,\cdot}$.
ANOVA 表
$$ \begin{align} SST&=\sum_{i,j,l}(y_{i,j,l}-\bar y_{\cdot,\cdot,\cdot})^2,\ SSA&=nJ\sum_i (\bar y_{i,\cdot,\cdot}-\bar y_{\cdot,\cdot,\cdot})^2,\ SSB&=nI\sum_j (\bar y_{\cdot,j,\cdot}-\bar y_{\cdot,\cdot,\cdot})^2,\ SS(AB)&=n\sum_{i,j}(\bar y_{i,j,\cdot}-\bar y_{i,\cdot,\cdot}-\bar y_{\cdot,j,\cdot}+\bar y_{\cdot,\cdot,\cdot})^2,\ SSE&=\sum_{i,j,l}(y_{i,j,l}-\bar y_{i,j,\cdot})^2. \end{align} $$
打完这一串真要命。有等式 $$ SST=SSA+SSB+SS(AB)+SSE. $$
| 来源 | 自由度 | 平方和 |
|---|---|---|
| Factor A | $I-1$ | $SSA$ |
| Factor B | $J-1$ | $SSB$ |
| Interaction | $(I-1)(J-1)$ | $SS(AB)$ |
| Residual | $IJ(n-1)$ | $SSE$ |
| Total | $nIJ-1$ | $SST$ |
假设检验
用 $F$-检验。检验啥玩意就用啥玩意除以 $MSE$.
例如 $H_0: \alpha_i=0$，就是 $F_A=\frac{SSA/(I-1)}{SSE/(IJ(n-1))}\sim F_{I-1,IJ(n-1)}$. 老掉牙了，不多说了。
如果交叉项的检验显著（$H_0: \omega_{i,j}=0$ 被拒绝），这意味着我们无法单独考虑一个变量的作用，必须联合起来考虑，所以应该回到用 $\mu_{i,j}$ 表示的模型，把 $A\times B$ 当成整体因素进行 one way ANOVA 的后续分析（例如多重比较）。
如果交叉项检验不显著，模型立刻变为下面的——
Two way ANOVA without interactive
注：令 $n=1$ 就是 PPT 中的 additive model。
模型
直接粗暴地删掉 $\omega$ 即可： $$ y_{i,j,l}=\eta+\alpha_i+\beta_j+e_{i,j,l}, $$ 其中 $e_{i,j,l}\overset{i.i.d.}\sim N(0,\sigma^2)$.
参数估计前面没变，只有 $\hat e_{i,j,l}$ 变了。具体地：
- $\hat\eta=\bar y_{\cdot,\cdot,\cdot}$,
- $\hat\alpha_i=\bar y_{i,\cdot,\cdot}-\bar y_{\cdot,\cdot,\cdot}$,
- $\hat\beta_j=\bar y_{\cdot,j,\cdot}-\bar y_{\cdot,\cdot,\cdot}$,
- $\hat e_{i,j,l}=y_{i,j,l}-\bar y_{i,\cdot,\cdot}-\bar y_{\cdot,j,\cdot} +\bar y_{\cdot,\cdot,\cdot}$.
ANOVA
相应地，$SSE$ 要变一下： $$ SSE=\sum_{i,j,l}(y_{i,j,l}-\bar y_{i,\cdot,\cdot}-\bar y_{\cdot,j,\cdot} +\bar y_{\cdot,\cdot,\cdot})^2. $$ 其他定义不变，我们有 $$ SST=SSA+SSB+SSE. $$
| 来源 | 自由度 | 平方和 |
|---|---|---|
| Factor A | $I-1$ | $SSA$ |
| Factor B | $J-1$ | $SSB$ |
| Residual | $nIJ-I-J+1$ | $SSE$ |
| Total | $nIJ-1$ | $SST$ |
假设检验
$F$-检验
$H_0:\alpha_i=0$, $F=\dfrac{SSA/(I-1)}{SSE/(nIJ-I-J+1)}\sim F_{I-1,nIJ-I-J+1}$.
多重比较
$$ T_{i_1,i_2}=\dfrac{\bar y_{i_1,\cdot,\cdot}-\bar y_{i_2,\cdot,\cdot}}{\sqrt{\hat\sigma^2 2/(nJ)}}\sim t_{nIJ-I-J+1}. $$
其中 $\hat\sigma^2=SSE/(nIJ-I-J+1)$.
Bonferroni method 和 Tukey method 是一样的。
Multiple way ANOVA
二元到多元没什么本质区别，只不过公式更难写了…… 比如说 three way 的长这样： $$ \begin{align} y_{i,j,l,k}=&\eta+\alpha_i+\beta_j+\gamma_l +\ &(\alpha\beta){i,j}+(\alpha\gamma){i,l}+(\beta\gamma){j,l}+\ &(\alpha\beta\gamma){i,j,l}+e_{i,j,l,k.}. \end{align} $$ 其他的自己推罢。
拉丁方（Latin Square）设计
实验设计
这是你从未体验过的船新设计思路，它可以极大地缩减实验规模。假设有 $3$ 个因素，每个因素有 $5$ 个 level，而我们只关心其中一个的影响，另外两个视为 block。完全实验至少需要做 $5\times 5\times 5=125$ 次实验，而使用拉丁方设计，只需要 $25$ 次。
具体来说，两个 block 组合，有 $5\times 5$ 种 level，每种 level 我们只对 treatment 的一个 level 做一次实验。如下矩阵表示了具体设计： $$ \begin{pmatrix} e & a & b & c & d \ c&d&b&e&a\ b&c&d&a&e\ a&b&e&d&c\ d&e&a&c&b\ \end{pmatrix}. $$ $a,b,c,d,e$ 是我们所关心的因素的 $5$ 个 level。第 $i$ 行 $j$ 列表示 block 的取值是 $i,j$ 时，用 treatment 的哪个 level 来做实验。
为了消除 block 的影响，我们要求这个矩阵每一行和每一列不能有重复元素。这样的矩阵叫拉丁方阵，这也是“拉丁方设计”这一名字的来源。
再次强调采用拉丁方设计需要满足的条件：
- 三个因素有一个是关注因素（treatment），另外两个是捣乱的（block）；
- 三个因素的水平数必须相同；
- 三个因素之间不存在交互作用。
模型
$\alpha,\beta$ 表示两个 block，$\tau$ 表示 treatment，每个因素有 $k$ 个 level。则 $$ y_{i,j,l}=\eta+\alpha_i+\beta_j+\tau_l+e_{i,j,l}. $$ 其中 $e_{i,j,l}\overset{i.i.d.}\sim N(0,\sigma^2)$. 估计值的定义显然。
ANOVA
各个 $SS$ 的公式也不写了，自己写吧。我们把两个 block 成为 row 和column。
| 来源 | 自由度 | 平方和 |
|---|---|---|
| row | $k-1$ | $SS_{row}$ |
| column | $k-1$ | $SS_{col}$ |
| treatment | $k-1$ | $SS_{trt}$ |
| Error | $(k-1)(k-2)$ | $SSE$ |
| Total | $k^2-1$ | $SST$ |
假设检验
$F$-检验：$H_0:\tau_i=0$, $F=\dfrac{SS_{trt}/(k-1)}{SSE/((k-1)(k-2))}\sim F_{k-1,(k-1)(k-2)}$.
$t$-检验：$T_{i,j}=\dfrac{\bar y_{\cdot,\cdot,i}-\bar y_{\cdot,\cdot,j}}{\sqrt{\hat\sigma^2 (2/k)}}$.
结语
写完了…… 感觉这一节就是抄了一遍 PPT 啊……
方差分析的模型灵活多变，这里只是介绍了几种常用的。实际应用时，往往需要根据实际问题有针对性的建立模型。只要掌握原理，怎么折腾都行。