妙啊。
统计学基本框架
在统计学中，总体（population）指的是概率空间 $(\Omega,\mathcal{F},P)$，通常简记为 $P$. 样本（sample）是总体上的随机向量 $X=(X_1,\cdots,X_n)$. $n$ 称为样本容量（sample size）。通常，我们知道但不完全知道总体的分布 $P$. 统计模型（statistical model）便是 $P$ 的所有可能集合，即 $$ P\in\mathcal{P}={Q:Q\text{满足某些条件}}. $$ 最常见的统计模型是参数模型（parametric model）： $$ \mathcal{P}={P_\theta:\theta\in\Theta}. $$ 其中 $\Theta\in\mathbb{R}^d$ 称为参数空间（parameter space），$\mathcal{P}$ 称为 参数族（parametric family）。
通常，我们希望概率密度函数一致存在，也就是存在一个 $\sigma$-有限的测度 $\nu$，使得 $\forall P\in\mathcal{P},P\ll\nu$. 此时我们称 $\mathcal{P}$ 被 $\nu$ 控制（dominated）。
**估计量（estimator）**是 $X$ 的函数，通过观测值 $X$ 来估计参数 $\theta$. 我们通常记作 $$ \hat\theta=w(X_1,\cdots,X_n). $$ 统计学中关注的问题主要是：
- 如何得到 $\hat\theta$（即 $w(X_1,\cdots,X_n)$）
- 如何对得到的估计量进行评价
为此，我们先介绍统计量和分布族。
统计量
**统计量（statistic）**定义为样本 $X$ 的可测函数 $T(X)$。
众所周知，随机变量包含的信息可以用 $\sigma(X)$ 描述。容易证明，$\sigma(T\circ X)\subset\sigma(X)$，所以统计量简化了原来的随机变量所包含的信息。
充分统计量
定义 统计量 $T(X)$ 是关于 $\mathcal{P}$ 的充分统计量（sufficient statistics），如果给定 $T(X)$ 的值时，$X$ 的条件分布确定（与 $P\in\mathcal{P}$ 无关，或者说与 $\theta$ 无关）。
充分统计量包含了原统计量关于参数的全部信息，而充分统计量作为统计量又缩减了信息，所以充分统计量是缩减了无用信息，只保留有用信息，这好极了。
我们有一个很方便的定理，帮助我们寻找充分统计量：
定理（Factorization theorem） 设 $\mathcal{P}$ 是 $(\mathbb{R}^n,\mathcal{B}^n)$ 上的分布族，且被 $\nu$ 控制。$T(X)$ 是关于 $\mathcal{P}$ 的充分统计量，当且仅当密度函数可写成 $$ \frac{dP}{d\nu}(x)=g_P(T(x))h(x), $$ 其中 $h(x)$ 与 $P$ 无关，$h$ 和 $g_P$ 都是 Borel 函数。
直观理解：$g_P$ 体现了原统计量中和 $P$ 有关的部分，它仅是 $T(x)$ 的函数。
结论 次序统计量是充分统计量。
证明留做习题。这说明获取样本的先后顺序通常不会对统计学问题造成影响。
极小充分统计量
我们知道，如果 $T(X)=\psi(S(X))$ 且 $T$ 是充分统计量，则 $S$ 也是充分统计量（自行证明）。这允许我们提出“极小”的概念：
定义 设 $T$ 是充分统计量。如果对任意的充分统计量 $S$ 都有可测函数 $\psi$ 使 $T=\psi(S)$，则 $T$ 是极小充分统计量（minimal sufficient statistics）。
这个定义等价于 $S(x)=S(y)\Rightarrow T(x)=T(y)$.
我们有许多定理可以方便地判定极小充分统计量，这里介绍三个：
定理 设 $\mathcal{P}_0\subset\mathcal{P}$ 且 $\mathcal{P}_0$-a.s. $\Rightarrow \mathcal{P}$-a.s.，若 $T$ 关于 $\mathcal{P}$ 是充分统计量，且关于 $\mathcal{P}_0$ 是极小充分统计量，则 $T$ 关于 $\mathcal{P}$ 是极小充分统计量。
$\mathcal{P}$-a.s. 指的是对 $\mathcal{P}$ 中的所有东西都是 a.s..
定理 设 $\mathcal{P}$ 可列，其 p.d.f. 为 $f_0,f_1,\cdots$，则
- 令 $c_i>0,\sum_{i=0}^\infty c_i=1$，且 $f_\infty(x)=\sum_{i=0}^\infty c_if_i(x)$. 可知 $f_\infty(x)\ne 0$, a.e.. 令 $T_i(x)=\dfrac{f_i(x)}{f_\infty (x)}$，则 $T(X)=(T_0(x),T_1(x),\cdots)$ 是 $\mathcal{P}$ 的极小充分统计量。
- 若 $\forall i,{x:f_i(x)>0}\subset{x:f_0(x)>0}$，则 $T(X)=(\dfrac{f_1(X)}{f_0(X)},\dfrac{f_2(X)}{f_0(X)},\cdots)$ 是 $\mathcal{P}$ 的极小充分统计量。
定理 设 $\mathcal{P}$ 都存在 p.d.f. $f_P$，$T(X)$ 是充分统计量，若对任意的 $x,y$， $$ \frac{f_P(x)}{f_P(y)}\text{与}P\text{无关}\Rightarrow T(x)=T(y), $$ 则 $T(X)$ 是极小充分统计量。
完备统计量
极小充分统计量仍然有冗余信息。例如 $T$ 是极小充分统计量，则 $(T,e^T)$ 也他娘的是极小充分统计量，你说这上哪说理去？所以我们还得接着干。
定义 统计量 $T(X)$ 是完备的（complete），当且仅当对任意 Borel 函数 $f$，$\forall P\in\mathcal{P},E_P(f(T))=0\Rightarrow f(T)=0$. 如果把 $f$ 限定为有界函数，则称为有界完备（boundedly complete）。
这意味着没有任何 non-trivial 的函数能对 $T$ 的信息进一步压缩了。
定理 一个统计量是有界完备且充分的，则它是极小充分统计量。
辅助统计量
定义 统计量 $V(X)$ 是辅助统计量（ancillary statistics），如果它的分布与 $P$ 无关。
和充分统计量恰恰相反，辅助统计量就像是某些领导讲话，听君一席话如听一席话，实际上没有任何信息量。
对于完备统计量 $T$，如果能够造出辅助统计量 $V=f(T)$ 且 $f$ 不是常数，则 $g(T)=f(T)-\mathrm E(f(T))$ 就与定义矛盾了。所以完备意味着无法从中构造出辅助统计量。
如下定理进一步解释了完备统计量和辅助统计量“势不两立”的关系：
定理（Basu） $V$ 是辅助统计量，$T$ 有界完备且充分，则 $V$ 和 $T$ 独立。
指数族
标准型
指数族是非常重要的一类参数族，许多我们耳熟能详的分布都是指数族，我们即将看到，指数族有许多优良的数学性质。
定义 设参数族 $\mathcal{P}={P_\theta}$ 被 $\sigma$-有限的测度 $\nu$ 控制，对应的概率密度函数 $f_\theta=\dfrac{d P_\theta}{d\nu}$. 称 $\mathcal{P}$ 是**指数族（exponential family）**当且仅当能写成如下形式： $$ f_\theta(\omega)=\exp\left(\eta(\theta)^T T(\omega)-\xi(\theta) \right)h(\omega),\ \omega\in\Omega, $$ 其中 $T:\Omega\to\mathbb{R}^p$, $\eta:\Theta\to\mathbb{R}^p$, $h$ 是 $\Omega$ 上的非负 Borel 函数。$\xi(\theta)$ 是归一化用的，选取它的值使得 $f_\theta$ 的积分是 1 就好啦。
教材和 PPT 都略过了 well-defined 的证明，我们进行了补充，见附录。
由于各种变化因素，指数族的表达式五花八门。我们需要规定标准型。令 $\eta=\eta(\theta)$，我们得到 $$ f_\eta(\omega)=\exp\left(\eta^TT(\omega)-\zeta(\eta)\right)h(\omega). $$ 这叫做指数族的标准型（canonical form），用标准型表示的指数族称为自然指数族（natural exponential family, NEF）。新的参数空间变为 $\Xi={\eta(\theta):\theta\in\Theta}\subset \mathbb{R}^p$. 如果 $\Xi$ 包含开集，则称指数族满秩（full rank）。
满秩的条件可以防止 $T$ 线性相关，使得其具有更好的性质。
指数族的判定
性质 设 $P_\theta$ 是指数族，则存在非零测度 $\lambda$ 使得 $\dfrac{dP_\theta}{d\lambda}>0,\ \lambda$-a.e..
事实上，只要取 $\lambda(A)=\int_A hd\nu$ 即可把 $h$ 消掉，于是性质得证。这给我们提供了一个很好的判定依据：如果 $\dfrac{dP_\theta}{d\lambda}=0\Rightarrow\lambda\equiv0$，那他就不是指数族。
性质 指数族的 $f_\theta$ 有相同的支撑集 $\text{supp}(f_\theta)={x:h(x)>0}$.
这可以用来判定，如果支撑集不同，则不是指数族。
统计量 $T$
可以证明，对满秩的自然指数族，$T$ 是一个完备极小充分统计量。
定理 设 $\mathcal{P}$ 是自然指数族，$f_\eta(\omega)=\exp\left(\eta^TT(\omega)-\zeta(\eta)\right)h(\omega)$. 如令 $T=(Y,U),\ \eta=(\vartheta,\varphi)$，其中 $Y$ 和 $\vartheta$ 维度相同（特别地，可以令 $Y=T$，就没有 $U$ 了）。则存在和 $\varphi$ 有关的测度，使得 $Y$ 在其上有 p.d.f. $$ f_Y(y)=\exp\left(\vartheta^Ty-\zeta(\eta)\right). $$ 此外，给定 $U=u$，存在和 $u$ 有关的测度，使得 $Y$ 在其上有条件分布 $$ f_{Y|U=u}(y)=\exp\left(\vartheta^Ty-\zeta_u(\vartheta)\right). $$
定理 若 $\eta_0$ 是参数空间的内点（interior point），则 $T$ 的 MGF 在 $t=0$ 的邻域存在有限，具体地， $$ \mathrm E(e^{tT})=\psi_{\eta_0}(t)=\exp\left(\zeta(\eta_0+t)-\zeta(\eta_0)\right). $$
这节就结束了……内容有点少，但是下一节点估计的内容巨多，如果这里不分节的话可能要炸……
附录
指数族定义的证明
定义 设参数族 $\mathcal{P}={P_\theta}$ 被 $\sigma$-有限的测度 $\nu$ 控制，对应的概率密度函数 $f_\theta=\dfrac{d P_\theta}{d\nu}$. 称 $\mathcal{P}$ 是**指数族（exponential family）**当且仅当能写成如下形式： $$ f_\theta(\omega)=\exp\left(\eta(\theta)^T T(\omega)-\xi(\theta) \right)h(\omega),\ \omega\in\Omega, $$ 其中 $T$ 是 $p$ 维随机向量，$\eta:\Theta\to\mathbb{R}^p$, $h$ 是 $\Omega$ 上的非负 Borel 函数。$\xi(\theta)$ 是归一化用的，选取它的值使得 $f_\theta$ 的积分是 1 就好啦。
如果选取不同的 $\nu$, $f_\theta$ 的表达形式会改变。我们需要证明 well-defined：如果存在 $\nu$ 使得 $\dfrac{dP_\theta}{d\nu}$ 可写成上述形式，则对另一控制 $\mathcal{P}$ 的测度 $\nu’$，$\dfrac{dP_\theta}{d\nu’}$ 仍能写成上述形式。
证明：设 $\dfrac{dP_\theta}{d\nu}=\exp\left(\eta(\theta)^T T(\omega)-\xi(\theta) \right)h(\omega)$, 定义测度 $\lambda(A)=\int_A hd\nu$. 对可测集 $A$，若 $\lambda(A)=0$，则有 $$ \lambda(A)=\int_{A\cap {\omega:h(\omega)=0}} h(\omega)d\nu+ \int_{A\cap {\omega:h(\omega)>0}} h(\omega)d\nu=0. $$ 上式两项都是 0，而第二项的被积函数严格大于 0，于是有 $$ \nu\left({A\cap {\omega:h(\omega)>0}}\right)=0. $$ 因此 $$ P_\theta(A)=\left(\int_{A\cap {\omega:h(\omega)=0}} + \int_{A\cap {\omega:h(\omega)>0}}\right) \exp\left(\eta(\theta)^T T(\omega)-\xi(\theta) \right)h(\omega) d\nu=0. $$ 这是因为第一个积分的被积函数是 0，而第二个积分的集合是零测集. 至此我们得到 $\lambda\gg P_\theta$. 注意到 $\dfrac{d\lambda}{d\nu}\ne 0,\ \lambda$-a.e.，于是 $$ \frac{dP_\theta}{d\lambda}=\frac{dP_\theta}{d\nu}\left(\frac{d\lambda}{d\nu}\right)^{-1}=\exp\left(\eta(\theta)^T T(\omega)-\xi(\theta) \right). $$ 由于 $\dfrac{dP_\theta}{d\lambda}>0$，故 $\lambda\ll P_\theta$.
设 $\sigma$-有限的测度 $\nu’$ 满足 $\nu’\gg P_\theta$，我们有 $\nu’\gg \lambda$，于是 $$ \frac{dP_\theta}{d\nu’}=\frac{dP_\theta}{d\lambda}\frac{d\lambda}{d\nu’}=\exp\left(\eta(\theta)^T T(\omega)-\xi(\theta) \right)\frac{d\lambda}{d\nu’}. $$ 注意到 $\dfrac{d\lambda}{d\nu’}$ 只是 $\omega$ 的函数，因此我们得到了指数族的表达式。∎