泊松过程、生灭过程、更新过程、布朗运动。
泊松过程
大名鼎鼎的泊松过程定义为满足下式的随机过程： $$ \begin{gather} \lim_{h\to 0} P_{k,k+1}(h)=\lambda h,\\ \lim_{h\to 0}P_{k,k}(h)=1-\lambda h,\\ X(0)=0. \end{gather} $$ 其中 $\lambda>0$ 为参数，称为强度。
性质：
$T_k\sim Exp(\lambda)$，$T_k$ 之间独立
$S_n\sim \Gamma(n,\lambda)$，
$X(t+u)-X(u)\sim Pois(\lambda t)$，
在 $X(t)=n$ 的条件下，$S_1,\cdots,S_n$ 联合分布是均匀分布的次序统计量，具体地，设 $0\le s_1\le\cdots\le s_n\le t$， $$ P(S_i\le s_i,i=1,\cdots,n|X(t)=n)=\frac{n!}{t^n}\int_{0}^{s_1}\cdots\int_{x_{n-1}}^{x_n}dx_n\cdots dx_1. $$
这意味着已知某时段发生的事件个数时，事件发生的时间是均匀的。
泊松过程可以推广到两个分支：出生-死亡过程和更新过程，我们一一介绍。
出生-死亡过程
我们仍然考虑平稳过程。时间连续，状态离散的马尔可夫过程满足 $$ P_{ij}(t)=P{X(t+u)=j|X(u)=i}. $$ 只要给出了这个式子，随机过程就定义好了。
我们先从特殊的过程开始，逐渐推广到一般的出生-死亡过程。我们用 $X(t)$ 表示 $t$ 时刻存活的数量，$T_k$ 表示第 $k$ 个事件和第 $k+1$ 个事件之间的等待时间，$S_k$ 表示第 $k$ 个事件发生时间。具体地，$T_0=0$, $T_k=\inf {t>T_{k-1}:X(t)\ne X(T_{k-1})}$，$S_k=\sum_{i=0}^{k-1}T_i$.
纯出生过程
我们推广泊松过程，允许每个事件发生后强度发生变化（也就是“出生率”和“人口数”有关）。设 ${\lambda_k}>0$ 为参数， $$ \begin{gather} \lim_{h\to 0} P_{k,k+1}(h)=\lambda_k h,\\ \lim_{h\to 0}P_{k,k}(h)=1-\lambda_k h.\\ \end{gather} $$ 一般来说我们要求 $X(0)=0$，这样比较简洁（也可以令 $X(0)=N$，这不本质）。类似地，可以证明 $T_k$ 之间独立且 $$ T_k\sim Exp(\lambda_k). $$ 于是可以得到 $S_n$ 的特征函数 $$ \varphi_n(t)=\prod_{k=0}^{n-1}\frac{\lambda_k}{\lambda_k-it}. $$
$X(t)$ 的分布
我们来考虑计算 $P_n(t)=P(X(t)=n)$. 利用 $P_0(t+h)=P_0(t)P_0(h)=P_0(t)(1-\lambda_0 h+o(h))$，有 $$ P’0(t)=\lim{h\to 0}\frac{P_0(t+h)-P_0(t)}{h}=\lambda_0P_0(t). $$ 类似地，$P_n(t+h)=P_n(t)P_0(h)+P_{n-1}(t)P_1(h)=P_n(t)(1-\lambda_n h)+P_{n-1}(t)\lambda_{n-1}h+o(h)$, 所以 $$ P’n(t)=\lambda{n-1}P_{n-1}(t)-\lambda_n P_n(t),\quad n\ge 1. $$ 我们得到了齐次线性微分方程组，边界条件 $P_0(0)=1,P_{n}(0)=0,n\ge 1$. 就可以确定下来了。虽然有通用解法，但其实只有特殊情况我们才能写出显式表示，一般情况下只能得到 $P_0(t)=e^{-\lambda_0t}$.
另一种常用的求分布方法是转化到 $S_n(t)$，我们将在 Yule 过程中用到并在附录介绍。
Yule 过程
出生率和人口数成正比，也即 $\lambda_n=n\beta$，$\beta>0$ 为参数。特别地，我们需要假设 $X(0)=N$（否则就一直是0了）。
如果你实在绕不明白，可以令 $Y(t)=X(t)-N$，这样 $Y(t)$ 就是满足 $Y(0)=0$ 的出生过程了。
它的分布是 $$ P(X(n)=t)=\binom{n-1}{n-N}e^{-N\beta t}(1-e^{-\beta t})^{n-N},\quad n\ge N. $$ 我们在附录给出推导过程。
出生-死亡过程
来来来，接着推广。现在寿命不是无限的了，还允许死亡。但死亡也要按照基本法：足够短的时间内只能有一个人生或死。这就是出生-死亡过程，其严格定义为同时满足以下几条的随机过程（$\lambda_i,\mu_i$ 为参数）：
- $\lim_{h\to0} P_{i,i+1}(h)=\lambda_ih$,
- $\lim_{h\to0} P_{i,i-1}(h)=\mu_i h,\ i\ge1$,
- $\lim_{h\to0} P_{i,i}(h)=(1-\lambda_i-\mu_i)h$,
- $P_{ij}(0)=\delta_{ij}$,
- $\mu_0=0,\lambda_0>0,\mu_i,\lambda_i>0,i=1,2,\cdots$.
我们记初始状态 $P(X(0)=i)=q_i$. 根据 Markov 性，规定了初始状态参数，这个过程就确定了。
$X(t)$ 的分布
我们可以定义类似于转移矩阵的东西，叫做 infinitesimal generator： $$ A=\begin{pmatrix} -\lambda_0 & \lambda_0 & 0 & \cdots\\ \mu_1 & -(\lambda_1+\mu_1) & \lambda_1 & \cdots \\ 0 & \mu_2 & -(\lambda_2+\mu_2) & \cdots\\ \vdots & \vdots & \vdots & \ddots \end{pmatrix}. $$ 若记 $P(h)=(P(X(h)=0),P(X(h)=1),\cdots)$，则有 $P(t+h)=P(t)(I+A)h+o(h)$，于是有齐次线性微分方程组： $$ \begin{gather} P’(t)=P(t)A,\\ P(0)=(q_0,q_1,\cdots), \end{gather} $$ 解微分方程即可确定 $X(t)$ 的分布。
等待时间 $T_k$
类似地，我们可以得到 $T_k\sim Exp(0,\lambda_k+\mu_k)$.
更新过程
定义
泊松过程我们让 $T_k$ 是指数分布。如果令 $T_k>0$ 独立同分布，就得到了更新过程。 $X(t)=\sharp{n:0\le S_n\le t}$. 更新函数定义为 $M(t)=\mathrm EX(t)$. 这是更新过程中一个很重要的东西。
用 $F_n(x)$ 表示 $S_n$ 的分布函数，则满足卷积方程 $$ F_n(x)=\int_0^x F_{n-1}(x-y)dF(y). $$ 可以证明 $$ P(X(t)=k)=F_k(t)-F_{k+1}(t),\quad t\ge0. $$ 并且 $$ M(t)=\sum_{n=1}^\infty F_n(t). $$ 我们有三个比较关心的随机变量：
- 剩余寿命（excess or residual lifetime）：$\gamma_t=S_{N(t)+1}-t$,
- 年龄（current life / age）：$\delta_t=t-S_{N(t)}$,
- 总寿命（total life）：$\beta_t=\gamma_t+\delta_t$.
更新方程与更新定理
这里水很深，有一套专门的更新理论。我们就只介绍关键的定理。
首先可以证明 $M(t)<\infty$，并且有结论 $$ M(t)=F(t)+\int_0^t M(t-y)dF(y). $$ 我们可以定义更一般地更新方程。
定义（更新方程，renewal equation） 设 $a(t)$ 和 $F(x)$ 已知，如下关于 $A(t)$ 的方程称为更新方程： $$ A(t)=a(t)+\int_0^t A(t-x)dF(x),\quad t\ge 0. $$ 更新过程的很多问题，最后都会得到一个这样的方程，所以研究它的解很重要。如下几个定理都是围绕更新方程的解展开的。
定理 设 $a(t)$ 有界，则上述更新方程存在唯一的有限区间内有界的解 $$ A(t)=a(t)+\int_0^t a(t-x)dM(x). $$ 其中 $M(x)=\sum_{n=1}^\infty F_n(x)$ 为更新函数。
下一个定理我们要做一些铺垫。
定义（格点分布，arithmetic） 随机变量 $X$ 是 arithmetic 的，如果存在 $\lambda>0$ 使得 $\sum_{n\in\mathbb{Z}} P(X=nd)=1$. 此时称 $F$ is arithmetic with span $\lambda$.
讲义上的定义较为复杂，但说的是一个意思：
定义（point of increase） 设 $F$ 是分布函数。对 $a\in\mathbb{R}$，如果 $\forall\varepsilon>0$ 都有 $F(a+\varepsilon)-F(a-\varepsilon)>0$，则称 $a$ 点是 a point of increase.
这个定义推广了递增函数的定义，允许在该点崩坏掉。最典型的就是 $X=a$ 的分布函数，$a$ 就是 a point of increase.
定义（arithmetic） 如果存在 $\lambda$ 使得分布函数 $F$ 在且只在 $0,\pm\lambda,\pm2\lambda,\cdots$ 上 point of increase，则称 $F$ 是 arithmetic 的。
定义（directly Riemann integrable） 设 $g:\mathbb{R}^+\to\mathbb{R}$，对 $\delta>0,n=1,2,\cdots$，设
$$ \begin{align} &\underline{m}_n=\inf{ g(t):(n-1)\delta\le t\le n\delta},\\ &\overline{m}n=\sup{ g(t):(n-1)\delta\le t\le n\delta},\\ &\underline\sigma(\delta)=\delta\sum{n=1}^\infty \underline{m}n,\quad \overline\sigma(\delta)=\delta\sum{n=1}^\infty \overline{m}_n. \end{align} $$
这个公式我怎么编辑它都显示不出，本地明明没问题，我弃疗了……自己在脑中编译一下吧
若 $\underline\sigma(\delta)$ 和 $\overline\sigma(\delta)$ 对任意的 $\delta>0$ 绝对收敛，且 $\lim_{\delta\to0}\left(\overline\sigma(\delta)-\underline\sigma(\delta)\right)=0$，则称 $g$ directly Riemann integrable.
注：
- 讲义的定义有瑕疵，应该用 $\inf$ 而不是 $\min$，除非给 $g$ 加别的条件才能保证最大值最小值存在。
- 这是比黎曼可积更强的条件，因为它要求上和和下和对任意的 $\delta$ 都收敛，而不只是 $\delta\to 0$ 的行为。
定理（Basic renewal theorem） 设 $F$ 是正随机变量的分布函数，期望为 $\mu$（有限或无限）. 设函数 $a(t),t\ge0$ 是 directly Riemann integrable 的。考虑以下更新方程： $$ A(t)=a(t)+\int_0^t A(t-x)dF(x),\quad t\ge 0. $$
若 $F$ 不是 arithmetic 的，则 $$ \lim_{t\to\infty} A(t)=\left{ \begin{align} &\frac{1}{\mu}\int_0^\infty a(x)dx,&\text{若 }\mu<\infty,\\ &0,&\text{若 }\mu=\infty. \end{align} \right. $$
若 $F$ is arithmetic with span $\lambda$，则 $\forall 0\le c\le \lambda$， $$ \lim_{n\to\infty} A(c+n\lambda)=\left{ \begin{align} &\frac{\lambda}{\mu}\sum_{n=0}^\infty a(c+n\lambda),&\text{若 }\mu<\infty,\\ &0,&\text{若 }\mu=\infty. \end{align} \right. $$
设 $h>0$，如果令 $a(y)=I(0\le y< h)$，稍加分析可以得到下面有关更新过程的结论。
定理 设 $F$ 是正随机变量的分布函数，期望为 $\mu$，设 $M(t)=\sum_{k=1}^\infty F_k(t)$，$h>0$，则
若 $F$ 不是 arithmetic 的，则 $$ \lim_{t\to\infty}(M(t+h)-M(t))=\frac{h}{\mu}. $$
若 $F$ is arithmetic with span $\lambda$，当 $h$ 是 $\lambda$ 的整数倍时上述结论成立。
上述定理可以推出如下初等更新定理。
定理（初等更新定理，Elementary renewal theorem） 令 ${X_i}$ 是更新过程，$\mu=\mathrm EX_1<\infty$，则 $$ \lim_{t\to\infty}\frac{1}{t}M(t)=\frac{1}{\mu}. $$ 它表明更新函数增长速度恰好是时间间隔的倒数，非常直观。
布朗运动
考虑时间连续、状态连续的马尔可夫过程。记 $p(x,t|x_0)$ 为条件分布 $X(t+t_0)|X(t_0)=x_0$ 的概率密度函数。只要确定了 $X(0)$ 的分布和 $p(x,t|x_0)$，这个马尔可夫过程就唯一确定了。
一维布朗运动的定义是：
- $X(t+s)-X(s)\sim N(0,\sigma^2 t)$（通常令 $\sigma^2=1$）,
- $\forall t_1<t_2<t_3<t_4$, $X(t_4)-X(t_3)$ 和 $X(t_2)-X(t_1)$ 独立,
- $X(0)=0$. 轨道函数 $X(t)$ 在 $t=0$ 处连续。
显然其转移概率是 $$ p(x,t|x_0)=\frac{1}{\sqrt{2\pi t}\sigma}e^{-(x-x_0)^2/(2\sigma^2 t)}. $$ 定理 对 $t_1<t<t_2$，给定 $X(t_1)=A,X(t_2)=B$ 时 $X(t)$ 的条件分布服从 $N\left(A+\dfrac{B-A}{t_2-t_1},\dfrac{(t_2-t)(t-t_1)}{t_2-t_1}\right)$. 证明略。
首达时间 $T_a$ 定义为 $X(0)=0$ 时第一次到达 $a$ 的时间。我们有结论 $$ f_{T_a}(t)=\frac{a}{\sqrt{2\pi}}t^{-3/2}e^{-a^2/(2t)}. $$ 其推导见附录。利用此结论，我们可以得到下面的定理。
**定理 ** 轨道 $X(t)$ 在 $(t_0,t_1)$ 内有至少一个 0 的概率是 $$ \alpha=\frac{2}{\pi}\arccos\sqrt{\frac{t_0}{t_1}}. $$
附录
Yule 过程求 $P(X(t)=n)$
讲义通过解微分方程求的，但那个微分方程按照一般流程计算极其复杂，多少需要一点目测猜解的功力。我们这里给出基于 $S_n$ 密度函数的推导，大力出奇迹即可。
令 $Y(t)=X(t)-N$，则 $Y(t)$ 为纯出生过程，$\lambda_k=(N+k)\beta$. 我们先利用特征函数来求 $S_n$ 的密度函数 $f_{S_n}$，即 $$ \begin{align} f_{S_n}(x)&=\frac{1}{2\pi}\int_{-\infty}^\infty e^{-itx}\prod_{k=0}^{n-1}\frac{(N+k)\beta}{(N+k)\beta-it}dt.\\ \end{align} $$ 记上面被积函数为 $g(t),t\in\mathbb{C}$. 其有 $n$ 个奇点，为 $t_k=-i(N+k)\beta,\ k=0,\cdots,n-1$. 留数为 $$ \begin{align} Res(g,t_k)&=\frac{1}{-i}e^{-(N+k)\beta x}(-1)^k\frac{(N+n-1)!}{(N-1)!(n-1-k)!k!}\beta\\ &=i\beta\frac{(N+n-1)!}{(N-1)!(n-1)!}e^{-N\beta x}(1-e^{-\beta x})^{n-1}. \end{align} $$ 于是 $$ \begin{align} \sum_{k=0}^{n-1}Res(g,t_k)&=i\beta\frac{(N+n-1)!}{(N-1)!(n-1)!}e^{-N\beta x}\sum_{k=0}^{n-1}(-1)^k\binom{n-1}{k}e^{-k\beta x}\\ &=i\beta n\binom{N+n-1}{N-1}e^{-N\beta x}(1-e^{-\beta x})^{n-1}. \end{align} $$
设路径 $L_1$ 为沿实轴 $-r$ 到 $r$，$L_2$ 为下半圆 $re^{i\theta},\pi\le\theta\le 2\pi$. 当 $r$ 充分大时，利用留数定理， $$ \begin{align} \int_{-L_1+L_2}g(z)dz&=2\pi i\sum_{k=0}^{n-1} Res(g,t_k).\\ \end{align} $$ 令 $r\to\infty$，得 $$ \begin{align} f_{S_n}(x)&=-\int_{L_2}g(z)dz\\ &=\beta n\binom{N+n-1}{N-1}e^{-N\beta x}(1-e^{-\beta x})^{n-1}.\\ \end{align} $$ 然后可以办正事了， $$ \begin{align} P(Y(t)=n)&=P(S_n\le t< S_{n+1})\\ &=\int_0^t P(S_n\le t <S_{n+1}|S_n=x)f_{S_n}(x)dx\\ &=\int_0^t P(T_n>t-x)f_{S_n}(x)dx\\ &=\int_0^t e^{-(N+n)\beta (t-x)}\beta n\binom{N+n-1}{N-1}e^{-N\beta x}(1-e^{-\beta x})^{n-1}dx\\ &=\beta n\binom{N+n-1}{N-1}e^{-(N+n)\beta t}\int_0^t e^{n\beta x}(1-e^{-\beta x})^{n-1}dx. \end{align} $$ 设上面最后一步积分为 $I$. 令 $y=e^{\beta x}$，有 $$ I=\int_1^{e^{\beta t}}y^n(1-\frac{1}{y})^{n-1}\frac{1}{\beta y}dy=\frac{1}{n\beta}(e^{\beta t}-1)^n. $$ 于是 $$ P(Y(t)=n)=\binom{N+n-1}{N-1}e^{-N\beta t}(1-e^{-\beta t})^{n}. $$ 终于， $$ P(X(t)=n)=P(Y(t)=n-N)=\binom{n-1}{N-1}e^{-N\beta t}(1-e^{-\beta t})^{n-N}. $$
所以说，本科的基础课都好好学，早晚会用上的…… 不说了，我接着复习复分析去了……
布朗运动首达时间
感觉 lecture notes 写的不是很清楚。首先有 $$ P(T_a\le t)=P(\max_{0\le u\le t} X(u)\ge a). $$ 然后考虑样本轨道集合 $A={X(u):\max_{0\le u\le t} X(u)\ge a}$. 对 $A$ 中每个轨道 $X(u)$，记首次达到 $a$ 的时刻为 $\tau<t$，考虑反射 $$ \tilde X(t)=\left{ \begin{align} &X(t)\qquad & t <\tau,\\ &a-[x(t)-a]\qquad &t>\tau. \end{align} \right. $$ 如果 $X(t)>a$，则 $\tilde X(t)<a$，反之亦然，所以 $P(\max_{0\le u\le t} X(u)\ge a)=2P(X(t)> a)$. 然后就好算了。