贝叶斯数据分析（1）——贝叶斯推断入门

本笔记基于Bayesian Data Analysis Third Edition， Andrew Gelman et. al. 学习编写，由于是英文教材，可能在学习过程中一些翻译或者内容有误，如有问题或错误，可以发送至邮箱[email protected]反馈。在学习本书中，需要有一定数学基础或者数理统计的基础，并且存在很多需要计算的场景，对于每一条定理，从头开始的证明会让你更明白每一步是如何实现的。

贝叶斯推断

概率标记

首先我们需要一些在贝叶斯统计里常用到的标记方法：

1. $p(\cdot|\cdot)$ 表示条件概率密度 (conditional probability density)，$p(\cdot)$表示边缘分布 (marginal distribution). 应注意，我们通常使用的‘分布’ 和 ‘密度’ 两个概念通常是互相可以交换的。
2. 为了混淆，我们会使用 $Pr(\cdot)$ 代表事件的概率
3. 如果使用到参数分布，我们需要标注分布的类型。比如 $\theta$ 服从均数为 $\mu$, 方差为 $\sigma$ 的正态分布，那么我们写作 $\theta \sim N(\mu,\sigma^2)$ 或者 $p(\theta) = N(\theta| \mu, \sigma^2)$, 又或者是更为详细的 $p(\theta|\mu, \sigma^2) = N(\theta| \mu, \sigma^2)$
4. 我们使用 $N(\mu,\sigma^2)$ 表示随机变量， $N(\theta|\mu, \sigma^2)$作为密度方程。
5. 协方差： $sd(theta)/E(\theta)$, 几何均数 $\exp(E[\log(\theta)])$, 几何标准差： $\exp(sd[\log(\theta)])$

贝叶斯法则

这里，我们需要明确几个概念，也是贝叶斯里面最重要的概念，我们一步步来看：

为了简化方便，现在下面所描述的均为单参数模型

我们从联合分布开始，对于联合分布 $p(\theta,y)$ ，我们可以写成：

这里的 $p(\theta)$ 即先验分布(prior distribution)，而$p(y|\theta)$则为样本分布(sampling distribution/data distribution)。

我们往往想知道的是 $p(\theta|y)$，那么我们就可以通过上面的贝叶斯公式生成我们想要的 后验分布(posterior distribution):

这里的 $p(y) = \sum_\theta p(\theta)p(y|\theta)$ 又或者是 $p(y) = \int p(\theta)p(y|\theta)d\theta$, 这里的 $p(y)$，我们很容易知道它是一个不依赖于 $\theta$ 的函数，只与y有关，所以我们可以认为其是一个常数。于是乎，就有了非标准化后验密度(unnormalized posterior density)：

应注意的是，$p(y|\theta)$是一个与 $\theta$ 有关的一个函数，而并非 $y$ 的函数。这个基本上贯穿了我们整个贝叶斯的学习。

预测

然后正常的，我们会对于一个不知道的观测值进行推断，这时候我们叫做预测推断(predictive inference)。

对于一个未知，但可以观测的 $y$ 的分布是：

这个也通常是 $y$ 的边缘分布，但其还有一个信息更加丰富的名字叫做先验预测分布(prior predictive distribution)。这个名字我们需要好好解释一下，先验：是因为它是非条件性的，因为它不基于先前的观测值；预测：是以为它是可观测量的分布。

当我们知道观测 $y$ 的数据后，我们就可以对不知道的可观测的 $\tilde{y}$ 进行预测，那么对于这个 $\tilde{y}$ 的分布，我们叫做后验预测分布(posterior predictive distribution)。一样的，我们也需要进行解释：后验，是因为它是基于已经观测到的值的条件化量，而预测是因为它是对可观察到的 $\tilde{y}$ 的预测：

对于第二个等号，后验预测分布式条件预测在 $\theta$ 的后验分布上的均值，而最后一步式因为我们假设 $\tilde y \perp y|\theta$

似然（likelihood）

当我们对于一个选择好的概率模型使用贝叶斯就意味着我们的 $y$ 只通过 $p(y|\theta)$ 来影响我们的后验推断，当我们认为其是一个固定 $y$ 的，关于 $\theta$ 的函数，其也被称作似然方程(likelihood function) ,在贝叶斯推断里，它也偶尔被称作 似然法则(likelihood principle). 其表示在给定观测数据的情况下，关于模型参数的所有合理推断，仅依赖于数据的似然函数

似然与比值比

在一个给定模型下的后验密度的评价 $\theta_1$ 和 $\theta_2$ 的比叫做后验比值 (posterior odds)：

换句话，后验比 = 先验比 × 似然比

概率作为不确定性的衡量

在贝叶斯统计里，概率不仅用来描述重复随机实验的结果，也被用作衡量未知状态的基本标尺。贝叶斯方法关心的是：在已有数据和背景知识下，我们对于某个尚未观测、不可直接观测，或者尚未确定的状态到底知道多少。

从数学上看，概率被定义在一组可能结果上，且满足非负性、互斥事件可加性，以及所有互斥可能结果的概率总和为 1。贝叶斯统计在这个概率演算的基础上进一步强调：对于任何未知量，我们当前知识状态都可以用一个概率分布来描述。因此，后验分布不只是一个计算结果，它表示的是在结合数据之后，我们对未知参数或未知状态的不确定性。

为什么概率是一个合理的方式去量化不确定性呢？

1. 类推(Analogy)：物理随机性会导致不确定性，所以用随机事件的语言来描述不确定性是自然的。

2. 公理和规范方法：这一思路通常和决策理论有关。我们可以把统计推断放到带有收益和损失的决策问题中，然后要求决策者的偏好满足一些合理公理，例如排序、传递性等。在这些规范性条件下，不确定性应当用概率表示。这个理由说明概率有很强的逻辑吸引力，但它更多是规范性的论证，并不能单独证明所有实际问题都必须这样建模。

3. 投注的一致性：我们也可以用愿意接受的投注价格来定义主观概率。对于事件 $E$，如果你愿意支付 $p$ 元，换取事件 $E$ 发生时得到 1 元的回报，那么 $p$ 就可以被看作你赋予事件 $E$ 的概率。如果 $E$ 发生，你净赚 $1-p$；如果 $E$ 不发生，你损失 $p$。所谓一致性要求是：你给所有事件分配的概率不能让别人通过一组投注安排从你这里获得确定收益。可以证明，如果概率分配满足这种一致性要求，那么它必须满足概率论的基本公理。

主观性和客观性

所有使用概率的统计方法在某种意义上都是主观的，因为它们都依赖于对现实世界的数学理想化。贝叶斯方法常常因为使用先验分布而被认为更主观，但事实上，似然函数的选择、模型形式的设定、哪些数据应当纳入分析，同样都需要科学判断。例如，线性回归模型中的线性假设、误差分布假设，也可能和某个先验假设一样值得被质疑。

当我们拥有大量可交换的重复观测时，就可以从数据中估计概率分布的某些特征，从而让分析更接近“客观”。如果整个实验可以重复多次，甚至先验分布中的参数也可以通过数据来估计。不过，无论数据有多少，模型形式、数据选择和模型检验方式仍然需要我们在研究的过程中进行判断。

常用的概率理论知识

链式法则：

隐藏假设：

​ 其中， $H$ 代表了一系列的假设或者猜想用于定义这个模型，比如我们有时候会用的协变量或者解释变量。

均值和方差：

对于向量参数 $u$，期望的表达式一样，其协方差矩阵为：

我们应该要注意的是，$E(u)$ 和 $var(u)$ 本质上不是关于 $u$ 的函数，而是关于分布方程的函数，即 $p(u)$ 。

条件分布的均值和方差

均值：

离散形式下：

内层的期望是在基于条件 $v$ 的情况下 $u$ 的均值，外面那层的期望横跨 $v$ 的均值。对于 $u.v$ 的联合分布，其期望可以写作

对于方差：

证明：

变量转换

变量转换要解决的问题是：如果我们已经知道 $u$ 的分布 $p_u(u)$，并且定义一个新变量

那么 $v$ 的分布 $p_v(v)$ 应该怎么写？我们很自然想到可以通过变换的方式得到：

离散变量

如果 $u$ 是离散变量，且 $f$ 是一一映射：

如果 $f$ 是多对一映射，则需要把所有能映射到同一个 $v$ 的 $u$ 加总：

比如 $u\in\{-1,0,1\}$，$v=u^2$，则：

连续变量

对于连续变量，我们不能像离散变量一样只做简单代入，因为密度会受到尺度变化的影响。设 $v=f(u)$ 是一一变换，且反函数为

则其可以通过如下方式变换：

其中 $J$ 是反变换 $u=f^{-1}(v)$ 关于 $v$ 的 Jacobian 行列式。

在一维时：

或者写成正向变换的形式：

我会觉得这个形式更加常用和方便计算

我们可以这么想，因为密度不等于概率，而是在单位长度上的概率。变量变换以后，单位长度被拉伸或压缩，所以要乘上尺度校正项，更像是我们在做一个坐标轴变换的事情：

因此：

Jacobian 矩阵

如果 $u=(u_1,\dots,u_k)^T$，$v=(v_1,\dots,v_k)^T$，且 $u=g(v)=f^{-1}(v)$，则：

连续型向量变量的变换公式为：

如果使用正向变换 $v=f(u)$ 的 Jacobian：

那么：

所以等价地：

多对一的连续变换同样要把所有反函数分支加总：

一个常见例子是 $v=u^2$。若 $u$ 是连续变量，则当 $v>0$ 时有两个反函数分支：

并且：

因此：

常用的参数变换

对数转换

对于正数参数 $u\in(0,\infty)$，常用对数变换：

Jacobian矩阵为：

所以：

反过来，如果已知 $v$ 的密度，$u=e^v$，则：

logit变换

对于概率参数 $u\in(0,1)$，常用 logit 变换：

其反变换为：

这时：

因此如果 $u$ 的密度为 $p_u(u)$，则：

probit变换

另一个常见的变换是 probit 变换：

其中 $\Phi$ 是标准正态分布的 CDF。因为：

所以：

逆累积分布函数抽样（Inverse CDF）

模拟的基本想法是：如果能从 $U\sim \operatorname{Uniform}(0,1)$ 生成随机数，就可以通过分布函数的反函数生成其他分布的随机数。

一维随机变量 $v$ 的累积分布函数为：

逆 CDF 抽样的步骤：

1. 生成

2. 令

其中 $V$ 服从目标分布 $p(v)$。

更严格地说，尤其是在离散分布里，$F$ 可能不是一一映射，因此常用广义逆函数：

连续情形下可以用一行证明：

所以 $F^{-1}(U)$ 的 CDF 正好是 $F$

离散分布的抽样

设离散变量可能取值为 $v_1,\dots,v_K$，概率为：

定义累积概率：

若：

则取：

即离散分布版本的 $V=F^{-1}(U)$。

指数分布

若：

则其 CDF 为：

令 $U=F(v)$：

解得：

由于 $1-U$ 仍然服从 $\operatorname{Uniform}(0,1)$，所以可直接写为：

正态分布

标准正态分布没有简单的初等反函数，但软件可以计算 $\Phi^{-1}$，则：

进一步：

分位数和模拟样本

从分布 $p(\omega)$ 中生成 $S$ 个样本：

可以用样本经验分布近似真实分布。比如估计 95% 分位数时，将样本排序：

取近似：

对于大部分的情况，$S=1000$ 通常已经足够得到比较稳定的 95% 分位数估计