Delta method

阶的概念

对于一列p维随机向量$\mathbf{Y}_n$，实数列$\mathit{r}_n$，若$\forall \epsilon>0$，存在实正数$\mathit{M_{\epsilon}}$，满足

​ 则称：

这个定义表明，一个随机向量的阶由其每个维度所决定。

阶与Delta 方法

阶的概念本质上是在描述随机误差的大小。Delta 方法关心的是：已知估计量 $\hat\theta_n$ 的误差大小，如何推出函数 $g(\hat\theta_n)$ 的误差大小和渐进分布。若估计量满足

则可以理解为

从而

这说明 $\hat\theta_n$ 与真实参数 $\theta$ 的误差是 $n^{-1/2}$ 阶。对 $g(\hat\theta_n)$ 在 $\theta$ 处作泰勒展开：

因为 $\hat\theta_n-\theta=O_p(n^{-1/2})$，所以

于是一阶项是 $O_p(n^{-1/2})$，二阶项是 $O_p(n^{-1})$。在乘以标准化因子 $\sqrt n$ 后，一阶项变成 $O_p(1)$，二阶项变成 $O_p(n^{-1/2})$ 并趋近于 0。因此，$g(\hat\theta_n)-g(\theta)$ 的主要变化由一阶线性项决定：

换句话说，Delta法是用阶判断泰勒展开中各项的大小，证明高阶项可以忽略，从而把复杂函数的渐进分布转化为原估计量渐进分布的线性变换。但需要注意：如果 $g'(\theta)\ne 0$，一阶项主导；如果 $g'(\theta)=0$，一阶项消失，就需要考虑二阶 Delta 方法。

这个时候我考虑到这是否与n的大小相关，倘若n是一个小样本，则二阶项可能不可忽略，那么是否意味着需要使用二阶Delta方法

当n是一个小样本的时候，这时候我们只能说是一阶 Delta 法可能近似得不好，但不意味着使用二阶 Delta 法。这时候反而可以考虑bootstrap法、模拟法、精确分布或二阶修正。

使用二阶Delta法，真正必要的情况是$g'(\theta)=0$，一阶项消失，这时候我们才必须要观察二阶项，因为一阶项近似失效。

Delta方法

假设有一估计量 $\hat \theta_n$，为某个位置参数$\theta$的估计，n为样本量，并想知道一个函数的统计性质，首先需要了解$\hat \theta _n$的渐进分布，假设$\hat \theta _n$满足中心极限定理，具有渐进正态性，即

其中,$\sqrt{n}$为标准化因子， $\xrightarrow{d}$为依分布收敛, $\sigma^2$为渐进方差，当确定应用函数，采用泰勒展开，取一阶

所以均值为 $g(\theta)$, 方差为$\frac{g'(\theta)^2 \cdot \sigma^2}{n}\\$