马尔可夫不等式

1. 简介

在概率论中，马尔可夫不等式（Markov’s Inequality）给出了随机变量大于等于某正数的概率上界。马尔可夫不等式把概率关联到数学期望，给出了随机变量累计分布函数一个宽泛但仍有用的上界。

2. 定义

假设 $\boldsymbol{X}$ 是一个非负的随机变量，常数 $a \gt 0$，则有以下马尔可夫不等式：

$$\begin{array}{c} P(\boldsymbol{X} \geq a) \leq \frac{E(\boldsymbol{X})}{a} \end{array}$$

证明

根据期望函数的定义：

$$\begin{array}{c} E(\boldsymbol{X}) = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x \end{array}$$

由于 $\boldsymbol{X}$ 是非负的随机变量，因此：

$$\begin{array}{rl} E(\boldsymbol{X}) & = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x = \int_{0}^{\infty} xf(x) \mathrm{d}x \\ & = \int_{0}^{a} xf(x) \mathrm{d}x + \int_{a}^{\infty} xf(x) \mathrm{d}x \\ & \geq \int_{0}^{\infty} xf(x) \mathrm{d}x \\ & \geq \int_{a}^{\infty} af(x) \mathrm{d}x \\ & = a P(\boldsymbol{X} \geq a) \end{array}$$

从而证得：

$$\begin{array}{c} P(\boldsymbol{X} \geq a) \leq \frac{E(\boldsymbol{X})}{a} \end{array}$$

3. 推论

3.1 切比雪夫不等式

将马尔可夫不等式中非负的随机变量 $\boldsymbol{X}$ 替换成 $(\boldsymbol{X} - E(\boldsymbol{X}))^2$，正常数 $a$ 写成 $a^2$（$a \geq 0$），则得到切比雪夫不等式：

$$\begin{array}{c} P((\boldsymbol{X} - E(\boldsymbol{X}))^2 \geq a^2) \leq \frac{Var(\boldsymbol{X})}{a^2} \\ \Downarrow \\ P(|\boldsymbol{X} - E(\boldsymbol{X})| \geq a) \leq \frac{Var(\boldsymbol{X})}{a^2} \end{array}$$

3.2 分位函数

对于一个非负的随机变量 $\boldsymbol{X}$，它的分位函数 $Q_{\boldsymbol{X}}$ 满足以下不等式：

$$\begin{array}{c} Q_{\boldsymbol{X}}(1-p) \leq \frac{E(\boldsymbol{X})}{p} \end{array}$$

证明

$$\begin{array}{c} p \leq 1 - P(\boldsymbol{X} \lt Q_{\boldsymbol{X}}(1-p)) = P(\boldsymbol{X} \geq Q_{\boldsymbol{X}}(1-p)) \leq \frac{E(\boldsymbol{X})}{Q_{\boldsymbol{X}}(1-p)} \end{array}$$

附录

参考资料：

• Markov’s inequality