琴生不等式

1. 简介

琴生不等式（Jensen’s inequality）是数学中重要的不等式之一，其给出了凸组合的函数值和函数值的凸组合之间的关系。

2. 表述

以函数 $f:\mathbb{R}^n \rightarrow \mathbb{R}$ 为例：

2.1 凸凹函数

函数 $f$ 为凸函数，当 $f$ 的定义域 $\mathrm{dom} f$ 是凸集，且满足以下不等式：

$\begin{array}{c} \forall x, y \in \mathrm{dom} f, 0 \leq \theta \leq 1 \\ f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta) f(y) \\ \end{array}$

函数 $f$ 为凹函数，当 $-f$ 是凸函数。

2.2 琴生不等式

当 $f$ 为凸函数时，对 $\forall x_1, \cdots, x_n \in \mathrm{dom} f$ , $\theta_1 + \cdots + \theta_n = 1, \theta_1, \cdots, \theta_n \geq 0$ , 有以下琴生等式成立：

$\begin{array}{lll} f(\theta_1 x_1 + \cdots + \theta_n x_n) \leq \theta_1 f(x_1) + \cdots + \theta_n f(x_n) \end{array}$

证明：数学归纳法

基础情况：

当 $n = 1$ ，显然有 $f(\theta_1 x_1) = f(x_1) \leq \theta_1 f(x_1)$ 成立；

推理假设：

假设当 $n = k$ 时原命题成立，则当 $n = k+1$ 时有

$\begin{array}{llll} f(\theta_1 x_1 + \cdots + \theta_n x_n + \theta_{n+1} x_{n+1}) & = & f((1-\theta_{n+1})(\frac{\theta_1}{1-\theta_{n+1}}x_1 + \cdots + \frac{\theta_n}{1-\theta_{n+1}}x_n) + \theta_{n+1} x_{n+1}) \\ & \leq & (1-\theta_{n+1})f(\frac{\theta_1}{1-\theta_{n+1}}x_1 + \cdots + \frac{\theta_n}{1-\theta_{n+1}}x_n) + \theta_{n+1}f(x_{n+1}) & \text{凸函数的定义} \\ & \leq & (1-\theta_{n+1})(\frac{\theta_1}{1-\theta_{n+1}} f(x_1) + \cdots + \frac{\theta_n}{1-\theta_{n+1}} f(x_n)) + \theta_{n+1}f(x_{n+1}) & \text{推理假设} \\ & = & \theta_1 f(x_1) + \cdots + \theta_n f(x_n) + \theta_{n+1} f(x_{n+1}) \end{array}$

综上，原命题成立。

Q.E.D.