Jensen 不等式

形式陈述 ​

设 $C$ 是实向量空间中的凸集，$f:C\to \mathbb{R}$ 为凸函数公理库凸函数Convex function函数在任意凸组合处不超过相同权重下函数值的凸组合。。对 $x_1,\dots ,x_n\in C$ 和权重 ${\lambda }_i\ge 0$、$\sum _i{\lambda }_i=1$，

$$f\left(\sum _{i=1}^n{\lambda }_i{x}_i\right)\le \sum _{i=1}^n{\lambda }_{i}f(x_i).$$

概率形式中，若可积随机向量 $X$ 几乎处处取值于 $C$，$f(X)$ 的期望有定义，且 $\mathbb{E}X\in C$，则

$$f(\mathbb{E}X)\le \mathbb{E}[f(X)].$$

对扩展实值函数，需要额外排除 $\mathrm{\infty }-\mathrm{\infty }$ 一类未定义情形。等号条件取决于 $f$ 在 $X$ 的本质值域凸包上的形状：若 $f$ 在该凸包上仿射，等号成立；若 $f$ 严格凸，则等号当且仅当 $X$ 几乎处处为常数。不能把严格凸时的结论倒推到具有仿射区段的一般凸函数。

直觉 ​

凸函数的图像位于任意弦的下方，所以先把输入平均到弦上的一点，再评价函数，不会比先评价各点再平均更大。概率版只是把有限权重推广为随机权重。它定量表达“凸函数惩罚波动”：两个随机变量均值相同，波动更大的那个往往具有更大的凸损失。这里比较的不是函数单调性，而是弦与图像的相对位置；因此 $f$ 可以递增、递减，结论方向仍由凸性决定。

例子与边界 ​

取正数 $x_1,\dots ,x_n$，令 $X$ 以概率 $1/n$ 取值 $x_i$。由于 $f(x)=-\log x$ 在 $(0,\mathrm{\infty })$ 上严格凸，Jensen 不等式给出

$$-\log \left(\frac{1}{n}\sum _i{x}_i\right)\le -\frac{1}{n}\sum _i\log x_i.$$

移项并取指数，得到几何平均不超过算术平均；等号只在所有 $x_i$ 相等时成立。这不是更换数字的演示，而是同一凸性一次性控制任意有限个正数。

若 $f$ 凹，例如 $\log x$，不等式方向反转。若 $X$ 可积但 $f(X)$ 的正负部分都具有无穷期望，右端根本没有定义，不能写出 Jensen 关系。等号也未必意味着 $X$ 常数：对仿射函数 $f(x)=ax+b$，任何可积 $X$ 都取等。最后，定义域必须容纳 $X$ 及其均值；把跨越定义域空隙的值硬做平均，并不属于凸函数定理的适用场景。

推论与应用 ​

选择 $f(x)=x^2$ 可得 $(\mathbb{E}X{)}^2\le \mathbb{E}[X^2]$，从而方差公理库方差Variance随机变量与其期望之差平方的期望。非负；选择指数函数则是矩母函数公理库矩母函数Moment-generating function · MGF在存在邻域内以 E[e^{tX}] 编码随机变量各阶矩的函数。与 Chernoff 界中的关键一步。$-\log$ 的凸性把平均与对数交换时产生的差距联系到信息论中的熵和 KL 散度。凸优化里，Jensen 不等式保证随机化决策的平均点仍可行，并控制平均目标；其几何基础仍完全来自凸函数公理库凸函数Convex function函数在任意凸组合处不超过相同权重下函数值的凸组合。，不需要另加概率独立性。

参考资料

• Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004，§3.1.8, Jensen's inequality and extensions。
• Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021，conditional expectation and Jensen's inequality。