定理Theorem

Jensen 不等式

施工中 · 内容逐步修订

Jensen's inequality

凸函数作用于平均值不超过函数值的相同加权平均。

形式陈述

设 $C$ 是实向量空间中的凸集， $f:C\to\mathbb R$ 为凸函数。对 $x_1,\ldots,x_n\in C$ 和权重 $\lambda_i\ge0$ 、 $\sum_i\lambda_i=1$ ，

f\!\left(\sum_{i=1}^n\lambda_i x_i\right) \le \sum_{i=1}^n\lambda_i f(x_i).

概率形式取 $C\subseteq\mathbb R^d$ ， $\mathbb EX$ 按坐标积分。若随机向量 $X$ 满足 $\mathbb E\|X\|<\infty$ 且几乎处处取值于 $C$ ， $f(X)$ 的期望有定义，且 $\mathbb EX\in C$ ，则

f(\mathbb EX)\le\mathbb E[f(X)].

若 $f$ 在 $X$ 的本质值域凸包上仿射，平均前后得到同一个值，故等号成立。若 $f$ 严格凸，等号则当且仅当 $X$ 几乎处处为常数；有限加权形式中，这对应所有正权重的 $x_i$ 相同。

直觉

凸函数的图像位于弦的下方。输入平均得到弦上的横坐标，先算函数再平均则得到弦上的高度，因此前者不超过后者。概率形式把有限个点及权重推广为随机向量的分布：用均值替换随机输入，凸目标的值不会增大。函数本身可以递增或递减，不等式方向由凸性决定。

概率形式为什么成立

记 $\mu=\mathbb EX$ 。先考虑 $\mu\in\operatorname{ri}C$ ：将 $f$ 在 $C$ 外延为 $+\infty$ ，有限维凸函数的相对内部次梯度给出一个 $g$ ，使

f(x)\ge f(\mu)+\langle g,x-\mu\rangle\qquad(x\in C).

右侧可积，取期望后线性项为零，便得到所需不等式；也由此看出 $f(X)$ 的负部有可积上界。

若 $\mu$ 位于 $C$ 的相对边界，在 $\operatorname{aff}C$ 中对闭凸集 $\overline C$ 应用支撑超平面定理。于是某个非零相对法向量 $a$ 满足 $\langle a,X-\mu\rangle\le0$ 几乎处处，而这个可积变量的期望为零，所以它几乎处处等于零。可将 $C$ 换为其与该超平面的交，仿射维数严格下降。有限次后，均值处于剩余凸集的相对内部，回到上一段。这个降维步骤说明，均值落在边界时不能直接假定原定义域上存在次梯度。

若 $f$ 严格凸，支撑仿射函数与 $f$ 在剩余凸集内只能于 $\mu$ 接触；否则两接触点之间的严格凸不等式会与支撑下界冲突。因此等号要求 $X=\mu$ 几乎处处。

例子与边界

取正数 $x_1,\ldots,x_n$ ，令 $X$ 以概率 $1/n$ 取值 $x_i$ 。由于 $f(x)=-\log x$ 在 $(0,\infty)$ 上严格凸，Jensen 不等式给出

-\log\!\left(\frac1n\sum_i x_i\right) \le -\frac1n\sum_i\log x_i.

移项并取指数，得到几何平均不超过算术平均；严格凸性又给出等号条件：全部 $x_i$ 相等。

对凹函数，不等式方向反转，例如 $\log(\mathbb EX)\ge\mathbb E\log X$ 。对仿射函数 $f(x)=ax+b$ ，期望的线性性直接给出等号，所以即使 $X$ 有波动也可以取等。

扩展实值版本沿用相同的平均关系，并在期望有定义时解释两端。例如 $f(x)=x^2$ ，若 $X$ 可积而二阶矩无限，则右端为 $+\infty$ ，不等式仍成立。两端的取值与可积条件决定它给出有限界还是扩展实数界。

推论与应用

选择 $f(x)=x^2$ ，可得 $(\mathbb EX)^2\le\mathbb E[X^2]$ ，对应方差非负。选择指数函数，可得矩母函数下界 $\mathbb E e^{tX}\ge e^{t\mathbb EX}$ ；它表达指数函数如何放大输入波动。 $-\log$ 的凸性则将平均与对数之间的差距联系到熵和 KL 散度。

在凸优化中，可行随机决策的均值仍位于凸可行域时，Jensen 不等式保证均值决策的目标不超过原目标的平均。这一结论直接使用凸性，无需各坐标独立。

把条件均值固定为 $E(Y\mid X)=X$ ，逐个条件分布应用Jensen便得到 $E\phi(X)\le E\phi(Y)$ 。有限支持凸序定理还证明其逆向：若对全部实值凸函数都成立，就能构造这样的联合分布。实际检查可化为均值相同与有限个铰链 $(x-t)_+$ 的期望比较；只验证平方函数、发现方差更大，不能代替全部凸函数的条件。

参考资料

Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004，§3.1.8, Jensen's inequality and extensions。
Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021，conditional expectation and Jensen's inequality。

关系图谱47 个相邻概念 · 2 类关系

正在载入交互图谱…

前置三跳
前置二跳
前置一跳
当前条目
后续一跳
后续二跳
后续三跳

文字版关系按与当前条目的最短距离分组

类型化关系

使用的工具

被这些条目使用

Set Disjointness 的信息复杂度

“对 $P$ 应用Jensen 不等式，再用 $ \ln s\ge1 s$，得到”

Rao–Blackwell 定理

“证明只需在给定 $T$ 后应用Jensen 不等式：”

PAC-Bayes-kl 界

“把 $F S(h)=m\operatorname{kl}(\widehat R S(h) R D(h))$ 和 $C m=2\sqrt m$ 代入指数矩—换测度模板，得到同时覆盖所有后验的…”

PAC-Bayes 泛化界

“把先验平均转成后验平均。这一步可以直接核对：先取有界可测 $\varphi$，写 $r=dQ/dP$。在 $Q$ 几乎处处有 $r 0$，由对凹对数的Jensen 不等式， $$ E Q\v…”

Minkowski 不等式

“若右侧有无穷项，不等式直接成立。以下设 $f,g$ 的范数都有限。对 $1<p<\infty$，先由凸函数 $t\mapsto t^p$ 的两点 Jensen 不等式得到 $$ f+g ^p…”

Kővári–Sós–Turán 定理

“右端的 $t 1$ 正对应右侧允许的最大共同邻点数。令 $f s(x)=0$（$0\le x\le s 1$），而 $f s(x)=x(x 1)\cdots(x s+1)/s!$（$x\ge…”

Dudley 熵积分

“有限个中心化增量 $Y 1,\ldots,Y N$ 若都满足 $E e^{\lambda Y i}\le e^{\lambda^2v^2/2}$，则由Jensen 不等式与 $e^{\lam…”

证据下界

“同一不等式也可由Jensen 不等式得到。为允许 $q$ 漏掉一部分后验支持，严谨的写法是”

网络切集信息上界

“无记忆性消去更早信号的额外影响，因果编码保证当前输入只依赖允许的历史。令 $p i$ 为第 $i$ 次使用的联合输入律，取同一平均律 $\bar p=n^{ 1}\sum i p i$。对固…”

凸序与保持条件均值的耦合

“这段论证是Jensen不等式的条件形式：”

剩余哈希引理

“对 $H$ 取平均并对凹函数平方根使用Jensen 不等式，联合分布的距离至多”

轮消除引理

“固定所选位置后，将条件互信息写成条件KL 散度的平均。以 bit 计散度，Pinsker 界为 $\operatorname{TV}(P,Q)\le\sqrt{(\ln2)D {\mathr…”

矩阵 Bernstein 不等式

“给定 $X 1,\ldots,X {j 1}$ 后，括号里除 $\theta X j$ 外的部分是固定 Hermitian 矩阵 $H$。把 Hermitian 矩阵空间看作有限维实向量空间…”

高斯信道容量

“函数 $C(t)=\tfrac12\log 2(1+t/N)$ 在 $t\ge0$ 上递增且凹。由Jensen不等式和 $\sum iP i\le nP$，右边至多为 $nC(P)$。结合F…”

Powersort自然归并排序

“另一方面，任一只做二路归并的满树满足Kraft等式Σᵢ2⁻ᵈⁱ=1：根的质量1在每次分支时对半分，最后全落在叶子上。单叶树也成立，其深度为0。对凹函数log使用Jensen不等式，有”

随机梯度下降

“冻结历史后，式(1)把交叉项换成 $\langle\nabla f(x t),x t x^\rangle$；凸性又使它至少为 $f(x t) f(x^)$。取全期望并把 $T$ 步相加，中间…”

随机近端梯度

“消去这一位移项，剩下 $ \langle\xi,x x^ \rangle$。条件于历史，它的期望为零，而 $\mathbb E[ \xi ^2\mid\mathcal F k]\le\sig…”

随机复合镜像下降

“最后的内积只含历史可测的 $x t u$，其条件期望为零。取 $u=x^ $，对 $T$ 轮求和：Bregman 势与 $h$ 首尾项分别消去；丢掉终端非负散度，以 $H$ 控制剩余结构项。…”

近似近端梯度的误差预算

“从 $k=0$ 到 $T 1$ 求和，平方距离望远镜消去；去掉最后的非负距离，并由Jensen不等式将平均函数值换成平均点函数值，便得到式(2)。证明没有使用目标单调，因此不能把平均点保证自…”

短段驱动的galloping归并

“对凹函数log应用Jensen不等式，等权平均后有Σᵢlog₂(dᵢ+1)≤m log₂(1+n/m)。于是”

子样本推断

“对每个固定排列，q个块使用不交的IID输入，故它们的指示值独立，均值为J b(x)，方差均不超过1/4。于是利用条件Jensen不等式，”

依赖随机选择

“从 $V(G)$ 独立均匀、有放回地取 $t$ 个顶点组成多重集 $T$，令 $A=N(T)$。对每个顶点 $v$，事件 $v\in A$ 的概率为 $(d(v)/n)^t$。对凸函数 $x…”

非线性嵌套 Monte Carlo

“先平均再弯曲，与先知道真正均值再弯曲，通常得到不同中心。若外函数凸，条件Jensen说明插件往往向上偏；外层平均会使这个偏移看起来越来越稳定，不能自行把它消掉。”

平均情形复杂性与分布归约

“指数 $\varepsilon=1$ 对应期望运行时间为多项式，是对这份算法更强的要求；一般允许某个较小正指数。若文献把右侧写成 $O(n)$，所得存在性条件不变：将 $p(n)$ 上界成…”

von Neumann 熵

“只保留 $r$ 个正特征值，对严格凹函数 $\log 2$ 应用Jensen 不等式：”

Shannon 熵

“若支持大小为 $m$，对凹函数 $\log 2$ 使用Jensen 不等式可得”

Rademacher 复杂度

“其核心很短。记 $Z f=\sum i\sigma i f(z i)$。独立符号与 $\cosh t\le e^{t^2/2}$ 给出 $E e^{\lambda Z f}\le e^{\l…”

KL 散度

“令 $f=dP/dQ$。函数 $\varphi(t)=t\log b t$ 是凸函数，而 $Q$ 是概率测度，所以Jensen 不等式给出”

信息复杂度

“若任务要求 Bob 恢复有限集合 $\mathcal X$ 中的 $X$，其中 $ \mathcal X \ge2$，并且错误概率至多为 $0\le\rho<1/2$，Fano 不等式把恢复…”

凸函数

“Jensen 不等式将凸组合推广到随机平均；次微分描述不可微点的支撑斜率；凸共轭与 Fenchel–Young 不等式则用线性函数组织全局下界。Bregman 散度正是函数值高于某点切平面的…”

条件熵

“对每个 $x$，函数 $\varphi(t)= t\log 2t$ 在 $[0,1]$ 上凹且有界。把 $p(X=x\mid Y)$ 视作关于 $Y$ 的随机变量，逐坐标使用Jensen 不…”

期望

“对非负 $X$ 和 $t 0$，逐点不等式 $t\mathbf1 {{X\ge t}}\le X$ 给出 Markov 不等式。对凸函数 $\varphi$，在 $X$ 与 $\varphi…”

分类代理损失与校准

“以自然对数的 logistic 损失为例，$H(\eta)= \eta\log\eta (1 \eta)\log(1 \eta)$，端点按 $0\log0=0$ 理解。错误侧的最小条件风险是…”

次指数尾随机变量（ψ₁）

“若 $\mathbb Ee^{ X /K}\le2$，Jensen 不等式给出 $\mathbb E X \le K\log2$，故 $ \mathbb EX \le K\log2$。再由…”

布尔噪声算子

“对凸函数 $t\mapsto t ^p$ 使用条件形式的Jensen 不等式，再对均匀 $X$ 平均，给出 $ T \rho f p\le f p$，$1\le p<\infty$；这里 $…”

Online-to-Batch 转换

“Jensen 不等式给 $R D(\bar h T)\le T^{ 1}\sum tR D(h t)$。对二元分类器，参数或标签的算术平均通常不属于 $H$，此时应保留随机迭代，或另行分析多…”

形式陈述 ​

概率形式为什么成立 ​

反向链接

形式陈述

概率形式为什么成立