Bernoulli 随机变量

Bernoulli 变量把一次"成功或失败"的试验压缩成一个 0/1 数字，是离散概率的最小构件，几乎所有计数型模型都由它装配而成。最有用的观察是期望与概率在这里合一：$\mathbb{E}[X]=P(X=1)$，于是任何事件的概率都能改写为其指示变量的期望，把概率问题搬进期望的线性世界——这正是指示变量方法威力的来源。方差 $p(1-p)$ 在 $p=1/2$ 处取最大值、在 $p\in \{0,1\}$ 处消失，定量刻画了"越接近五五开越不确定、越接近必然越无悬念"。

公平硬币的正面指示变量是 Bernoulli$(1/2)$；一般地，任何事件 $A$ 的指示函数 $1_A$ 都是 Bernoulli$(P(A))$。做一步计算：掷骰子事件"点数为六"的指示变量期望为 $1/6$，方差为 $\frac{1}{6}\cdot \frac{5}{6}=\frac{5}{36}$。又由 $p(1-p)\le \frac{1}{4}$（当 $p=1/2$ 取等），Bernoulli 方差一致有界，这个 $\frac{1}{4}$ 正是许多集中不等式里常数的出处。

两个常见的边界误区。其一，取值 $\{-1,1\}$ 的 Rademacher 变量不是同一参数化：虽然 $R=2X-1$ 只差一个仿射变换，矩的公式却不同（如 $\mathrm{Var}(R)=4p(1-p)$），混用会算错。其二，边缘分布相同不代表联合行为相同：令 $Y=X$，则 $X,Y$ 都是 Bernoulli$(1/2)$，但 $X+Y$ 只取 $0$ 与 $2$，完全不是 $\mathrm{Bin}(2,1/2)$——"独立和为二项"的结论中独立性公理库独立性Statistical independence若干事件、σ-代数或随机元素的所有有限联合概率都按边缘概率乘积分解。不可省略。退化情形 $p=0$ 或 $p=1$ 给出常数变量，是合法参数而非病态。

Bernoulli 变量是概率建模的基本构件：独立同参数求和给出二项计数；样本比例按大数律公理库强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。收敛到 $p$；标准化后由中心极限定理公理库中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。趋于正态；有限样本下 Hoeffding 不等式公理库Hoeffding 不等式Hoeffding's inequality独立有界随机变量和偏离期望的概率以平方偏差的指数速度衰减。给出指数集中界。分类器在单个样本上的 $0$–$1$ 损失公理库损失函数与总体风险Loss function · Population risk · Expected risk损失刻画一次决策的代价，总体风险是未知分布下的平均代价。也是 Bernoulli 指示变量，其均值是误分类风险；只有当评价样本独立、且分类器没有依赖同一评价数据时，才能把这些错误指示量当作独立重复试验并用于有限假设类泛化界公理库有限假设类泛化界Finite-class generalization bound固定假设的集中加上对有限类并集，得到同时成立的风险偏差界。。

随机 bandit 中，一个 Bernoulli 臂每次拉取给出 $0/1$ 奖励，均值 $p$ 就是臂质量；随机 bandit regret公理库随机赌博机与伪遗憾Stochastic bandit · Pseudo-regret每个臂从固定分布独立取样时，以均值差和选择次数表达期望损失。比较各臂均值并处理自适应拉取次数，不把整条奖励序列误当成预先固定的 IID 样本。Erdős–Rényi 随机图公理库Erdős–Rényi 随机图Erdős–Rényi random graph · G(n,p) · G(n,m)在固定标号顶点集上独立采样边或均匀采样固定边数的随机图模型。则把每条候选边建模为一个 Bernoulli 指示变量，展示期望线性性如何拆开组合计数。在信息与编码方向，二元对称信道公理库二元对称信道Binary symmetric channel · BSC每个输入比特以固定交叉概率独立翻转的二元信道。的噪声就是一次 Bernoulli 翻转，而 Bernoulli$(p)$ 的熵公理库Shannon 熵Shannon entropy · Information entropy随机变量不确定性的平均信息量，以最优编码所需位数为基本解释。函数 $H(p)$ 刻画单个随机比特的信息量。