Bernoulli 随机变量

Bernoulli 变量把一次"成功或失败"的试验压缩成一个 0/1 数字，常用于把复杂结果只保留为某个事件是否发生。一次掷骰本来有六个结果，但只问“是不是六点”时，就留下一个 Bernoulli 变量。最有用的观察是期望与概率在这里合一：$\mathbb{E}[X]=P(X=1)$，于是任何事件的概率都能改写为其指示变量的期望，把概率问题搬进期望的线性世界——这正是指示变量方法威力的来源。

方差 $p(1-p)$ 在 $p=1/2$ 处取最大值、在 $p\in \{0,1\}$ 处消失，定量刻画了"越接近五五开越不确定、越接近必然越无悬念"。

公平硬币的正面指示变量是 Bernoulli$(1/2)$；一般地，任何事件 $A$ 的指示函数 $1_A$ 都是 Bernoulli$(P(A))$。做一步计算：掷骰子事件"点数为六"的指示变量期望为 $1/6$，方差为 $\frac{1}{6}\cdot \frac{5}{6}=\frac{5}{36}$。又由 $p(1-p)\le \frac{1}{4}$（当 $p=1/2$ 取等），Bernoulli 方差一致有界，这个 $\frac{1}{4}$ 正是许多集中不等式里常数的出处。

两个常见的边界误区。其一，取值 $\{-1,1\}$ 的变量不是同一参数化：令 $R=2X-1$，便有 $\mathbb{E}[R]=2p-1$、$\mathrm{Var}(R)=4p(1-p)$；通常所说的 Rademacher 变量特指 $p=1/2$ 的对称情形。

其二，边缘分布相同不代表联合行为相同：令 $Y=X$，则 $X,Y$ 都是 Bernoulli$(1/2)$，但 $X+Y$ 只取 $0$ 与 $2$，完全不是 $\mathrm{Bin}(2,1/2)$——"独立和为二项"的结论中独立性公理库独立性Statistical independence从概率表理解独立性，区分两两、相互和条件独立，并用可计算反例澄清零协方差与条件均值的限度。不可省略。退化情形 $p=0$ 或 $p=1$ 给出常数变量，是合法参数而非病态。

对独立同参数的 Bernoulli 试验，成功总数服从二项分布公理库二项分布Binomial distribution固定次数独立同概率 Bernoulli 试验中成功总数的离散分布。，样本比例按大数律公理库强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。收敛到 $p$；当 $0<p<1$ 时，样本比例适当标准化后由中心极限定理公理库中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。趋于正态；有限样本下 Hoeffding 不等式公理库Hoeffding 不等式Hoeffding's inequality独立有界随机变量和偏离期望的概率以平方偏差的指数速度衰减。给出指数集中界。对固定的可测分类器 $h$，在 IID 评价数据上得到的 $0$–$1$ 损失公理库损失函数与总体风险Loss function · Population risk · Expected risk损失刻画一次决策的代价，总体风险是未知分布下的平均代价。是同参数的独立 Bernoulli 指示变量，其均值是 $h$ 的误分类风险。若分类器由独立于评价数据的随机训练数据与随机种子产生，则应先条件于这些训练信息，再使用该结论；不作条件化时，共享的随机分类器可能使错误指示量相关。有限假设类泛化界公理库有限假设类泛化界Finite-class generalization bound固定假设的集中加上对有限类并集，得到同时成立的风险偏差界。先对固定假设控制误差，再同时控制预先给定的有限类。

随机 bandit 中，一个 Bernoulli 臂每次拉取给出 $0/1$ 奖励，均值 $p$ 就是臂质量；随机 bandit regret公理库随机赌博机与伪遗憾Stochastic bandit · Pseudo-regret每个臂从固定分布独立取样时，以均值差和选择次数表达期望损失。比较各臂均值并处理自适应拉取次数，不把整条奖励序列误当成预先固定的 IID 样本。Erdős–Rényi 随机图公理库Erdős–Rényi 随机图Erdős–Rényi random graph · G(n,p) · G(n,m)在固定标号顶点集上独立采样边或均匀采样固定边数的随机图模型。则把每条候选边建模为一个 Bernoulli 指示变量，展示期望线性性如何拆开组合计数。在信息与编码方向，二元对称信道公理库二元对称信道Binary symmetric channel · BSC以独立翻转噪声定义二元无记忆信道，推导容量并用重复码区分单次错误、译码错误与码率。的噪声就是一次 Bernoulli 翻转，而 Bernoulli$(p)$ 的熵公理库Shannon 熵Shannon entropy · Information entropy随机变量不确定性的平均信息量，以最优编码所需位数为基本解释。函数 $H(p)$ 刻画单个随机比特的信息量。