非参数密度估计

每个观测点放置一个宽度为 $h$、总质量为 $1/n$ 的局部核，所有局部质量叠加成估计密度。带宽决定观察尺度：缩小它能保留尖锐结构，却让有限样本波动暴露出来；放大它能降低方差，却会把峰、边界和局部曲率抹平。

推导与带宽计算 ​

期望是两个可积密度的函数卷积理路连续函数卷积Continuous convolution · Function convolution在欧氏空间中以平移乘积的 Lebesgue 积分定义函数卷积。：

对 $f(x-hu)$ 使用一阶 Taylor 公式的积分余项理路泰勒定理Taylor's theorem足够光滑函数由有限阶导数多项式加余项表示。，得到

核对称消去一阶项。右端除以 $h^2$ 再乘上 $K(u)$ 后，由 $\Vert f^{″}{\Vert }_{\mathrm{\infty }}{u}^{2}K(u)/2$ 支配，支配收敛定理理路控制收敛定理Dominated convergence theorem几乎处处收敛且被同一可积函数控制时，可以交换极限与积分。给出偏差展开。独立求和给精确方差

再以 $\Vert f{\Vert }_{\mathrm{\infty }}{K}^2$ 支配第一项中的积分，便得到其主阶；第二项是 $O(n^{-1})=o((nh{)}^{-1})$。核的有限二阶矩与 $R(K)<\mathrm{\infty }$ 分别控制偏差和方差，不能互相代替。

为讨论全局风险，记 $R(g)=\int g^2$，再要求 $f,f^{″}\in L^2(\mathbb{R})$ 且 $R(f^{″})>0$。由逐点偏差—方差分解理路偏差、方差与均方误差Bias–variance decomposition · Mean squared error平方损失下将点态估计风险精确拆成抽样波动与系统位移，并说明两者的权衡边界。和Tonelli 定理理路Tonelli 定理Tonelli's theorem非负可测函数的二重积分与两种迭代积分相等，允许共同取无穷。，均值积分平方误差是积分方差与积分平方偏差之和。在这些条件下，Taylor 余项与 $L^2$ 平移连续性给积分平方偏差的主项；相应渐近准则为

即 $\mathrm{MISE}(h)=\mathrm{AMISE}(h)+o(h^4+(nh{)}^{-1})$。最小化这一准则得到

未知 $R(f^{″})$ 需要 pilot estimate，说明 plug-in 带宽本身也含平滑选择。

带宽选择的可见效果 ​

Gaussian 核给处处平滑估计。交叉验证、plug-in 与规则带宽选择优化不同准则；应报告选择方法。多维中方差为 $1/(n{h}^d)$ 量级，维数灾难迅速增加所需样本。

例如样本在 $0$ 和 $1$ 各有一半，极小带宽产生两个尖峰；大带宽将其合并为单峰。改变带宽改变的是估计分辨率，不是获得了新的观测证据。

边界与失败情形 ​

有限区间边界处，对称核把质量泄到支持外，偏差甚至可能不趋于零。例如 $X\sim U[0,1]$、$K(u)=\frac{1}{2}{\mathbf{1}}_{[-1,1]}(u)$ 时，对 $0<h\le 1$ 有 $E{\hat{f}}_h(0)=1/2$，而边界内侧的密度极限为 $f(0+)=1$。这里的偏差为常数量级，不能套用内部点的 $h^2$ 展开；反射、变换或边界核需针对支持结构另作处理。带宽由看图手调后再做不确定性推断，会忽略选择。

逐点置信区间与同时置信带不同。对每个固定 $x$ 的正态近似不能保证整条曲线同时覆盖，后者还需控制随机误差的上确界。平滑偏差若与标准误同阶，可通过欠平滑（undersmoothing）使其更小，或显式估计 $f^{″}$ 作偏差修正；这些推断步骤需要相应的带宽选择，不能用点估计的最优带宽直接宣称覆盖。

在二阶光滑、使用各向同性带宽且相应积分偏差与方差条件成立的 $d$ 维版本中，平衡 $h^4$ 与 $(n{h}^d{)}^{-1}$ 得 $h\asymp n^{-1/(4+d)}$，速率随维数恶化。假设低维结构或使用投影方法是额外建模，不属于普通 KDE 自动能力。

密度可以有尖点，因而存在 Lebesgue 密度却不满足上述光滑性条件。含离散原子或其他奇异部分的分布则没有覆盖全分布的 Lebesgue 密度；KDE 会把这些质量涂抹，不能恢复一个本来不存在的光滑密度。

小带宽产生许多伪峰，大带宽抹去真实多峰；峰数不是无偏稳定统计量。

在上述二阶核条件下，Gaussian、Epanechnikov 等核的形状主要影响常数，带宽决定主要平滑尺度。选择核时应同时审计带宽和边界处理。

自适应带宽在稀疏区域扩大、密集区域缩小，可改善异质平滑，但估计不再是简单固定卷积，bias、normalization 与置信带需重新推导。k-nearest-neighbor density estimator 属于这种局部尺度思路。

多变量带宽可由对称正定矩阵 $H$ 给出：

对角带宽忽略坐标相关方向，全矩阵带宽更灵活却难估。先标准化坐标会改变几何，必须记录变换。

如果目标是 density derivative、mode 或 level set，最优带宽与估密度本身不同。用为 integrated density error 选择的带宽直接推断峰数，可能系统性过平滑。

cross-validation objective 也有随机局部极小点，应报告搜索区间与稳定性。把可视上“最好看”的带宽作为最终推断，属于数据重复使用。

使用 Gaussian 这类处处为正的核时，估计在真实有界支持外仍为正；这不违反其积分为一，却可能违背科学约束。log/Probit transformation KDE 先把支持映到实线，再乘 Jacobian 返回原坐标，边界行为取决于变换。

离散变量不能直接使用 Euclidean Gaussian 核。categorical kernel、频率估计或混合数据 product kernel 各有不同 smoothing parameter；把类别编码成整数会引入虚假的距离顺序。

报告 KDE 应给 kernel、bandwidth 数值与选择法、边界处理、坐标变换和网格分辨率。绘图库默认值不足以构成可复核统计方法。

KDE 的 $h^4+(nh{)}^{-1}$ 风险分解是偏差—方差权衡理路偏差、方差与均方误差Bias–variance decomposition · Mean squared error平方损失下将点态估计风险精确拆成抽样波动与系统位移，并说明两者的权衡边界。的函数估计版本；光滑度类上的最优带宽与下界则进入极小极大风险理路极小极大风险Minimax risk在模型族最坏参数上评价算法风险，再在所有允许算法中寻找最优值。。若最终目标是密度比、分类后验、模态或 level set，应直接为该泛函选择损失与带宽，不能假设“先把两个高维密度估好再代入”仍然最有效。

若可信结构是已知半直线上密度递减，Grenander估计理路Grenander递减密度估计Grenander estimator · Monotone density maximum likelihood · 递减密度的最小凹上界估计在已知半直线支持上，以样本间距加权合并构造唯一递减密度MLE，证明它是经验CDF最小凹上界的左斜率，并交出完整似然证书与端点边界。直接最大化这类密度的样本似然，不需先选核带宽。它按观测间距合并阶梯，保证每段面积和总质量正确，并通过累计乘子认证全局最优；经验CDF的最小凹上界给同一解的几何表示。这是一项有限资料的优化结论，并不会自动继承本页的光滑密度AMISE展开，也不把样本CDF上包络变成总体置信带。

保留密度目标，分别处理边界和回归 ​

边界修正理路核密度估计的边界修正Kernel density boundary correction · Reflection kernel density estimator在已知支持上反射核质量，证明归一化、计算边界偏差，并区分半直线、有限区间与非零边界斜率。把上面的均匀密度反例继续展开：已知半直线支持时，为每个原始点加入镜像核，保留分母 $nh$，每个观测在支持内仍贡献质量 $1/n$。它补回漏失质量，却会在可微核下强制边界斜率为零；若真密度右导数不为零，边界偏差仍可为 $O(h)$。该页分别核算半直线、有限区间、镜像依赖与右侧极限，原页的内部点展开与AMISE条件仍保持适用范围。

NW核回归理路Nadaraya–Watson 核回归Nadaraya-Watson regression · Kernel regression · 核加权回归将邻域核值归一化为响应权重，区分随机比值、人口平滑目标、边界偏差以及密度核和正半定核。把同样的核形状用于响应平均，其分母是查询处的核值总和。它复制常数响应，输出单位与响应相同；本页KDE对查询坐标积分为1，输出是概率密度。给一个合法密度核并不会使NW输出成为密度，也不会使其Gram矩阵自动正半定。三个条件应按所解决的问题分别核验。