形式陈述
普通核密度估计理路非参数密度估计Nonparametric density estimation不预设有限维密度族,通过核和平滑带宽从样本估计概率密度。在边界会把质量放到支持以外。本页以已知支持 为起点。设 为非负IID观测。讨论密度估计目标时,假定其共同分布关于Lebesgue测度具有密度 ,并在所讨论的边界有右侧连续版本;算法的归一化本身则不要求真实密度存在。取核 、、,带宽 。反射估计定义为
时置零。每个原始点 在零的另一侧放一个镜像 ,但分母仍是 ,不是 。
估计非负,而且对每份样本都有
因此它确实是一份定义在半直线上的概率密度。边界目标取一个右侧连续版本的极限 ;任意改写密度在单点0的数值不会改变分布,本页不把无法由分布识别的任意单点赋值当成估计目标。
式(1)要求支持下界已知。如果样本中出现负数,应先检查支持假设或数据含义,不能静默取绝对值。若真实支持还存在有限上界,则必须处理另一端,见下文。
直觉
靠近零的一个核有一部分伸到负半轴。反射不是简单把这部分剪掉,而是把镜像核伸回来的相应部分加在正半轴上。每个原始观测贡献的总质量因此仍恰为 。
反射还把曲线在零附近延拓成偶函数。偶延拓适合边界处斜率为零的曲线;若真密度在边界正以非零斜率变化,反射会强行抹平这个趋势。恢复总质量与恢复更高阶局部形状是两件需要分别核对的事。
例子与边界
一个观测的质量,逐段积分
取 、、,矩形核 。普通KDE在 上高度为2.5;直接删除负半轴后只剩质量 。
镜像点 的核在 再贡献高度2.5。因此忽略有限个端点值,反射估计为
总质量为 。若镜像加入后仍按两条“独立样本”除以 ,限制到正半轴只剩质量 。
同一修正,对均匀密度和指数密度给不同偏差阶
先取 ,仍用矩形核。对 ,普通KDE在零处的期望是 ;反射估计在零处逐样本恰为普通估计的两倍,故期望为1,等于 。
再取半直线上的指数密度 ,、。此时
反射去掉了普通KDE的常数级缺口,但仍留下 的一阶偏差。 时期望约为0.90635,实际偏差约 。这个差别来自真密度的边界斜率,而不是核是否归一化。
两侧都有边界时
若真实支持为 ,只反射零不会保证估计在该区间积分为1。一个观测 、矩形核 ,在零反射后仍有核质量泄到1以外; 内质量只有0.75。
若 支撑 且 ,可对每个点同时加入 和 ,在 内定义
区间外为零。有限支撑与 保证左镜像只补左漏失、右镜像只补右漏失,各原始观测总质量恢复为 。Gaussian核有无限尾部,或带宽超过区间长度时,只有这三项一般不再精确归一化;可研究无限镜像、另作归一化或采用其他边界方法,但要重新核对其偏差。
推论与应用
归一化的证明
对一个原始观测 ,变量代换给两项积分
对称性使第二项等于 ,两项之和恰为1。对 个原始点平均得到式(2)。镜像没有增加独立抽样数;证明只是在分配同一条记录的质量。
对式(4),原核在 漏掉的左尾为 、右尾为 。左镜像在区间内的积分恰为前者,右镜像恰为后者:其远端积分端点由于 已超出 。三项合起来仍为1。这说明两端修正依赖的并非只有“再复制两个点”。
边界偏差与斜率条件
再假定 对称、支撑 ,在零右侧有二阶连续导数。对式(1)取期望,核对称给
令 、。对 用右侧Taylor展开理路泰勒定理Taylor's theorem足够光滑函数由有限阶导数多项式加余项表示。,得到
只有 (或其他消去首项的特殊情形)时,才恢复这里的二阶偏差。若核可微,其导数为奇函数,式(1)两项在零处的导数逐样本相消,;这进一步揭示了方法施加的边界形状。
方差和变换的责任
在零处 ,故反射估计的方差是原边界估计方差的四倍。不能把镜像看成 条独立资料而声称方差减半;两项由同一个 生成。
对 ,另一条路线是先对 估计密度 ,再用 返回。Jacobian因子 负责质量变换,也可能放大零附近的误差;有真实零原子时,这个连续密度变换不能覆盖整个分布。
本页修正的是密度质量与边界形状。NW回归理路Nadaraya–Watson 核回归Nadaraya-Watson regression · Kernel regression · 核加权回归将邻域核值归一化为响应权重,区分随机比值、人口平滑目标、边界偏差以及密度核和正半定核。已在每个查询处对记录重新归一化,其边界问题主要是单侧趋势;局部直线理路局部多项式回归Local polynomial regression · Local linear regression · 局部线性回归在每个查询邻域解加权多项式拟合,用矩复制解释边界去偏,并核算负权重、局部秩与噪声代价。通过矩复制处理趋势,不能把本页的密度镜像默认移给回归响应。
实现时无需实际存储镜像数据:每个查询对每条原始记录计算两次核,半直线版为 核求值、累计空间;全曲线在 个网格点直接求值为 。有限区间版每点三次核求值。支持、带宽、核和边界规则必须一起报告。
自测与答案
- 把 任意改成7,其他密度值不变,样本分布或式(3)会变吗?不会;连续右极限仍为1,本页目标是这个右极限。
- 指数密度例将带宽从 减为 ,首阶偏差如何改变?约减半,而不是减为四分之一;非零右导数使首项为一阶。
参考资料