机器学习中常见散度距离

发布网友发布时间：2024-10-02 00:58

共1个回答

热心网友时间：2024-11-30 14:39

机器学习中的概率分布比较通常涉及散度和距离两种概念。散度，如KL散度和JS散度，是衡量两个概率密度分布p和q差异的函数，它们定义了一个相似度尺度，[公式] 要求是凸函数且满足特定条件。KL散度是F-散度的一种特殊情况，当[公式] 时，其公式为[公式]，但KL散度的不对称性可能导致梯度问题。

JS散度是KL散度的扩展，用于如GAN的理论构建，其公式为[公式]。在某些极端情况下，如分布P和Q完全不重叠，KL散度和JS散度的计算可能存在问题，JS散度在这种情况下的值恒定，而KL散度可能无意义。

对于距离，如欧氏距离，它假设特征间独立且有固定的尺度。马氏距离则考虑了特性间的关联和尺度无关性，其公式为[公式]。Wasserstein距离，定义为[公式]，即使在分布没有重叠时也能准确衡量距离，它满足三角不等式，是KL散度和JS散度的改进版本。

以二维空间中的例子，假设p和q分别在线段AB和CD上均匀分布，通过参数[公式] 可以控制分布间的距离。KL散度和JS散度会随着分布的改变而出现突变，而Wasserstein距离则保持平滑变化。