k-近邻算法

发布网友发布时间：2024-10-12 17:20

共1个回答

热心网友时间：2024-11-29 07:40

算法分类：k-近邻算法(k-nearest neighbor, K-NN)既可以用于分类也可以用于回归，本文主要讨论其在分类问题中的应用。

输入输出：K-NN的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以是两类或多类。

工作原理：给定一个训练数据集，其中实例类别已定。当输入没有标签的新数据时，算法会在训练好的数据集中找到与新数据最邻近的k个实例，并将新数据分入多数类别。

1. k-近邻的三要素

1.1 距离的度量：K-NN通过比较输入特征与训练集特征的距离来找出最邻近的k个实例。常用的距离度量方法是欧式距离。

1.2 k的取值：K的取值对分类结果有重要影响。较小的k值会使模型对邻近实例依赖性大，容易发生过拟合；较大的k值会减少学习的估计误差，但近似误差增大。

1.3 分类决策规则：K-NN采用最简单的多数表决法进行分类决策，即在最近的k个点中，哪个标签数目最多，就将目标点归于哪一类。

2. K-近邻算法步骤

3. 代码实现

4. 项目案例：预测市场中二手车的价格