人工智能学习日记——KNN分类

  • A+
所属分类:未分类

机器学习:让计算机通过学习具有像人一样的分类能力。
机器学习中的分类任务:分类、回归、聚类、关联规则挖掘。
分类的定义:根据对某一事物的认识(经验)来判断之前未见过的实例(新对象)是否属于该实例

1.KNN分类的算法思想
人工智能学习日记------KNN分类
当对一个新样例进行分类时,计算它与训练样例集每个样例的欧式距离
将距离按从小到大的顺序排列,选择最近的前k个距离
然后将k个样例中最普遍的类别作为新样例的类别。(即由你的邻居判断出你的类别)

(1)除了KNN分类算法,还有SVM(支持向量机),ANN(人工神经网络),DT(决策树)
等分类算法。
1)SVM:适合小型数据,非线性,高维的分类问题
2) ANN:多输入多输出
3) DT: if-then的规则集合,空间上的条件概率分布

2.KNN的优点
(1)算法简单,可以应用于分类、回归
(2)训练的时间复杂度为O(n)
(3)适用于样本容量大的分类
(4)用于非线性分类
(5)对于多个类别标签,KNN的分类效果优于SVM
(6)无需估计参数,无需训练

3.K值的选择
K值过小,容易产生过拟合
K值过大,整体模型会简单,即欠拟合
K值最佳选择方法,进行交叉验证K值

4.KNN分类的效果唯一吗?
K值结果不同,分类效果不唯一。

w3cjava