机器学习实战笔记-K近邻算法1（分类动作片与爱情片）

K近邻算法采用测量不同特征值之间的距离方法进行分类

K近邻算法特点：
优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。

K近邻算法原理:
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的
特征进行比较，然后算法提取样本集中特征最相似数据（最近 邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处,通常k是不大于20的整数。
最后,选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

案例一.使用打斗和接吻镜头数分类电影

案例分析:
    首先我们需要知道未知电影存在多少个打斗镜头和接吻镜头,计算未知电影与样本集中其他电影的距离。按照距离递增排序，可以找到K个距离最近的电影。然后选取K个分类中出现次数最多的分类即为未知电影的种类。

k-近邻算法的一般流程: 
    (1)收集数据：可以使用任何方法。
    (2)准备数据：距离计算所需要的数值，最好是结构化的数据格式。
    (3)分析数据：可以使用任何方法。
    (4)训练算法：此步驟不适用于1 近邻算法。
    (5)测试算法：计算错误率。
    (6)使用算法：首先需要输入样本数据和结构化的输出结果，然后运行女-近邻算法判定输
    入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

代码：

kNN.py
from numpy import *
import operator

#创建数据集

def createDataSet():

    #使用numpy中的Array类创建二维数组
    group = array([[3,104],[2,100],[1,81],[101,10],[99,5],[98,2])
    labels = ['爱情片','爱情片','爱情片','动作片','动作片','动作片']
    return group,labels
'''
inx，测试向量
dataSet，数据集，二维矩阵形式
labels，类别
k,次数
'''
def classify0(inx, dataSet, labels, k):
    #获取二维数组行数
    dataSetSize = dataSet.shape[0]
    #tile,将inx向量转化为与dataSet同等行数列数的二维数组
    diffMat = tile(inx,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort();
    classCount = {};
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1;
    #operator.itemgetter(1)指定以classCount中的value作为排序比较的数,reverse=True表示逆序显示，需要注意的是python3之后字典没有iteritems方法。
    sortedClassCount  = sorted(classCount.items(),key = operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

测试代码:
import kNN

group,labels = kNN.createDataSet()
kNN.classify0([18,90],group,labels,3)

结果截图

参考书籍:
<机器学习实战>
作者：Peter
出版社：人民邮电出版社