K最近邻算法（k-nearest neighbours，KNN）
算法
- 对一个元素进行分类
- 查看它k个最近的邻居
- 在这些邻居中，哪个种类多，这个元素有更大概率是这个种类
使用
使用KNN来做两项基本工作——分类和回归：
- 分类就是编组；
- 回归就是预测结果（如一个数字）。
特征抽取
用于确定两个元素相似程度
方法
使用毕达哥拉斯公式
- 将可对比的类别转换为一组坐标
- 使用毕达哥拉斯公式
回归（regression）
回归可以预测结果
方法
- 对一元素分类（找寻影响因素）
- 查看其k个邻居
- 根据邻居的表现，计算平均值即可
挑选合适的特征
原则
- 与要分析的元素紧密相关的特征；
- 不偏不倚的特征（例如，如果只让用户给喜剧片打分，就无法判断他们是否喜欢动作片）
在挑选合适的特征方面，必须考虑到各种需要考虑的因素。
机器学习简介
机器学习旨在让计算机更聪明
OCR
光学字符识别（optical character recognition）
指的是拍摄印刷页面的照片，计算机将自动识别出其中的文字。
原理
使用KNN
(1) 浏览大量的数字图像，将这些数字的特征提取出来。
(2) 遇到新图像时，提取该图像的特征，再找出它最近的邻居都是谁！
一般而言， OCR算法提取线段、点和曲线等特征。
OCR的第一步是查看大量的数字图像并提取特征，这被称为训练（training）
朴素贝叶斯分类器（Naive Bayes classifier）
首先需要使用一些数据对这个分类器进行训练。
朴素贝叶斯分类器能计算出一些事件概率，其应用领域与KNN相似
小结
- KNN用于分类和回归，需要考虑最近的邻居。
- 分类就是编组。
- 回归就是预测结果（如数字）。
- 特征抽取意味着将物品（如水果或用户）转换为一系列可比较的数字。
- 能否挑选合适的特征事关KNN算法的成败。