机器学习学科基本问题
什么是机器学习？
机器学习的定义十分的多，从不同的角度可以给出不同的解释，很难有一种定义可以完全的描述机器学习，所以我就罗列以下，仅供参考
机器学习是人工智能的一个分支，是实现人工智能的一种途径，是一个从事构建和研究从数据中学习的系统。
机器学习是研究agent 增长知识，提高性能，学习学习的一般原理与计算模型的学科。
（这里的学习学习是一个递归的概念，学习如何学习，学习如何学习学习，。。。，这种学习永无止境，是不断地递归）
其他定义：
l 研究给予计算机学习能力而不必显式编程的领域。
l 一种系统用来改善自身性能的过程。
l 运用示例数据或经验来优化性能指标的计算机程序。
l 运用经验来改善性能或做出正确预测的计算方法。
l 形式化定义：一种针对某类任务T和性能度量P的计算机程序被称之为从经验E中学习，如果它在T中任务的性能，如P度量所示，随经验E而改善的话。
可学习性
任何一个学科都有自己的限制，所研究的对象是有限制的，机器学习所研究的对象必须是可以学习的。
可学习性分为可表示与可行性，可表示的意思就是可以将对象有效的表示，可行性则指计算模型可以实现。
可表示
表示语言：严格的没有歧义的形式语言
有限表示：问题的描述长度是有限的
可压缩性：信息不可压缩，表示可以压缩
可行性
可计算：要有计算模型（图灵停机问题没有算法解，但存在程序解，称此类问题为半可解问题）
有效：算法时间复杂度以多项式复杂性为上界
可靠：一致性，稳健性
适用性
是否一定需要机器学习？机器学习这种方法是必要的吗？
在工程上，简单可靠的技术更受青睐，而机器学习这种解决问题的方法相对较为复杂和新颖，难免在应用中会遇到很多问题
是否存在通用的学习器？
是否存在一个计算模型可以解决一类问题甚至好几类问题？
任一问题存在一个最优的算法。
任一算法存在一个最优的问题。
罗生门
对同一个问题，往往可以有很多好的机器学习模型
好模型之间如何进行选择？
奥卡姆剃刀准则：从同样好的理论或模型中选择最简单的
多解释原理：保留所有正确的理论
理论基础
人工智能学科是一个范围十分广的交叉学科，它有着很多基础学科的支持，比如说数学，计算机科学，心理学，神经科学，哲学等等
这里列出了人工智能的部分理论基础以及这些基础学科研究的问题
哲学：
知识来源于哪里？
知识如何指导行为？
什么是智慧？
数学：
l 逻辑学：得出正确结论的形式规则是什么？
l 计算：什么是可以计算的？
l 概率：如何根据不确定信息进行推理？
神经科学：
大脑如何处理信息？
l 神经科学研究神经系统，特别是大脑
l 大脑在理性决策方面十分优越但并非完美无缺
l 大脑不像软件那样模块化
l 预测与仿真是决策的关键
心理学与认知心理学：
人类如何思考与行动？认知心理学将大脑视为信息处理设备
l 注意机制：大脑聚焦于某个有用感知信息子集的状态
l 语言运用：语言习得，形成的组件，使用时的语气
l 记忆：分为过程记忆，语义记忆，情景记忆
l 感知：物理感知以及认知过程（感性认识与理性认识）
l 问题求解
l 创造力
l 思考
l 元认知：关于认知的认知，关于思考的思考，包括关于认知的知识和认知的调节两个部分
控制理论与控制论：
机器如何在自身的控制下运行？
控制理论是工程与数学的交叉学科分支，处理动态系统对输入的行为，以及如何通过反馈调整行为。
控制论是一种跨学科的领域，探索调控系统的结构，约束，可能性。
经济学：
博弈论
马尔科夫决策过程
PAC（probably approximately correct）：
概率近似正确是机器学习的一种方法，用于解决信息分类的问题。
SLT（statistical learning theory）：
统计学习理论是采用统计方法的一种机器学习理论。
应用：支持向量机
技术支持
技术支持主要是计算机性能的飞速提升，包括传统计算机架构的改良，硬件加工工艺的提升，新的计算机架构的提出（量子计算机）
这些技术的提升使得机器学习成为一种可行的解决方案
芯片：
计算机的核心为处理器，即芯片，近年来集成电路领域的快速发展使得超大规模集成电路得以量产，纳米级的加工工艺使得单位面积的晶体管数量大大增加，计算机的运算能力得到了极大的提升，更强的计算能力使得计算机可以更快的处理更加复杂的问题，这为机器学习提供了技术支持。
网络：
因特网的出现使得整个世界联通起来，互联网的发展使得在网络世界中出现了与现实世界对等的另一个世界，大量的信息以电子化的形式被存储在世界各地的服务器，丰富而大量的数据可以通过网络轻松的获取，这些数据给机器学习提供了丰富的养料。
MAS（Multi-Agent System）：
多智能体系统是分布式人工智能的一个重要分支，单个智能体的能力有很大的局限性，多智能体系统则可以打破单智能体的局限性，它的计算能力更强，可以做出更好的决策，同时具有良好的可拓展性与容错性。分布式计算使得很多单智能体无法解决的难题得以解决，同时大大提高了计算资源的利用率，减少了资源浪费。
ABC（AI，Big Data， Cloud Computing）：
云计算，大数据，人工智能之间的关系十分密切，人工智能是做出决策最为关键的部分，云计算提供计算能力，大数据提供数据，云计算与大数据使得人工智能的能力大大提升，这三者的结合将极大的推动人工智能的发展，ABC架构成为未来发展的一个重要方向。
众包（crowdsourcing）：
众包是以自由自愿的形式将任务分配给非特定的大众志愿者的做法，由大众共同创造价值，分布式计算项目，wiki百科，开源软件项目等等许多成功的众包案例都展示了这种形式的优势。
机器学习与其他学科的关系？
Statistical learning 统计学习 ML+统计学
Pattern recognition 模式识别 ML+模式识别
Data mining 数据挖掘 ML+DB
Computer vision 计算机视觉 ML+图像处理
机器学习如何工作？
通过使用训练数据或者与外界交互做出更准确的假设，以此得到更好的预测。
工作的方式可分为三种：通过训练数据得到假设；无训练数据，直接通过算法得到假设；通过外界反馈改进假设。
