orthogonalization
正交化的概念就是指，将你可以调整的参数设置在不同的正交的维度上，调整其中一个参数，不会或几乎不会影响其他维度上的参数变化，这样在机器学习项目中，可以让你更容易更快速地将参数调整到一个比较好的数值。
打个比方，当你开车的时候假设有一个按钮1：0.3angle-0.8speed 还有一个按钮2：2angle+0.9speed 那么理论上来说通过调整这两个按钮，可以得到你想要的角度和速度，但是在实际操作中我们肯定希望角度和速度的控制方式是单独且互不影响的，这就是正交化
对于一个supervised learning system，我们要调整按钮来确保四件事情
1.在training set上表现不错
2.在dev set上表现不错
3.在test set上表现不错
4.在real world领域表现不错
所谓表现不错，通常来说就是与human performance相比较，具体的方法会在之后的博文介绍
那么按钮在DL中是什么呢？
针对training set
按钮：更深的神经网络、更好的优化算法
针对dev set
按钮：regularization即正则化、增大training set
针对test set
按钮：增大dev set
针对real world：
按钮：改变dev set、改变cost function
tips：我们在之前提到了early stop即提早停止的技巧 但是这种技术并不符合正交化的思维，因为在使用提早停止的时候，training set和dev set的表现会被同时影响，所以如果有多个方式可以使用，最好先别用early stop