夜读论文之-深度学习革命给计算机体系结构和芯片设计带来的影响
By Jeffrey Dean at Google for ISSCC 2020
第一节：机器学习很厉害，在很多场景中都有革命性的应用；
第二节：机器学习开始的时候运算跟不上，现在运算跟上了，但是很快就会又跟不上；
第三节：复杂的模型需要更多的算力，引发了构建专用硬件的设想；
第四节：为什么专用硬件适用于深度学习模型的场景;
原因有三个：1. 机器学习可以容忍低精度；2. 机器学习运算可以分解为小的常规运算；3. CPU有很多的优化；
专用硬件的诞生和80年代为了处理信号诞生的DSP有异曲同工之妙，但是专用硬件可以做更多的机器学习的运算；
顺便举例了Google的第一个推理场景的加速芯片tpu，和边缘tpu，后者更低功耗；
然后就是训练场景的tpu系列，并且可以组成集群;
这一波增长有点像寒武纪大爆发；
第五节：为机器学习场景优化的bfloat16；
这个指令集降低了精度，提高了数据范围。
灵魂是，需要更少的乘电路进而可以在相同的硅片上实现更高的flops，进一步降低带宽和搬运数据的能量消耗。
第六节：快速增长的领域充满了挑战
第七节：机器学习可以帮忙搞芯片布线；
第八节：机器学习的机器视觉可以帮忙硅片故障检测；
第九节：机器学习构建启发式的计算机系统；
第十节：未来的机器学习的方向
1. 构建稀疏激活的模型，2. 构建自动的机器学习， 3. 多模型迁移学习
（这个模型不就是人脑模型么）
遇到问题自己选择自己的数据，自己从一堆算法中选择自己的通路激活，进行训练，然后遇到相同的任务的时候，使用类似的模型进行推理；
第十一节：增大模型，增大数据，迎接挑战；
-THE END @ 2020年3月5日 23:08:50-