李宏毅机器学习课程笔记-13.5模型压缩之动态计算

动态计算(Dynamic Computation)就是资源充足时就做到最好,资源不足时就减少运算量、先求有再求好(但也不要太差)。

一种方法是训练多个从小到大的model,然后选择合适的模型,这样的问题是需要存储很多个model。

另外一种方法是,训练一个在中间层就可以得到最终结果的model。因为网络浅层和深层提取到的特征一般分别是低级特征和高级特征,所以在网络浅层得到的结果一般要比在网络深层得到的结果差一些。在网络浅层就计算最终结果可能会迫使网络浅层学习一些高级特征,这会破坏网络从浅层到深层逐步提取低/高级特征的架构。那如何处理这些问题呢?可以看一看Multi-Scale Dense Convolutional Networks:https://arxiv.org/abs/1703.09844


Github(github.com):@chouxianyu

Github Pages(github.io):@臭咸鱼

知乎(zhihu.com):@臭咸鱼

博客园(cnblogs.com):@臭咸鱼

B站(bilibili.com):@绝版臭咸鱼

微信公众号:@臭咸鱼

转载请注明出处,欢迎讨论和交流!


原文地址:https://www.cnblogs.com/chouxianyu/p/14738479.html