深度学习的代码框架

1. Tensorflow 图的模式

定义各模块,前三个步相当于搭建了模型的静态图。

  1. 数据输入函数
  2. 优化问题的loss函数, 效果度量函数。注: loss 函数相当于定义深层网络。
  3. 参数优化算子
  4. 通过循环的调用session.run 刷新优化参数,loss函数值,效果度量值(准确率,KS等)

2. torch模式 & TF的Eager模式

没有了session,每次计算梯度得到具体的值,并更新, 执行方式与一般算法描述一致, 使用成本低,更适合入门。

torch 和 Eager 模式的差别:

  1. Eager 模式需要考虑导数计算, 并且可以自定义导数
  2. torch 代码中, 通常调用backward函数,不出现梯度计算,代码上更简洁。
原文地址:https://www.cnblogs.com/bregman/p/10040026.html