horovod

**使用多个GPU卡训练同一个深度学习任务就是分布式计算**

Russian like
https://www.sohu.com/a/340384890_120053730

Horovod 是 什 么 ？

Horovod是基于Ring-AllReduce方法的深度分布式学习插件，以支持多种流行架构包括TensorFlow、Keras、PyTorch
这样平台开发者只需要为Horovod进行配置，而不是对每个架构有不同的配置方法。 
[装好之后需要有tk代码训练来指定GPU 名称来运行]