何时使用 CPU、GPU 或 TPU 来运行您的机器学习模型？

          CPU 是通用处理器，而GPU 和TPU 是加速机器学习的优化加速器。使用哪个来运行机器学习工作负载似乎很简单。但是，您可能需要仔细观察并考虑您正在运行哪种类型的机器学习模型，以确定哪种硬件最适合您的工作负载。以下是一些快速指南，可帮助您确定哪些处理器最适合您的应用：  

CPU：

需要最高灵活性的原型

训练不需要很长时间的简单模型

用小有效批量训练小模型

主要使用 C++ 编写，基于自定义TensorFlow 操作  

具有有限 I/O 或有限系统网络带宽的模型

GPU：  

模型太难改变或不存在的来源

具有 GPU 必须支持的大量自定义TensorFlow 操作的模型

Cloud TPU 上不可用的模型

具有更大有效批量的中等或更大尺寸模型

TPU：  

主要使用矩阵计算来训练模型

在主训练循环中没有自定义 TensorFlow 操作的训练模型  

需要数周或数月才能完成的训练模型

训练具有非常大的有效批量大小的大型模型