TensorFlow团队发布带有新的移动GPU后端支持的TensorFlow Lite开发预览版

本周早些时候，TensorFlow团队发布了对TensorFlow Lite新增GPU后端支持的开发者预览版。计划于2019年晚些时候推出完整的开源版本。

该团队已经在他们的产品中使用谷歌的TensorFlow Lite GPU inference支持已有几个月了。例如，使用新的GPU后端加速前景 - 背景分割模型超过4倍，新的深度估计模型加速超过10倍。同样，使用GPU后端支持YouTube故事和游乐场贴纸，团队看到速度提高在各种手机的实时视频分割模型中，最多可达5-10倍。

他们发现，与不同深度神经网络模型的原始浮点CPU实现相比，新GPU后端的性能要快得多（快2-7倍）。该团队还指出，GPU速度对于涉及密集预测/分段或分类任务的更复杂的神经网络模型最为重要。对于小型号，加速可以更少，并且使用CPU将更有益，因为它将避免在存储器传输期间的延迟成本。

它是如何工作的？

一旦在Objective-C++中调用解释器:: ModifyGraphWithDelegate（）或者使用Java中的Interpreter.Options调用Interpreter的构造函数，GPU委托首先被初始化。在此过程中，建立输入神经网络的规范表示，在该规范上应用一组变换规则。

在此之后，生成并编译计算着色器。 GPU后端目前在iOS上使用Android上的OpenGL ES 3.1 Compute Shaders和iOS上的Metal Compute Shaders。在创建计算着色器时采用各种特定于体系结构的优化。优化完成后，将编译着色器程序并准备好新的GPU推理引擎。根据每个输入的推断，如果需要，输入将移至GPU，执行着色器程序，并在必要时将输出移至CPU。

该团队打算在未来扩展操作范围，最终确定API并优化GPU后端的整体性能。

有关更多信息，请查看官方TensorFlow Lite GPU inference发行说明。