Google正式发布TensorFlow Lite预览版，针对移动/嵌入设备的轻量级解决方案

TensorFlow Lite

2017/11/15 14:45

雷锋网 AI科技评论消息，日前，谷歌正式发布 TensorFlow Lite 开发者预览版，这是针对移动和嵌入式设备的轻量级解决方案。TensorFlow Lite 是一种全新的设计，具有三个重要功能——轻量级（Lightweight）、跨平台（Cross-platform）、快速（Fast）。

下面是来自 Google Developers Blog 的详细信息，雷锋网 AI科技评论编译如下。

今天，我们正式发布 TensorFlow Lite 开发者预览版，这是针对移动和嵌入式设备的轻量级解决方案。TensorFlow 可以在许多平台上运行，从机架上大量的服务器到小型的物联网设备，但近几年，随着大家使用的机器学习模型呈指数级增长，因此需要将训练模型的平台扩展到移动和嵌入式设备上。TensorFlow Lite 支持设备上机器学习模型的低时延推理。

TensorFlow Lite 是一种全新的设计，它支持以下功能：

轻量级（Lightweight）：支持机器学习模型的推理在较小二进制数下进行，能快速初始化/启动。
跨平台（Cross-platform）：可以在许多不同的平台上运行，现在支持 Android 和 iOS
快速（Fast）：针对移动设备进行了优化，包括大大减少了模型加载时间、支持硬件加速。

如今，越来越多的移动设备中含有专用的定制硬件来更高效地进行机器学习。TensorFlow Lite 支持 Android 神经网络API（Android Neural Networks API），大家在使用 TensorFlow Lite 时可以利用这些有用的加速器。

当加速器（硬件设备）不可用时，TensorFlow Lite 会返回到 CPU 来执行，这将保证模型仍然可以在一大批设备上快速运行。

结构

下图是 TensorFlow Lite 的结构设计：

Google正式发布TensorFlow Lite预览版，针对移动/嵌入设备的轻量级解决方案

模块如下:

TensorFlow Model: 存储在硬盘上已经训练好的 TensorFlow 模型
TensorFlow Lite Converter: 将模型转换为 TensorFlow Lite 文件格式的程序。
TensorFlow Lite Model File: 基于 FlatBuffers 的模型文件格式，针对速度和大小进行了优化。

可以将 TensorFlow Lite Model File 部署到 Mobile App ，如上图中所示：

Java API: 处于 Android App 中 C++ App 上，方便封装。
C++ API: 加载 TensorFlow Lite Model File，调用解释器（Interpreter）。

上面的这两个库在 Android 和 iOS 端都可用。

Interpreter：使用一组运算符来执行模型。运算符可以选择，如果不含运算符，只有70KB，加载所有的运算符之后为300KB。比起需要1.5 M(使用一组正规的操作符)的 TensorFlow Mobile，能使容量大大减小。
在 Android 设备上，Interpreter 支持 Android神经网络API，可以用它进行硬件加速。如果没有可用的加速器，则默认使用CPU。

开发人员还可以使用C++ API来自定义 kernel。

模型

TensorFlow Lite 目前支持很多针对移动端训练和优化好的模型。

MobileNet：能够识别1000种不同对象类的视觉模型，为实现移动和嵌入式设备的高效执行而设计。
Inception v3：图像识别模型，功能与 MobileNet 相似，它提供更高的精度，但相对来说更大。
Smart Reply：设备对话模型，可以即时回复聊天消息，在 Android Wear 上有使用这一功能。

Inception v3 和 MobileNets 已经在 ImageNet 数据集上训练了。大家可以利用迁移学习来轻松地对自己的图像数据集进行再训练。

关于TensorFlow Mobile

正如大家知道的那样，TensorFlow 可以通过 TensorFlow Mobile API 对模型进行移动和嵌入式部署。展望未来，TensorFlow Lite 应该被看作是 TensorFlow Mobile 的升级。随着一步步的成熟，它将成为在移动和嵌入式设备上部署模型的推荐解决方案。

TensorFlow Lite 目前是预览版，大家仍然可以使用 TensorFlow Mobile。

TensorFlow Lite 的功能有很多，目前仍处于紧锣密鼓的开发阶段。这次的发布中，我们特意使用受限平台，来保证一些最重要的常见模型的性能不受到影响。

我们计划根据用户的需要来考虑未来优先扩展的功能。我们的开发目标是简化开发人员的体验，并让模型能部署到一系列移动和嵌入式设备上。

很高兴开发者也在帮助TensorFlow Lite项目的顺利进行。我们将会以与TensorFlow项目相同的热情来支持和启动TensorFlow Lite社群。欢迎大家来使用TensorFlow Lite。

更多信息请点击TensorFlow Lite文件页面

地址：http://tensorflow.org/mobile/tflite

接下来会有持续更新。

via：Google Developers Blog

雷锋网 AI科技评论编辑整理。