Tensorflow Lite初探（Android）

一、背景：

11月15日，谷歌正式发布了TensorFlow Lite开发者预览版。

TensorFlow Lite 是 Google I/O 2017 大会上的其中一个重要宣布，有了TensorFlow Lite，应用开发者可以在移动设备上部署人工智能。

Google 表示 Lite 版本 TensorFlow 是 TensorFlow Mobile 的一个延伸版本。尽管是一个轻量级版本，依然是在智能手机和嵌入式设备上部署深度学习的一大动作。此前，通过TensorFlow Mobile API，TensorFlow已经支持手机上的模型嵌入式部署。TensorFlow Lite应该被视为TensorFlow Mobile的升级版。

TensorFlow Lite 目前仍处于“积极开发”状态，目前仅有少量预训练AI模型面世，比如MobileNet、用于计算机视觉物体识别的Inception v3、用于自然语言处理的Smart Reply，当然，TensorFlow Lite上也可以部署用自己的数据集定制化训练的模型。

TensorFlow Lite可以与Android 8.1中发布的神经网络API完美配合，即便在没有硬件加速时也能调用CPU处理，确保模型在不同设备上的运行。 而Android端版本演进的控制权是掌握在谷歌手中的，从长期看，TensorFlow Lite会得到Android系统层面上的支持。

其组件包括：

• TensorFlow 模型（TensorFlow Model）：保存在磁盘中的训练模型。
• TensorFlow Lite 转化器（TensorFlow Lite Converter）：将模型转换成 TensorFlow Lite 文件格式的项目。
• TensorFlow Lite 模型文件（TensorFlow Lite Model File）：基于 FlatBuffers，适配最大速度和最小规模的模型。

github链接如下：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite

二、环境：

Android Studio 3.0, SDK Version API26, NDK Version 14

步骤：
1. 将此项目导入到Android Studio：
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite/java/demo
2. 下载移动端的模型（model）和标签数据（lables）：
https://storage.googleapis.com/download.tensorflow.org/models/tflite/mobilenet_v1_224_android_quant_2017_11_08.zip
3. 下载完成解压mobilenet_v1_224_android_quant_2017_11_08.zip文件得到一个xxx.tflite和labes.txt文件，分别是模型和标签文件，并且把这两个文件复制到assets文件夹下。
4. 构建app，run……

详情可参考：http://blog.csdn.net/wu__di/article/details/78570303

三、源码分析：

整个demo的代码非常少，仅包含4个java文件（相信随着正式版的发布，会有更加丰富的功能以及更多的预训练模型）：

其中：
- AutoFitTextureView: 一个自定义View；
- CameraActivity: 整个app的入口activity，这个activity只做了一件事，就是加载了一个fragment；
- Camera2BasicFragment: 入口activity中加载的fragment，其中实现了所有跟UI相关的代码；首先在onActivityCreated中，初始化了一个ImageClassifier对象，此类是整个demo的核心，用于