巨详细！使用OpenCV和OpenVINO轻松创建深度学习应用

CV君：本文来自6月份出版的新书《OpenCV深度学习应用与性能优化实践》，作者团队也是OpenCV DNN 模块的主要贡献者，是国内唯一的系统介绍OpenCV DNN 推理模块原理和实践的书，文末有福利，留言赠书 8 本。

OpenCV 是业界使用最为广泛的计算机视觉库，随着深度学习在计算机视觉领域的广泛应用，OpenCV 自3.3开始加入对深度学习推理的支持，即OpenCV DNN模块。

它支持TensorFlow、Caffe、Torch、DarkNet、ONNX 和 OpenVINO 格式的网络模型，开发者无需考虑模型格式的差异，直接调用DNN模块相关接口即可快速创建深度学习应用。

OpenVINO是英特尔推出的视觉推理加速工具包。OpenCV 3.4.1版本加入了英特尔推理引擎后端（英特尔推理引擎是OpenVINO中的一个组件），为英特尔平台的模型推理进行加速。

本文将以MobileNet-SSD模型为例，展示如何使用OpenCV和OpenVINO快速创建深度学习应用。

在深入代码之前，让我们了解一下OpenVINO工具包以及OpenCV是如何跟OpenVINO交互的。

OpenVINO工具包

2018 年 5 月 Intel 发布了 OpenVINO（Open Visual Inferencing and Neural Network Optimization， 开放视觉推理和神经网络优化）工具包，旨在为运行于 Intel 计算平台的基于神经网络的视觉推理任务提供高性能加速方案。

OpenVINO 提供了一整套在 Intel 计算设备上完成深度学习推理计算的解决方案，它支持 Intel CPU、 GPU、FPGA 和 Movidius 计算棒等多种设备。

OpenVINO 工具包的主要组件是 DLDT(Deep Learning Deployment Toolkit，深度学习部署工具包)。DLDT主要包括模型优化器(Model Optimizer)和推理引擎（Inference engine，IE）两部分。

模型优化器负责将各种格式的深度神经网络模型转换成统一的自定义格式，并在转换过程中进行模型优化；推理引擎接受经过模型优化器转换并优化的网络模型，为Intel的各种计算设备提供高性能的神经网络推理运算。

使用 DLDT 进行神经网络模型的部署，典型工作流程如图所示。

1）训练一个DLDT 支持的深度学习框架网络模型（Train a Model） ；

2）使用模型优化器对网络模型进行编译和优化（Run Model Optimizer），生成Openvino IR（Intermediate Representation，中间表示）格式的网络配置文件(.xml 文件)和模型参数文件(.bin 文件)；

3）调用 Inference Engine(即 Intel 推理引擎)进行网络运算，并将结果返回给 User Application(应用程序)。

OpenCV如何使用OpenVINO

OpenCV的推理引擎后端使用OpenVINO的推理引擎API完成推理任务。推理引擎后端有两种工作模式：模型优化器模式和构建器模式，如下图所示。

模型优化器模式直接使用DLDT模型优化器编译后的OpenVINO格式（.xml和.bin）的网络模型进行推理计算，这种模式下，网络模型将被直接加载到推理引擎中，创建出一个推理引擎网络对象。而构建器模式则需要在DNN模块内部将网络模型逐层转换成内部表示，并通过推理引擎后端建立内部推理引擎网络。

相比构建器模式，模型优化器模式支持网络中所有的层，不需要逐层建立DNN网络，而是直接加载OpenVINO模型到推理引擎，能够减少在网络加载和运算推理过程中报错的情况。

了解了OpenCV 和 OpenVINO 相关内容之后，接下来详细讲解如何基于OpenCV和OpenVINO构建深度学习应用。

基于OpenCV和OpenVINO创建深度学习应用

第一步：安装OpenVINO

这里我们以 Ubuntu 18.04 上安装 OpenVINO 为例。从官网注册并下载OpenVINO开发包的Linux版本，

官网下载地址：

https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit/choose-download/linux.html 

如果下载顺利，你将得到文件名为 l_openvino_toolkit_p_< 版本号>.tgz 的压缩包，为了兼容更多的网络模型，我们选择安装目前最新的OpenVINO版本（OpenVINO-2020.3.194）。

OpenVINO开发包中包含了相应版本的OpenCV，安装OpenVINO时会默认安装OpenCV，因此无需额外安装OpenCV。

1. 解压并安装 OpenVINO 开发包核心组件