PaddleClas项目C++服务端推理部署指南

PaddleClas项目C++服务端推理部署指南

前言

本文将详细介绍如何在服务器端使用C++部署PaddleClas图像分类模型。通过本教程，您将学习到从环境准备到实际推理的全流程操作。相比Python部署，C++部署具有更高的执行效率和更低的资源消耗，非常适合生产环境使用。

环境准备

系统要求

推荐使用Linux系统进行部署，Windows系统也可通过Visual Studio 2019 Community进行编译。本文主要介绍Linux环境下的部署流程。

1. OpenCV编译安装

OpenCV是计算机视觉领域的基础库，我们需要先编译安装它：

1. 下载OpenCV 3.4.7源码包：

wget https://github.com/opencv/opencv/archive/3.4.7.tar.gz
tar -xf 3.4.7.tar.gz

2. 进入源码目录并配置编译选项：

cd opencv-3.4.7
mkdir build && cd build
cmake .. \
    -DCMAKE_INSTALL_PREFIX=安装路径 \
    -DCMAKE_BUILD_TYPE=Release \
    -DBUILD_SHARED_LIBS=OFF \
    -DWITH_IPP=OFF \
    -DWITH_EIGEN=OFF \
    -DWITH_ZLIB=ON \
    -DWITH_JPEG=ON \
    -DWITH_PNG=ON
make -j && make install

编译完成后，您将在指定安装路径下获得OpenCV的头文件和库文件。

2. Paddle Inference库准备

Paddle Inference是飞桨的推理引擎库，有两种获取方式：

方式一：源码编译（推荐）

1. 获取Paddle最新源码：

git clone https://github.com/PaddlePaddle/Paddle.git

2. 编译生成推理库：

cd Paddle
mkdir build && cd build
cmake .. \
    -DWITH_MKL=ON \
    -DWITH_MKLDNN=ON \
    -DCMAKE_BUILD_TYPE=Release \
    -DON_INFER=ON
make -j && make inference_lib_dist

方式二：直接下载预编译库

可以从Paddle官网下载对应CUDA版本的预编译推理库，解压后即可使用。

项目编译

1. 编译PaddleClas C++推理Demo

使用以下命令进行编译：

sh tools/build.sh

其中build.sh主要内容如下：

cmake .. \
    -DPADDLE_LIB=您的Paddle推理库路径 \
    -DOPENCV_DIR=您的OpenCV安装路径 \
    -DWITH_GPU=OFF/ON \  # 是否使用GPU
    -DWITH_TENSORRT=OFF/ON  # 是否使用TensorRT加速
make -j

编译完成后，会在build目录下生成可执行文件clas_system。

2. 单独编译配置库和分类库（可选）

如果需要单独编译配置库和分类库：

sh tools/build_lib.sh

这将生成libcls.so、libconfig.so等库文件，方便后续集成开发。

模型推理

1. 准备推理模型

使用PaddleClas提供的模型导出工具，将训练好的模型导出为推理格式，得到两个关键文件：

• cls_infer.pdmodel：模型结构文件
• cls_infer.pdiparams：模型参数文件

2. 运行推理Demo

1. 修改配置文件tools/config.txt：

use_gpu=0  # 是否使用GPU
cls_model_path=模型路径/cls_infer.pdmodel
cls_params_path=模型路径/cls_infer.pdiparams
resize_short_size=256  # 图像短边resize尺寸
crop_size=224  # 中心裁剪尺寸

2. 修改运行脚本tools/run.sh：

./build/clas_system ./tools/config.txt 测试图片路径

3. 执行推理：

sh tools/run.sh

程序将输出预测结果，包括类别ID和置信度得分。

性能优化建议

1. 启用MKLDNN加速：在Intel CPU上，设置use_mkldnn=1可显著提升性能
2. 使用TensorRT：NVIDIA GPU用户可启用TensorRT加速
3. 多线程优化：调整cpu_math_library_num_threads参数
4. FP16推理：GPU环境下可尝试启用FP16半精度推理

常见问题

1. OpenCV链接问题：确保编译时指定的OpenCV路径正确
2. 模型路径错误：检查配置文件中模型路径是否与实际一致
3. 库版本冲突：建议使用与训练时相同版本的Paddle Inference库

通过本文介绍的方法，您可以在服务器端高效部署PaddleClas图像分类模型。相比Python部署，C++版本在性能上有显著提升，特别适合高并发生产环境。