超级会员免费看
本文详细介绍了C++结合TensorRT的工作流程，包括定义网络、优化builder参数、生成engine并序列化，以实现模型的快速传输和推理。通过代码结构展示如何定义builder、config和network，以及如何处理输入、模型结构和输出信息，最终生成并序列化engine模型文件。
tensorrt的工作流程如下图：
-
首先定义网络
-
优化builder参数
-
通过builder生成engine,用于模型保存、推理等
-
engine可以通过序列化和逆序列化转化模型数据类型（转化为二进制byte文件，加快传输速率）
-
再进一步推动模型由输入张量到输出张量的推理
代码结构： -
定义 builder, config 和network，其中builder表示所创建的构建器，config表示创建的构建配置（指定TensorRT应该如何优化模型），network为创建的网络定义。
-
输入，模型结构和输出的基本信息（如下图所示）
-
生成engine模型文件
-
序列化模型文件并存储
// tensorRT include
订阅专栏 解锁全文
扫一扫
1048
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
