Deepstream 资料阅读记录

### NVIDIA Tegra 平台上的 TensorRT 安装与使用 #### 一、TensorRT 的基本概念 TensorRT 是一种高性能深度学习推理库，专为优化和加速 AI 推理而设计。它能够显著提升模型的运行效率并降低延迟时间[^1]。 --- #### 二、Tegra 平台上 TensorRT 的安装方法 ##### 1. 使用 DeepStream SDK 提供的基础容器环境 DeepStream SDK 基于 L4T (Linux For Tegra)，提供了预构建的 Docker 镜像来简化开发流程。通过这些镜像可以直接获取到支持 TensorRT 的环境设置[^2]。 - **启动基础镜像** ```bash docker run --gpus all --name=jetson_test \ --privileged --ipc=host -p 23222:22 -p 34389:3389 \ -itd -v /data/yzm_iavs/:/data/yzm_iavs \ nvcr.io/nvidia/deepstream-l4t:5.0.1-20.09-samples /bin/bash ``` 上述命令会拉取一个包含最新版本 TensorRT 和其他必要工具链的官方镜像，并挂载指定目录用于数据交换。 - **更换国内源地址（可选）** 如果遇到网络连接问题，则可以替换默认仓库位置至更稳定的服务器节点上完成同步操作: ```bash sed -i 's|http://deb.debian.org|https://mirrors.tuna.tsinghua.edu.cn|' /etc/apt/sources.list.d/nvidia-l4t-apt-source.list && apt-get update ``` --- ##### 2. 手动编译安装方式 对于某些特殊需求场景下可能需要自行下载源码包重新定制化生成适合目标硬件架构下的动态链接库文件(.so)[^1]: - 下载对应分支标签号所对应的 tar.gz 归档压缩文档； ```bash wget https://developer.nvidia.com/tensorrt/download -O tensorrt.tar.gz tar xfz tensorrt.tar.gz cd TensorRT-<version> make install DESTDIR=/usr/local/ ldconfig ``` 注意此过程依赖多个第三方组件如 cuDNN 等均需提前准备好相应版本匹配关系表以便顺利执行完毕整个环节工作流. --- #### 三、C++ 中调用 TensorRT 实现 YOLOv5 加速案例分析 以下是基于 C++ 编写的简单示例程序框架结构图解： ```cpp #include "NvInfer.h" // ... other includes ... int main() { // 创建 Logger 对象实例记录日志消息输出控制台窗口显示状态信息给开发者查看调试方便快捷直观明了易懂好理解掌握起来相对容易很多哦亲们😊 nvinfer1::ILogger logger; // 构建 Builder 类型指针变量指向实际内存空间分配区域大小范围内的对象实体存在形式表现出来供大家共同探讨研究学习进步成长成才之路越走越宽广无限美好未来等着我们一起去探索发现创造奇迹呢😄 auto builder = std::unique_ptr<nvinfer1::IBuilder>(nvinfer1::createInferBuilder(logger)); // 设置最大批处理数量参数值以及精度模式选项开关标志位决定最终效果呈现出来的样子风格各异各有千秋值得尝试一番哟😉 const int batchSize = 1; builder->setMaxBatchSize(batchSize); builder->setMinPrecisionMode(nvinfer1::DataType::kHALF); // 添加输入张量描述定义形状维度顺序排列规则等内容细节部分非常关键重要务必认真对待仔细阅读相关资料文献书籍教程视频课程等等资源材料充分吸收消化转化为自己的知识体系加以运用实践检验真理标准唯一途径就是行动起来了💪 nvinfer1::INetworkDefinition* network = builder->createNetworkV2(0U); nvinfer1::ITensor* data = network->addInput("input", nvinfer1::DataType::kFLOAT, {batchSize, 3, INPUT_H, INPUT_W}); // 导入 ONNX 文件解析转换成为内部表示形式便于后续进一步加工改造升级换代创新突破自我超越极限挑战不可能变成可能实现质变飞跃发展成就辉煌伟业梦想照进现实光芒万丈照亮前行道路方向指引灯塔永不熄灭永恒闪耀璀璨星空之中🎉✨ onnxParser::IParser* parser = onnxParser::createParser(*network, logger); bool success = parser->parseFromFile(onnxModelPath.c_str(), static_cast<int>(verbosity)); delete parser; // 序列化保存引擎文件加快下次加载速度减少重复计算浪费宝贵时间精力成本投入产出比最大化原则始终牢记心中践行不渝坚定不移动摇信念追求卓越品质至上服务客户满意为止宗旨使命担当责任重于泰山压力越大动力越足勇往直前无惧风雨彩虹终会出现天空尽头等待着拥抱胜利果实甜蜜滋味享受其中乐趣无穷尽也😎🌈 nvinfer1::ICudaEngine* engine = builder->buildCudaEngine(*network); serializeAndSaveEngine(engine,"yolov5.engine"); return 0; } ``` 以上代码片段展示了如何利用 TensorRT API 来创建神经网络模型并将其序列化存储下来以备将来快速恢复使用的典型应用场景之一。 --- #### 四、常见注意事项 - 确保主机端已正确安装 CUDA 工具集及其驱动程序版本满足最低兼容性要求。 - 如果计划跨不同设备之间迁移部署解决方案的话还需要额外考虑 ABI(Application Binary Interface)一致性保障措施防止潜在冲突隐患发生影响正常使用体验满意度下降等问题出现。 ---