- 博客(6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 通用模型推理框架低精度量化对比？看看这篇就知道了
本文对比了TensorRT、MIGraphX和OnnxRuntime三种推理框架对低精度量化的支持情况。TensorRT支持训练后量化和量化感知训练，通过图层融合优化性能；MIGraphX仅提供最小最大值校准器，不支持卷积算子融合；OnnxRuntime目前仅支持伪量化，实际仍是FP32推理。分析表明，TensorRT在量化支持和性能优化上表现最佳，MIGraphX次之，而OnnxRuntime的量化方案尚不完善。建议优先选择TensorRT以实现高效的低精度推理。
2025-06-25 14:44:18
824
原创 onnx模型结构优化相关记录
摘要：PyTorch将GroupNorm层转换为ONNX格式时，默认会分解为多个小算子组合，影响推理性能。原因在于ONNX的GroupNorm算子仅支持opset18+版本，且PyTorch导出时未自动融合。通过使用onnxruntime.transformers工具中的FusionGroupNorm功能，可成功将分解的算子合并为单个GroupNorm算子，并自动转换为NHWC数据布局，优化推理效率。该方法解决了ONNX模型导出时算子分解的问题，提升了模型部署性能。
2025-06-24 11:10:11
347
原创 如何使用MIGraphX推理引擎进行模型推理？试试这篇让你快速掌握
本文介绍了使用MIGraphX进行ONNX模型推理的完整流程。主要内容包括：1) 将PyTorch模型(如ResNet50)转换为ONNX格式，区分静态模型(固定输入维度)和动态模型(可变输入维度)的导出方法；2) 详细说明了使用C++ API进行推理的三个关键步骤：加载模型、编译模型和执行推理，并提供了完整的ResNet50推理示例代码；3) 简单提及了Python API的推理方法。文章通过实际代码示例展示了从模型转换到推理部署的全过程，适用于需要在不同场景下进行深度学习模型部署的开发者。
2025-06-23 12:02:19
1622
原创 MIGraphX推理引擎的常用知识
MIGraphX是一款高性能深度学习推理引擎，支持将TensorFlow、PyTorch等框架训练的模型转换为中间表示(IR)并进行优化部署。其主要特性包括多精度推理支持、跨语言API和模型序列化等。架构分为IR层、编译优化层和计算引擎层，采用单级IR设计简化优化流程。核心数据结构包括shape、argument、literal等，用于表示张量形状和数据。该引擎适用于图像处理、视频分析、自然语言处理等多种场景，通过静态图优化和代码生成技术提升推理性能，同时提供易用接口简化开发流程。
2025-06-20 14:15:05
1744
原创 深度学习算法中常用归一化方法
归一化方法在深度学习中至关重要，主要解决内部协变量偏移、梯度消失/爆炸等问题，从而加速训练并提升模型性能。常用方法包括批归一化（BN）、层归一化（LN）、实例归一化（IN）和组归一化（GN）。其中，LN对单个样本所有特征归一化，适用于RNN和Transformer；GN将通道分组归一化，适用于小批量训练。ONNX中LayerNorm算子在opset17及以上支持，低版本需组合小算子实现。归一化技术显著提升模型稳定性、训练效率和泛化能力。
2025-06-19 18:59:14
1469
1
空空如也
尊敬的作者，您好。我在使用opencv进行深度学习部署时，遇到问题？
2021-11-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人