猫的博客

在部署已合并模型时，使用脚本启动出现"TypeError: argument of type 'NoneType' is not iterable"错误。解决方法是在deploy.py文件开头添加代码，检查并初始化transformers.modeling_utils中的ALL_PARALLEL_STYLES属性。具体操作为：若该属性不存在或为None，则手动设置为["tp","none","colwise","rowwise"]。修改后重新运行脚本即可解决该问题。

摘要：将模型部署到开发板时需转为ONNX格式，使用Optimum工具转换命令简单但易遇问题。常见两种故障：1) 进程卡死不报错；2) 报错信息混乱。解决方法主要是调整环境版本，实测通过修改transformers、torch和torchaudio版本后成功运行。