超级会员免费看
本文是《美团机器学习实践》的读后感，重点探讨了CPU推理服务优化，包括系统级、应用级和算法级的优化方法。在CPU上，通过数学库和推理SDK优化提高性能，并分析了影响性能的因素，如OpenMP参数、CPU核数、输入数据格式、NUMA配置等。此外，还介绍了应用级优化，如并发设计和预处理优化，以及算法级优化，如批大小调整、模型剪枝和量化。最后讨论了融合优化和引擎优化策略，如多模型、多context和多stream、动态形状以及CUDA Graph的应用，以提升服务性能。
前言：最近拜读了美团算法团队出品的《美团机器学习实践》，这本书写于2018年，一个大模型还没有标配的时代。这本书侧重于工业界的实践，能清楚地让我们了解到工业界和学术界对机器学习的关注方向上的差异，值得一读。因为我是重点做模型工程/模型部署方向的，所以重点关注这个方面，汲取美团技术团队的经验。
目录
Batchsize 的选取在 CPU 上对服务性能的影响是怎样的?
机器学习的通用流程
1、问题建模
将问题抽象成机器学习可预测的问题，这个过程中要有明确的业务指标和模型预测目标，根据目标选择适当的评估指标用于模型评估。
2、特征工程
对数据集进行特征抽取。成功的机器学习算法必然在特征工程方面做的非常好。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
