嵌入式硬件从小工到专家（嵌入式AI及应用）

嵌入式-老费

已于 2025-06-25 18:20:27 修改

阅读量585

点赞数 12

CC 4.0 BY-SA版权

分类专栏：嵌入式硬件从小工到专家文章标签：嵌入式硬件

于 2025-06-25 06:52:24 首次发布

本文链接：https://blog.csdn.net/feixiaoxing/article/details/148884272

嵌入式硬件从小工到专家专栏收录该内容

51 篇文章

订阅专栏

目前人工智能越来越火，之前可能是图像和语音识别比较火，现在比较流行的是chatgpt和deepseek。特别是行业知识+deepseek的结合，这样的确可以帮助我们做很多的事情。这在之前是不可想象的事情。大多数时候，这些AI app都是可以当成一个工具来使用，或者是一个助手，可以处理很多问题，特别是一些基础问题。从小的方面来说，简单的模型+特定的soc npu也是有很大的市场，这部分也值得好好关注一下。

1、AI的主要应用领域

AI的应用领域主要就是三部分，第一个部分是图像，第二个部分是语音，第三个部分是文字。当然第二部分、第三部分有的时候是加在一起处理的。比如说系统先识别出语音内容，然后理解语音，从而做出特定的动作。

2、AI训练和部署

所谓的训练，其实就是模型训练的意思。这个模型可以看成是一个参数集合。模型可以很大，从小的几M，到大的几G、几十G都有可能。如果是几M、几十M的模型，自己用显卡训练一下问题不大，但是特别大的模型往往就需要原厂的帮助了。等模型训练好了，就可以部署这些模型了。部署的时候，可以在本地部署，也可以在云端部署。

实际使用模型也是比较简单的。就拿图像为例，我们使用的时候，就是获取到图片之后，直接喂给模型即可。处理之后，模型就会把对应的信息反馈给我们，比如说roi的位置，识别目标的类型，对应结果的概率等等。

3、计算资源

如果模型是本地部署，一般需要本地有好一点的计算资源。目前计算资源这部分就三块，一个是cpu、一个是gpu、一个是npu。cpu比较好理解，就是用cpu去加载模型计算数据，gpu就是显卡，目前主要就是nvidia公司在做。最后一个npu，是目前最通用的方式，也是大多数嵌入式soc使用的方式。通过对常见ai模型的翻译，就可以让这些模型部署到特定的soc上面运行起来。

4、npu的使用

npu可以看成是一个特殊的ip。要把模型在这个ip上面运行起来，需要几个方面的帮助。首先是底层驱动，其次是上层动态库，最后是模型翻译工具。经过这三部分，一般模型就可以在嵌入式soc上面运行起来了。

5、npu的算力

和cpu一样，npu的算力肯定是越高越好。从简单的0.5t、到现在汽车的700t，这种ip的差距很多。不过，算力越高的soc，价格肯定越贵。所以，和算力相比较，模型越实用，性价比越高，成本还是很重要的。本质上，模型和算力，都是为了应用而存在的。

6、模型从哪里来

解决了模型运行和部署的问题，下面就是模型哪里来的问题。简单的模型，可以直接参考厂家提供的范例。复杂一点的模型，一般是借鉴论文，或者是经典开源模型来解决。而对于特定的行业应用，或者客户定制的模型，一般就是对开源模型进行魔改处理。比如说，利用现有的数据，重新对模型进行裁剪和训练，这样不需要从0到1去做，而且可以满足客户的需求。

7、npu的本质

以图像处理为例，一般图像处理的模型，其基本构成就是卷积、池化和全连接。这部分用cpu当然可以去做，只不过cpu运算比较慢，没有办法达到实时处理的效果。这个时候，想到的办法，就是用硬件固化卷积、池化、全连接的逻辑，把模型放到ddr里面，通过优化访存设计和npu控制流设计，实现模型的加速处理。所以，我们才会发现，npu解决的并不是训练问题，也不是推理问题，它只解决了加速问题。