【多模态论文阅读系列二】— MiniCPM-V

校招/实习简历修改、模拟面试欢迎私信

《MiniCPM-V: A GPT-4V Level MLLM on Your Phone》

在本节中，我们介绍了MiniCPM-V的模型架构，概述了其总体结构和自适应高分辨率视觉编码方法。MiniCPM-V系列的设计理念是在性能和效率之间实现良好的平衡，这是一个更实用的目标，适用于更广泛的现实世界应用，在架构设计、训练、推理和部署中实现。

3.1 architecture

该模型包括三个关键模块：视觉编码器、压缩层和LLM。输入图像首先由视觉编码器利用自适应视觉编码方法进行编码。具体来说，我们采用SigLIP SoViT-400m/14[115]作为视觉编码器。然后，压缩层对视觉标记进行压缩，压缩层采用具有一层交叉注意力的感知重采样器结构。最后，压缩的视觉标记与文本输入一起被馈送到LLM中，用于条件文本生成。

3.2 Adaptive Visual Encoding

最近，人们对视觉编码在MLLM性能中的基本作用越来越达成共识[76,68]，特别是对于OCR等细粒度功能。为了有效，一个好的视觉编码策略应该既尊重输入的原始纵横比，又保留足够的视觉细节（高分辨率）。为了提高效率，图像编码的视觉标记数量应该适中，以便在终端设备上负担得起。为此，我们利用了LLaVA UHD[107]提出的自适应视觉编码方法。