计算机视觉之Vision Transformer图像分类

Vision Transformer（ViT）简介

自注意结构模型的发展，特别是Transformer模型的出现，极大推动了自然语言处理模型的发展。Transformers的计算效率和可扩展性使其能够训练具有超过100B参数的规模空前的模型。ViT是自然语言处理和计算机视觉的结合，能够在图像分类任务上取得良好效果，而不依赖卷积操作。

Vision Transformer（ViT）简介

近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。

ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。

模型结构

ViT模型的主体结构是基于Transformer模型的Encoder部分（部分结构顺序有调整，如：Normalization的位置与标准Transformer不同），其结构图[1]如下：

模型特点

ViT模型是一种用于图像分类的模型，将原图像划分为多个图像块，然后将这些图像块转换为一维向量，加上类别向量和位置向量作为模型输入。模型主体采用基于Transformer的Encoder结构，但调整了Normalization的位置，其中最主要的结构是Multi-head Attention。模型在Blocks堆叠后接全连接层，使用类别向量的输出进行分类，通常将全连接层称为Head，Transformer Enc