ViT：AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE论文阅读笔记

论文《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》由谷歌团队发表于ICLR 2021，主要介绍了Vision Transformer (ViT) 的设计与性能。以下是关于该论文的一些重要引用： ### 关键概念概述 - **图像分割为Patch序列**：为了使Transformer能够处理图像数据，论文提出将图像划分为固定大小的块（patches）。这些块被线性映射为向量，并附加位置编码以保留空间信息[^2]。 - **减少归纳偏差**：相比于传统卷积神经网络(CNN)，ViT通过直接处理图像patch序列的方式显著减少了图像特定的归纳偏差。这意味着模型更加灵活，能够在不同类型的图像任务中表现出更强的泛化能力[^3]。 - **预训练的重要性**：研究发现，在大规模数据集上进行预训练对于提升ViT的表现至关重要。即使是在较小的数据集上微调时，经过充分预训练的ViT也能达到甚至超过现有最佳卷积网络的效果[^4]。 - **计算效率高**：尽管Transformer架构通常被认为计算成本较高，但实验表明，当应用于适当规模的任务时，ViT所需的计算资源实际上低于许多先进的CNN模型。 ### 技术细节说明 下面是一段简单的Python代码实现如何将一张图片转换成适合输入给ViT模型的形式： ```python import numpy as np def split_image_into_patches(image, patch_size=16): height, width, channels = image.shape patches = [] for y in range(0, height, patch_size): for x in range(0, width, patch_size): patch = image[y:y+patch_size, x:x+patch_size] if patch.shape[:2] == (patch_size, patch_size): # Ensure full-sized patches only. patches.append(patch.flatten()) return np.array(patches) # Example usage with a dummy RGB image of size 224x224 pixels and 3 color channels. dummy_image = np.random.rand(224, 224, 3) image_patches = split_image_into_patches(dummy_image) print(f"Number of Patches Generated: {len(image_patches)}") ``` 此函数会把任意尺寸的RGB图像切割成一系列形状相同的补丁，准备作为后续嵌入层的输入源材料之一。 --- ####