【AI论文】CSD-VAR：视觉自回归模型中的内容-风格解构

摘要：从单张图像中解构内容与风格（即内容-风格解构，Content-Style Decomposition, CSD），能够实现对提取内容的重新情境化以及对提取风格的样式化处理，为视觉合成提供更大的创作灵活性。尽管近期的一些个性化方法已探索了显式内容风格的解构，但它们仍主要针对扩散模型进行定制。与此同时，视觉自回归建模（Visual Autoregressive Modeling, VAR）作为一种具有下一尺度预测范式的有前景的替代方案应运而生，其性能可与扩散模型相媲美。在本文中，我们探索将VAR作为CSD的生成框架，利用其尺度级生成过程来改善解构效果。为此，我们提出了CSD-VAR这一新方法，它引入了三大关键创新：（1）一种尺度感知的交替优化策略，使内容与风格表示与其各自尺度对齐，以增强分离效果；（2）一种基于奇异值分解（SVD）的校正方法，以减少内容信息泄漏到风格表示中；（3）一种增强型键值（Key-Value, K-V）记忆机制，以增强内容身份的保留。为了评估这一任务，我们引入了CSD-100数据集，该数据集专为内容-风格解构而设计，包含以多种艺术风格呈现的多样化主题。实验表明，CSD-VAR优于先前的方法，实现了更优的内容保留和样式化保真度。Huggingface链接：Paper page，论文链接：2507.13984

一、研究背景和目的

研究背景

在计算机视觉领域，图像生成和编辑技术日益成熟，尤其是生成对抗网络（GANs）和扩散模型（DMs）的发展，使得从文本描述生成高质量图像成为可能。然而，这些方法往往受限于模型结构和训练数据的规模，难以同时满足高效性、灵活性和高质量生成的需求。近年来，自回归模型（AR）在自然语言处理领域取得了巨大成功，其逐字符/词生成的特性启发了视觉自回归模型（VAR）的发展。VAR模型通过从低分辨率到高分辨率的逐步生成过程，实现了高效的图像生成，并且在某些任务上达到了与扩散模型相当的性能。

与此同时，内容-风格解构（CSD）作为图像生成和编辑中的一个重要任务，旨在从单张图像中分离出内容和风格信息，以便进行内容的重新情境化和风格的迁移。尽管已有一些方法探索了CSD任务，但它们主要针对扩散模型设计，且往往忽略了自回归模型在CSD任务中的潜力。此外，现有的CSD数据集和评估指标尚不完善，难以全面评估不同方法在内容保留和风格迁移方面的性能。

研究目的

本研究旨在探索VAR模型在CSD任务中的应用，提出一种新颖的CSD-VAR方法，通过尺度感知的交替优化策略、基于SVD的校正方法以及增强型键值记忆机制，实现更高效、更灵活的内容-风格解构。同时，本研究还致力于构建一个专门用于CSD任务的数据集CSD-100，并提供一套全面的评估指标，以推动CSD领域的发展。

二、研究方法

1. 尺度感知的交替优化策略

CSD-VAR方法的核心在于其尺度感知的交替优化策略。该方法将图像生成过程划分为多个尺度阶段，从低分辨率到高分辨率逐步生成。在每个尺度阶段，内容表示和风格表示分别进行优化，并通过交替优化的方式确保两者之间的分离。具体来说，早期尺度主要编码风格信息，而后期尺度则主要捕捉内容信息。通过这种方式，CSD-VAR能够在生成过程中更好地解构内容和风格。

2. 基于SVD的校正方法

为了进一步减少内容信息泄漏到风格表示中，CSD-VAR引入了基于奇异值分解（SVD）的校正方法。该方法通过对风格表示进行SVD分解，并去除与内容信息相关的奇异向量，从而确保风格表示的独立性。这种校正方法有效减少了内容泄漏问题，提高了风格迁移的保真度。

3. 增强型键值记忆机制

为了增强内容身份的保留，CSD-VAR还引入了增强型键值（K-V）记忆机制。该机制通过在自回归变压器的不同层中插入额外的K-V记忆对，存储和检索与内容相关的信息。这些额外的K-V记忆对不仅提高了模型对复杂内容和风格概念的捕捉能力，还增强了内容身份在生成过程中的一致性。

4. CSD-100数据集构建

为了评估CSD-VAR方法的性能，本研究构建了CSD-100数据集。该数据集包含100张精心挑选的图像，涵盖了多样化的内容和风格组合。通过手动筛选和ChatGPT辅助过滤，确保了数据集的高质量和多样性。CSD-100数据集为CSD任务提供了一个全面的评估平台，有助于推动该领域的发展。

三、研究结果

1. 定量评估结果

在CSD-100数据集上，CSD-VAR方法在内容对齐、风格对齐和文本对齐等多个指标上均优于先前的方法。具体来说，CSD-VAR在内容对齐指标（CSD-C和CLIP-I）上取得了显著提升，表明其能够更好地保留原始图像的内容信息。同时，在风格对齐指标（CSD-S和DINO）上，CSD-VAR也表现出色，有效减少了内容泄漏问题，提高了风格迁移的保真度。

2. 定性评估结果

通过用户研究，CSD-VAR方法在内容重新情境化和风格迁移任务中均获得了较高的偏好率。参与者普遍认为CSD-VAR生成的图像在内容保留和风格迁移方面更加自然和逼真。此外，CSD-VAR方法还展现出了较强的泛化能力，能够处理各种复杂的内容和风格组合。

3. 消融研究结果

消融研究进一步验证了CSD-VAR方法中各个组件的有效性。实验结果表明，尺度感知的交替优化策略、基于SVD的校正方法以及增强型K-V记忆机制均对提升模型性能起到了重要作用。特别是增强型K-V记忆机制的引入，显著提高了模型对复杂内容和风格概念的捕捉能力。

四、研究局限

尽管CSD-VAR方法在CSD任务中取得了显著成果，但仍存在一些局限性：

1. 数据集规模有限：目前CSD-100数据集仅包含100张图像，难以全面覆盖各种复杂的内容和风格组合。未来需要构建更大规模、更多样化的数据集以进一步评估模型的泛化能力。

2. 计算成本较高：CSD-VAR方法中的尺度感知交替优化策略和基于SVD的校正方法增加了模型的计算复杂度。未来需要探索更高效的优化算法和校正方法以降低计算成本。

3. 对复杂风格的处理能力有限：尽管CSD-VAR方法在风格迁移方面取得了较好效果，但对于某些复杂或抽象的风格仍难以完全捕捉。未来需要进一步提升模型对复杂风格的处理能力。

五、未来研究方向

针对上述研究局限，未来可以从以下几个方面展开深入研究：

1. 构建更大规模的数据集：通过收集更多样化的图像数据，构建更大规模、更高质量的CSD数据集。这将有助于更全面地评估模型的性能，并推动CSD领域的发展。

2. 优化模型结构和算法：探索更高效的模型结构和优化算法，以降低计算成本并提高生成效率。例如，可以研究轻量级网络结构或分布式训练方法等。

3. 提升对复杂风格的处理能力：通过引入更先进的风格表示学习方法或融合多模态信息等方式，提升模型对复杂风格的处理能力。这将有助于实现更自然、更逼真的风格迁移效果。

4. 探索跨领域应用：将CSD-VAR方法应用于其他相关领域，如视频生成、三维模型生成等。通过跨领域应用探索，可以进一步拓展CSD技术的应用范围，并推动相关领域的创新发展。