Multi-Concept Customization of Text-to-Image Diffusion——【代码复现】

本文是发表于CVPR 2023上的一篇论文：[2212.04488] Multi-Concept Customization of Text-to-Image Diffusion (arxiv.org)

一、引言

本文主要做的工作是对stable-diffusion的预训练模型进行微调，需要的显存相对较多，论文中测试时是在两块GPU上微调，需要30GB的显存，不过他调的batchsize=8，因为我自己的算力有限，我把复现的时候把batchsize调成了2，然后在两块3090上跑的，至于最低要求多少还没测试，不过个人认为最低也要有一张3090。

在复现前，请自行安装好Python的环境，本文就不叙述了哈哈。

二、下载相关文件及搭建环境

1.下载项目及环境搭建

adobe-research/custom-diffusion: Custom Diffusion: Multi-Concept Customization of Text-to-Image Diffusion (CVPR 2023) (github.com)

上述链接是本文代码的链接，这篇文章的代码实际上是基于Stable-diffusion构建的，所以我的建议是可以先去复现一下stable-diffusion的代码，再来学习这篇文章以及代码。stable-diffusion的复现可以看我另外一篇文章：stable-diffusion复现笔记，当然如果你想直接上手，可以按照项目中readme来构建，这里我默认已经有装过stable-diffusion了哈，因为很多文件都是相同的，如果你是直接上手，有些文件比如sd-v1-4.ckpt的下载等问题，都可以去看我这篇stable-diffusion复现笔记。

git clone https://github.com/adobe-research/custom-diffusion.git
cd custom-diffusion
git clone https://github.com/CompVis/stable-diffusion.git
cd stable-diffusion
conda env create -f environment.yaml
conda activate ldm
pip install clip-retrieval tqdm 

上述是论文给出的环境搭建代码，如果你跟我一样已经做过s