昇思MindSpore学习笔记4-01生成式--CycleGAN图像风格迁移互换

摘要：

        记录了昇思MindSpore AI框架用循环对抗生成网络模型CycleGAN实现图像匹配的方法、步骤。包括环境准备、数据集下载、数据加载和预处理、构建生成器和判别器、优化、模型训练和推理等。

1.模型介绍

1.1模型简介

CycleGAN(Cycle Generative Adversarial Network)

循环对抗生成网络模型

        没有配对示例

        学习将图像从源域 X 转换到目标域 Y 的方法

应用领域

        域迁移Domain Adaptation(图像风格迁移)

同类模型Pix2Pix

        要求训练数据成对

        现实很难找到

1.2模型结构

CycleGAN 网络

        两个镜像对称的GAN网络

结构图：

以苹果和橘子为例

X          苹果

Y         橘子

F          将苹果变橘子的变换生成器

G         将橘子变苹果的变换生成器

DX       苹果判别器

DY       橘子判别器

模型结果

        苹果变橘子模型权重

        橘子变苹果模型权重

        苹果变橘子产生新图像

        橘子变苹果产生新图像

模型损失函数

        循环一致损失(Cycle Consistency Loss)最重要

        循环损失计算过程如图所示：

        苹果图片 x --> 生成器G  --> 伪橘子

           伪橘子 --> 生成器F  --> 苹果风

        苹果图片x   -   苹果风 --> 苹果循环一致损失

反之亦然

        橘子图片 y --> 生成器 F  --> 伪苹果