【CVPR_2023】StyleIPSB: Identity-Preserving Semantic Basis of StyleGAN for High Fidelity Face Swapping

已于 2024-08-30 12:14:08 修改
阅读量357 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 人脸相关前沿研究从入门到实战 文章标签： 计算机视觉 Face Swapping AI换脸 人工智能 机器学习
于 2023-07-27 12:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/131742032
本文提出了StyleIPSB，一种用于StyleGAN的保持身份的语义基础，用于高保真度的脸部交换任务。StyleIPSB允许在保留毛孔级细节和身份的同时，控制姿态、表情和光照。通过3DMM-StyleGAN映射网络，将3DMM参数映射到StyleIPSB坐标，实现面部属性的精确转换。实验表明，StyleIPSB在保持身份和细节方面优于其他方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【CVPR_2023】StyleIPSB: Identity-Preserving Semantic Basis of StyleGAN for High Fidelity Face Swapping

0、前言

Diqiong Jiang 1 , Dan Song2*, Ruofeng Tong1*, Min Tang1
【Paper】【Code】【supp】

卖点是pore-level details and identify-preserving.
Pipeline：

  • 首先是StyleIPSB Construction，其有三个关键点：a subspace of W + W+ W+
了解本专栏 订阅专栏 解锁全文
【CVPR2022论文精读DiffFace】DiffFace: Diffusion-based Face Swapping with Facial Guidance
zik的博客
05-25 2081
本文分享DiffFace，一种face-swapping的方法，在介绍全文的时候会在段末加入部分笔者的见解，希望对于论文的理解有一定的帮助。这是第一个将扩散模型应用于face-swapping任务的方法。在training stability，high fidelity和controllability方面都有一定的优势。在扩散模型训练时用了条件训练，采样时也用了条件引导采样，都是为了保存source face的身份信息。
3D、扩散模型、GAN、StyleGAN、MAE.等【face-swapping方法汇总】
zik的博客
05-25 4037
face-swapping是将一张脸的身份（肤色、面部皮肤、眉毛、眼睛、鼻子、嘴唇和嘴巴等）与另一张脸的非外观属性（表情、头部姿势、光照、图像分辨率、注释方向、头发、眼镜、耳朵、耳环、颈部和背景等非内部人脸区域）相结合，生成合成人脸。
论文阅读《StyleIPSB: Identity-Preserving Semantic Basis of StyleGAN for High Fidelity Face Swapping》
july_Ai的博客
07-24 1418
PS：什么是语义基？“语义基础”（Semantic Basis）是指一组特征向量，表征了数据（例如图像）中的语义信息。在StyleGAN和其他生成对抗网络中，语义基础通常用于生成图像的控制。通过调整生成模型的语义基础系数，可以实现对生成图像的样式和特征的控制，例如改变生成图像的面部表情、姿势和视角等。
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR 2022 论文列表
AI浩
03-24 1万+
CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Processing) 4. 估计(Estimation) 5. 图像&视频检索/视频理解(Image&Video Retrieval/Video Understanding) 6. 人脸(Face) 7. 三维视觉(3D Vision) 8. 目标跟踪(Object Tracking) 9. 医学影像(Medical Imag
人脸重演论文合集 Collection of face Reenactment papers
qq_37160051的博客
12-12 843
本人收集的一些有关人脸重演的论文，以时间线倒叙列出，相同年份的按字母顺序排列。
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 5030
【CVPR2022】完整论文列表
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2715
CVPR2022完整论文列表
扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5265
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
目标跟踪 YOLO11 单目标跟踪
2401_84769586的博客
08-23 133
目标跟踪 单目标跟踪。
2025-08-17 李沐深度学习16——目标检测
zheliku的博客
08-17 809
目标检测是计算机视觉的核心任务，旨在识别图片中多个感兴趣物体并确定其位置（通过边界框表示）。相比图像分类，目标检测需处理多物体识别和定位问题，应用场景广泛，如自动驾驶、安防监控和工业质检。 关键方法包括**锚框（Anchor Box）**技术，通过预定义候选框并预测其偏移量来简化边界框回归。**交并比（IOU）用于评估锚框与真实框的重叠程度，而非极大值抑制（NMS）**则用于去除冗余预测框。COCO是目标检测领域的重要数据集，包含80类物体和超150万标注实例。 目标检测标注成本高、计算复杂，但基于锚框的算
图像均衡化详解：从直方图均衡到 CLAHE，让图片告别 “灰蒙蒙“
Harrytutu_ZuiYue的博客
08-24 675
图像均衡化技术通过调整亮度分布改善图片质量。基础方法是直方图均衡化，将集中的灰度值重新分配至0-255范围，适用于整体偏暗/亮的图片。进阶的CLAHE算法采用分块处理，结合对比度限制，能更好保留局部细节，特别适合处理逆光、阴影等复杂场景。MATLAB实现对比显示，CLAHE在保持自然度的同时有效增强暗部细节，且抑制噪声。实际应用中，简单场景可用常规均衡化，复杂明暗场景推荐CLAHE，通过调整ClipLimit参数可获得最佳效果。该技术能显著改善"灰蒙蒙"图片的视觉效果。
计算机视觉与自然语言处理技术体系概述
whdehcy的博客
08-24 153
计算机视觉：从 “分类（整体判断）” 到 “检测（定位 + 分类）”“分割（像素级精细判断）”，再到 “跟踪（动态关联）”“生成（创造）”，实现从 “静态图像理解” 到 “动态视频分析” 再到 “视觉内容创造” 的能力升级；自然语言处理：从 “分类（整体文本判断）” 到 “匹配（文本间关联）”“标注（精细信息提取）”，再到 “生成（文本创造）”，实现从 “文本浅层分析” 到 “语义深层理解” 再到 “语言内容创造” 的能力升级。
【计算机视觉与深度学习实战】08基于DCT、DFT和DWT的图像变换处理系统设计与实现（有完整代码python3.13可直接粘贴使用）
nmdbbzcl的博客
08-22 119
离散余弦变换（DCT）是一种重要的正交变换，最初由Ahmed、Natarajan和Rao在1974年提出[1]。DCT变换基于余弦函数族的正交性质，是实数域上的线性变换，具有许多优良的数学性质。根据Wallace在1991年的分析[4]，DCT变换的提出主要是为了克服DFT变换在处理实值信号时产生的冗余问题。
【计算机视觉】CaFormer
最新发布
藓类少女的博客
08-24 716
特性描述优势混合模型结合CNN和Transformer既有CNN的局部性、平移不变性，又有Transformer的全局建模能力坐标注意力 (CA)沿空间坐标方向分解注意力大幅降低计算量，同时能精准捕获位置信息分层特征图输出多尺度特征图非常适合密集预测任务（检测、分割）高效相比纯ViT，在相同计算量下性能更好在精度和速度之间取得了更好的平衡CaFormer是视觉领域一个重要的骨干网络（Backbone），它通过创新的坐标注意力机制和混合架构。
[2025CVPR-目标检测方向]PointSR：用于无人机视图物体检测的自正则化点监控
hasakie的博客
08-23 50
本文提出PointSR框架，针对无人机视角目标检测中标注成本高和泛化性差的问题，创新性地采用自正则化点监督机制。通过时序集成编码器动态优化锚框形状解决训练不稳定问题，结合信息样本收集器筛选关键负样本提升效率。在DroneVehicle等数据集上实现AP50最高7.2%的提升，且对标注扰动具有强鲁棒性（方差降低81.7%）。该方法显著降低标注成本，为无人机检测的实际应用提供了高效解决方案。
[2025CVPR-目标检测方向]学习增量对象检测的内生注意力
hasakie的博客
08-23 951
摘要： 本文提出LEA（Learning Endogenous Attention）方法，解决增量目标检测（IOD）中因标注不完整性导致的语义冲突问题。传统方法通过补全标注易引入噪声，而LEA创新性地采用“标注-实例对齐”范式，模仿人脑内源注意力机制：1）设计轻量级内源注意力模块（EAMs）动态聚焦新类别，冻结旧参数以降低遗忘；2）基于能量的任务调制器（ETM）自动识别任务ID。实验表明，LEA在COCO和VOC数据集上AP50最高提升6.1%，多任务场景抗遗忘性优于基线8.1%，且EAM仅增加0.84%参
母猪姿态转换行为识别：计算机视觉与行为识别模型调优指南
Loving_enjoy的博客
08-18 1748
print(f"模型参数量：{sum(p.numel() for p in model.parameters())/1e6:.2f}M")sequence = [0, 0, 0, 1, 1, 2, 2, 3, 3, 0] # 0:站立, 1:侧卧, 2:俯卧, 3:行走。plt.subplot(122), plt.imshow(augmented), plt.title("增强后图像")plt.subplot(121), plt.imshow(original), plt.title("原始图像")
（纯新手教学）计算机视觉（opencv）实战六——图像形态学（腐蚀、膨胀、开运算、闭运算、梯度、顶帽、黑帽）
2302_78022640的博客
08-21 2132
腐蚀：缩小白色区域，去噪点。膨胀：扩大白色区域，填洞。开运算：去噪、断开。闭运算：填洞、连接。梯度：提取边缘。顶帽：突出亮斑。黑帽：突出暗斑。形态学操作广泛应用于：图像预处理（去噪、增强特征）OCR 文字识别（加粗或断开笔画）工业检测（焊点检测、缺陷检测）医学图像处理（血管提取）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值