【论文精读WACV_2023】FaceOff: A Video-to-Video Face Swapping System

已于 2024-08-29 18:16:49 修改
阅读量1.3k 收藏 21
点赞数 27
CC 4.0 BY-SA版权
分类专栏： 人脸相关前沿研究从入门到实战 扩散模型CV与NLP从入门到项目实战 文章标签： AI换脸 face swapping 计算机视觉 机器学习 论文精读
于 2024-01-09 17:25:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/135472737
本文介绍了FaceOff，一个基于自我监督的视频到视频（V2V）面部交换系统，旨在保留源视频的身份和表情，同时保持目标视频的背景和姿势。FaceOff通过量化的潜在空间融合视频，解决了传统面部交换方法无法保留表情的问题，无需微调即可处理未见过的身份，且推理时间不到一秒。此外，文章提出了V2VFaceSwap测试数据集，为V2V面部交换任务设立了基准。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【论文精读WACV_2023】FaceOff: A Video-to-Video Face Swapping System

一、前言

Aditya Agarwal, Bipasha Sen, Rudrabha Mukhopadhyay, Vinay Namboodiri, C.V. Jawahar

【Paper】 > 【Code】 > 【Project】
论文贡献：
(1)引入了V2V面部交换，这是一种新颖的面部交换任务，旨在交换源面部身份和表情，同时保留目标背景和姿势。
(2) 提出 FaceOff：一种以自我监督方式训练的 V2V 换脸系统。 FaceOff 通过合并两个不同的面部视频来生成连贯的视频。
(3) 该方法在推理时直接作用于没见过的身份，无需任何微调。
(4) 该方法不需要任何推理时间优化，推理时间不到一秒。
(5)发布了V2VFaceSwap测试数据集，并为V2V换脸任务建立了基准。

创新点是旧方法新任务

了解本专栏 订阅专栏 解锁全文
【论文精读WACV_2023】FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping
zik的博客
10-16 498
【Paper】【Code】The Adaptive Feature Fusion Attention (AFFA) Module 嵌入在解码器中，自适应地学习融合属性特征和以身份信息为条件的特征(生成可以门控特征的注意力masks。)，而不需要任何额外的面部分割过程。【简单来说就是h′h⋅m1−m⋅zah′h⋅m1−m⋅za​hhhzaz_aza​is a skip connection feature map，也就是说学习了m。
【论文精读WACV_2023】FastSwap: A Lightweight One-Stage Framework for Real-Time Face Swapping
zik的博客
10-24 21
【Paper】【Code】【Project】最近的face交换框架已经取得了高保真效果。然而，以往的工作由于结构较深和使用现成的网络，计算成本较高。为了克服这些问题并实现实时face swapping，我们提出了一个轻量级的单阶段框架FastSwap。我们设计了一个浅层网络，以自我监督的方式训练，没有任何手工标注。该框架的核心是一种新的解码块，称为三重自适应归一化Triple Adaptive Normalization(TAN)块，它有效地集成了身份和位姿信息。
Cascaded Attention Decoding（2023 WACV）
朴实无华的研究生活
02-01 828
为了解决Transformers缺乏学习像素之间局部（上下文）关系的能力的问题。以前的工作尝试通过在 Transformer 的编码器或解码器模块中嵌入卷积层来克服这个问题，但有时会导致特征不一致。为了解决这个问题，作者提出了一种新颖的基于注意力的解码器，即级联注意力解码器（CASCADE），它利用了层次视觉 Transformer 的多尺度特征。
【论文速递】WACV 2023 - 一种全卷积Transformer的医学影响分割模型
qq_45041871的博客
03-06 2338
我们提出了一种新的transformer，能够分割不同形态的医学图像。医学图像分析的细粒度特性所带来的挑战意味着transformer对其分析的适应仍处于初级阶段。UNet压倒性的成功在于它能够欣赏分割任务的细粒度性质，这是现有的基于transformer的模型目前不具备的能力。为了解决这个缺点，我们提出了全卷积transformer(FCT)，它建立在卷积神经网络学习有效图像表示的能力的基础上，并将它们与transformer的能力相结合，有效地捕获其输入中的长期依赖关系。
WACV2023 - 循环相似注意力的小样本医学图像分割
点亮创新之光，照亮科研梦想
02-03 2167
近年来，由于医学影像应用需求的不断提高以及对医学图像标注的专业要求，小样本学习在医学图像语义分割领域越来越受到重视。为了对数量有限的标记医学图像进行分割，现有的研究大多使用原型网络(PN)，并取得了令人瞩目的成功。然而，这些方法忽略了从所提出的表示网络中提取的查询图像特征，未能保持查询图像和支持图像之间的空间联系。在本文中，我们提出了一种新的自监督小样本医学图像分割网络，并引入了一种新的循环相似注意(CRA)模块，以充分利用查询和支持医学图像之间的像素级关系。
FaceOff:一个视频到视频的人脸交换系统论文阅读笔记
weixin_42418315的博客
07-26 540
（1）我们介绍了V2V人脸交换，这是一种新颖的人脸交换任务，旨在交换源人脸身份和表情，同时保留目标背景和姿势。 （2）我们提出了FaceOff：一种以自我监督方式训练的V2V人脸交换系统。FaceOff通过合并两个不同的人脸视频来生成连贯的视频。 （3）我们的方法在推理时直接处理看不见的身份，而无需任何微调。 （4）我们的方法不需要任何推理时间的优化，推理时间少于一秒钟。 （5）我们发布了V2VFaceSwap测试数据集，并为V2V人脸交换任务建立了基准。
WACV2023检测相关论文速览
weixin_44287798的博客
07-06 1009
Paper1 CoKe: Contrastive Learning for Robust Keypoint Detection 摘要原文: In this paper, we introduce a contrastive learning framework for keypoint detection (CoKe). Keypoint detection differs from other visual tasks where contrastive learning has been applie
Li_A_Continual_Deepfake_Detection_Benchmark_Dataset_Methods_and_Essentials_WACV_2023_paper.pdf
08-24
随着人工智能技术的飞速发展，深度伪造技术也日益精进，从而引发了对深度伪造检测技术的迫切需求。在这一背景下，Continual Deepfake Detection Benchmark（CDDB）作为一项新的深度伪造检测基准，其发布对于整个人工...
论文解析|WACV2021|RGPNET: A REAL-TIME GENERAL PURPOSE SEMANTIC SEGMENTATION
Akita·Wang's Semantic Segmentation
01-16 493
WACV2021|RGPNET: A REAL-TIME GENERAL PURPOSE SEMANTIC SEGMENTATION RGPNet：一种实时的通用语义分割 原文: https://arxiv.org/pdf/1912.01394.pdf PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks 文章目录摘要一、引入二、本文主要贡献三.RGPNet结构3.1组件3.1.1 适配器（Adapter）3.1.2 带标签松弛的渐进
2022下半年CV计算机视觉领域可投稿国际会议列表（含录用率）
一个菜鸟的奋斗
07-26 9371
本文梳理了2022下半年计算机视觉领域可以投稿的一些国际会议，根据截稿时间由近到远排序，会议举办时间都在2023年。下表会议不一定全面，供参考。
Face Swapping
u012841922的博客
06-29 1019
Dataset: https://personalpages.manchester.ac.uk/staff/timothy.f.cootes/data/talking_face/talking_face.html step 1: load images and points import cv2 from matplotlib import pyplot as plt import os import numpy as np %matplotlib inline random_ind = np.rando
2023年CCF会议最新截稿时间（偏计算机视觉CV和机器学习ML）
热门推荐
LJC的博客
07-03 10万+
CCF会议时间(实时更新) A类会议 会议简称 会议全称 截稿时间 会议时间 官方网址 CVPR2021 IEEE Conference on Computer Vision and Pattern Recognition END END http://cvpr2021.thecvf.com/ IJCAI2021 International Joint Conference on Artificial Intelligence END 2021.08.21 https://ijcai-2
CVPR 2022 | AAAI2022 | WACV 2022 超分辨率（super-resolution）方向上接收论文总结
yyywxk的博客
04-18 8683
目录CVPR 2022图像超分盲超分视频超分特殊场景AAAI 2022图像超分特殊场景WACV 2022图像超分视频超分特殊场景参考资料 CVPR 2022 官网链接：http://CVPR2022.thecvf.com 会议时间：2021年6月19日-6月24日 现将超分辨率方向上接收的论文汇总如下，遗漏之处还请大家斧正。 图像超分 Local Texture Estimator for Implicit Representation Function Paper: https://ipl.dgist
图像中物体计数：基于YOLOv5的目标检测与分割技术
m0_37603703的博客
08-21 511
然而，当物体非常小且密集时，传统的目标检测方法可能会出现较大的误差。本文将介绍一种结合YOLOv5目标检测和图像分割技术的方法，以提高物体计数的准确性，并最终生成一个可以在手机端调用的SO文件。每个小区域的大小可以根据实际情况进行调整，一般来说，小区域的大小应该能够包含一定数量的物体，但又不至于过大，以免影响检测精度。YOLOv5是一种非常强大的目标检测模型，它能够在保证检测速度的同时，提供较高的检测精度。最后，我们将所有小区域的检测结果组合起来，得到整个图像的物体计数结果。3. 在手机端调用SO文件。
无人机航拍数据集|第23期 无人机军事目标检测YOLO数据集1700张yolov11/yolov8/yolov5可训练
猫脸码客的博客
08-25 401
无人机军事目标检测YOLO数据集。
目标跟踪 YOLO11 单目标跟踪
2401_84769586的博客
08-23 198
目标跟踪 单目标跟踪。
无人机航拍数据集|第28期 无人机道路路面病害目标检测YOLO数据集11696张yolov11/yolov8/yolov5可训练
最新发布
猫脸码客的博客
08-25 57
无人机道路路面病害目标检测YOLO数据集。
计算机视觉第一课opencv（三）保姆级教学
m0_74977182的博客
08-21 1173
本文介绍了OpenCV中的图像形态学处理和边缘检测技术。在形态学部分，详细讲解了腐蚀、膨胀、开运算、闭运算等基本操作及其应用场景，如噪声消除、空洞填充等。在边缘检测部分，重点介绍了Sobel算子、Scharr算子、Laplacian算子和Canny边缘检测算法，分析了Canny检测的优势及其实现步骤（包括降噪、梯度计算、非极大值抑制和双阈值处理）。通过代码示例演示了不同算子的效果对比，为计算机视觉初学者提供了OpenCV图像处理的实用教程。
无人机航拍数据集|第27期 无人机交通目标检测YOLO数据集3717张yolov11/yolov8/yolov5可训练
猫脸码客的博客
08-25 120
无人机交通目标检测YOLO数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值