CVPR 2020の動向・気付き・メタサーベイ 

1
綱島 秀樹 (早稲田大学,産総研),中嶋 航大 (産総研),土屋 志高 (早稲田大学)

Group 14.1: Image and Video Synthesis
2
image and video synthesis流行

• セグメンテションマスクごとに処理

– マスクの部分ごとに処理を行い、AdaINを行うことで生成品質を
向上させるモデルが多く提案されている

• 順当な発展であるが、生成品質がサチりつつある中で

細かい部分に注目してユーザビリティと品質を向上

Zhu et al., “SEAN: Image Synthesis With Semantic Region-Adaptive Normalization”.

Men et al., “Controllable Person Image Synthesis With Attribute-Decomposed GAN”.

3
image and video synthesis流行

• 教師無しで2Dから3D表現を獲得

– 視点や照明環境など様々な帰納バイアスを与えることで、陽に
3D表現を獲得可能

• CVPR2020 best paper

• 3Dの教師は不要!

Shangzhe et al., “Unsupervised Learning of Probably Symmetric Deformable 3D Objects From Images in the Wild”. 

4
image and video synthesis流行

• 3D表現を経由して画像生成

– 2Dの訓練画像から2D画像の生成において、中間で陽に3D表現
を定義し、2D画像の3D操作可能にする

• パラメトリックな3Dモデルを経由するものや、Neural
Renderingを用いるものが存在する

• 3Dの教師は不要!

Zhou et al., “Rotate-and-Render: Unsupervised Photorealistic Face Rotation From Single-View Images”.

Liao et al., “Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis”.

5
image and video synthesis流行

• 離れた画素の情報を活用

– 依然として流行

• 純粋にSelf-Attentionを使った系は減少傾向

– 高解像度への適応が可能な手法が求められる

Wang et al., “Attentive Normalization for Conditional Image Generation”.

6
image and video synthesis流行

• 離れた画素の情報を活用

– Self-Attentionでは捉えられない情報を活用する方法が求めら
れている

• 例えば,クロススケール自己相似性

Mei et al., “Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining”.

7
どんな研究室の論文がAcceptされるのか

• Chen Change (Cavan) Loy

– Nanyang Technological University (NTU) 准教授

• CVPR2020に9本Accept

http://personal.ie.cuhk.edu.hk/~ccloy/ より画像引用

X. Zhan et al., "Self-Supervised Scene De-occlusion". [Oral]
Z. Yang et al., "TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting".
C. Guo et al., "Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement ".
L. Jiang et al., "DeeperForensics-1.0: A Large-Scale Dataset for Real-World Face Forgery Detection".
X. Zhan et al., "Online Deep Clustering for Unsupervised Representation Learning ".
Y. Hou et al., "Inter-Region Affinity Distillation for Road Marking Segmentation".
L. Yang et al., "Learning to Cluster Faces via Confidence and Connectivity Estimation".
Y. Cao et al., "Prime Sample Attention in Object Detection ".
D. Zhou et al., "EcoNAS: Finding Proxies for Economical Neural Architecture Search".
8
どんな研究室の論文がAcceptされるのか

• 充実したプロジェクトページ

– 9個中8個の論文にProject Pageが存在している

– 9個中6個の論文でコード(github)が公開されている

• このような論文の方が読まれやすい?

http://personal.ie.cuhk.edu.hk/~ccloy/ より画像引用

9
充実したプロジェクトページ

• Self-Supervised Scene De-occlusion

– demo, data, trainなどのコードが公開されている

• 次の研究へと続き引用されやすい?

• Acceptされるだけで終わらない!



https://github.com/XiaohangZhan/deocclusion/ 

10
充実したプロジェクトページ

• TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting

– 結果と手法が一目でわかるようなページ構成

https://yzhq97.github.io/transmomo/ より画像引用


【CVPR 2020 メタサーベイ】Image and Video Synthesis_Group14.1

  • 1.
    CVPR 2020の動向・気付き・メタサーベイ 
 1 綱島秀樹 (早稲田大学,産総研),中嶋 航大 (産総研),土屋 志高 (早稲田大学)
 Group 14.1: Image and Video Synthesis
  • 2.
    2 image and videosynthesis流行
 • セグメンテションマスクごとに処理
 – マスクの部分ごとに処理を行い、AdaINを行うことで生成品質を 向上させるモデルが多く提案されている
 • 順当な発展であるが、生成品質がサチりつつある中で
 細かい部分に注目してユーザビリティと品質を向上
 Zhu et al., “SEAN: Image Synthesis With Semantic Region-Adaptive Normalization”.
 Men et al., “Controllable Person Image Synthesis With Attribute-Decomposed GAN”.

  • 3.
    3 image and videosynthesis流行
 • 教師無しで2Dから3D表現を獲得
 – 視点や照明環境など様々な帰納バイアスを与えることで、陽に 3D表現を獲得可能
 • CVPR2020 best paper
 • 3Dの教師は不要!
 Shangzhe et al., “Unsupervised Learning of Probably Symmetric Deformable 3D Objects From Images in the Wild”. 

  • 4.
    4 image and videosynthesis流行
 • 3D表現を経由して画像生成
 – 2Dの訓練画像から2D画像の生成において、中間で陽に3D表現 を定義し、2D画像の3D操作可能にする
 • パラメトリックな3Dモデルを経由するものや、Neural Renderingを用いるものが存在する
 • 3Dの教師は不要!
 Zhou et al., “Rotate-and-Render: Unsupervised Photorealistic Face Rotation From Single-View Images”.
 Liao et al., “Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis”.

  • 5.
    5 image and videosynthesis流行
 • 離れた画素の情報を活用
 – 依然として流行
 • 純粋にSelf-Attentionを使った系は減少傾向
 – 高解像度への適応が可能な手法が求められる
 Wang et al., “Attentive Normalization for Conditional Image Generation”.

  • 6.
    6 image and videosynthesis流行
 • 離れた画素の情報を活用
 – Self-Attentionでは捉えられない情報を活用する方法が求めら れている
 • 例えば,クロススケール自己相似性
 Mei et al., “Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining”.

  • 7.
    7 どんな研究室の論文がAcceptされるのか
 • Chen Change(Cavan) Loy
 – Nanyang Technological University (NTU) 准教授
 • CVPR2020に9本Accept
 http://personal.ie.cuhk.edu.hk/~ccloy/ より画像引用
 X. Zhan et al., "Self-Supervised Scene De-occlusion". [Oral] Z. Yang et al., "TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting". C. Guo et al., "Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement ". L. Jiang et al., "DeeperForensics-1.0: A Large-Scale Dataset for Real-World Face Forgery Detection". X. Zhan et al., "Online Deep Clustering for Unsupervised Representation Learning ". Y. Hou et al., "Inter-Region Affinity Distillation for Road Marking Segmentation". L. Yang et al., "Learning to Cluster Faces via Confidence and Connectivity Estimation". Y. Cao et al., "Prime Sample Attention in Object Detection ". D. Zhou et al., "EcoNAS: Finding Proxies for Economical Neural Architecture Search".
  • 8.
    8 どんな研究室の論文がAcceptされるのか
 • 充実したプロジェクトページ
 – 9個中8個の論文にProjectPageが存在している
 – 9個中6個の論文でコード(github)が公開されている
 • このような論文の方が読まれやすい?
 http://personal.ie.cuhk.edu.hk/~ccloy/ より画像引用

  • 9.
    9 充実したプロジェクトページ
 • Self-Supervised SceneDe-occlusion
 – demo, data, trainなどのコードが公開されている
 • 次の研究へと続き引用されやすい?
 • Acceptされるだけで終わらない!
 
 https://github.com/XiaohangZhan/deocclusion/ 

  • 10.
    10 充実したプロジェクトページ
 • TransMoMo: Invariance-DrivenUnsupervised Video Motion Retargeting
 – 結果と手法が一目でわかるようなページ構成
 https://yzhq97.github.io/transmomo/ より画像引用