CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
2 likes1,157 views
CVPR 2019: IEEE Conference on Computer Vision and Pattern Recognition 日付： 2019年6月16日(日) – 2019年6月20日(木) 場所： アメリカ合衆国 カリフォルニア州 ロング・ビーチ ロングビーチ・アリーナ 参加速報、まずは1日目と2日目のTutorial&Workshopについてです
CVPR2019@ロングビーチ参加速報（前編～Tutorial&Workshop～）
- 2. はじめに 本資料はCVPR’19の様子をお伝えするための資料です 基本的にどこでどんな研究がされてたかの私信メモです IEEE Conference on Computer Vision and Pattern Recognition ・Tutorial&Workshop (6/16~6/17) ←この資料の内容 ・Conference Session (6/18~6/20) http://cvpr2019.thecvf.com/
- 3. 2nd Multimodal Learning and Applications Workshop (MULA 2019) • https://mula-workshop.github.io/ • タイトルにある通り、複数種のセンサやデータを組み合わせたMultimodalアプ リのWorkshop • WiFiによる行動認識や、FaceRecognitionとSpeakerRecogniyionを組み合わ せる話、 • Color and Depth Disentangle といった言葉も飛び交った（Disentanle流行っ てるなぁ） • SoundとVisionの組み合わせが多かった。ヒトはVisionからも音声を予測＆誤 差確認しているという仮説から、補完効果があるだろうと。 • 周期性などから抽出する音の特徴量『Sound Texture』って言葉は初めて聞い た（2011年からあったらしい）、動画の特徴量との相関が出るとか（そりゃそ うよね、さざ波の音とかって動画と音声の相関高そうですし） • この音って画像中のどのObjectが発してるの？くらいなら既にかなり識別でき る様子（それもそうか、技術の進化は早いなぁ）
- 4. Invited Speaker: Kristen Grauman - Disentangling Object Sounds in Video • 動画中から音源の個数や種類のヒントを得て、周波数スペクトルに対す るMaskを生成して、音源をDisentangleする手法。 • そういえば非負値行列因子分解もDisentangleの一種と言ますもんね • ところで『ボーダーシャツの人がアコーディオンに誤認識されちゃうの』って発言に笑っ てしまった
- 5. Learning audio-visual Correspondence • 動画中から現在の音を発している音源を発見する • 学習データセット構築が課題で、動画と音声のペアをシャッフルしてそ れを識別させるといったテクニックを使う • 画像＆音声に限らず、こういった枠組みの研究は今後も様々なデータ組 み合わせで広がりそうな予感！（わくわく）
- 6. Distributed Private Machine Learning for Computer Vision: Federated Learning, Split Learning and Beyond • Federated LearningとSplit LearningのWorkshop 似てるようですがこれらは別物です（下図参照） • みんなデータコストやマシンリソースに苦しんでいるのか、（そもそも 大きな部屋ではないけど）立ち見が出るほど満席御礼 私個人がじっと座ってるのが本当に嫌いな人種なので苦痛で仕方なかった、 よってFederatedのパートだけ聴講して即離脱 • Workshopサイトに重要論文がまとめられているのでチェックすべし https://nopeekcvpr.github.io/ Split Learning
- 7. Distributed Private Machine Learning for Computer Vision: Federated Learning, Split Learning and Beyond • Federated Learningに興味津々らしく質疑応答で次々と手が挙がった モデルは全員で同じものを共有しないといけないのか？ いえす、ただしデプロイするのは最初の１回だけでOK 悪意あるユーザでモデルが破壊されるリスクは無いのか？ いえす、そういう研究も出てきている ユーザ端末に搭載のモデルは、各ユーザに特化したモデルにできないか？ それが出来た方が価値は大きい、しかし、それは簡単には出来ない。 おそらく、個人の嗜好を抽出するのが容易ではないということだろう。 最近の検索傾向や流行などを取り入れるようなモデルにすると、例えばサッカーW杯が開催 されたら、全ユーザがしばらくはサッカー好きと判断されるだろう。とのこと。 • 最後に、Federatedが力を発揮するシーンが述べられた
- 8. Domain Generalization by Solving Jigsaw Puzzles • Sourceに複数のドメインがあり、それらを駆使してUnknownである Targetドメインでの性能を向上させるというDomain Generalization • SupervisedでClassifierを学習するネットワークに、Jigsawされた画像 を復元するSelf-supervisedを加えてMulti-Task-Learningさせる • Supervised部分がclass識別の特徴を捉え、Self-supervised部分が Domain-Invariantな特徴を捉える。 • 画像認識に限って言えば、輪郭などがDomain-Invariantになる印象な ので、 JigsawによるSelf-supervisedはたしかに筋がいいかも 参照： http://openaccess.thecvf.com/content_CVPR_2019/papers/Carlucci_Domain_Generalization_by_Solvi ng_Jigsaw_Puzzles_CVPR_2019_paper.pdf
- 9. Discovering Fair Representations in the Data Domain • Fairnessの目的の１つは、GenderなどのSensitive Parameterを取り 除いて、かつ、タスク性能を低下させないようなRepresentationを得 ること • 実際、Fairになったデータってどんななの？というのが分からない（高 次元特徴量表現されているため）、というわけで、Fairにしたデータ （画像）がどんなものか可視化したよ！という研究 • それだけ！？と思ったけど、ちゃんとFairにした後のデータで予測性能 が従来より向上していた。わりと定番っぽいネットワーク構造だが、何 が性能向上のKeyとなったのだろう・・？ 参照： https://arxiv.org/pdf/1810.06755.pdf
- 10. Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations • 画像中の共起性に注目したFairnessの研究 • Balanced Datasetとするには、Genderそれぞれの画像を均等に準備す るだけでは不十分。 Genderによって共起しやすいクラスのBiasがか かっていると主張する • よって下図にあるような男女ともに料理しているデータを用意するなど の対策が必要 • そのBiasを解決するような ネットワークも提案した • でもごちゃごちゃしていた ので省略（すいません 参照： http://www.cs.virginia.edu/~vicente/deeplearning/slides/bias.pdf
- 11. 論文のTitleをメモし忘れた／(^0^)＼ • 歩行者検出は性別や年齢によって Biasがかかっているという主張 • 具体的にはChildとFemaleで比較的 ミスが多いという結果になった • これらはデータの偏りに起因すると 推測されている（たぶん）
- 12. Evaluating image Enhancement using Semantic Task • NeuralNetによる画像復元（圧縮？）を学習するときに、Semanticな タスクの性能が上がるように学習させると画質も向上するというもの。 • 研究では、元画像から生成したキャプションと、GAN生成画像から生 成したキャプションの正確さを比較して、GAN生成画像からも適格な キャプション生成ができるよう学習させていた。 • 資料を貼ろうと思ったのにググっても論文が出てこない ／(^0^)＼ • 復元画像の『画質』評価ってどうやってるんだろ、、MSEとSemantic な情報保存度合って比例しないと思うし、評価方法が気になりますね 参照： おっかしぃなぁ・・・
- 13. Half&Half: New Task and Benchmarks for studying Visual Common Sense • 直接目にしているわけじゃなくても『TVがあるとしたらリビングか な』とか『歯ブラシは洗面台の鏡の前に置いてるのでは』といった Common-Senseを学習＆評価するための枠組み（≒データセット）を 新規提案したというもの。 • 画像の半分を隠して、隠された部分に何があるのか連想して（選択肢の 中から）予測できるかどうか、というタスクになっている。 • このままではデータセット依存の認識器しか構築できなくて、国や文化 が異なれば・・・などといった技術課題はありそうだが、おもしろいと 思ったのでシェア 参照： http://openaccess.thecvf.com/content_CVPRW_2019/papers/Vision_Meets_Cognition_Camera_Ready/Singh_Hal fHalf_New_Tasks_and_Benchmarks_for_Studying_Visual_Common_Sense_CVPRW_2019_paper.pdf
- 14. Class Consistency Driven Unsupervised Deep Adversarial Domain Adaptation • 昨年から盛り上がっているUnsupervised-Domain-Adaptationの研究 • 従来はClassifier-LOSSはSourceドメインのみ用いるが、正解ラベルの ないTargetドメインに対しても弱識別器の出力の一貫性(Consistency) を評価するLOSSを設ける 参照： http://openaccess.thecvf.com/content_CVPRW_2019/papers/CEFRL/Rakshit_Class_Consistency_Drive n_Unsupervised_Deep_Adversarial_Domain_Adaptation_CVPRW_2019_paper.pdf
- 15. Building Explainable AI Evaluation for Autonomous Perception • 脱BlackBoxのために説明性のあるAIを構築しようという試み • まずはデータXから予測Oを出力できるよう学習（この時点ではまだBlackBox） • 次に、人手によるSemanticなアノテーションAから『Explainable Representations』と 定義したYを介して予測Oを出力できるよう学習（でもYは自動取得するとのこと←） • 最後に、X⇒O、X⇒Y⇒O、A⇒Y⇒Oが同時に成り立つようにする • 構築済みモデルがどの程度説明性を有するかの評価に用いることが出来ると主張 参照： http://openaccess.thecvf.com/content_CVPRW_2019/papers/Explainable%20AI/Zhang_Building_Expl ainable_AI_Evaluation_for_Autonomous_Perception_CVPRW_2019_paper.pdf
- 16. Robust Image Colorization using Self Attention based Progressive Generative Adversarial Network • Self-Attention構造の導入によってGANによるColorization性能を向上 させたという研究、『Attention流行ってるなぁ～』の一言しか出ない • Self Attentionの他にも、Spectral Normalizationを挟んだり、 Progressiveに学習させたり、GとDの更新頻度を調整したりと、細かい 努力もたくさんされている 参照： http://openaccess.thecvf.com/content_CVPRW_2019/papers/NTIRE/Sharma_Robust_Image_Coloriza tion_Using_Self_Attention_Based_Progressive_Generative_Adversarial_CVPRW_2019_paper.pdf
- 17. Attention PointNet for 3D-Object Detection in Point Clouds • Attention構造をPointNetに搭載することで性能改善 ※PointNetとは？ 3D-Model用の3次元点群を（点の向きや順序に対してロバスト性を保ちな がら）直接入力として扱えるNeural Network 参照： http://openaccess.thecvf.com/content_CVPRW_2019/papers/Autonomous%20Driving/Paigwar_Atten tional_PointNet_for_3D-Object_Detection_in_Point_Clouds_CVPRW_2019_paper.pdf
- 18. Improving Deep Network Robustness to Unknown Inputs with Objectosphere • 学習したことのないUnknownクラスへの対処は、Gabageクラスを設けたり、 Softmaxの値にThresholdをかけることが多い • 2つのLOSSによりUnknownクラスを区別しやすくなる学習方法を提案 • Entropic Open-Set Loss Unknownクラスに対してSoftmax値が一様になるよう制約をかける つまり、Unknownクラスに対してエントロピーを最大化する • Objectosphere Loss 特徴量の絶対値がUnknownで小さく、Knownで大きくなるよう制約する 学習用のUnknownクラスが必要なので、そのデータ設計にかなり精度依存する気が... 参照： http://openaccess.thecvf.com/content_CVPRW_2019/papers/Uncertainty%20and%20Robustness%20 in%20Deep%20Visual%20Learning/Dhamija_Improving_Deep_Network_Robustness_to_Unknown_In puts_with_Objectosphere_CVPRW_2019_paper.pdf
- 19. Measuring Calibration in Deep Learning • 機械学習モデルの『confidence(信頼性)』を評価する新しい指標として、 『Thresholded Adaptive Calibration Error (TACE) 』を提案 • Calibrationとは？ • 『クラスAのCalibration が90%』とは『全体観測のうち90%がクラスA』 であることを意味する • 全データに対して予測が正解した割合を示す『Precision』とは異なる指標 • そのCalibrationについて実応用を見据えて適切な評価方法を提案したと いう位置づけ。詳細は把握しきれていないが本気で機械学習モデルを現 場導入するときに必要となるであろう研究が増えているように感じる 参照： http://openaccess.thecvf.com/content_CVPRW_2019/papers/Uncertainty%20and%20Robustness%20in%20Deep%2 0Visual%20Learning/Nixon_Measuring_Calibration_in_Deep_Learning_CVPRW_2019_paper.pdf
- 20. おまけ