Centerlossを読んでみた_20170618@abeja
3 likes4,873 views
最新のML,CV,NLP関連論文読み会＠ABEJA https://abeja-innovation-meetup.connpass.com/event/57686/ Yandong Wen, Kaipeng Zhang, Zhifeng Li and Yu Qiao. center loss ( A Discriminative Feature Learning Approach for Deep Face Recognition ), eccv, 2016. http://ydwen.github.io/papers/WenECCV16.pdf
![CNNの特徴空間は分類に不適切？
まずCNN(Convolutional Neural Network)[Krizhevsky+2012]とは...
9](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-9-320.jpg)
![CNNの特徴空間は分類に不適切？
まずCNN(Convolutional Neural Network)[Krizhevsky+2012]とは...
10
順伝播型ニューラルネットワーク](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-10-320.jpg)
![より適切な特徴空間作成の手法は？
metric learning：画像のペアの差分から特徴空間を学習
● siamese network[Chopra+2005]
● triplet network[Hoffer+Ailon 2015]
ペアを作ることが学習に悪影響
学習の収束が遅く不安定に
学習手順が複雑になりがち
⇒差別的な空間作成に効果的なloss関数を提案
15](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-15-320.jpg)
![どうやって有効だと検証した？
● 特徴空間の検証
○ Toy example: MNIST
● practical な性能検証(顔画像認識タスク)
○ LFW[Haung+2007]
○ YTF[Wolf+2011]
○ MegaFace Challenge[Miller+2015]
20](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-20-320.jpg)
![MNISTデータセット
MNIST[LeCun+1998]
● 60,000 images which is hand written digit 28×28 images
● A number of training images = 60,000
● A number of validation images = 10,000
21](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-21-320.jpg)
![参考文献
● [Krizhevsky+2012] A. Krizhevsky et al. Imagenet classification with deep
convolutional neural networks. In Proceedings of Neural Information
Processing Systems, pp. 1097-1105, 2012.
● [Chopra+2005] S. Chopra et al. Learning a similarity metric discriminatively,
with application to face verication. In Proceedings of IEEE Conference on
Computer Vision and Pattern Recognition, pp. 539-546, 2005.
● [Hoffer+Ailon 2015] E. Hoffer and N. Ailon. DEEP METRIC LEARNING
USING TRIPLET NETWORK. In Proceedings of International Workshop on
Similarity-Based Pattern Recognition, 2015.
● [Wang+2014] J. Wang et al. Learning ne-grained image similarity with deep
ranking. In Proceedings of IEEE Conference on Computer Vision and
Pattern Recognition,pp. 1386-1393, 2014.
37](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-37-320.jpg)
![参考文献
● [Taigman+2014] Y. Taigman et al. Deepface: Closing the gap to
human-level performance in face verification. In Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition. 2014.
● [Wolf+2011] L. Wolf et al. Face recognition in unconstrained videos with
matched background similarity. In Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition, 2011.
● [Miller+2015] D. Miller et al. Megaface: A million faces for recognition at
scale. arXiv preprint arXiv:1505.02108, 2015.
38](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-38-320.jpg)
![(比較対象)metric learning 40
triplet network[Hoffer+2014, Wang+2014]
Hoffer’s loss function
Wang’s loss function](https://image.slidesharecdn.com/centerloss20170618abeja-170618120533/85/Centerloss-_20170618-abeja-40-320.jpg)
Centerlossを読んでみた_20170618@abeja
- 1. center loss を読んでみた @ABEJA_meetup_20170618 Yuma Matsuoka
- 2. 自己紹介 ● 松岡 佑磨 ○ 法政大学大学院M1 ○ 全脳アーキテクチャ若手の会 副代表 仲間を募集中！ ○ 留学行きたいです ● 研究分野 ○ 機械学習を用いた特徴抽出 ○ 半教師あり学習 http://wbawakate.jp/member/matsuoka_yuma/ 2
- 3. 論文紹介について ● どんなもの？ ● 先行研究と比べてどこがすごい？ ● 技術や手法のキモは？ ● どうやって有効だと検証した？ ● 議論はある？ ● (読んでみた)感想 3
- 4. どんなもの？ 4
- 5. どんなもの？ Title: A Discriminative Feature Learning Approach for Deep Face Recognition Authors: Yandong Wen, Kaipeng Zhang, Zhifeng Li and Yu Qiao Publication: ECCV 2016 URL: http://ydwen.github.io/papers/WenECCV16.pdf Authors call this method ”center loss” 5
- 6. どんなもの？ ● ラベルごとに偏るような特徴空間を学習するCNN ○ CNNの分類する誤差と 特徴空間を正則化する項を同時に最小化 Loss(x, θ) = softmax loss + center loss ⇒特徴空間のデータ分布を学習に使用 ○ center lossは学習によって更新し最適化が可能 ● 複数の顔画像認識(認証)データセットでSOTAを達成 6
- 7. 先行研究との差分 7
- 8. 先行研究と比べてどこがすごい？ ● (画像認識分野で高い実績を残している)CNNよりロバストで 分類に適した特徴空間を作成可能 ● metric learningよりも効率的に学習可能 ● 提案するcenter lossは単純に実装および組み込みが可能 (ミニバッチごとにcenter計算してpracticalに使えた) ● 顔画像認識タスクでSOTA 8
- 15. より適切な特徴空間作成の手法は？ metric learning：画像のペアの差分から特徴空間を学習 ● siamese network[Chopra+2005] ● triplet network[Hoffer+Ailon 2015] ペアを作ることが学習に悪影響 学習の収束が遅く不安定に 学習手順が複雑になりがち ⇒差別的な空間作成に効果的なloss関数を提案 15
- 16. 技術や手法のキモはどこ？ 16
- 17. 技術や手法のキモはどこ？ center loss 17 softmax loss center loss λ: ハイパーパラメータ, n: 出力層の次元数, m: ミニバッチバッチサイス,x_{i}: ミ ニバッチにおけるcnnの出力特徴ベクトル, Wとb: cnnの出力後の線形演算の重 みとバイアス, c_{yi}: mini-batchごとに算出され更新されてきたx_{i}と対応する クラスyの平均特徴ベクトル
- 20. どうやって有効だと検証した？ ● 特徴空間の検証 ○ Toy example: MNIST ● practical な性能検証(顔画像認識タスク) ○ LFW[Haung+2007] ○ YTF[Wolf+2011] ○ MegaFace Challenge[Miller+2015] 20
- 21. MNISTデータセット MNIST[LeCun+1998] ● 60,000 images which is hand written digit 28×28 images ● A number of training images = 60,000 ● A number of validation images = 10,000 21
- 22. 特徴空間の検証 22
- 23. MNISTにおける検証実験(only softmax loss) CNNの出力を2次元にして特徴空間を可視化 使用したCNNモデル: LeNets++ 23training data onsoftmax loss training data onsoftmax loss
- 24. MNISTにおける検証実験(only softmax loss) CNNの出力を2次元にして特徴空間を可視化 使用したCNNモデル: LeNets++ 24 validation dataではラベルに対応する ベクトル群のクラス内分散が大きい training data onsoftmax loss training data onsoftmax loss
- 25. MNISTにおける検証実験(with center loss) center lossによる形成される特徴空間の違い only softmax loss center loss 25 validation dataではラベルに対応する ベクトル群のクラス内分散が大きい
- 26. MNISTにおける検証実験(with center loss) center lossによる形成される特徴空間の違い only softmax loss center loss 26 validation dataではラベルに対応する ベクトル群のクラス内分散が大きい クラスごとに偏るような特徴空間を 形成できている
- 28. LFW and YTF データセット ● LFW(Labeled Faces in the Wild) ○ 5,749人から13,233枚抽出した画像で構成。一部の6,000ペアでテスト ● YTF(YouTube Faces) ○ 1,595人から3,425個の動画ベースで構成。一部の5,000ペアでテスト 28
- 30. LFWとYTFにおける検証 A: only softmax, B: A + contrastive, C: A + center loss 30
- 31. LFWとYTFにおける検証 A: only softmax, B: A + contrastive, C: A + center loss 31 学習用データ数が著しく少なくてもSOTOと同程度の精度を達成
- 34. 議論はある？ only softmax lossと比べて metric learningのcontrastive lossを加えたモデルは精度が上がるが学習コストが上がる 提案するcenter lossなら学習コストは上がらず CNNの制約として効果的である 34
- 35. 感想① ● 工夫した単純な正則化項の実装だけのスマートな手法 ● 一般物体認識タスクでは精度がでないの？ ● ラベル推定はコサイン類似度使ってるけど、 どの特徴ベクトルとの類似度計算して推定してるの？ 35
- 36. 感想② ● 先行研究のmetric learning(triplet network)と 性能(精度・速度)比較してない... ● metric learningは分類に関するlossがないので クラス数に関係のない全結合層を設計できる ● centerの計算に関して、クラス数とバッチサイズ問題をどう 解決するか？ 36
- 37. 参考文献 ● [Krizhevsky+2012] A. Krizhevsky et al. Imagenet classification with deep convolutional neural networks. In Proceedings of Neural Information Processing Systems, pp. 1097-1105, 2012. ● [Chopra+2005] S. Chopra et al. Learning a similarity metric discriminatively, with application to face verication. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 539-546, 2005. ● [Hoffer+Ailon 2015] E. Hoffer and N. Ailon. DEEP METRIC LEARNING USING TRIPLET NETWORK. In Proceedings of International Workshop on Similarity-Based Pattern Recognition, 2015. ● [Wang+2014] J. Wang et al. Learning ne-grained image similarity with deep ranking. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,pp. 1386-1393, 2014. 37
- 38. 参考文献 ● [Taigman+2014] Y. Taigman et al. Deepface: Closing the gap to human-level performance in face verification. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. ● [Wolf+2011] L. Wolf et al. Face recognition in unconstrained videos with matched background similarity. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2011. ● [Miller+2015] D. Miller et al. Megaface: A million faces for recognition at scale. arXiv preprint arXiv:1505.02108, 2015. 38
- 39. まとめ ● ラベルごとに偏るような特徴空間を学習するCNN ○ CNNの分類する誤差と 特徴空間を正則化する項を同時に最小化 Loss(x, θ) = softmax loss + center loss ⇒特徴空間のデータ分布を学習に使用 ○ center lossは学習によって更新し最適化が可能 ● 複数の顔画像認識(認証)データセットでSOTAを達成 39
- 40. (比較対象)metric learning 40 triplet network[Hoffer+2014, Wang+2014] Hoffer’s loss function Wang’s loss function
- 41. center loss v.s. triplet network on MNIST center loss training data=50,000 feature vectors of 10,000 validation image triplet network trianing data=100 feature vectors of 59,900 validation images 41