[DL輪読会] Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
5 likes1,067 views
2017/12/15 Deep Learning JP: http://deeplearning.jp/seminar-2/
![TransferLearning：ベンチマーク詳細
• 感情分析（SotA：valence-arousal-dominance）
- SemEval2007 Task14：1250, [Fear, Joy, Sadness]のみ使用（95%を締める）
- tweets about Olympic game
- 心理学のデータ
• センチメント分析（SotA：CNNのEnsembleモデル with pretraining）
- SentiStrength（SS-Twitter）：binaryでrelabeling
- SentiStrength（SS-youtube）：binaryでrelabeling
- SemEval2016 Task4A：DataDecay（Twitterのデータ,15%が消去されている）
• 皮肉推定（SotA：embeddingベースのモデル）
- Internet Argument Corpus（ver. 1, 2）：サブセットしか公開されていない
22](https://image.slidesharecdn.com/dljpsoneoka171215-171214074013/85/DL-Using-millions-of-emoji-occurrences-to-learn-any-domain-representations-for-detecting-sentiment-emotion-and-sarcasm-22-320.jpg)
[DL輪読会] Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
- 1. 1 Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm 東京大学 松尾研 曽根岡 侑也
- 2. メタ情報 • 著者 - Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan, Sune Lehmann - MIT Media LabのPhD • EMNLP 2017 • Twitterとかで少し話題になっていた 2
- 3. 概要 • 感情分析、センチメント分析、皮肉分類において、 絵文字付きの16億ツイートでPretrainingさせ、転移学習を行なったところ、 8つのベンチマークでSotA達成 • 転移学習方法のChainThawを提案 • Pretraining時のラベルの多様性とAttention + Skip Connectionの重要性を示す • Pretraining済みモデルを公開 3
- 4. 背景 • NLPのタスクは、アノテーション済みのデータが少ない • テキストに付与されている感情表現（顔文字・絵文字・ハッシュタグ）は Distant Supervisionで用いられ、SotAを達成している先行研究がある ※ Distant Supervision 間接的なラベルを用いてラベルなしデータをラベルありデータとして用いる学習法 4 emoticon emoji hashtag #happy # nice
- 5. 本研究 • モデル：DeepMoji - BiLSTM ✕ 2 + Attention + SkipConnection • Pretraining：Emojiが付いた大量のTweet - テキストから64種類の絵文字を当てる分類問題 • TransferLearning：ベンチマークのデータセット - 3タスク, 8種類 - ChainThawの提案 5 DeepMoji
- 6. Pretraining • データ：Emoji付き12億Tweet（2013/1～2017/6） - 1つの文に復数個のEmoji, 別データとして保存 - URL・メンション・数字は1つのtokenに • 結果：64種類の絵文字分類 6 ※ fasttext：facebookのライブラリ。分散表現獲得・分類を高速でできる → LSTM層重要
- 12. 分析①：emojiの多様性 • Pretrainingの際のラベルの多様性が重要か検証 • 8種類のサブセットと64種類のフルセットを用いてPretrainingし比較 12 8種類 64種類
- 14. 分析②：モデルアーキテクチャ • AttentionとSkipConnectionがないLSTMと比較 • Pretrainingでは差がないが、ベンチマークではAttentionありが精度高い • 低層の特徴へのアクセスが担保、勾配消失がなく学習できることが関係（FW） 14 Attention + skip
- 15. 分析③：Pretrainingの効果 • Word Coverageの改善 - small dataの場合、テストセットには出るが訓練セットには出ない単語がある - pretraining + chainthawによって語彙が増加しWord Coverageが改善 • Phrase Coverageの改善 - fasttextとDeepMojiを比較 - f：63%, D：93% - LSTM層がフレーズを学習 15 Word Coverageの変化
- 16. 分析④：人間と比較 • 新データセット：TweetをAMTでアノテーション - 10人に「1～9 or わからない」で評価 - 9人の平均がGround truthとし、残りの一人と比較 - 7347（うち、テストが2347） • 結果 - 人間 76.1%, Deep Moji 82.4%でDeepMojiの精度のほうが高い 16
- 17. まとめ • 感情分析、センチメント分析、皮肉分類において、 絵文字付きの16億ツイートでPretrainingさせ、転移学習を行なったところ、 8つのベンチマークでSotA達成 • 転移学習方法のChainThawを提案 • Pretraining時のラベルの多様性とAttention + Skip Connectionの重要性を示す • Pretraining済みモデルを公開 17
- 18. Appendix 18
- 19. 先行研究 • 大半の先行研究は感情表現と該当する感情のマッチングを手作業で行っている - 難しい、時間もかかる、多様な意味を包含できない等の問題あり • emojiの解説文を用いてembeddingする手法 - emojiの多用的な使われ方を反映しない • 転移方法としてマルチタスク学習を使う手法 - メモリやストレージ的に負担が大きい 19
- 20. Pretraining • データ：Emoji付き12億Tweet（2013/1～2017/6） - 1つの文に復数個のEmoji, 別データとして保存 - URL・メンション・数字は1つのtokenに - 同じ文字の繰り返し除去（'loooool'等） • 結果：64種類の絵文字分類 20
- 21. TransferLearning：タスク • 感情分析（Emotion） - テキストからFear, Joy, Sadnessなどの感情に分類する • センチメント分析（Sentiment） - テキストからポジティブ・ネガティブ・中立などを分類する • 皮肉分類（Sarcasm） - テキストから皮肉が入っているかいなかの2値分類を行う 21
- 22. TransferLearning：ベンチマーク詳細 • 感情分析（SotA：valence-arousal-dominance） - SemEval2007 Task14：1250, [Fear, Joy, Sadness]のみ使用（95%を締める） - tweets about Olympic game - 心理学のデータ • センチメント分析（SotA：CNNのEnsembleモデル with pretraining） - SentiStrength（SS-Twitter）：binaryでrelabeling - SentiStrength（SS-youtube）：binaryでrelabeling - SemEval2016 Task4A：DataDecay（Twitterのデータ,15%が消去されている） • 皮肉推定（SotA：embeddingベースのモデル） - Internet Argument Corpus（ver. 1, 2）：サブセットしか公開されていない 22