EMNLP2018 Overview

Copyright © TIS Inc. All rights reserved.
EMNLP2018 Overview
戦略技術センター
久保隆宏
Walk through of EMNLP 2018

Copyright © TIS Inc. All rights reserved. 2
◼ arXivTimesについて
◼ About EMNLP2018
◼ EMNLPとは
◼ EMNLP2018 開催概要
◼ Topic
◼ Statistics
◼ EMNLP2018 Trend
◼ 注目された話題
◼ 参考資料
目次

久保隆宏
TIS株式会社戦略技術センター
◼ 化学系メーカーの業務コンサルタント出身
◼ 既存の技術では業務改善を行える範囲に限界があるとの実感から、戦
略技術センターへと異動
◼ 現在は会計/投資の現場で使える要約の実現を目指し、まとめる観点を
指定した要約の作成に関する研究を行う。
自己紹介
kintoneアプリ内にたまった
データを簡単に学習・活用
(@Cybozu Days 2016)
チュートリアル講演：深層学習
の判断根拠を理解するための研
究とその意義(@PRMU 2017)
機械学習をシステムに組み込む
際の依存性管理について
(@MANABIYA 2018)

arXivTimesについて (1/2)
オープンソースの価値観でサーベイを行う
一社/一研究室/個人だけで十分なサーベイを行うのは、物理的に困難に
なってきている。
そこで、サーベイした内容のシェアを始めたのがきっかけ。
最初は個人的にTogetterにまとめ
ていた。PyCon2016でのAlbert
さんとの出会いをきっかけに、共
同で輪講を開始。それに伴い、
GitHubへの運用に移行。
ちなみに記念すべき最初の論文は、
Deep MindのSim-to-Real Robot
Learning from Pixels with
Progressive Nets

arXivTimesについて (2/2)
登録論文数1000件/GitHub 2000★を達成しました！
Contributorの方々、ありがとうございます。これからもよろしくお願い
します！
icoxfog417 Hironsan 0shimax hurutoriya ymym3412 t-oura ryamauchi SnowMasaya inoue0426 mogami290
neka-nat wakamezake crcrpar jiny2001 kamujun
音声系がかなり手薄なので、音声の
研究をしている方、ぜひご参加をお
待ちしております！

arXivTimesの取り組み (1/5)
量の拡大
◼ 投稿者の拡大
◼ ※誰でも投稿していいんです※
◼ 投稿頂いたことへの還元
arXivTimes Indicatorというポータルサ
イトを作成。一度でも投稿を行うと、個
人の投稿結果ページが表示されるように
なる。
量の拡大と質の向上
質の向上
◼ 投稿内容のレビュー
◼ 初心者でも安心！
arXivTimesで投稿を行う時、
@arxivtimesbotにメンションをつけ
るとレビューを依頼することができま
す。

「ACL2018読み会」のアンケート結果より
投稿する内容が合っているかは私自身本当に不安を感じます。レビュー
があるとはいえ、ビュー数やフォロワーも多くなってしまった
arXivTimesに投稿するのは抵抗があると思います。そこで・・・

arXivTimesにヒントを得てGitHubで論文をまとめてる！という方は、ぜひリポ
ジトリのタグに「arxivtimes」をつけて頂ければと思います。
◼ Folkする/自分で作る、いずれでも自分のペースでまとめを作れる
◼ 参照する側は、論文まとめのリポジトリがタグで簡単に検索できる
「画像だったら本家よりこっちのリポジトリの方が強い」「本数は少ないけどま
とめの密度ならこっちがいい」、といった感じに広まっていけばOKと考えていま
す。

(前スライド参照)
複数リポジトリによる、
集合知的な形で精度を担保
前回に引き続き
EMNLP2018読み会を開催
輪講を実施中 (未定?)

◼ (投降が)会社的に大丈夫か気になって心理的ハードルが高い
投稿OKな会社は、「業務時間内のKaggleOK」的に「業務時間内の
arXivTimes投稿OK」と打ち出していただければ幸いです。
◼ 関西でもやってくれればありがたいです
行いたいところではありますが、地理的に離れていると難しいのが現状
です。開催に興味がある方がいれば、お手伝いさせていただくことは可
能と思います。
◼ レビューをして頂けるとのことですが、あまり投稿されていない分野
に対してもレビューして頂けるのでしょうか？(おもにNIPS、ICML、
KDDなどです)
可能な範囲で頑張ります。ただ、医療/医薬や最近登場してきた光学系
(例: グローバルイルミネーションのレンダリングなど)、物理シミュ
レーション系は正直ドメイン知識がないと厳しいので難しいかもしれま
せん。誰かが専門リポジトリを作ってくれることを期待します。

EMNLPとは
Conference on Empirical Methods in Natural Language Processing
◼ 自然言語処理の分野における、トップカンファレンスの一つ
◼ トップカンファレンスであるACLに続く位置づけ。
◼ タイトルに「Emperical」とついているが、特段Empericalな内容がそろっているわ
けではない(ACLと内容は似たり寄ったりという研究もある)。
◼ 開催地の法則性は特にない?
◼ 2016(アメリカ)=>2017(ドイツ)=>2018(ベルギー)
◼ ヨーロッパ/アメリカでの開催が多いが、アジア(シンガポール(2009)や韓国
(2012))、中東(カタール(2014))での開催実績もある
◼ 2019は香港

EMNLP2018 開催概要
◼ 開催場所: ベルギーブリュッセル
◼ 開催期間: 10/31~11/1
◼ 10/31~11/1: Tutorial/Workshop
◼ 11/2~4: Main Conference
◼ 規模:
◼ 発表論文: Long/Short合計550本(投稿総数2,137本)
◼ ACL 2018はLong 258/1018本、Short 126/526本
◼ EMNLP 2017はLong 216/836本、Short 107/582本
from Google Map

EMNLP2018 Topic
◼ 10/31: Tutorial/Workshop
◼ Joint Models for NLP: NLPにおけるマルチタスク学習について、
体系的にまとめて解説してくれている。
◼ Writing Code for NLP Research: 研究における開発のテクニック
を解説した資料。AllenNLP開発者によるチュートリアルで、実験
(prototyping)から本格的な開発まで完全解説している。必見資料。
◼ 11/1: Tutorial/Workshop
◼ BlackboxNLP: モデルの解釈を行う手法についてのWorkshop。
ACL2019でも開催されることが決定している。論文はこちら。
◼ 10/31はHealth、11/1はBiomedicalと医療系への応用が目立つ。
◼ 「事実の抽出」を試みるWorkshop(FEVER)=FakeNews対策など
時流に即したトピックも見られる。

EMNLP2018 Statistics (1/2)
EMNLP採択論文(Long&Short)のタイ
トルで使用されている単語の移り変わ
りを調査。
使用したデータと分析に使用したNotebookはKaggle上で公開済
み。
◼ LSTMやNeural Networkなどの手法
名、correctionやinformation
extraction、groundingに関する研
究は減少傾向
◼ 2018年はlarge scale/(cross)
lingual/(zero/few) shot/
multimodal、 (semantic?) role/
summarizationといったテーマ、手
法としてself (attention?)/graphが
トレンド
◼ datasetはぱっと見でも多い。

EMNLP2018 Statistics (2/2)
2016~2018にかけて、それほど使用頻
度に差がない単語(=継続的に研究されて
いるテーマ)。
◼ モデルではRNN/CNN、
attention/word embeddingが堅調。
structuredやmemory、dependency
parse/jointも継続的に使われている。
◼ テーマでは
ranking/semantic/question(dialogu
e)などが堅調。2018年は
unsupervised/question/context/do
mainが比較的多い。

◼ タスクの多様化
◼ 新しいDatasetを提案した論文が13本と多い(そのうちの約半数が
"Large scale"とセットになっている)。
◼ Datasetが攻略されるスピードが速くなっているので、その分新し
いタスクを用意するスピードも速くなっているのだと思われる。
EMNLP2018の傾向 (1/3)
0
10
20
30
40
50
60
70
80
90
100
10-May-1618-Aug-1626-Nov-166-Mar-1714-Jun-1722-Sep-1731-Dec-1710-Apr-1819-Jul-1827-Oct-184-Feb-19
SQuADのF1/EM値の更新
SQuADにおけるver1.1(青/紫)と
ver2.0(赤/黒)の比較。横軸が日付で、
縦軸がF1/EMのスコア。
ver2.0のスコアが急激に上がっているこ
とがわかる。この傾向は、ELMo/BERT
の登場により顕著になると思われる。

◼ モデルの解釈
◼ モデルは「言語的な理解」を行っているのか？という点が検証され
ている(best paper: How Much Reading Does Reading
Comprehension Require? A Critical Investigation of Popular
Benchmarks. またPathologies of Neural Models Make
Interpretations Difficult)。
◼ BlackboxNLPのワークショップが開催されるなど、重要なテーマと
して認識されている(なおNIPS2018でもモデルの可視化がTutorial
として取り上げられている)。
◼ 言語学的知識との融合
◼ 文節や係り受けなど、言語学的な情報との統合が試みられる
◼ Inputに使う場合パーサーの誤りがモデルの精度に影響を与えてし
まうため、マルチタスクの形で組み込むのがトレンドに見える
(best paper: Linguistically-Informed Self-Attention for
Semantic Role Labeling、またA Hierarchical Multi-task
Approach for Learning Embeddings from Semantic Tasksなど)

◼ 潜在表現の改良
◼ ELMoに代表されるように、コンテキストや構造の情報を潜在表現
に組み込む(Learning with Latent Linguistic Structure)
個人的には、タスクをどんどん増やす前に一旦立ち止まってモデルの挙動
を分析する必要があるのでは？という気がしている。

◼ EMNLP 2018
◼ EMNLP 2018 Highlights: Inductive bias, cross-lingual learning,
and more
◼ EMNLP 2018 Thoughts and Notes
参考資料

EMNLP2018 Overview

More Related Content

What's hot (20)

Similar to EMNLP2018 Overview (20)

More from Takahiro Kubo (14)

EMNLP2018 Overview