![Skip-gram
ある単語を入力データに、周辺語を教師データにして重みを学習する
[“公園”, ”で”, “犬”, ”が”, ”走る”]
犬
公園
で
が
走る
9http://www.randpy.tokyo/entry/word2vec_skip_gram_model](https://image.slidesharecdn.com/word2vec-180706022243/85/Word2vec-9-320.jpg)
Word2vec
- 6. 女の王様 はなんてい うの？ King – man + woman queen 日本の東 京はドイツ で言うと？ Tokyo – Japan + Germany Berlin 6
- 7. Word2Vecでは、単語のベクトルを獲得する際 周辺単語を使用する 「犬」 : 「散歩する」「飼う」 「猫」 : 「野良」「飼う」 「日本語」：「学ぶ」「複雑」 周辺単語が似てるため、 犬と猫が近いものとして学習する 7
- 9. Skip-gram ある単語を入力データに、周辺語を教師データにして重みを学習する [“公園”, ”で”, “犬”, ”が”, ”走る”] 犬 公園 で が 走る 9http://www.randpy.tokyo/entry/word2vec_skip_gram_model
- 12. 参考 - Word2Vecによる自然言語処理 - なぜ自然言語処理にとって単語の分散表現は重要なのか？ (https://qiita.com/Hironsan/items/a58636f946dd51f670b0) - word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめて みた(http://www.randpy.tokyo/entry/word2vec_skip_gram_model) 12
Editor's Notes
- #4: 実際には火や炎という文字はシンボルでしかないため、文字コードに変換され処理される。そのため意味の近さなどの、単語が持つ情報は失われてしまいます。」
- #6: このように、単語をベクトル空間上に表現することができれば似た意味を持つ単語を計算することができるようになります。
- #8: Word2Vecでは、周辺単語を学習している ここにおける、「意味が近い」は「代替可能な確率が高い」と定義 「私は英語が得意なんです」 「私が好きなものはりんごです」 この代替可能な確率を計算するために、Skip-gramを用いている
- #9: Skip-gramは 学習させたニューラルネットに単語を入力すると、中間層を通り、 入力層は縦 隠れそうは縦300 横数万
- #10: Skip-gramは、単語から、周辺単語を予測するニューラルネットワーク。 なので、単語を入力データ、その周辺単語を教師データにして学習を行います。 入力層では、例えばwikipediaだと、数万単語が出てくるため、そのボキャブラリーを構築している。数万単語 そのボキャブラリーの中のどこにあるかが●で表されている。 隠れそうは、数万＊200の値が格納されている。 この200個の値が単語ベクトルとなります。 この200個の値を使用して一つ一つの単語が表現されている。
- #11: Skip-gramは、単語から、周辺単語を予測するニューラルネットワーク。 なので、単語を入力データ、その周辺単語を教師データにして学習を行います。