Query driven context aware recommendation

Query-Driven Context Aware
Recommendation
著者：Negar Hariri, etc(DePaul University)
RecSys2013読み会
@Quasi_quant2010
2013/11/16

目次


概要
– ユーザープロファイル、アイテムプロファイル、コンテキスト



トピックモデル復習(個人的な勉強



アイディア

.間違いがあれば指摘をお願い致します

– Context Awareとは
– 明示的情報や暗示的情報をLDAにより統合


LDA(提案モデル)



実験、設定



まとめ

)

概要


言語コーパスに関するモデル
– トピック混合比率 + トピック別単語分布



購買に関するトピックモデル
–



トピック混合比率 + トピック別アイテム分布

提案モデル
–

トピック混合比率 + トピック別アイテム分布
+ トピック別特徴量(=コンテキスト)分布

–

明示的情報であるアイテムだけでは
データスパース性に対応出来ない為、
アイテムの背景にあるコンテキストをモデルに導入

結果概要①：Web記事推薦


記事のコンテキストに要約文を使っており、通常のLDAと比較
すると独立でないコンテキスト情報が性能を低下させている
ディリクレスムージングより
性能が優っているのがせめてもの救い
ユーザーベースの
クラスタリングよりも性能が悪い

要約文としてのコンテキストが通常LDAより記事推薦の
潜在因子になってはいますが・・・

注)縦軸の定義は後程

結果概要②：音楽推薦
●

●

通常LDAと比較して、コンテキストが暗示的情報として機能
明示的情報(発現因子)だけでなく、暗示的情報(潜在因子)を考慮し
て構造をモデル化する事が重要 → Deep Learning?
音楽推薦の方がWeb記事推薦よりコンテキストが推薦の
潜在因子を適格にモデル化出来ている。恐らく、
コンテキストが通常LDAと独立した情報だからかと

クラスタリングよりも性能が良い

スケールは①と同じ

ここでちょっと

トピックモデルについて
復習
個人的に・・・

トピックモデルに基づく言語モデル

参照：Topicに基づく統計的言語モデルの最前線、山本・持橋

多項混合モデル(Unigram-Mixture)
Φ

1トピックの単語生成-確率φtは固定
Φ=(φ1,...,φT)

参照：トピックモデル概論、杉山

トピック
混合比率
θ

1コーパス
Tトピック

トピック

1文書1トピック

単語
w
文書(N)
コーパス(D)

θ：トピック混合比率,[T*1]ベクトル
φ：多項分布パラメータ,[N*T]行列

ポリヤ混合モデル(Dirichlet-Mixture)
β

Φ

1トピックの単語生成-確率φtは摂動
Φ=(φ1,...,φT)


単語生成確率を事前分布から
サンプリングし期待値を取る

コーパス(D)
文書(N)

トピック
混合比率
θ

1コーパス
Tトピック

トピック

1文書1トピック

θ：トピック混合比率,[T*1]ベクトル
β：多項分布ハイパーパラメータ,[N*T]行列

単語
w

確率的潜在意味解析

Φ


トピック
混合比率
θ

トピック

1文書Tトピック

Tトピックの単語生成-確率φtは固定
Φ=(φ1,...,φT)

単語
w
文書(N)
コーパス(D)

θ：トピック混合比率,[D*T]行列

潜在的ディリクレ割り当て
Φ


トピック混合率を事前分布からサンプリングし期待値を取る
トピックtの単語生成確率φtは固定、Φ=(φ1,...,φT)

コーパス(D)
文書(N)

α

トピック
混合比率
θ

トピック

単語
w

α：トピック混合比率ハイパーパラメータ,[D*T]行列

拡張潜在的ディリクレ割り当て
トピック(T)

β

参照
トピックモデル概論、杉山

トピック混合率を事前分布からサンプリングし期待値を取る

Φ
コーパス(D)

単語生成確率を事前分布からサンプリングし期待値を取る
トピックtの単語生成確率φtは摂動、Φ=(φ1,...,φT)

α

トピック
混合比率
θ

トピック

文書(N)
単語
w

α：トピック混合比率ハイパーパラメータ,[D*T]行列
β：多項分布ハイパーパラメータ,[N*T]行列

アイディア
–

Context Awareとは

–

明示的情報や暗示的情報
をLDAにより統合

IBISに遊びに行ってました、Deep Learning祭りでした。
RBM等で知られる積モデルの方が混合モデルより性能が良いとかを考えると、

如何に暗示的情報をモデルに組み込むかが重要みたいです。
(持橋先生のお話を忖度しますと・・・、積モデルがミソ!!)
ちなみに、RBMではhigh level feature・low level featureを階層として
モデルしており、特徴量の重要性も考慮しているみたいです

提案手法の動機


ある商材にはターゲットとなるユーザー層がいる
　 → ユーザー情報
• 例：性別・年齢など

　　　→ アイテム情報




例：商品名・値段など

本当にこの情報でモデル化を行ってよいのか？
→ 潜在的な購買層も組み入れたい

　　　どうやってモデル化する？

アイディア：Context Aware
ユーザー・アイテム・コンテキストを使って
アイテムのランキングをしよう!


アイテムというキー
–

{X Japan ：

X Japanというアイテムを表現する素性
としてYoshiki・Toshiを考える

{Yoshiki:{カッコイイ:100}{工藤静香:50}}
{Toshi:{声高い:1}{宗教:10}}}
–

{Luna Sea ：

重なっている! ⇒ 似ているに違いない

{Hyde:{カッコイイ:100}{大石恵:50}}
{Ken:{タバコ:1}{ひげ:10}}}

⇒ Context Aware

アイディア：明示的情報や暗示的情報
例えば、音楽CDを購入する際、
消費者は、まず、好みのアーティストを探す
　→ 明示的情報
明示的情報：X Japan、Luna Seaなど
次に、好みのアーティストと関連する楽曲を探す
　→ 暗示的情報
暗示的情報：カッコイイなど
{Yoshiki:{カッコイイ:100}{工藤静香:50}}
{X Japan ：{Yoshiki:{カッコイイ:100}{工藤静香:50}}
X

{Luna Sea {Hyde:{カッコイイ:100}{大石恵:50}}
Luna Sea： {Hyde:{カッコイイ:100}{大石恵:50}}
{Ken:{タバコ:1}{ひげ:10}}}
　　　　　　　　　　　{Ken:{タバコ:1}{ひげ:10}}}

アイディア：LDAにより統合

μ

T

β

アイテム
α

θ

トピック

特徴量数
W

特徴量
ユーザー数N アイテム数M
●
●

仮定
ユーザーはM個の潜在購買トピックを持つ
コンテキスト(特徴量)はアイテム空間の基底
を使って表現可能、特徴量空間⊆アイテム空間

Φ

γ
T

計算したい量：P(アイテム|コンテキスト,ユーザー)
ユーザー・コンテキスト情報が与えられた時、
購買されるアイテム数は？
p(s|q,p ; θ,μ,Φ)
∝ p(q|s,p ; θ,μ,Φ) * p(s|p ; θ,μ)
　　　　　　　　　　　　　　　　　　　　s:アイテム
　　　　　　　　　　　　　　　　　　　　p:ユーザー
　　　　　　　　　　　　　　　　　　　　q:コンテキスト情報

計算アルゴリズム①
(∵特徴量はiid)

トピック別特徴量分布
*トピック比率

トピック別アイテム分布
*トピック別特徴量分布

計算アルゴリズム②

以上より

データ紹介①：Web記事
http://www.citeulike.org/faq/data.adp
●

1ユーザーが4回以上ポストをし、4回以上閲覧された
記事

●

article recommendation. we use words
in the documents as features
●

The words in each article abstract were used as
the article features

データ紹介②：音楽(Playlist)
●

●

http://labrosa.ee.columbia.edu/projects/m
usicsim/aotm.html
music recommendation. popular tags are
retrieved from social Web sites for all the
songs and are used as songs features
●

we used frequent tags for each song as
its features

ベースライン
①Filtering
→ 特徴量が含まれているか否かで二つの集合を
作り、含まれている集合からランダムに推薦

②User-Base kNN
③LDA
④Bayesian Smooting
→ ディリクレスムージング

評価方法
●

●

we look at how well they recover the
held-out songs in the test data. For
each removed song, its rank in the
overall recommendation list is
recorded. The results for the cross
validation were evaluated by
computing the Hit Ratio
the Hit Ratio, which computes the
probability that the removed song is
recommended as part of the top N
recommendations

評価方法
●

●

●

RN(p) ; the top N recommendations for
a given playlist, p →　正解ラベル
If the removed target song, sp, is part
of RN(p), it is hit　→　予測ラベル
For any given rank N, the hit ratio h(N)
→|p∊testset : sp∊ RN(p)| / |testset|

結果：音楽推薦
●

●

通常LDAと比較して、コンテキストが暗示的情報として機能
明示的情報(発現因子)だけでなく、暗示的情報(潜在因子)を考慮し
て構造をモデル化する事が重要 → Deep Learning?
音楽推薦の方がWeb記事推薦よりコンテキストが推薦の
潜在因子を適格にモデル化出来ている。恐らく、
コンテキストが通常LDAと独立した情報だからかと

クラスタリングよりも性能が良い

考察
①直観的な明示的情報だけでなく、暗示的情報
の活用が予測を向上させる
②離散データのモデル構築の観点では、
発現因子・潜在因子を考慮した構造化が重要

③IBISで持橋先生が主張されていましたが、
離散的な現実データを再現するには、混合モデルは
不適切で、独立因子による積モデルが有望
④積モデルのパラメータ推定方法も課題(MCMC?)

Query driven context aware recommendation

More Related Content

More from Takanori Nakai (17)

Query driven context aware recommendation