![移行した人かどうかデータの整理
unique(AA[ , c(“XX”, “YY”, “ZZ”))
ベクトルc( )の内容にダブりがある場合、そ
れらの重複を排除して１行にまとめる
mau <- unique (dau[, c(“region_month”,
“device”, “user_id”)])
※31日分のユーザデータの重複を排除し、整
理された「mau」というデータに加工する
16](https://image.slidesharecdn.com/20160325-160324122003/85/5-16-320.jpg)
![データの整理(2)
fp.mau <- unique (dau[dau$device=="FP",
c("region_month", "device", "user_id")])
・dauの「device」列が
”FP”のデータだけ
集める
（“SP”も同様に行う）
17](https://image.slidesharecdn.com/20160325-160324122003/85/5-17-320.jpg)
![１月と２月にデータを分ける
fp.mau1 <- fp.mau[fp.mau$region_month
== “2013-01”, ]
・前ページ踏まえればなんとなく分かる気
がする
このデータをFP・SP、１月・２月で計４
種類作成します
18](https://image.slidesharecdn.com/20160325-160324122003/85/5-18-320.jpg)
![１月と２月に分ける(2)
fp.mau1 <- fp.mau[fp.mau$region_month
== “2013-01”, ]
fp.mau2 <- fp.mau[fp.mau$region_month
== "2013-02", ]
sp.mau1 <- sp.mau[sp.mau$region_month
== "2013-01", ]
sp.mau2 <- sp.mau[sp.mau$region_month
== "2013-02", ]
19](https://image.slidesharecdn.com/20160325-160324122003/85/5-19-320.jpg)
![1月FP→翌月アクセスあるか(2)
fp.mau1 <- merge(fp.mau1,
mau[mau$region_month == “2013-02”,
c(“user_id”, “is_access”)], by = “user_id”, all.x =
T)
◎新「mau」のregion_monthが2013-02であ
るデータと、旧fp.mau1（ガラケー・１月ア
クセス）とをuser_idに紐付けてマージする
21](https://image.slidesharecdn.com/20160325-160324122003/85/5-21-320.jpg)
![1月FP→翌月アクセスあるか(4)
fp.mau1$is_access[is.na(fp.mau1$is_access)
] <- 0
◎欠損値だと不都合があるので、新
「fp.mau1」のis_accessが空白(na)である
データに「０」を代入する
23](https://image.slidesharecdn.com/20160325-160324122003/85/5-23-320.jpg)
![1月携帯利用→2月携帯利用かどうか
fp.mau2$is_fp <- 1
fp.mau1 <- merge(fp.mau1, fp.mau2[,
c("user_id", "is_fp")], by = "user_id", all.x = T)
◎旧「fp.mau2（携帯・２月アクセスあり）」
データに「is_fp」列を加え、そこに１を代入
◎新「fp.mau1」と新「fp.mau2」を先程と同
様にマージさせる
◎その後、欠損値に「０」を代入(上では省略)
24](https://image.slidesharecdn.com/20160325-160324122003/85/5-24-320.jpg)
![1月携帯利用→2月SP利用かどうか
sp.mau2$is_sp <- 1
fp.mau1 <- merge(fp.mau1, sp.mau2[,
c(“user_id”, “is_sp”)], by = "user_id", all.x = T)
◎「sp.mau2（スマホ・２月アクセスあり）」
データに「is_sp」列を加え、そこに１を代入
◎新「fp.mau1」と新「sp.mau2」を先程と同
様にマージさせる
◎その後、欠損値に「０」を代入(上では省略)
25](https://image.slidesharecdn.com/20160325-160324122003/85/5-25-320.jpg)
![1月携帯利用→翌月ﾅｼorSP利用
fp.mau1 <-
fp.mau1[fp.mau1$is_access == 0 |
fp.mau1$is_sp == 1, ]
◎２月アクセス＝「なし」
◎“｜”は「または(OR)」
◎スマホ・２月アクセス＝「あり」
のみのデータに「fp.mau1」を再加工
27](https://image.slidesharecdn.com/20160325-160324122003/85/5-27-320.jpg)
![次に、日次アクセスデータを整える
fp.dau1 <- dau[dau$device == "FP" &
dau$region_month == "2013-01", ]
fp.dau1$is_access <- 1
◎”dau”の中で「1月携帯アクセスあり」
データを取り出し、その「is_access」に
“１”フラグを立てる
29](https://image.slidesharecdn.com/20160325-160324122003/85/5-29-320.jpg)
![日次アクセスデータを整える(5)
names(fp.dau1.cast)[-1] <- paste0("X", 1:31,
"day")
◎”fp.dau1.cast”の１列目を除くラベル（項
目名）を、「X1day」から「X31day」に変
更します
◎「paste0」は文字列を結合する関数です
35](https://image.slidesharecdn.com/20160325-160324122003/85/5-35-320.jpg)
![最後に日次データと月次データの結合
fp.dau1.cast <- merge(fp.dau1.cast,
fp.mau1[, c(“user_id”, “is_sp”)], by =
"user_id")
◎”fp.dau1.cast”データと”fp.mau1”内の
「is_sp（2月スマホアクセスあり）」データ
とを、user_idに紐付けて結合します
37](https://image.slidesharecdn.com/20160325-160324122003/85/5-37-320.jpg)
![分析用データをロジ回帰させる
fit.logit <- step(glm(is_sp ~ ., data =
fp.dau1.cast[, -1], family = binomial))
重回帰分析の考え方を思い出しながら、
以下の回帰を行う
47
説明変数（x） 被説明変数(y)
X1day～X31day is_sp
「ロジスティック回帰を行う」](https://image.slidesharecdn.com/20160325-160324122003/85/5-47-320.jpg)
![モデルの作成
summary(fit.logit)
分析結果のサマリーを表示
step()は以下のモデルを選びました
glm(formula = is_sp ~ X1day + X4day + X5day +
X7day + X10day + X13day + X22day + X29day +
X31day, family = binomial, data = fp.dau1.cast[, -
1])
説明変数にはX1day～X31dayすべてを用いるので
はなく、上記緑色部分を選択しました
49
※各回帰係数の推定量はサマリを参照](https://image.slidesharecdn.com/20160325-160324122003/85/5-49-320.jpg)
![モデル予測の正解率
table(fp.dau1.cast[, c(“is_sp”, “pred”)])
モデル予測の正解率（青いとこ）
＝(180+42) / (180+10+20+42)
＝ 0.8809524
より正確には（将来）予測ではなく、実測データのみからの
回帰なので、正解率が高いのは当たり前
52
実測＼予測 移行 離脱
移行 180 10
離脱 20 42](https://image.slidesharecdn.com/20160325-160324122003/85/5-52-320.jpg)
「ビジネス活用事例で学ぶ データサイエンス入門」輪読会#5資料
- 1. 「ビジネス活用事例で学ぶ データサイエンス入門」輪読会 #5 53 PAGES Shintaro Nomura R で 学 ぶ 2016.03.25 @ Akiba Code
- 2. Rのダウンロード 「r download」で検索 （３/25時点での最新版は 3.2.3 です。） または http://j.mp/downloadr を参照 すでにインストールしていた方は3.2.3へ の更新をオススメします 2
- 4. 作業ディレクトリって？ データが入ったテキストファイル等から、データや プログラムを読みこんだり、画像を書き出したりし ます。これらのファイルのある場所を「作業ディレ クトリ」といいます。 データは作業ディレクトリに入っていると便利！ 作業ディレクトリを変えたいときは、 「File > Change dir…（ディレクトリの変更）」 またはコマンド： setwd(“C:/指定先”) 4
- 7. 現状とあるべき姿(2) 現状 携帯電話(FP)のユーザ減 少量と比較して、スマホ (SP)ユーザの増加量が少 ないように感じる もしかしたら、ID移行に 失敗しているのでは…？ あるべき姿 携帯電話(FP)のユーザ減 少を、スマホ(SP)ユーザ の増加量で補う状態 FP→SPへのユーザの移行 に成功している 7 今回の「仮説」
- 11. 今回の分析ロジック ID移行失敗の影響＝大 ID移行の失敗による「離 脱」ユーザが、自然離脱に 比べて非常に多くなる 離脱ユーザと移行失敗ユー ザとの間の１月アクセス状 況に差異がなくなる ID移行失敗の影響＝小 ID移行の失敗による「離 脱」ユーザが、自然離脱 に比べて少ない 両者のアクセス数の差異 がはっきり出る！ 11
- 14. ちょっと言ってる意味分からないです そもそもその「モデル」の構築手法を誤って いたら、結論だって誤りますよね 仕方ないので以下では、引き続きテキストを使 用して、 データ加工の手法 「ロジスティック回帰」とは何か について進めていきます 14
- 15. CSVファイルを読み込む（復習） dau <- *** xという入れ物に数値や文字列、ベクトルや 関数、データなどを入れます dau <- read.csv(“***.csv”) dauにcsvファイルのデータを取り込みます head(***) ***データの先頭数行を表示します 15
- 16. 移行した人かどうかデータの整理 unique(AA[ , c(“XX”, “YY”, “ZZ”)) ベクトルc( )の内容にダブりがある場合、そ れらの重複を排除して１行にまとめる mau <- unique (dau[, c(“region_month”, “device”, “user_id”)]) ※31日分のユーザデータの重複を排除し、整 理された「mau」というデータに加工する 16
- 17. データの整理(2) fp.mau <- unique (dau[dau$device=="FP", c("region_month", "device", "user_id")]) ・dauの「device」列が ”FP”のデータだけ 集める （“SP”も同様に行う） 17
- 18. １月と２月にデータを分ける fp.mau1 <- fp.mau[fp.mau$region_month == “2013-01”, ] ・前ページ踏まえればなんとなく分かる気 がする このデータをFP・SP、１月・２月で計４ 種類作成します 18
- 19. １月と２月に分ける(2) fp.mau1 <- fp.mau[fp.mau$region_month == “2013-01”, ] fp.mau2 <- fp.mau[fp.mau$region_month == "2013-02", ] sp.mau1 <- sp.mau[sp.mau$region_month == "2013-01", ] sp.mau2 <- sp.mau[sp.mau$region_month == "2013-02", ] 19
- 21. 1月FP→翌月アクセスあるか(2) fp.mau1 <- merge(fp.mau1, mau[mau$region_month == “2013-02”, c(“user_id”, “is_access”)], by = “user_id”, all.x = T) ◎新「mau」のregion_monthが2013-02であ るデータと、旧fp.mau1（ガラケー・１月ア クセス）とをuser_idに紐付けてマージする 21
- 24. 1月携帯利用→2月携帯利用かどうか fp.mau2$is_fp <- 1 fp.mau1 <- merge(fp.mau1, fp.mau2[, c("user_id", "is_fp")], by = "user_id", all.x = T) ◎旧「fp.mau2（携帯・２月アクセスあり）」 データに「is_fp」列を加え、そこに１を代入 ◎新「fp.mau1」と新「fp.mau2」を先程と同 様にマージさせる ◎その後、欠損値に「０」を代入(上では省略) 24
- 25. 1月携帯利用→2月SP利用かどうか sp.mau2$is_sp <- 1 fp.mau1 <- merge(fp.mau1, sp.mau2[, c(“user_id”, “is_sp”)], by = "user_id", all.x = T) ◎「sp.mau2（スマホ・２月アクセスあり）」 データに「is_sp」列を加え、そこに１を代入 ◎新「fp.mau1」と新「sp.mau2」を先程と同 様にマージさせる ◎その後、欠損値に「０」を代入(上では省略) 25
- 27. 1月携帯利用→翌月ﾅｼorSP利用 fp.mau1 <- fp.mau1[fp.mau1$is_access == 0 | fp.mau1$is_sp == 1, ] ◎２月アクセス＝「なし」 ◎“｜”は「または(OR)」 ◎スマホ・２月アクセス＝「あり」 のみのデータに「fp.mau1」を再加工 27
- 29. 次に、日次アクセスデータを整える fp.dau1 <- dau[dau$device == "FP" & dau$region_month == "2013-01", ] fp.dau1$is_access <- 1 ◎”dau”の中で「1月携帯アクセスあり」 データを取り出し、その「is_access」に “１”フラグを立てる 29
- 31. dcast関数：復習(p.81) dcast(AAA, XX ~ YY + ZZ, value.var=”CCC”, length) ◎AAAデータから縦軸をXX、横軸をYY×ZZ のクロス集計を算出 ◎集計値は“CCC”の値 ※reshape2の読み込みが必須です 31
- 32. dcast関数（説明は省略） dcast(data, formula, fun.aggregate=NULL, ..., margins=NULL, subset=NULL, fill=NULL, drop=TRUE, value.var=guess_value(data)) ◎data：melt() されたような形でカテゴリ変数を含む data.frame ◎formula：x_var ~ y_var ~ z_var ~ ... のような形で出力形式を指定 ◎fun.aggregate=NULL：mean や sum など、整形後に同じマスに来る複数の 値に適用する関数。デフォルトでは length が働いて要素数が得られる。 ◎...：aggregate関数への引数を渡せる ◎margins=NULL：列全体の平均や行全体の和などを追加するかどうか ◎subset=NULL：適用範囲を限定する e.g., subset=.(variable=="length") ◎fill=NULL ◎drop=TRUE ◎value.var=guess_value(data) http://meme.biology.tohoku.ac.jp/students/iwasaki/rstats/reshape2.html 32
- 33. 日次アクセスデータを整える(3) library(reshape2) fp.dau1.cast <- dcast(fp.dau1, user_id ~ region_day, value.var = "is_access", function(x) as.character(length(x))) ◎今回、function(x)以降は省略できそうです 33
- 35. 日次アクセスデータを整える(5) names(fp.dau1.cast)[-1] <- paste0("X", 1:31, "day") ◎”fp.dau1.cast”の１列目を除くラベル（項 目名）を、「X1day」から「X31day」に変 更します ◎「paste0」は文字列を結合する関数です 35
- 37. 最後に日次データと月次データの結合 fp.dau1.cast <- merge(fp.dau1.cast, fp.mau1[, c(“user_id”, “is_sp”)], by = "user_id") ◎”fp.dau1.cast”データと”fp.mau1”内の 「is_sp（2月スマホアクセスあり）」データ とを、user_idに紐付けて結合します 37
- 43. こないだの回帰分析と何が違うの? ロジスティック回帰分析 𝑦 = 1 1+𝑒−( 𝑎 𝑖 𝑥 𝑖+𝑏)に回帰 質的データに用いる yのとる値はxがなんで あっても0～1 任意のxに対するyが０か １かの予測に利用できる 重回帰分析 𝑦 = 𝑎𝑖 𝑥𝑖 + 𝑏 に回帰 量的データに用いる 左記のような0～1の間に yが入らないことも多々あ るため、基本的に質的 データの予測には用いな い 43
- 44. ロジスティック回帰分析 ロジスティック回帰分析 𝑦 = 1 1+𝑒−( 𝑎 𝑖 𝑥 𝑖+𝑏)に回帰 質的データに用いる yのとる値はxがなんで あっても0～1 任意のxに対するyが０か １かの予測に利用できる 重回帰分析 𝑦 = 𝑎𝑖 𝑥𝑖 + 𝑏 に回帰 量的データに用いる 左記のような0～1の間に yが入らないことも多々あ るため、基本的に質的 データの予測には用いな い 44
- 45. ロジスティック回帰分析(2) 任意のxに対するyが０か１かの予測に利用 できる 移行：y = 1 / 離脱：y = 0 今回作成したモデルにより、１月携帯ア クセスのある各IDが、スマートフォンに 移行しているであろう確率を推定する y > 0.5 なら移行IDと判定！ 45
- 47. 分析用データをロジ回帰させる fit.logit <- step(glm(is_sp ~ ., data = fp.dau1.cast[, -1], family = binomial)) 重回帰分析の考え方を思い出しながら、 以下の回帰を行う 47 説明変数（x） 被説明変数(y) X1day～X31day is_sp 「ロジスティック回帰を行う」
- 48. step()について 前ページの内容で、ロジスティック回帰自体 は glm( … , family = binominal ) で出来ている step()を用いることで、 AIC（赤池情報量規 準）の値を利用して、説明変数が多すぎる問 題を緩和（変数選択）させながらロジス ティック回帰分析を行える テキストでもAICは名前くらいしか教えてい ないので、ここでも説明しません 48 ※AICの理解にも尤度の理解が必須です
- 49. モデルの作成 summary(fit.logit) 分析結果のサマリーを表示 step()は以下のモデルを選びました glm(formula = is_sp ~ X1day + X4day + X5day + X7day + X10day + X13day + X22day + X29day + X31day, family = binomial, data = fp.dau1.cast[, - 1]) 説明変数にはX1day～X31dayすべてを用いるので はなく、上記緑色部分を選択しました 49 ※各回帰係数の推定量はサマリを参照
- 50. 作成したモデルによる予測 fp.dau1.cast$prob <- round(fitted(fit.logit), 2) “fp.dau1.cast”に「prob」項目を作成し、 fit.logitの予測値(fitted)を返します fp.dau1.cast$pred <- ifelse(fp.dau1.cast$prob > 0.5, 1, 0) “fp.dau1.cast”の「prob」項目が0.5を超える IDの「pred」項目には１を返します（スマホ 移行（予測）と判定） 50
- 51. 予測結果の表示 head(fp.dau1.cast) prob > 0.5 に「１」、それ以外に「０」が 振られているのを確認できます 51
- 52. モデル予測の正解率 table(fp.dau1.cast[, c(“is_sp”, “pred”)]) モデル予測の正解率（青いとこ） ＝(180+42) / (180+10+20+42) ＝ 0.8809524 より正確には（将来）予測ではなく、実測データのみからの 回帰なので、正解率が高いのは当たり前 52 実測＼予測 移行 離脱 移行 180 10 離脱 20 42