[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
61 likes15,498 views
データマイニング+WEB勉強会 第１回（2010/02/13）での講義資料です。「はじめてでもわかる統計解析・データマイニングR言語入門」 hamadakoichi 濱田晃一。途中、質問・議論をはさむ双方向形式で進行し、1時間30分の講義を行いました。 Blog: http://d.hatena.ne.jp/hamadakoichi/20100220/p1
![統計データの視覚化
折れ線グラフ
matplot(c(1,40,15,8,16,32,64,30,10,0),type="l")
散布図 対散布図
plot(iris[,1],iris[,3]) pairs(iris[1:4])](https://image.slidesharecdn.com/rlecturehamada100213-100216161757-phpapp01/85/WEB-R-R-52-320.jpg)
[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
- 1. はじめてでもわかる 統計解析・データマイニング R言語入門 hamadakoichi 濱田 晃一 統計解析・データマイニング + WEB 勉強会 第１回 2010/02/13
- 2. 自己紹介 ・ID: hamadakoichi (Hatena/Twitter/YouTube/Skype) 濱田晃一 ・専門：理論物理学（量子統計場の理論）. 博士（2004.3） Ph.D.Thesis : http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf ・業務：業務プロセスに関する統計解析・実行制御など ・趣味：Hip Hop Dance/ House Dance を13年 Youtube: http://www.youtube.com/hamadakoichi ・Blog: http://d.hatena.ne.jp/hamadakoichi ・Twitter: http://twitter.com/hamadakoichi
- 3. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 4. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 5. Rとは オープンソースの 統計解析・データマイニング環境 ・Open Source ・Free Software ・統計解析の言語・開発実行環境 ・Ross Ihaka and Robert Gentleman (1996) ・S言語クローン. 高速 ・各種Interface : SAS, SPSS, S-PLUS, RDBMS… ・Object型言語
- 7. Rとは R Console や Eclipse上で実行できます StatET Eclipse plug-in R Console Eclipse R-Script 実行 R Graphic Window
- 8. Rとは 各種環境設定の方法 ・R のインストール・環境設定 http://d.hatena.ne.jp/hamadakoichi/20100103/1262511121 ・R を Eclipseで使う方法 http://d.hatena.ne.jp/hamadakoichi/20100110/1263127663 ・Java R Interface (JRI) を用い 統計解析環境 R を Java から使用する http://d.hatena.ne.jp/hamadakoichi/20100111/1263227076
- 9. 本資料内のRソースコード 本資料内で挙げてある Rソースコードは 以下のエントリに記載しています hamadakoichi blog : http://d.hatena.ne.jp/hamadakoichi 内容 リンク データ構造 R言語プログラミング： データ型・操作 データ入出力 R言語プログラミング： データ入出力 データ演算 R言語プログラミング： 基本演算子・初等関数 R言語プログラミング： データ結合 基本統計量 算出 R言語プログラミング： 基本統計量の算出
- 10. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 11. データ構造 Rのデータ型 型 概要 integer 整数 numerical 実数 complex 複素数 character 文字 logical 論理値 vector ベクトル matrix 行列（同一型要素） data frame 行列（任意型要素） array 配列 list リスト
- 12. データ構造 Vector １次元のデータセット
- 13. データ構造 Matrix 同一型要素の行列
- 14. データ構造 Matrix 同一型要素の行列
- 15. データ構造 Data Frame 任意型要素の行列
- 16. データ構造 Array 配列
- 17. データ構造 List リスト
- 18. データ構造 データ型の確認
- 19. データ構造 データ型の確認
- 20. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 21. データの入出力 種類 方法 関数 説明 入力 エディタ入力 edit エディタで編集。保存には代入が必要 fix エディタで編集 ファイル読込 read.table 小・中規模データの読込みに適している （テキスト） read.csv 小・中規模データの読込みに適している （CSV） scan 大規模データの読込みに適している 他 foreign packageでSAS, SPASS, Stata,S-PLUSファ イル形式もサポート 出力 ファイル出力 write 通常の出力 write.table Data Frameを出力（テキスト）。テキストは” ”で囲 まれ、数値データはそのまま出力 write.csv Data Frameを出力（CSV） sink コンソールに返される内容を出力
- 22. データの入出力 種類 方法 関数 説明 入力 エディタ入力 edit エディタで編集。保存には代入が必要 fix エディタで編集 ファイル読込 read.table 小・中規模データの読込みに適している （テキスト） read.csv 小・中規模データの読込みに適している （CSV） scan 大規模データの読込みに適している 他 foreign packageでSAS, SPASS, Stata,S-PLUSファ イル形式もサポート 出力 ファイル出力 write 通常の出力 write.table Data Frameを出力（テキスト）。テキストは” ”で囲 まれ、数値データはそのまま出力 write.csv Data Frameを出力（CSV） sink コンソールに返される内容を出力
- 23. エディタによる編集 edit 表計算風のエディタで編集できる。保存には代入が必要 引数 price は変更されない 代入先の price2 が変更される
- 24. エディタによる編集 fix 表計算風のエディタで編集できる 引数 price が変更される
- 25. データの入出力 種類 方法 関数 説明 入力 エディタ入力 edit エディタで編集。保存には代入が必要 fix エディタで編集 ファイル読込 read.table 小・中規模データの読込みに適している （テキスト） read.csv 小・中規模データの読込みに適している （CSV） scan 大規模データの読込みに適している 他 foreign packageでSAS, SPASS, Stata,S-PLUSファ イル形式もサポート 出力 ファイル出力 write 通常の出力 write.table Data Frameを出力（テキスト）。テキストは” ”で囲 まれ、数値データはそのまま出力 write.csv Data Frameを出力（CSV） sink コンソールに返される内容を出力
- 26. ファイル読込み read.table 小・中規模データの読込みに適している（テキストファイル）
- 27. ファイル読込み read.csv 小・中規模データの読込みに適している（CSVファイル）
- 28. ファイル読込み scan 大規模データの読込みに適している
- 29. データの入出力 種類 方法 関数 説明 入力 エディタ入力 edit エディタで編集。保存には代入が必要 fix エディタで編集 ファイル読込 read.table 小・中規模データの読込みに適している （テキスト） read.csv 小・中規模データの読込みに適している （CSV） scan 大規模データの読込みに適している 他 foreign packageでSAS, SPASS, Stata,S-PLUSファ イル形式もサポート 出力 ファイル出力 write 通常の出力 write.table Data Frameを出力（テキスト）。テキストは” ”で囲 まれ、数値データはそのまま出力 write.csv Data Frameを出力（CSV） sink コンソールに返される内容を出力
- 30. ファイル読込み write 通常の出力
- 31. ファイル読込み sink コンソールに返される内容を出力
- 32. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 33. データ演算 算術演算子 演算 演算子 記述例 加算 + a+b 減算 - a-b 乗算 * a*b 除算 / a/b べき算 ^ a^b 整数除算 %/% a%/%b 剰余 %% a%%b
- 34. データ演算 比較演算子 演算 演算子 例 第１引数 a 第２引数 b 返り値 より大きい > a>b 比較可能ベクトル 比較可能ベクトル 論理値ベクトル より小さい < a<b 比較可能ベクトル 比較可能ベクトル 論理値ベクトル 以上 >= a>=b 比較可能ベクトル 比較可能ベクトル 論理値ベクトル 以下 <= a<=b 比較可能ベクトル 比較可能ベクトル 論理値ベクトル 等しい == a==b 比較可能ベクトル 比較可能ベクトル 論理値ベクトル 等しくない != a!=b 比較可能ベクトル 比較可能ベクトル 論理値ベクトル
- 35. データ演算 比較演算子
- 36. データ演算 論理演算子 演算 演算 例 第１引数 x 第２引数 y 返り値 子 否定 ! !x 論理値ベクトル - 論理値ベクトル 論理積 && x && y 論理値ベクトル 論理値ベクトル 論理値 論理和 || x || y 論理値ベクトル 論理値ベクトル 論理値 ベクトル化論理積 & x&y 論理値ベクトル 論理値ベクトル 論理値ベクトル ベクトル化論理和 | x|y 論理値ベクトル 論理値ベクトル 論理値ベクトル 排他的論理輪 xor xor(x,y) 論理値ベクトル 論理値ベクトル 論理値ベクトル
- 37. データ演算 論理演算子
- 38. データ演算 初等関数 演算 演算子 例 絶対値 abs abs(a) 自然指数 exp exp(a) 平方根 sqrt sqrt(a) 自然対数 log log(a) 常用対数 log10 log10(a) 四捨五入 round round(a,3) 三角関数 cos, sin, tan cos(a), sin(a), tan(a) 逆三角関数 acos, asin, atan acos(a), asin(a), atan(a)
- 39. データ演算 初等関数
- 40. データ演算 初等関数
- 41. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 42. 基本統計量 算出 基本統計量の算出関数 基本統計量 関数 合計 sum 算術平均 mean 最大値 max 最小値 min 範囲 （最大値 －最小値） range 中央値 median 分散 var 標準偏差 sd 分位数 quantile 統計要約 summary
- 43. 基本統計量 算出 基本統計量 算出の実行例
- 44. Apply関数 Apply関数を用い データセットの行や列ごとの統計量を算出できる apply(X, MARGIN, FUN, ...) X:データ MARGIN: 行ごとの場合１、列ごとの場合２ FUN: 統計関数や算出式
- 45. データ iris(アヤメ)データ よい性質を持ち よく使用される Iris Sanguinea 花葉 花びら 種
- 46. Apply関数 データの列ごとの統計量算出
- 47. Apply関数 データの列ごとの統計量算出
- 48. Apply関数 データの列ごとの統計量算出
- 49. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 50. 統計データの視覚化 グラフ描画関数 グラフ よく使われる関数 棒グラフ barplot 円グラフ pie ヒストグラム hist 箱ひげ図 boxplot 折れ線グラフ matplot 散布図 plot 対散布図 pairs
- 51. 統計データの視覚化 棒グラフ 円グラフ barplot(c(20,100,30,10,20,45,70,30)) pie(c(25,20,15,15,10,5)) ヒストグラム 箱ひげ図 hist(c(5,20,5,10,10,15,30,60,10,15)) boxplot(count~spray,data=InsectSprays)
- 52. 統計データの視覚化 折れ線グラフ matplot(c(1,40,15,8,16,32,64,30,10,0),type="l") 散布図 対散布図 plot(iris[,1],iris[,3]) pairs(iris[1:4])
- 53. AGENDA 1. Rとは 2. データ構造 3. データ入出力 4. データ演算 5. 基本統計量算出 6. 統計データの視覚化 7. 統計解析・データマイニングの種類
- 54. 統計解析・データマイニングの種類 因子・分類・回帰・判別・時系列などの 各種統計解析・データマイニング手法 多次元尺度法 クラスター分析 アソシエーション分析 サポートベクターマシン 対応分析 自己組織化マップ 主成分分析 因子分析 ニューラルネットワーク カーネル法 樹木モデル 集団学習 非線形回帰分析 時系列分析 線形回帰分析 非線形判別 生存分析 線形判別
- 55. 統計解析・データマイニングの種類 因子・分類・回帰・判別・時系列などの 各種統計解析・データマイニング手法 多次元尺度法 クラスター分析 アソシエーション分析 サポートベクターマシン 対応分析 自己組織化マップ 主成分分析 因子分析 ニューラルネットワーク カーネル法 樹木モデル 集団学習 非線形回帰分析 時系列分析 線形回帰分析 非線形判別 生存分析 線形判別
- 56. 統計解析・データマイニングの種類 例：Rによる時系列分析 ソースコード 実行結果
- 57. 推薦文献
- 58. 推薦文献リンク Rによるデータサイエンス ～データ解析の基礎から最新手法まで ～ Rグラフィックス ～Rで思いどおりのグラフを作図するために～ Rによる統計解析
- 59. Fin.
- 60. 講義後の 参加者の声 （抜粋）
- 61. 講義後の参加者の声（抜粋） ・基礎から聞け、内容が分かりやすかったです。 Rが便利なことを理解できました。 今後、具体的な用途に関して知りたいです。 （Web会議システムエンジニア Tさん） ・丁寧な説明で分かりやすかったです。 データの取り方、実践的な内容を知りたくなりました。 （3次元グラフィックス エンジニア Mさん） ・変数定義など初歩的な部分から理解でき分かりやすい講義でした。 今後、高度な分析に関する講義を聞きたいと思います。 （コンサルタント Yさん） ・内容が分かりやすかった。 今度は、具体的な統計分析・データマイニング手法の内容に関し 知りたくなりました。 （制御システム・インフラ エンジニア Sさん）