スクレイピングとPython
38 likes9,440 views
PyCon mini Hiroshima 2015/11/22 スクレイピングとPython
![クローリング
• 英語の意味は、[はう、ゆっくり進む]
• Webページのリンクの内容をたどる
• Webページの内容をダウンロードして収集
• クローラー、スパイダーと呼ばれる](https://image.slidesharecdn.com/python-151124033759-lva1-app6892/85/Python-10-320.jpg)
![スクレイピング
• 英語の意味は、[ 削ること ]
• ページの内容から必要な情報を抽出](https://image.slidesharecdn.com/python-151124033759-lva1-app6892/85/Python-11-320.jpg)
スクレイピングとPython
- 1. スクレイピングと Python 2015/11/22 関根裕紀 PyCon mini Hiroshima
- 2. 自己紹介 • 関根裕紀（せきね ひろのり） • 株式会社SQUEEZE • Twitter: @checkpoint
- 3. 業務でのPython • ホームシェア（民泊）などの物件の管理、ま たそれに伴う各種オペレーションを一元的に 管理するクラウドサービス を提供(Mister Suite) • 実際の業務ではDjango、Scrapyを使用 • エンジニア積極採用中！
- 5. Pythonとの関わり（１） • PyCon JP 2014 スタッフ • PyCon JP 2015 プログラムチーム副座長 • Pythonもくもく会（主催）
- 6. Pythonとの関わり（２） • LLDiver • PyCon JP 2014 • Phone Symposium Tokyo 2015 • PyCon mini Hiroshima (Today!!) • Pythonエンジニア養成読本（共著）
- 7. アジェンダ • Webスクレイピングとは？ • PythonでのWebスクレイピング • Webスクレイピングのサンプル紹介
- 9. Webスクレイピング • WebサイトからHTMLのデータを収集 • 特定のデータを抽出、加工 • 抽出したデータを再利用 • クローリング + スクレイピング
- 10. クローリング • 英語の意味は、[はう、ゆっくり進む] • Webページのリンクの内容をたどる • Webページの内容をダウンロードして収集 • クローラー、スパイダーと呼ばれる
- 11. スクレイピング • 英語の意味は、[ 削ること ] • ページの内容から必要な情報を抽出
- 12. 用途 • 検索エンジン • 価格比較 • 気象データの監視 • サイトの変更検出 • Webサイトの情報解析、研究（比較、分類、統計）
- 13. Webサービスを使用 • kimono ( https://www.kimonolabs.com/ ) • import.io ( https://import.io/ )
- 14. プログラミング • wget, cURL • Ruby ( Nokogiri、Mechanize） • Perl（Web::Scraper)
- 15. Pythonでのスクレイピング • 標準ライブラリ • BeautifulSoup • pyquery • Scrapy • その他
- 16. バッテリー付属言語 Python
- 17. 標準ライブラリ • Pythonの標準ライブラリはとても充実 • ネットワーク、正規表現、etc • Pythonの処理系だけあれば良い • 簡単なスクレイピングであれば十分実用的
- 18. サンプル
- 19. サンプル(requests版）
- 20. Beautiful Soup • 2004年位から存在するライブラリ • HTMLやXMLからデータを抽出して取得 • 最新バーションはBeautiful Soup 4系 • Python 2.7、Python 3.2に対応
- 21. サンプル
- 22. pyquery • jQuery風にHTML/XML操作が可能 • パーサーにはlxmlを使用（高速） • JQuery風のセレクタを利用できる
- 23. サンプル
- 24. Selenium • Webブラウザのオートメーションツール • 実際にブラウザを操作してコンテンツを取得 • PhantomJS（ヘッドレスブラウザ）と連携可 • JavaScript（Ajax）を利用しているサイトの コンテンツも簡単に取得できる
- 25. サンプル
- 27. Scrapy
- 28. Scrapyの特徴 • クローリング、スクレイピングフレームワーク • Djangoに影響されている（Middlewareなど） • スクレイピングに必要な機能がそろっている • ドキュメントが充実している • Python2.7のみ対応（3にも対応するらしい）
- 29. Scrapyの主な機能 • ダウンロード、抽出、保存 • ダウンロードしたドキュメントのキャッシュ • 強力なコマンドラインシェル • Robots.txtのパース • 非同期、並行ダウンロード（Twistedを使用） • ドメイン、IPアドレス単位のクロール間隔調整 • エラー時のリトライ • ログ出力
- 31. コンポーネント • Scrapy Engine • Scheduler • Downloader • Spiders • Item Pipeline • Downloader middlewares • Spider middlewares
- 32. Scrapy Engine • コンポーネント間のデータフローを制御する • 特定のアクションが発生したら、イベントを 起こす
- 33. Spider • ユーザーが作成するカスタムクラス • 取得したいURL、抽出する項目を記述する • ダウンロードしてコンテンツをスクレイピン グして、Itemを作成する
- 35. Downloader • 実際にWebページを取得する。 • Downloader middlewaresで処理を差し込む 事ができる。（キャッシュなど） • Ajaxのコンテンツは、Seleniumでダウンロー ドさせたりなど、処理の変更も可能。
- 36. Item Pipeline • スパイダーによって抽出されたアイテムを出力 • データのクレンジング、検証 • 永続化（JSON、File、DB、Mail）など
- 37. 開発手順 • Scrapyプロジェクトの作成 • Spiderを作成（リンク抽出、ダウンロード） • Itemパイプラインでデータを保存
- 38. プロジェクトの作成 $ scrapy startproject scrapy_sample
- 39. サンプル
- 41. 実行 $ scrapy crawl dmoz_spider -o scraped_data.json
- 42. サンプル紹介 • Airbnbの物件情報をスクレイピング • 京都、沖縄（任意の場所） • 6/27 - 6/28（この期間で宿泊可能な物件） • 20000円以内 • 価格の分布図を表示（Web画面）
- 43. 物件情報
- 44. ライブラリ - Scraping • requests (HttpClient) • Beautiful Soup (Scraping) • SqlAlchemy ( O/R Mapper)
- 45. ライブラリ - Web • Bottle ( Web Application Framework) • Highcharts ( Graph Library) • SqlAlchemy ( O/R Mapper)
- 46. Bottle • 軽量なWebアプリケーションフレームワーク • ルーティング • テンプレートエンジン • HTTPユーティリティ • ビルトインのサーバー
- 47. HelloWorld
- 49. モデルの定義
- 50. レコード作成、検索
- 51. デモ
- 52. デモ
- 53. ソースコード（モデルの定義）
- 54. ソースコード（スクレイピング）
- 55. ソースコード（クローリング）
- 56. ソースコード（Web）
- 57. ソースコード（Web）
- 58. ソースコード（Web）
- 59. まとめ • Pythonでスクレイピングを行う場合、色々な アプローチがある。 • 標準のライブラリから、フレームワークまで 選択肢は沢山ある。 • 実際の要件に合わせて使用すれば良い。
- 60. 参考資料 • http://scrapy.org ( Scrapy ) • http://www.slideshare.net/MasayukiIsobe/web-scraping-20140622isobe • https://github.com/gawel/pyquery/ ( pyquery ) • http://www.crummy.com/software/BeautifulSoup/ ( BeautfulSoup ) • http://orangain.hatenablog.com/entry/scrapy • http://akiniwa.hatenablog.jp/entry/2013/04/15/001411 • http://tokyoscrapper.connpass.com/ ( Webスクレイピング勉強会 ) • http://www.slideshare.net/nezuQ/web-36143026?ref=http://www.slideshare.net/ slideshow/embed_code/36143026 • http://qiita.com/nezuq/items/c5e827e1827e7cb29011（ 注意事項 ）
- 61. ご静聴ありがとうございました