Hadoopことはじめ
Download as PPTX, PDF•4 likes•1,576 views
これからはじめるHadoop/Spark発表資料 http://hadoop.connpass.com/event/27345/
Hadoopことはじめ
- 1. Hadoopことはじめ 〜Hadoopを取り巻く環境とその最新動向〜 2016.03.22 @ これからはじめるHadoop/Spark Presented By: Katsunori Kanda(@potix2) CyberAgent Inc.
- 3. 今日話したいこと • Hadoopを使う動機 • Hadoopの全体像 • 最近のトレンド • デモ
- 4. Hadoopを使う動機 • 大量データを苦労せず高速に処理したい • 一度溜まったデータを動かすにはコストがかかる • 溜まっているデータをみんなで使いたい
- 5. Q.大量データを高速に 処理するには？ A. ディスクをたくさんならべて分散処理する ディスクの台数分だけスループットが向上する ログ 10TBディスク CPU メモリ 1台の場合 20台に分散させた場合 500GB 500GB…500GB 読み込みに 1GB/s で約2.8時間 読み込みに 1GB/s で8.3分
- 7. Hadoopのシステムスタック HDFS(Hadoop Distributed File System) YARN(Cluster Resource Manager) Hive/Tez SparkMapReduce Streaming (Storm/Flink…) Others… UserApplications
- 8. HDFS • Hadoop Distributed File Systemの略 • 複数のサーバーにあるディスクを一つの巨大なディ スクのように見せてくれる • 自動でレプリケーションも作ってくれるので対障害 性が高い
- 10. 単一クラスターのメリット • リソースが効率的に使用され稼働率が上がる • 一つのクラスターだけを運用すればいいので運用コ ストが低減される • システム間のデータ移動コストがかからなくなる（ c.f. 複数クラスターではコピーが発生する）
- 11. Hadoop上で動く分散アプリ ケーション • SQL on Hadoop • Spark SQL, Hive/Tez, Presto, … • ストリーミング • Spark Streaming, Storm, Flink, … • 機械学習 • Spark ML, SystemML, TensorFlow, …
- 12. SQL on Hadoop • 最近は、MapReduce処理を一から書くことはあま りない • SQL(っぽい)言語でデータの抽出や集計処理を書く ことができる • Jupyter, Apache Zeppelin, re:dashなどノートブッ ク環境と合わせて使うと便利
- 13. ストリーミング • 開発が活発に行なわれている。Apacheプロジェク ト内でもいくつあるのか・・・。 • Storm, Spark, Flink, Apex… • 比較記事: https://yahooeng.tumblr.com/post/135321837876/b enchmarking-streaming-computation-engines-at
- 14. これからHadoopを使ってみるなら • クラウド環境から使いはじめてみるのがよい • S3やGCSをHDFSを通して使える • AWSなら、EMR • GCPなら、Cloud Data Proc
- 15. デモ
- 16. まとめ • Hadoopは大量データを処理するためのシステム • HDFS + YARN + 分散アプリケーション • 用途の異なるアプリが単一クラスターで動く • 最近はSQLでデータ処理を書けるようになってきた • これからはじめるならクラウド環境を活用するのが よい