![20
Scala
例例
val
operator
=
new
MyOperator
val
s0
:
Stream[Data]
=
初期データ
val
s1
=
s0.filter(operator.f)
val
s2
=
s1.map(operator.m)
val
out1
=
s2.toSeq
s0
filter
f
map
m
out1](https://image.slidesharecdn.com/stream-spark-asakusafw-151128125119-lva1-app6891/85/Java8-Stream-API-Apache-Spark-Asakusa-Framework-20-320.jpg)
![22
Apache Spark
例例
val
sc
=
new
SparkContext(…)
val
operator
=
new
MyOperator
val
s0
:
RDD[Data]
=
sc.初期データ
val
s1
=
s0.filter(operator.f)
val
s2
=
s1.map(operator.m)
s2.saveAsTextFile(”ファイル名”)
※MyOperatorは通常のScalaと全く同じ
s0
filter
f
map
m
out1](https://image.slidesharecdn.com/stream-spark-asakusafw-151128125119-lva1-app6891/85/Java8-Stream-API-Apache-Spark-Asakusa-Framework-22-320.jpg)
Java8 Stream APIとApache SparkとAsakusa Frameworkの類似点・相違点
- 1. 2015/11/28 ひしだま Java8 Stream APIとApache Sparkと Asakusa Frameworkの類似点・相違点 JJUG CCC 2015 Fall
- 2. 2 セッション内容 前提 l JJUGの皆さんならJava8 Stream APIは知って いる。 Java8 Stream APIとApache SparkとAsakusa Frameworkのコーディングは、DAGを利利⽤用して いるという点で似ている。 これらを⽐比較しつつAsakusa Frameworkを紹 介する。
- 3. 3 ⽬目次 1. ⾃自⼰己紹介 2. Stream API・Spark・AsakusaFWの紹介 3. Stream API・Spark・AsakusaFWの類似点 4. Stream API・Spark・AsakusaFWの相違点 5. まとめ
- 5. 5 （⾃自分と）各プロダクトの年年表 時期 出来事 2006年 Apache Hadoop〔Nutchから独立〕 Java6リリース 2010年 2月 （Hadoopを知る） 2010年 初頭 Spark〔OSS化〕 2011年 3月末 Asakusa Framework公開 2011年 7月 （Sparkを知る） 2012年 2月 （SIerから転職） 2012年 8月 DQ10発売 2014年 2月 Apache Spark〔トップレベル昇格〕 2014年 3月 Java8リリース
- 7. 7 Java8 Stream API 「内部イテレーター」で処理理を⾏行行う為のAPI – 参考⽂文献：『現場で使える最新Java SE 7/8速攻⼊入 ⾨門』
- 9. 9 Apache Hadoop（2/3） DBサーバー データ バッチサーバー app サーバー データ app Hadoopクラスター 従来型バッチ Hadoopバッチ アプリケーションのある場所に データを転送する。 サーバー データ app サーバー データ app データのある場所に アプリケーションを転送する。
- 14. 14 Java8 Stream API 例例 MyOperator operator = new MyOperator(); Stream<Data> s0 = 初期データ; Stream<Data> s1 = s0.filter(operator::f); Stream<Data> s2 = s1.map(operator::m); List<Data> out1 = s2.collect(Collectors.toList()); 「メソッド参照」 構文
- 15. 15 Java8 Stream API MyOperatorの例例 public class MyOperator { public boolean f(Data data) { return data.getValue() % 2 == 0; } public Data m(Data data) { return new Data(data.getValue() + 1); } }
- 16. 16 Java8 Stream API 例例 MyOperator operator = new MyOperator(); Stream<Data> s0 = 初期データ; Stream<Data> s1 = s0.filter(operator::f); Stream<Data> s2 = s1.map(operator::m); List<Data> out1 = s2.collect(Collectors.toList()); これをDAGで表現してみる
- 19. 19 Java8 Stream API 例例 MyOperator operator = new MyOperator(); Stream<Data> s0 = 初期データ; Stream<Data> s1 = s0.filter(operator::f); Stream<Data> s2 = s1.map(operator::m); List<Data> out1 = s2.collect(Collectors.toList()); s0 filter f map m out1
- 20. 20 Scala 例例 val operator = new MyOperator val s0 : Stream[Data] = 初期データ val s1 = s0.filter(operator.f) val s2 = s1.map(operator.m) val out1 = s2.toSeq s0 filter f map m out1
- 21. 21 Scala MyOperatorの例例 class MyOperator { def f(data: Data) : Boolean = data.getValue() % 2 == 0 def m(data: Data) : Data = Data(data.getValue() + 1) }
- 22. 22 Apache Spark 例例 val sc = new SparkContext(…) val operator = new MyOperator val s0 : RDD[Data] = sc.初期データ val s1 = s0.filter(operator.f) val s2 = s1.map(operator.m) s2.saveAsTextFile(”ファイル名”) ※MyOperatorは通常のScalaと全く同じ s0 filter f map m out1
- 23. 23 Asakusa Framework フローの例例（概要） In<Data> s0 = 入力元; //ファイル Out<Data> out1 = 出力先; //ファイル MyOperatorFactory operator = new MyOperatorFactory(); Source<Data> s1 = operator.f(s0).out; Source<Data> s2 = operator.m(s1).out; out1.add(s2); s0 @Branch f @Update m out1
- 24. 24 Asakusa Framework MyOperatorFactoryの例例 public abstract class MyOperator { @Branch public Filter f(Data data) { return (data.getValue() % 2 == 0) ? Filter.OUT : Filter.MISSED; } @Update public void m(Data data) { data.setValue(data.getValue() + 1); } } コンパイルすると MyOperatorFactory が生成される
- 25. 25 類似点まとめ 処理理がDAG（有向⾮非循環グラフ）で表せる s0 filter f map m out1 s0 @Branch f @Update m out1
- 28. 28 相違点1：複数⼊入⼒力力（合流流） 種類 合流（union） Stream API Stream<Data> out = Stream.concat(Stream.concat(s0, s1), s2); Spark val out = s0 ++ s1 ++ s2 AsakusaFW Source<Data> out = core.confluent(s0, s1, s2); 1,abc 2,def 1,foo 3,bar 合流 1,abc 2,def 1,foo 3,bar
- 29. 29 相違点1：複数⼊入⼒力力（結合） 種類 結合（join） Stream API × Spark val out = s0.join(s1) AsakusaFW Source<Joined> out = operator.join(s0, s1).joined; // @MasterJoin 1,abc 2,def 1,foo 3,bar 結合 1,abc,foo
- 30. 30 相違点1：複数⼊入⼒力力（結合） 種類 結合（cogroup） Stream API × Spark val out = s0.cogroup(s1) AsakusaFW Source<Joined> out = operator.group(s0, s1).out; // @CoGroup 1,abc 2,def 1,foo 3,bar 結合 2,def,null 1,abc,foo 3,null,bar
- 31. 31 相違点1：複数⼊入⼒力力（zip） 種類 zip Stream API × Spark val out = s0.zip(s1) AsakusaFW × 1,abc 2,def 1,foo 3,bar zip 2,def,3,bar 1,abc,1,foo
- 32. 32 相違点2：複製 同じデータを複数箇所で使⽤用（duplicate） s0 処理2 out2 処理1 out1
- 33. 33 相違点2：複製（duplicate） 種類 複数箇所使用（duplicate） Stream API × Spark val out1 = s0.map(operator.m1) val out2 = s0.map(operator.m2) AsakusaFW Source<Data> out1 = operator.m1(s0).out; Source<Data> out2 = operator.m2(s0).out;
- 35. 35 相違点3：複数出⼒力力（分岐） 種類 分岐（branch） Stream API × Spark × AsakusaFW // @Branch Branch result = operator.branch(s0); Source<Data> out1 = result.out1; Source<Data> out2 = result.out2; Source<Data> out3 = result.out3;
- 36. 36 根本的な相違点：使⽤用⽬目的 種類 使用目的 Stream API 処理を内部イテレーターで書ける。 （List等のコレクションはStreamに変換する必要がある） 並列Streamでマルチスレッド処理が可能。 Scalaのコレク ション コレクションの処理を内部イテレーターで書ける。 並列Streamでマルチスレッド処理が可能。 Spark （Scala本体と似たコーディングで）複数マシンで分散する処 理を書ける。（いわばマルチプロセス） AsakusaFW 複数マシンで分散して処理するバッチアプリケーションを書く。 （分散処理の実行基盤としてHadoopやSparkを利用する） テスト機構あり。 マルチスレッド・複数マシン分散 → 扱うデータ量の違い マルチスレッド処理と言っても、数十万件といったデータでないとメリットが無い。データ量 が多いと、どうやって読み込むかという問題が出る。数千万〜億件ともなれば、データ自体 を分散し、それぞれを処理する方が効率が良い→Hadoop, Spark
- 39. 39 Asakusa Frameworkの⽬目的（3/4） あるバッチの実⾏行行時間の変遷 1. Hadoop版 l Hadoopジョブが180個くらい l 45〜～50分くらい 2. Hadoop＋スモールジョブ実⾏行行エンジン l 10〜～15分くらい 3. Spark版 l 3〜～4分くらい
- 40. 40 Asakusa Frameworkの⽬目的（3/4） そのバッチのDAG（の⼀一部（のイメージ）） ノード 一覧 下位 コスト @Convert 変換 上位 コスト コスト @CoGroup 配賦率算出 @Summarize 操業度集計 @CoGroup 配賦 @MJoinUpdate 操業度更新 操業度 1バッチの中に このフローが 25×5個くらい @MJoinUpdate 操業度更新 予定 操業度
- 44. 44 【余談】メニーコア化に対する今後の予想 Java8 Stream API – parallel()を使えばいい ソース修正が必要（今から並列列化すると、現在は不不利利） Apache Spark – executorはSpark管理理下なので、実⾏行行環境の指定を変 えるだけでいけるかも Asakusa Framework – リコンパイルするだけで対応できる、と思われる（現 在開発中）
- 45. 45 まとめ