Clojure+Leiningenで3分Hadoop

Clojure+Leiningen で 3 分 Hadoop Shibuya.lisp TT#5 March 10, 2010 @making ( http://ik.am ) BlogSystem Written By CommonLisp 「 CategoL 」 ( http://github.com/making/categol )

Clojure をインストールした後、こんな風に思ったことないですか？ REPL 起動の仕方が人によって違わない？ .clj ファイルをロードしたいけど Could not locate っていわれるクラスパス追加しないといけないの？ jar をどこに置けばいいのか分からない面倒くさい。。。

Leiningen (pronounced “LINE-ing-en”) Clojure のビルドツール http://github.com/technomancy/leiningen デファクトスタンダードになりつつある jar(java アーカイブ ) の依存関係解決 maven2 レポジトリから取得するクラスパス設定済み REPL ・コンパイル環境を提供 Clojure 未インストールの状態からも使える ( 必要なものは Java のみ ) 超手軽に Clojure 開発環境構築＆ Java ライブラリ取得・使用が可能

例題として Hadoop Leinigen の手軽さを活かし、 Hadoop 本のサンプルプログラム ( 例 2.6: 気象情報データセットから最大温度を取得 ) を実行する Clojure 、 Hadoop がインストールされていない想定要 java/git/ ネット環境

デモ ( 動画 ) leiningen の使い方 ( コマンド一覧 ) は後ろのスライドに記載実行するプログラム : http://bit.ly/9XieeT 軽く解説記事 : http://bit.ly/bodVU1

Leiningen の基本的な使い方 http://github.com/technomancy/leiningen/raw/stable/bin/lein をダウンロードしてパスを通す lein self-install leiningen インストール直後に一回だけ行う (windows 版は大変！ ) lein new [project name] プロジェクト作成。 project.clj( プロジェクト設定マクロ ) 、スケルトンファイル生成 lein deps project.clj に記述した依存ライブラリ取得 (clojure 本体 /contrib もここで取得可能 ) lein repl project.clj に記述した依存ライブラリをクラスパスに入れた状態で REPL 起動 lein test テストコード実行 lein compile clj ファイルを class ファイル (java バイトコード ) にコンパイル lein jar プロジェクトで生成した class ファイルをまとめて java アーカイブ (jar) を作成 lein uberjar 依存ライブラリを含めた jar を作成 lein swank swank server を立ち上げる。別途プラグインが必要その他 http://bit.ly/96A9ia 参考

マクロで Mapper/Reducer 定義 Mapper/Reduce クラス定義のような定型的な箇所はマクロでテンプレート化。 http://github.com/making/cloudure で改良中 (defmapreduce hello :mapper ([key value context] (.write context (Text. key) (IntWritable. (Integet/parseInt value)))) :reducer ([key values context] (.write context key (IntWritable. (reduce + (map #(.get %) values))))))

簡単並行処理 map の代わりに pmap を使うと並行処理になる（ただし低コストな処理の場合はかえってスレッド生成のオーバヘッドのほうが大きい） pmap/reduce!( 違 ) 実際 map 関数を使うのは reducer 内だと思うので、、、

マルチメソッドを使う int -> IntWritable とか double -> DoubleWritable とか String -> Text に変換して Context に設定するのが面倒くさい->マルチメソッドでディスパッチ！ Mapper/Reducer の返り値が [key value] な vector である場合にそれぞれディスパッチするようなマクロにするパフォーマンスはいまいちかも？

Clojure+Leiningenで3分Hadoop

More Related Content

Similar to Clojure+Leiningenで3分Hadoop (20)

More from Toshiaki Maki (20)

Clojure+Leiningenで3分Hadoop