![Leiningen の基本的な使い方 http://github.com/technomancy/leiningen/raw/stable/bin/lein をダウンロードしてパスを通す lein self-install leiningen インストール直後に一回だけ行う (windows 版は大変！ ) lein new [project name] プロジェクト作成。 project.clj( プロジェクト設定マクロ ) 、スケルトンファイル生成 lein deps project.clj に記述した依存ライブラリ取得 (clojure 本体 /contrib もここで取得可能 ) lein repl project.clj に記述した依存ライブラリをクラスパスに入れた状態で REPL 起動 lein test テストコード実行 lein compile clj ファイルを class ファイル (java バイトコード ) にコンパイル lein jar プロジェクトで生成した class ファイルをまとめて java アーカイブ (jar) を作成 lein uberjar 依存ライブラリを含めた jar を作成 lein swank swank server を立ち上げる。別途プラグインが必要 その他 http://bit.ly/96A9ia 参考](https://image.slidesharecdn.com/shibuyalisp5-100319151023-phpapp01/85/Clojure-Leiningen-3-Hadoop-7-320.jpg)
![マクロで Mapper/Reducer 定義 Mapper/Reduce クラス定義のような定型的な箇所はマクロでテンプレート化。 http://github.com/making/cloudure で改良中 (defmapreduce hello :mapper ([key value context] (.write context (Text. key) (IntWritable. (Integet/parseInt value)))) :reducer ([key values context] (.write context key (IntWritable. (reduce + (map #(.get %) values))))))](https://image.slidesharecdn.com/shibuyalisp5-100319151023-phpapp01/85/Clojure-Leiningen-3-Hadoop-8-320.jpg)
![マルチメソッドを使う int -> IntWritable とか double -> DoubleWritable とか String -> Text に変換して Context に設定するのが面倒くさい->マルチメソッドでディスパッチ！ Mapper/Reducer の返り値が [key value] な vector である場合にそれぞれディスパッチするようなマクロにする パフォーマンスはいまいちかも？](https://image.slidesharecdn.com/shibuyalisp5-100319151023-phpapp01/85/Clojure-Leiningen-3-Hadoop-10-320.jpg)
More Related Content
Similar to 颁濒辞箩耻谤别+尝别颈苍颈苍驳别苍で3分贬补诲辞辞辫 (20)
More from Toshiaki Maki (20)
颁濒辞箩耻谤别+尝别颈苍颈苍驳别苍で3分贬补诲辞辞辫
- 1. Clojure+Leiningen で 3 分 Hadoop Shibuya.lisp TT#5 March 10, 2010 @making ( http://ik.am ) BlogSystem Written By CommonLisp 「 CategoL 」 ( http://github.com/making/categol )
- 2. Clojure をインストールした後、 こんな風に思ったことないですか？ REPL 起動の仕方が人によって違わない？ .clj ファイルをロードしたいけど Could not locate っていわれる クラスパス追加しないといけないの？ jar をどこに置けばいいのか分からない 面倒くさい。。。
- 3. Leiningen (pronounced “LINE-ing-en”) Clojure のビルドツール http://github.com/technomancy/leiningen デファクトスタンダードになりつつある jar(java アーカイブ ) の依存関係解決 maven2 レポジトリから取得する クラスパス設定済み REPL ?コンパイル環境を提供 Clojure 未インストールの状態からも使える ( 必要なものは Java のみ ) 超手軽に Clojure 開発環境構築＆ Java ライブラリ取得?使用が可能
- 4. 例題として Hadoop Leinigen の手軽さを活かし、 Hadoop 本のサンプルプログラム ( 例 2.6: 気象情報データセットから最大温度を取得 ) を実行する Clojure 、 Hadoop がインストールされていない想定 要 java/git/ ネット環境
- 5. デモ ( 動画 ) leiningen の使い方 ( コマンド一覧 ) は後ろのスライドに記載 実行するプログラム : http://bit.ly/9XieeT 軽く解説記事 : http://bit.ly/bodVU1
- 6. 以下、补足资料
- 7. Leiningen の基本的な使い方 http://github.com/technomancy/leiningen/raw/stable/bin/lein をダウンロードしてパスを通す lein self-install leiningen インストール直後に一回だけ行う (windows 版は大変！ ) lein new [project name] プロジェクト作成。 project.clj( プロジェクト設定マクロ ) 、スケルトンファイル生成 lein deps project.clj に記述した依存ライブラリ取得 (clojure 本体 /contrib もここで取得可能 ) lein repl project.clj に記述した依存ライブラリをクラスパスに入れた状態で REPL 起動 lein test テストコード実行 lein compile clj ファイルを class ファイル (java バイトコード ) にコンパイル lein jar プロジェクトで生成した class ファイルをまとめて java アーカイブ (jar) を作成 lein uberjar 依存ライブラリを含めた jar を作成 lein swank swank server を立ち上げる。別途プラグインが必要 その他 http://bit.ly/96A9ia 参考
- 8. マクロで Mapper/Reducer 定義 Mapper/Reduce クラス定義のような定型的な箇所はマクロでテンプレート化。 http://github.com/making/cloudure で改良中 (defmapreduce hello :mapper ([key value context] (.write context (Text. key) (IntWritable. (Integet/parseInt value)))) :reducer ([key values context] (.write context key (IntWritable. (reduce + (map #(.get %) values))))))
- 9. 簡単並行処理 map の代わりに pmap を使うと並行処理になる（ただし低コストな処理の場合はかえってスレッド生成のオーバヘッドのほうが大きい） pmap/reduce!( 違 ) 実際 map 関数を使うのは reducer 内だと思うので、、、
- 10. マルチメソッドを使う int -> IntWritable とか double -> DoubleWritable とか String -> Text に変換して Context に設定するのが面倒くさい->マルチメソッドでディスパッチ！ Mapper/Reducer の返り値が [key value] な vector である場合にそれぞれディスパッチするようなマクロにする パフォーマンスはいまいちかも？