初めてのHadoopパッチ投稿 / How to Contribute to Hadoop （Cloudera World Tokyo 2014 LT講演資料）
- 1. 初めての Hadoopパッチ投稿 How to Contribute to Hadoop Cloudera World Tokyo 2014 LT 大山真実
- 2. 自己紹介 大山真実 おおやま まさのり 某SIerでHadoopと戯れています 入社３年目 Hadoopソースコードリーディングの お手伝いとかやってます
- 3. その０ はじめにやること
- 4. まずはこのドキュメントを読みましょう↓ 「How to Contribute to Hadoop Common」 http://wiki.apache.org/hadoop/ •環境構築からビルド、パッチの投稿まで全部 説明されてます
- 5. • これからパッチ投稿までの大まかな流れを紹 介します、が、細かい点は前述のドキュメント を確認して下さい。 • 初心者向けのTipsを中心に紹介します。 まずは公式ドキュメントに目を通しましょう！ Tipsその１
- 6. ※ Mac + IntelliJを対象 その１ Hadoop開発環境の準備
- 7. Git を Get！ • gitをインストールしましょう • インストール方法は省略 • 日本語の情報も豊富なのでググってお好み の方法でインストールして下さい
- 8. Hadoopプロジェクトをgit clone • かなり時間かかります！ • 古い情報に注意！ ❌ git://github.com/apache/hadoop-common.git →ブログなどの情報は参考程度に $ git clone git://git.apache.org/hadoop.git ※ git://github.com /apache/hadoop.git のほうが早いとの噂 まずは公式ドキュメントに目を通しましょう！ Tipsその１ 大事なことなので二度言います！
- 9. ビルド環境構築 • git clone してきたHadoopプロジェクト内の BUILDING.txtを読みましょう！ ＃Windows向けのビルド方法も書いてあります。
- 10. ビルドに必要なもの • MacではHomebrewでインストールできます http://brew.sh/index_ja.html Requirements: * Unix System * JDK 1.6+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac * Zlib devel (if compiling native code) * openssl devel ( if compiling native hadoop-pipes ) * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
- 11. • 必要なProtocolBufferのバーションは2.5.0 「Homebrewでバージョンを指定してインストールする」 http://qiita.com/tamasally/items/a7bc7eca85bbc70dda49 →brew install protobufだと2.6がインストールされビルドできません。 • zlibのインストール方法に注意(Macのみ) dupesリポジトリを作成してからインストールする必要があります。 $ brew tap homebrew/dupes $ brew install zlib https://github.com/Homebrew/homebrew-dupes ProtocolBufferのバージョンに注意！ Tipsその２
- 12. Hadoopをビルドしてみよう！ $ mvn package -Pdist -DskipTests -Dtar オプションの説明などはBUILDING.txtに書いてあります！ ビルド失敗しても慌てない！ 落ち着いてエラーメッセージを読みましょう！ Tipsその３ • 必要なソフトウェアは全部インストールされていますか？ • 環境変数の設定忘れてませんか？ • MavenのOOMエラーで失敗してませんか？ export MAVEN_OPTS="-Xms256m -Xmx512m"
- 13. IntelliJにインポート • 省略します。 • 初めての人にはこちらが参考になります。 「How-to: Create an IntelliJ IDEA Project for Apache Hadoop」 http://blog.cloudera.com/blog/2014/06/how-to-create-an-intellij-idea- project-for-apache-hadoop/ git clone元が古い情報になっているので注意
- 14. IntelliJのCode Styleの設定を変更しましょう Tipsその４ • インデントの設定は２ アプリケーションメニュー＞IntelliJ IDEA＞preference＞Code Style＞Java＞Tabs and Indents Tab size → 2 Indent 2 → 2 • importで同じパッケージをまとめない アプリケーションメニュー＞IntelliJ IDEA＞preference＞Code Style＞Java＞Imports Class count to use import with '*' → 99
- 16. JIRA登録 • HadoopはASF ( apache software foundation ) のJIRAで管理しています https://issues.apache.org/jira/browse/HADOOP/ • まずはJIRAのアカウントを作成しちゃいましょ う！
- 17. 初心者向けチケットを探す • 初心者向けチケットはnewbieというラベルで 分類されています。 • newbieの中でもドキュメント関連は比較的取 り組みやすいです。 newbieチケットに取り組んでみましょう！ Tipsその５
- 18. • 「More」に「label」と入力するとlabelで検索できるように なります。 projects : Hadoop common, Hadoop HDFS, Hadoop Map/Reduce, Hadoop YARN statuses : OPEN Users/Groups : Unassigned Label : newbie
- 19. ブランチ作成 • 取り組むチケットが決まったらブランチを作成しま しょう！ • trunkに移動 $ git checkout trunk • trunkからチケット番号名のブランチ作成 $ git branch チケット番号（例えばHDFS-99999） • ブランチに移動 $ git checkout チケット番号
- 20. Gitについて • Gitに詳しくない人は一番ハマるところな気がしま すが、今回は省略させて下さい。 • 基本的には 「Git and Hadoop」 http://wiki.apache.org/hadoop/GitAndHadoop を見ていただければ大丈夫だと思います。
- 21. コードをいじる • 「How to Contribute to Hadoop Common」 をよく読んでコーディング • ドキュメントの場合 – APTフォーマットで書く http://maven.apache.org/doxia/references/apt- format.html – １行80文字まで制限に注意！ http://www.oracle.com/technetwork/java/javase/documentation/codeconventions-136091.html#313
- 22. パッチ作成 • コードの追加修正が終わったらパッチ作成 $ git diff --no-prefix trunk > HDFS-99999-1.patch • 無事パッチ作成できました！やったね！
- 23. その３ パッチの投稿方法
- 24. パッチをアップロード
- 25. コメントを書く 最初は I attached patch. とかで大丈夫！(たぶん)
- 27. Submit Patchをクリック よくわからなければ何も書かないで大丈夫！ # 気づいた人が直してくれます！(たぶん)
- 28. コミュニティメンバのコメント • コミッタはじめ色々な人が“優しく”コメントして くれます。 • 間違いを指摘されたら直しましょう！ • コミットされるまでのルールは下記参照 http://hadoop.apache.org/bylaws.html
- 29. OSSコミュニティ特有？の略語に注意！ Tipsその６ • ＋１：賛成！（コミットするに一票！） • −１：反対！ • LGTM：Looks good to me：いいね！ • ＋１(non-binding)： （コミッタじゃないけど…）賛成！ • 参考 http://qiita.com/uasi/items/86c3a09d17792ab62dfe
- 30. まとめ
- 31. ぜひ！Hadoopコミュニティに参加して Hadoopに関するあなたの ・ちょっとここ不便だなぁ ・このドキュメントはわかりにくいよね ・バグだーーー！ といった、いろいろな”気付き”をコミュニティに 還元してください！