![APIは高レベルでも
• 下位の実装の性格は必ずにじ
み出てきます
• 実装に使われているデータ構
造やアルゴリズム、デバイスの
特性は把握しておく
• 抽象化されたAPIを提供した
り、利用したりするのはもち
ろん良いこと
• しかし下位のことを忘れてい
いわけではない
foo[n]=…
挿入、更新、削除、検索の
計算量は？
メモリの消費は？](https://image.slidesharecdn.com/random-150906143340-lva1-app6892/85/-8-320.jpg)
足を地に着け落ち着いて考える
- 2. 本日の内容 • 少しだけ自己紹介 • 基本を抑えよう • 新しい技術を取り入れよう • デバイスに興味を持とう • エンジニアの気持ち
- 3. 少しだけ自己紹介 • 大阪のソフトウェア開発企業 （Sky株式会社）勤務。 • 本職の技術はデータベース中心。 パフォーマンスチューニング大好き。 • Webの情報はとても有益ですが、手間 をかけてまとめられた書籍を読むことの 価値も変わってはいないと考えています。 • ということで、技術書翻訳やってます。 • ビッグデータ、ソフトウェア開発に関す る本が中心。
- 5. 既刊書の一部
- 6. 基本を抑えよう
- 7. いわゆる教科書的な知識 • 計算量の理論や基本のデータ構造、アルゴリズム • リレーショナルデータモデル • コンピュータのアーキテクチャ • TCP/IPの仕組み などなど･･･簡単には変わらない、長持ちする知識
- 8. APIは高レベルでも • 下位の実装の性格は必ずにじ み出てきます • 実装に使われているデータ構 造やアルゴリズム、デバイスの 特性は把握しておく • 抽象化されたAPIを提供した り、利用したりするのはもち ろん良いこと • しかし下位のことを忘れてい いわけではない foo[n]=… 挿入、更新、削除、検索の 計算量は？ メモリの消費は？
- 9. APIは高レベルでも • 下位の実装の性格は必ずにじ み出てきます • 実装に使われているデータ構 造やアルゴリズム、デバイスの 特性は把握しておく • 抽象化されたAPIを提供した り、利用したりするのはもち ろん良いこと • しかし下位のことを忘れてい いわけではない SELECT … WHERE …
- 10. 「古典」を読みましょう！
- 11. 新しい技術を取り入れよう
- 12. 新しい技術はカウンターパンチ • 2000年頃「とりまリレーショナルデータベース」 • 2005年頃「リレーショナルデータベースってスケールし ないんじゃ?」 • 2010年頃「NoSQLならなんぼでもスケールする ぜぇぇ」「Hadoop最高」 • 2015年頃「やっぱSQLいいよね」
- 13. One size doesn’t fit all • Stonebrakerさんのお言葉 • 技術の長所、短所が自分の仕事にどう影響するかはケースバイケース • 本プレゼンで取り上げる例もあくまで1つの側面に過ぎません。それぞれの技 術者は、それぞれの状況に応じたものの見方ができなければなりません • 新たな長所を持つ技術を取り入れることは、多くの場合新たな短所 を受け入れることでもある • 「とりま」が通用しなくなったことこそ本質。
- 14. 新しい技術をきちんと理解する • なぜその新しい技術が登場したのか • どういった領域をターゲットとして登場したのか • その新しい技術を取り入れることによるマイナスは何か • こういったことを理解するためにも、基本を抑えておく ことが非常に大切
- 15. 新しい技術をきちんと理解する • なぜその新しい技術が登場したのか：スケーラビリティ • どういった領域をターゲットとして登場したのか：Web 界隈。比較的単純なデータ構造で、トランザクションへ の要求が低い • その新しい技術を取り入れることによるマイナスは何か ：データの整合性の担保の難しさ。長期的なメンテナン ス性などなど NoSQLの場合
- 16. 新しい技術をきちんと理解する • なぜその新しい技術が登場したのか：MapReduceが遅 いから。特にI/Oが多いため • どういった領域をターゲットとして登場したのか：イン タラクティブな処理、イテレーティブな処理の高速化 • その新しい技術を取り入れることによるマイナスは何か ：成熟度の低さ、運用の難しさ（メモリまわり） Sparkの場合
- 17. （ちょっと宣伝はいります）読書の薦め • まとまった情報に一通り目を通すことは大事です • 自分の現状の技術の観点で即断すると、新しい技術に対して ネガティブになりがち • 背景や要求事項が変化していないか?これまでの世界ではデ メリットに見えることが、変化した世界ではそもそも問題に ならなかったりはしないか？ • いったんきっちり、その技術の「ルール」をきちんと受け入 れてみるためにも、まとまった書籍は有効です
- 18. デバイスに興味を持とう
- 19. Thinking Low-Level, Writing Hight-level • どんなプログラムでもデバイスの 制約から逃れることはできない • 逆に、新しいデバイスの登場がゲー ムチェンジにつながることは多々 ある • この5年ではメモリ単価の低下と SSDの登場。 • 次の5年はストレージ/メモリ層の 変化?
- 23. Hadoopエコシステムの例 • もともとはハードディスクの性能問題への対応という面が大きかった • https://youtu.be/vu0n_86GiJo • 大ききな単位でディスクアクセスすることによって、バッチ処理の性能を大 きく向上させた • 後に、大容量のメモリを使うことでランダムアクセス系のデータ処理にも対 応（HBaseなど） • さらに、メモリをうまく活用できる汎用の処理系として出てきたのがSpark • SSDのバイト単価がもっと下がると、また大きな変化が起こるかも
- 24. エンジニアの気持ち
- 32. まとめ • 基礎をおさえて • 新しいことにも興味をしっかり持って • 地道に努力を続けましょう
- 33. ご清聴ありがとうございました。