#01-03 solaris11で深化するクラウド
- 1. Oracle Solaris ナイトセミナー #1 2012.3.8 Solaris11で深化するクラウド 〜プライベートクラウドの構築とウェブの邂逅〜 ジャストプレイヤー株式会社 代表取締役社長 瀧 康史
- 2. 今日の議題（アジェンダ） .. .. WIKIPLUS 2 〜カンタンに編集できるウェブ〜 .. クラウドサービスを作る .. ハイブリ ドクラウ ッ ドのススメ .. Solaris11がWIKIPLUS 2に与えたその他のベネフィ ト ッ まとめ 2
- 3. ジャストプレイヤー株式会社について JUSTPLAYER → すぐに遊べるソフトウェアの開発 When You Want Is When You Play → 欲しい時が、遊ぶ時 .. Usability 事業内容 .. WEB （ホームページ）制作事業 .. WEB企画、デザイン制作 .. Contents Server-Side WEBシステム開発 .. Management Program クラウドソフトウェア制作事業 クラウドインフラ賃貸事業、ホスティ ング賃貸事業 .. Cloud Technology その他 .. 第二種電気通信事業者届出 届出番 号 C-18-1421 静岡県中小企業新事業活動促進法 に基づく、経営革新計画の承認 3
- 4. 自己紹介 : 瀧 康史 .. .. ジャストプレイヤー株式会社 代表取締役社長 .. 出身地 .. 静岡市（旧清水市） .. 業務履歴 .. ライター業（テクニカルライター） .. S社’X紙’ （S社のパソコン向け雑誌） .. ゲームディレクター、アシスタントプロデューサ−、プランナー .. S社にてS社用ゲーム機のゲームソフト開発 .. 2001年、有限会社ジャストプレイヤーを起業。 .. 2006年、ジャストプレイヤー株式会社に改組。 .. その他 .. 日本OpenSolarisUsersGroup Leader 静岡WEBデベロッパーフォーラム やすし虫 4
- 5. WIKIPLUS 2 〜カンタンに編集できるウェブ〜 ウェブサービスが Solaris11 に出会う。 そして、初めてできたこと。 5
- 6. カンタン編集 WIKIPLUS Ver 2 .. カンタンに編集できるウェブサイ ト、 そのもの」 「 になるために作成 .. されたSaaS。 ホームページそのものを情報イ ンフラとする、ある意味でのクラ .. ウド。 Solaris11で作られたクラウ ・ ド .. プラッ トホームで動作。 WikiPlus Ver 1.0を2005 年 9 月にリリー スして から7 年 目 のリリー ス 。 バ ージョンが 旧 持っていた大 半 のボトルネック を、Solaris11の機能を使って改 善。 大きく リファクタリングした。 6
- 7. Ver1 系〜 Ver2 系での改善 ※ これらの最適化はD-Traceなどを利用して解析した。 ■ 応答速度 1/10〜1/100まで高速化！ 0 500 1000 1500 2000 2500 3000 3500 4000 ms better ■ 使用メモリ 1/4〜1/5程度に省メモリ化！ 0 20 40 60 80 100 120 MBytes better その他、物理サーバ1台あたりのリソース効率も、比較にならないほど効率化！ 7
- 8. 旧 WikiPlus の問題その１ .. .. サービスプランとハードウェアが密着 BASICプランサーバ、Proプランサーバ、Standardサーバ、Advancedサ .. ーバ、 特定顧客用サーバ、 旧バージョンサーバ。 プランの数だけ1Uサーバ。 .. OS固有の仕様に密着 .. Redhat Enterprise Linux V4のパッケージに依存 .. ユーザニーズにあわせてプランが作れない。 設定値やリソースの差異が、ハードウェアに密着したため、新たなプランを 作る度にサーバが必要になるか、ニーズにキャッチアップしたプランが作れ ないなどの問題が生じた。 → 安価に、 リソース共有率が高いクラウドスタックが必要 8
- 9. その他のサービス事情…… WIKIPLUSに限らず、当社で行っていたその他のサービスの問題も・・ ・・ ・・ .. .. 他のInternet向けサービスサーバの数の増加問題 .. Legacy Linuxで作ったサービスのアップデート問題 .. 個別システム案件毎の問題 .. ウェブホスティング収容を超えると、突然初期費用見積が上がる。 .. サーバ準備費など .. サーバの準備、撤去が案件のライフサイクルで発生する。 手間がかかる →やはり、 これらを安価にサービスできるクラウド環境が必要。 9
- 10. クラウドサービスを作る クラウドサービスをどう作るのか？ 10
- 11. クラウドとはなにか？ 様々な人の定義がありますが、共通しているのは、 「インフラを借りること」 にあるのではないかと、思います。では、インフラとはなにか？」 「 というと、 「僕は、 どういう仕組みなのか知らないけれど、 ちゃんと動いてないと困るもの」 ではないでしょうか？なにをインフラとみるかは「その人次第」です。 「ちゃんと動かないと困るインフラを提供する仕組み」を作り上げる話です。 11
- 12. クラウドスタック選び ※プロジェクト開始時は仮想化インフラ選びと言われていた。 「ハードウェア資源と、サーバを分離する」 仮想化層 1台の物理サーバの上に、複数の仮想サーバを動かすのではなく、 複数台の物理サーバの上に、たくさん仮想サーバを動かしたい！ ！！ 12
- 13. ストレージの仮想化が必須 仮想サーバを適当に複数の物理機に設置。 いつでも移動できるように、物理機には一切の依存データを置かない。 DBMS App App WEB App DBMS Server Server Server Server OS Solaris11 OS Solaris11 ： ： OS Solaris 11 OS Solaris 11 ： ： OS Solaris 11 ： OS Solaris11 ： アプ ーシ ン層 リケ ョ CPU 2個分 ： CPU 2個分 ： CPU 2個分 ： CPU 2個分 ： CPU 1.0個分 ： CPU 2個分 ： MEM 4G ： MEM 2G ： MEM 2G ： MEM 2G ： MEM 1G ： MEM 2G ： DISC50G ： DISC60G ： DISC60G ： DISC60G ： DISC10G ： DISC 60G ： OS/HV層 ハードウェア層 ホストサーバ群 Storage Area Network ストレージサーバ群 ストレージ群 仮想サーバの OSイメージを提供 13
- 14. ネットワークの仮想化も重要 イーサケーブルの再結線なしで、論理サーバセッ トのプライベートネットワークを 自由に増やしたり隔離したりできることが必要。 Interne t Interne t R R Global 1,2･･･ 2,3･･･ Storage Host Host Server 0 Server 1 Viriual Viriual Viriual Server 0 Server 0 Server 1 Server 3 Backnet (tagVLAN) vlan0 vlan1 IP-SAN Viriual Viriual Viriual Control-Network Server 2 Server 4 Server 5 vlan2 Management Server Viriual Viriual Server 6 Server 7 WEB UI CLI等 14
- 15. サーバの仮想化 .. ハイパーバイザ型 .. Oracle VM Server .. VMware ESX Server .. Citrix Xen Server .. Redhat KVM Microsoft Hyper V .. コンテナ型 .. Solaris 11 Zones .. Linux lxc/cgroups, OpenVZ/Virtuozzo FreeBSD jail 15
- 16. ハイパバイザ型のメリット .. 現実的には下記の2つが大きなメリ ト ッ！ .. 1つの物理機で、異なる種類のOSを動かすことができる .. ライブマイグレーションが可能 .. 仮想サーバ単位で、収容ホスト（物理機）間を稼働させたままを移動。 現実問題として、「ハードが壊れ始めたら、その上のVMはもう信じられない」の .. で、壊れそうなら移動するなんてことを検出するのは実際は難しい。 ハイパバイザのメンテナンス時に逃がすというメリットの方が大きい。 .. 製品選びのポイン ！ ト .. パラ バーチャリゼーション ドライバの出来次第で速度が大きく変わる。 ・ ・ 「ハイパバイザが動作保証するOS」 「OSが動作保証するハイパバイザ」 と、 の 双方がきちんと整合していないと、肝心なところでサポートが受けられない可 能性もあるので注意が必要。 16
- 17. ハイパバイザ型のデメリット .. 最大のデメリ ト ッ 遅くなるプログラムは、本当に遅くなる！ （しかも原因究明が難しい） ■ あるプログラム （Java Servlet + 某RDB）の例では・・ ・・ ・・ ベアメタル PVM VMware ESX NPTなし ベアメタル PVM VMware ESX NPTあり 0 20 40 60 80 100 % better あるウェブサイトはVMware ESXで仮想化するだけで、同時リクエスト数が半分 ぐらいまで落ち込むことがあった。 →自分のアプリはどうか調べる必要あり。 17
- 18. コンテナ型仮想化のメリット .. ハイパバイザ型に比べて、次のようなメリ トがあります。 ッ .. リソースを使わない .. カーネルは共通。プロセスが本当に利用するメモリ、CPUだけでよい。 .. パフォーマンスボトルネックがほとんど無い！ .. グローバルゾーンから見たら１つのプロセスに過ぎない。 .. 全体でのボトルネック解析がしやすい！ .. ブートが速い カーネルが起動しない分、ブート、リブートがとても速い 資源共有率が高いので、 １つのサーバにたくさん収容できる 18
- 19. コンテナ型のデメリット ハイパバイザ型に比べて、次のようなデメリ トがあります。 ッ .. .. 異なるOSの動作は不可能 .. 互いの負荷影響を受けやすい（コンテナごとの隔離性が低いため） .. 一部に、動かないアプリケーションがある ライブマイグレーションなどの機能がない カーネルが共通で資源共有率が高いことによる裏返し 19
- 20. Solaris 1 Zones の特徴 1 .. .. 他の仮想サーバの負荷影響を受けにくい。 .. リソース管理（CPU制限、メモリ制限、カーネルリソース制限）が強力。 .. 動かないアプリがほとんどない！ OS標準の機能で、パッチ等の提供ではないため、 ノングローバルゾーン（仮想サー .. バ）とグローバルゾーン（収容機）にほとんど差が無い。 .. その他の仮想化機能（ネットワーク、ストレージ、パッケージシステム）との親和性 .. ネットワークスタックの委譲と仮想化 .. NAT-BOX、ファイルサーバ、L/B等々を作ることができる .. ファイルシステムの委譲と仮想化 .. ZFSによるファイルシステム単位の委譲。 .. 旧バージョンのOSを混在可能 .. Solaris10 Zones マイグレーション （別のマシンへの移設） が可能 20
- 21. サーバとは何か？≠サーバ物理機 サーバとはなにか？ もう一度考え直してみた。 下記のような「サービスをする単位」なのではないか？ .. .. WEBサーバ .. アプリケーション .. メールサーバ .. データベースサーバ .. ファイルサーバ .. ストレージサーバ .. ネームサーバ .. DHCPサーバ .. NAT ロードバランサー、ルータ、 ・ もうかけない・ 等々・ ・ ・・ 21
- 22. 「サーバ」を実現する技術空間 「サーバ」を実現する技術空間ユニッ セッ ト、 トはなんだろう？ 1. プロセスやユーザ単位 2. プロセスのグループ （SolarisではProjectやTask） 3. ネットワーク 4. ファイルシステム。OSのユーザ ラン ・ ド。 5. OSのカーネルのサービスモジュール。 6. ハードウェアとOSのドライバ群 サーバ （サービスのエンジン） とは、あるサービスを実現するための単位。 これらのサーバ群に最適なリソースを与え、 制御し、システムを正常に稼働 運用 ・ させることが、できれば技術的には何だって良い！ 22
- 23. どの層で隔離・仮想化するのか？ どういう仮想化が必要なのかは、 自分が必要な「サーバ」がどういう単位（隔離レ ベル）のものなのか？を考えることで決まります。 たとえば・ ・・ ・ 1. プロセス、 プロセスのグループ ■ プロセス ユーザ プロジェク ・ ・ ・ ト タスク 2. OSのユーザ ラン ・ ドから上 ■ コンテナ型仮想化 3. OSのカーネルのサービスモジュール ■ ハイパバイザ仮想化 4. ハードウェアとOSのドライバ群 ■ プラットフォーム依存 下に行くほど、一般的に仮想化コストが上がります。 何を「サーバ」 としてとらえるかによって、 選ぶべき技術は異なることに注意が必要 23
- 24. 隔離性の実例 仮想化アーキテクチャの違いで、 リソース制限時の臨界点挙動が大きく異なるこ とに注意！ ■ イメージ図 ： （赤 SYSCALL、 ： 緑 USER） リソースキャップをどんどん厳しくしていった場合の、USER （＝実プロセスが動作するCPUパワー）の変移。 100% HyperVisor 型 50% 30% 100% Container型 50% 30% 0 20 40 60 80 100 % 1つの仮想化ソフトウェアだけでクラウドを構築するのは、 技術習得は楽だが、 リソース効率は結構、悪い。 24
- 25. ハイブリッ ・ ド クラウドの ススメ プライベー トクラウ ドを実現するために、 Solaris11 が支援する機能とは？ 25
- 26. ハイブリッド・クラウドのススメ ハイブリ ドに2つの仮想化アーキテクチャを、 ッ インフラに同居化させる。 .. x64のクラウド環境例： .. VMware ESX .. 動作保証のOS、被動作保証ハイパバイザのカバレッジが広い。 .. Solaris 11 Zones リソース利用率が高い＝1サービスあたりのコストが安い！ Solaris11のZoneで動かせるものはなるべく動かし、OS依存のアプリは VMwareにそのOSを入れていく利用スタイルとなる。 リソース利用効率が上がり、省力化に繋がる。 26
- 27. ストレージの仮想化（ZFS） .. .. ZFSによる管理 .. ZFSはツリー構造でデータセット（ファイルシステム）を管理している。 .. 仮想サーバ毎に、ZFSを委譲して、利用することが可能。 .. 仮想サーバ毎の、利用量のCAPの制御ができる。 スナップショット、ロールバック、クローンな .. ディスク0 どができ、仮想化と相性が良い。 仮想 修正後 ディスク0 Apache、php5.3 Set0 スナップショット毎に、バックアップを簡単 インストール済み .. に取ることができる。 仮想 ディスク1 インストール後 ディスク1 修正後 zfs clone Apache、MySQL Set1 iS CSI target ただし、仮想サーバ毎のストレージのアクセ インストール済み 仮想 ス頻度管理は難しい（知る方法はあるが、制 インストール済 テンプレートセット ディスク2 仮想 ディスク2 御は難しい） 非常に高価なアプライアンス機器と同じ機能を、PCサーバでも実現できる 27
- 28. SAN 機能 .. .. SANを利用した管理 iSCSIやFCなどのTARGET機能（COMSTAR） ZFSと連携して、 。 高価なDAS並の .. 機能を標準で利用することができる。 .. SANを利用し、収容サーバをディスクレスにすると、さらに仮想化の隔離性が増す。 フェイルセーフのための多重化も簡単にできる App App App WEB App DBM S サー バ サー バ サー バ サー バ サー バ OS Solaris11 OS Solaris11 ： ： OS Solaris 11 OS Solaris 11 ： ： OS Solaris 11 ： OS Solaris11 ： アプ ーシ ン層 リケ ョ CPU 2個分 ： CPU 2個分 ： CPU 2個分 ： CPU 2個分 ： CPU 1.0個分 ： CPU 2個分 ： MEM 4G ： MEM 2G ： MEM 2G ： MEM 2G ： MEM 1G ： MEM 2G ： DISC50G ： DISC60G ： DISC60G ： DISC60G ： DISC10G ： DISC 60G ： OS/HV層 ハードウェア層 ホストサーバ群 Storage Area Network ストレージサーバ群 ストレージ群 仮想サーバの OSイメージを提供 28
- 29. Network の仮想化 .. .. dladm （CROSSBOW,CLEARVIEW)を使った仮想ネットワークの管理 .. 仮想サーバ毎に、仮想NICを作成して委譲。 .. 仮想NICの帯域制御。 .. spoofingプロテクト。 .. CPU負荷の制御。 .. IPの固定制御。 .. 仮想Switch（Etherstub）の作成 .. 仮想Bridgeの作成。 .. VLAN、フィルタ、ルーティング等 .. 仮想サーバへのMACアドレスの貼り付け。 帯域の測定、監視など。 仮想ネットワークとスイッチのtagVLANを組み合わせることで、 全体でネットワークを仮想化することができる。 また、固有の機能を使わないので別のシステムとの連携も。 29
- 30. 物理 Network と仮想 Network これらを、物理結線のし直しや、 スイッチの再起動なしに行える Interne t Interne t R R DMZ Storage Storage Host Host Host Server 0 Server 1 Server 2 Viriual Viriual Viriual Server 0 Server 1 Server 0 Server 1 Server 3 Backnet (tagVLAN) vlan0 vlan1 Storage Area Network Viriual Viriual Viriual Control Network Server 2 Server 4 Server 5 Management ControlNetwork・・マネジメン ・・ ・・ トサーバか Server vlan2 らの制御に使われるネッ トワーク Viriual Viriual Storage Area Network・・ ・・iSCSI用SAN ・ Server 6 Server 7 WEB UI CLI等 DMZ /Backnet・・サービス用ネッ ・・ ・・ トワーク 物理サーバセット 仮想サーバセット 30
- 31. Solaris1 のクラウド環境 1 .. メリ ト ッ .. 実際、安い。 .. これらの基本的な機能が、Solaris11の標準機能で行うことができる。 .. Interoperabilityが高い。 iSCSIや、tagVLAN、LinkAggregationなど、基本的には標準的な技術 なので、 別のOSとの組み合わせが行いやすい。 .. ベネフィ ト ッ .. WIKIPLUSのサービスレベルの向上、ユーザの収容率、同時受付数の向上。 .. その他のサービスの収容が可能。 .. Solaris11のインフラを案件単位で他社に貸し出し可能。 VPSサービスも視野に。 31
- 33. Solaris11が WIKIPLUS 2に与えた その他のベネフィッ ト Solaris だからこそ できたこと 33
- 34. D-Trace による最適化 .. .. 接ぎ木されたプログラム バージョンアップを続け、さらに担当者が ModuleF .. 変わり、接ぎ木されたプログラムの問題。 .. 通常、動いてるモジュールは触らない。 カプセル化されると更に分からない。 .. ModuleD ModuleE .. D-Trace Toolkit /opt/DTT/php)を利用 （ サービスサーバで、 よく呼ばれるphp関数、 .. 時間がかかるphp関数などを発見 ModuleB ModuleC 不可解な呼び順で呼ばれる関数など リファクタリングするべき順序が明確化！ ボトルネックはどれ？ ModuleA 34
- 35. パッケージシステムによる同期 .. Private Network内のパッケージ配布サーバから、 トウェアのアップデー ソフ ト .. ができる。 これによって、Solaris11のパッケージ同期や、 ドルウェアのインス ミ トール状 態の調整、 トウェアのリビジョンの調整ができるようになった ソフ ウェブサーバ Backnet IPS Server アプリケーション アプリケーション 独自アプリ用 サーバ サーバ 35
- 36. まとめ〜収容率〜 クラウド時代は、 リソース利用率＝コストと顕著になる。 そのため、速度、収容率はより顕著。 .. クラウドの為のシステムはSolaris11の機能を組み合わせることによって、効 .. 果的に作ることができる。 これらの機能のinteroperabilityは高いので、物理機群や、別の仮想化システ .. ムとも比較的親和性を持って融合することができる。 Solaris Zonesの仮想化コストは低く、資源共有率は高い。そのため、 収容率 を上げることができるため、 サービスのコス トダウンに繋がる。また、速度による .. 問題が起きにくいので、 負荷が高いシステムにも有用。 .. これらの仕組みはプライベートクラウドにも流用が容易。 Solarisは様々なシステムのボトルネック解析が容易。 36
- 37. ご静聴ありがとうございました。 ジャストプレイヤー株式会社 代表取締役社長 瀧 康史 http://www.justplayer.co.jp/ TEL: 054-203-5535 Mail: info @ justplayer.com 37