AmebaのOpenStack - OpenStack最新情報セミナー 2015年12月
Download as PPTX, PDF•12 likes•10,505 views
サイバーエージェント様 発表「AmebaのOpenStack」 澤田石 朋彦 (株式会社サイバーエージェント) アジェンダ： - 背景 - アーキテクチャ - 運用はじめました - 今後のチャレンジ
AmebaのOpenStack - OpenStack最新情報セミナー 2015年12月
- 2. 自己紹介 • 澤田石 朋彦（さわだいし ともひこ） • ネットワークエンジニア（L2～L7） • ルータ、スイッチ、Load Balancer • オプスタ歴：９ヶ月
- 3. 会社紹介
- 4. 会社紹介
- 5. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
- 6. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
- 8. OpenStackとは • Cloud OS(IaaS基盤)のひとつ • CloudStack • Eucariptus • LinuxのようにDistributionが存在 • RDO(RedHat) • Mirantis OpenStack(Mirantis) • FusionSphere(HUAWEI)
- 11. 主要コンポーネント
- 14. OpenStack導入までの流れ 2015年3月 • OpenStackで行くぞ！（この時まだ未検証） • OpenStack経験者1人 2015年4月 • サーバ３台で検証開始 • トライ＆エラーで仕様決め 2015年10月 • OpenStack Kilo オープン！！ • 今ココ
- 15. 新DCの要件 • 既存DCを集約 • サービス毎のテナント • 自社サービス用のインフラ • 150Rack規模、数万コア規模
- 16. OpenStack導入より前 • コントローラーを自社開発 • Clover(200Rack、2万MAC程度) 課題 • 運用者＝開発者 • 規模拡大や仕様変更に追いつけない • 独自API（学習コスト大）
- 17. OpenStack採用理由 • 小規模なOpenStackは運用していた • OpenStackコミュニティが活発 • 標準的なAPI(AWS互換) • ユーザ完結によるスピードUP
- 18. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
- 21. 管理系 名称 仮想 or 物理 台数 冗長 Controller 仮想 3 H/WLBのVIP AMQP(RabbitMQ) 仮想 3 RabbitMQ Cluster Neutron-dhcp- agent(dnsmasq) 物理 2 Active-Active DB(MySQL) 物理 2 MHA+Backup • OpenStackそのものを管理（別NWに設置） • “仮想”はKVMのゲスト
- 22. Compute Node 名称 スペック OS CentOS7(Kernel3.10) CPU 40Core Memory 256GB Disk 2TB (RAID10) NET 10GBase-T * 2（LACP, mode=4) VMM KVM Overcommit 200% • 高密度化(Rack 46U） • 2U4Node • 12 chassis/rack 約3000 core/rack • 定格15K VA
- 23. Network “ To improve performance and reliability, provider networks move layer-3 operations to the physical network infrastructure.”(Networking manual) L3はNeutronに頼らない事を決意
- 24. Network http://docs.openstack.org/networking-guide/scenario_l3ha_lb.html Compute Node Network Node 懸念点 • 拡張性 • 冗長性 • パフォーマンス
- 27. Network • 全ラックスイッチに必要VLANを設定 • trunk Port、約1200 VLANを全ポートに設定 • Neutronの外側で実施 • NAT • FW（Globalからのトラフィック） • Load Balancer • NW自体はシンプル
- 28. Load Balancer • ハードウェアLBを採用 • OpenStack連携なし • LBの機能 • SSL終端 • プール毎の細かなパラメータ • L3DSR（VM-VS間でGRE) • VIPを動的に広報（InternalにBGP）
- 29. Storage • Block Storage • HA LVM（360TB Mirroring) • Object Storage • swift(400~600TB、3Replica) • Image Backend • Ceph(3 Server * 12Disk * 3TB / 3Replica)
- 30. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
- 33. Neutron-dhcp-agentの例 Y.Y.Y.Y:67 Z.Z.Z.Z:67 X.X.X.X:67 bond0.YY tap YY ns-YY brq YY bond0.ZZ tap ZZ ns-ZZ brq ZZ bond0.XX tap XX ns-XX brq XX veth veth NameSpace内 VM VLAN XX VM VLAN XY dhcp-discovery サーバ内 dhcp-discovery
- 35. 運用体制 • OpenStack専任２人 • NW（兼任）：4人(< DC数) • Storage（兼任）：2人 • NOC（兼任）：2人＋α
- 36. 監視 • Zabbix＋各サーバにエージェント • IPとPortは全コンポーネント監視 • 各コンポーネントごとに工夫 • Namespace数とbridge数の比較（dnsmasq） • curlで200チェック(metadata-proxy) • インスタンスが作成できるか（nova&Ironic)
- 38. アジェンダ • 背景 • アーキテクチャ • 運用はじめました • 今後のチャレンジ
- 39. 次のチャレンジ • コンテナ • SR-IOV＋DPDK • VxLAN • 複数OpenStackの連携
- 40. これからOpenStackを始める方へ • コード読める人必要 • その製品、本当にOpenStack対応ですか？ • 挙動が怪しい場合プロセス再起動が有効！！ • マニュアルが正しいとは限らない
- 42. 仲間募集中！！
Editor's Notes
- #9: http://blogs.itmedia.co.jp/narisako/2015/02/_openstack.html