OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development status
11 likes•2,779 views
![OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告
Ubuntu 12.04.2 LTS Ubuntu cloudの採用; メリット
★メリット
- OpenStack開発チームと近い環境で開発運用のメリット(build環境)
* 使おうと思えば開発に近いtrunk Grizzlyパッケージが使える
* 修正をOpenStack側にcommitしやすくなるはず
* .deb pkgのバージョン管理とbuildの厳密さ
- kernelが新しいことでの新機能のメリット(どこまで使うか未定だが)
* KVM: Nested KVM
* KVM + Qemu: 9p(Plan9)FS[virtFS]とnetwork
* KVM, Xen, LXCが標準で仮想化として使える
nova-compute-kvm, nova-compute-xen,
nova-compute-lxc
- Quantumで必要な機能; ns(Name Space) routing
* マルチテナントでネットワーク構築時、 192.168.1.0/24とか同じ
IPアサインのネットワークを作るときに必要
15](https://image.slidesharecdn.com/openstack-vps-kvm-oname-com-3-g-ipv6-130306004215-phpapp01/85/OpenStack-KVM-IPv6-oname-com-Next-Folsom-Grizzly-Service-development-status-15-320.jpg)
![OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告
◎IPv6 IPv4 Dual Stack Network
・OpenStack Folsomを見た限りでは、IPv6 onlyのネットワークは構築でき
なさそう
・かと言って、IPv6 IPv4 Dual Stack Networkも
Quantumのdhcp agentがdnsmasqを起動する所で落ちる
==> dhcpを諦めて手動で割り当てれば疎通まではいける
==> dhcp agentからISC dhcpを起動するように修正する(IPv6, IPv4の２つ
のプロセスをDual Stackの一つのネットワークにそれぞれ起動)
==> そもそも、ISC dhcp + openldapでIPv6を払い出す << 今ここ検証
更に問題点
・IPv6にはlibvirtのNetFilterが適用されないようだ(コードの存在無し)
ip6tablesにルールを入れる部分
・IPv6の悪用対策(ノウハウも)
・複数IP対応のルール、IPv6のネットワーク[ /64 ]での追加IPv6払い出し対応
27](https://image.slidesharecdn.com/openstack-vps-kvm-oname-com-3-g-ipv6-130306004215-phpapp01/85/OpenStack-KVM-IPv6-oname-com-Next-Folsom-Grizzly-Service-development-status-27-320.jpg)
OpenStack + KVM + IPv6 = oname.com; Next Folsom/Grizzly Service development status
- 1. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 OpenStack + KVM + IPv6 = お名前.com VPS ∼開発担当者が語る、ここだけの裏話 2013∼ 近況、開発報告 GMOインターネット株式会社 システム本部 サービス開発部 システムインテグレーションチーム 郷古 直仁 OSC 2013 Spring, Tokyo: 2013/02/23 http://www.slideshare.net/chroum/2012-osc-kyoto-openstack-vps-kvm http://www.slideshare.net/chroum/openstack-vpskvmonamecom2snapshot 1
- 2. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 アジェンダ • ◎まずは自己紹介 • ◎お名前.com VPSとは ‒ グルーブのほかのサービス紹介、製品の位置付けなど • ◎現在のVPSのシステム構成概要 – OpenStack Diablo世代の商用利用部分(Nova compute, Nova Network, Keystone, Glance) • ◎新環境開発中; Ubuntu 12.04.2 LTS + Ubuntu cloud – Ubuntu採用のメリット(何が出来る?)、デメリット、trunk Grizzly • ◎Quantum Network (Open vSwitch plugin) – 検討中のネットワークモデル • ◎NIC(IP)追加機能(動的NIC追加、削除) • ◎IPv6 IPv4 Dual Stack Network • ◎まとめ、今後の展開とか 2
- 3. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 まずは自己紹介 • 郷古 直仁 (ゴウコ ナオト, Naoto Gohko) – Twitter: @naoto_gohko , Facebook: • 所属: GMOインターネット株式会社 • 部署: システム本部 サービス開発部 システムインテグレーションチーム • なにをしているのか: GMOグループ内のSI-er的な感じのチーム • 関わっているもの: – Bekkoame INTERNET, 3WEB, 社内webとmail, その他 • お名前.com web系システムなど – お名前.com VPS VZ(Virtuozzo) ; インフラとか – GMOアプリクラウド; インフラとか – お名前.com VPS KVM ; インフラとか 3
- 4. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 GMOインターネットの仮想化サービス (1) お名前.com VPS VZ (2) GMOアプリクラウド Virtuozzo(OpenVZベース)、 OS仮想化レベル、swap無し、リソースは EL6, Best Effort KVM運用 自由度、リソースきっちり ノウハウ等 お名前.com VPS KVM Linux KVMでの仮想化 一般ユーザに使っていただけるもの KVM、ソーシャルアプリ、ソーシャ ユーザのリソースはきっちり分かれているVPS ルwebの運用など、アプライアンス 自由にインストールできる仮想環境の提供 のLB(Brocade ADX)がある。イ メージテンプレート展開、専用サーバ VDI, リモートDesktop環境として影響 のハイブリッド運用、Fusion-IO専 (3) お名前.com Desktop クラウド 用サーバ、その他カスタマイズ構成可 Hyper-V3, Thin ClientでWindows8開発など Hyper-V VM, Windows専用提供 GMOインターネットグループの仮想化サービス GMOクラウド VPS GMOクラウド Public (Xen, KVM) SQALE (payperboy&co) KVM、月額課金、Plesk 従量制、API開発機能あり PaaS従量制、API開発機能あり 4
- 5. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 GMOアプリクラウド http://cloud.gmo.jp/ ・ソーシャルプラットフォーマーなどに向けたアプライアンスLBがある仮想/ 専用サーバ ハイブリッドクラウド ・Fusion IO ioDriveも専用サーバに選択可能 ・東京Unit, US-Unitが選択可能 マスコット 「美雲あんず」 TGS 2012で大人気 5
- 6. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 GMOアプリクラウド 当初Xen (CentOS 5.3 dom0 + Xen 3.2)で開発 Scientific Linux / CentOS 6.0 リリース後 KVM仮想化対応 (現在 CentOS 6.3系稼働) ==> VPS-KVMの開発につながった その後、OpenStack Diabloリリース後に 「お名前.com VPS KVM」へ 開発/運用チームも同じチームが担当 技術と両方の製品の向上へ 6
- 7. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 SQALE (<グループ>Payperboy&co, PaaS) Rubyでプログラムをすぐgithubからdeployしてweb を構築できるサービス ・Ruby on Rails、Sinatra対応 ・PaaSならでは ==> web, dbなどすぐ deployして使い始める ことができる 7
- 8. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 お名前.com VPS VZ (Virtuozzo) VPS VZ(Virtuozzo := OpenVZ製品版) コンパネから共用サーバの用にメールアドレスやVirtualHostの設定ができる がユーザの環境は独立 OS仮想環境 (OSのアプリケーション環境のみ仮想化) ただし、制限が多い ・Linux以外は使えない (FreeBSDとかReactOSとかはダメ) ・Swapとか使えない (現在はOpenVZ系は仮想swap対応できる) ・disk領域を自由に使えない ・プロセス単位のリソース制限により、HostがOOMkillerをかける ・コンソール機能がない VPS KVMではそのへんの欲求不満を解消 ==> OpenStackにもコンテナ(OpenVZ, LXC)使って統合したい 8
- 9. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎お名前.com VPS KVMとは こんな機能があったらなぁ (エンジニア、利用者としてほしいことを検討、開 発側としてこんなのnative KVMなら使えるのに) ・ISO uploadでの自由なOSインストール、Live CD boot ・http/https/sshのみで接続が可能 ・コピペ可能なシリアルコンソール ・virtIO ON/OFF ・GMOアプリクラウド実装されているイメージステージング機能(イメージテ ンプレート)ほしいな ・VIFのセキュリティ(spoofing対策とか、IP固定利用とか) ・REST APIほしいな 幾つかはOpenStack Diabloが使えそうだ(当時) お名前.com VPS KVM誕生 9
- 10. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎現在のVPSのシステム構成概要 コンパネ系web (.Net + IIS) Windows Server 商材DB (mysql, Oracle) 課金とか << VMに対する月額課金を基本、帯域課金無し 管理系サーバ (Linux KVMインスタンス) websocket-VNCクラスタ(noVNC) ssh/html5 consoleサーバ << Diabloでオワコン、anyterm拡張で復活 sftpサーバ rabbitmqサーバ dhcpサーバ << IP固定割り当ての為 ISC dhcp + ldap ldapサーバ(dhcp, ssh) nova/keystone DB(mysql)サーバ << keystoneはテナント管理しない nova Manage/APIサーバ/Glance << APIサーバはコンパネアクセス、Glance は初期イメージのみ保存 ISO upload storage (GlusterFS, NFS) Linux KVM (nova Compute) CentOS 6.x nova Compute, collectd, kvm << コンパネ用のVMリソースグラフの自動生成 10
- 11. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 お名前.com VPS KVM ネットワーク Internet コンパネ系 L3 SW L3 SW API / Manage コンパネweb (.Net) サービス系 API / Manage mysql db API 会員/課金 DB API / Manage API/nova Manage nova Compute nova Compute nova Compute nova Compute 管理系 nova Compute nova Compute glance nova Compute nova Compute nova Compute nova Compute sftp console console console sftp console dhcp vnc RAID 10 local disk RAID 10 local disk mq API / Manage mq ldap mysql mq db nova DB Storage keystone DB Storage ISO storage (NFS) 11
- 12. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 お名前.com VPS KVM ネットワーク Flat DHCP + VLAN bridge構成 (FirewallとかはLinux bridgeで実現しよう) インターネット側 <=> GMOバックボーンNet(コアルータとか、その下) <=> L3 SW(dhcp relay設定) <=> 集線L2 SW <=> Rack L2 SW <=> Linux bonding(act.-stan.) <=> Linux VLAN <=> Linux bridge <=> VM VIF(tap - virtio NIC) 12
- 13. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 お名前.com VPS KVM ネットワーク Flatなネットワーク構成 Internet GMO core backbone L3 SW L3 SW L3 SW L2 SW L3 SWにて、dhcp relayでネットワーク の異なるdhcpに接続するように設定 eth0 eth1 console nova Compute dhcp bond0 bridge.VLAN1 libvirt network filter console ldap bridge.VLAN2 ebtalbes bridge.VLAN3 tc htb (iproute) LDAPでユーザのVMのMAC collectd ADDRESSとIPの管理 eth0 VM eth0 eth0 eth0 VM VM VM 13
- 14. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎新環境開発中; Ubuntu 12.04.2 LTS Ubuntu cloud OpenStackもFolsom releaseされた trunkでGrizzly開発が進んでいる ==> 現行システム(Diablo)との差分が大きくなる ==> 次のサービス環境をOpenStack Folsom, Grizzlyで開発してあたらし い機能をやっていこう ==> Full Stack の機能での新しい展開 (Nova, Compute, Quantum, Glance, Swift, Cinder, Keystone) ==> テナント(顧客, ユーザー)のIaaSとしての自由度高める ==> OS側一新(Ubuntu 12.04.2 LTS採用) 2012/末よりFolsom環境を社内インフラとして触り始める、 2013/01よりAPIの移植開発など開始 trunk Grizzlyの機能も検証開始 14
- 15. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 Ubuntu 12.04.2 LTS Ubuntu cloudの採用; メリット ★メリット - OpenStack開発チームと近い環境で開発運用のメリット(build環境) * 使おうと思えば開発に近いtrunk Grizzlyパッケージが使える * 修正をOpenStack側にcommitしやすくなるはず * .deb pkgのバージョン管理とbuildの厳密さ - kernelが新しいことでの新機能のメリット(どこまで使うか未定だが) * KVM: Nested KVM * KVM + Qemu: 9p(Plan9)FS[virtFS]とnetwork * KVM, Xen, LXCが標準で仮想化として使える nova-compute-kvm, nova-compute-xen, nova-compute-lxc - Quantumで必要な機能; ns(Name Space) routing * マルチテナントでネットワーク構築時、 192.168.1.0/24とか同じ IPアサインのネットワークを作るときに必要 15
- 16. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 Ubuntu 12.04.2 LTS Ubuntu cloudの採用: デメリット ★デメリット - 開発 build環境 * .deb pkgのバージョン管理とbuildの厳密さによるもの いままでソースコード上書きとかしていたものが、dpkgに怒られるの でちゃんと.debのビルド運用 - Ubuntuのローカルミラーリポジトリとか作ると巨大すぎるdisk領域 * 大量セットアップで外部Mirrorとか見に行くとなんか遅い気が... - サーバーのHardwareサポートの未成熟(Driver) - LTSなのに 12.04.1 ==> 12.04.2 とかでパッケージバージョンが変わ る場合とかある * Linux kernel (3.2 >> 3.5) * CentOSでもlibvirtとか結構変わったけどねw 意外と、まぁ、なんとかなるさぁ 16
- 17. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 trunk Grizzly; なぜ検証? ★ こちらの開発中にGrizzlyリリース予定、メインラインをこちらにするかも ★ 動的追加Network Interface機能が一番欲しい - Folsomで追加予定だったらしいが、間に合わなかったとか * 今週(2/20ぐらい)にGrizzly-3に向けたステータス>> merged * ソースコードはQuantum, Novaそれぞれに入っていた * trunk Grizzly Ubuntuリポジトリでボチボチ使えるようになる ★ html5SPICE - VNCではできないコピー&ペースト、よりリッチなユーザ環境 ★ Bare Metal OpenStack (Proxy compute) - IPMIコントロールサーバーHardのImage Deploy (NTT DoCoMo, 日本仮想化技術株式会社) ★ LBaaS; LB as a service - Load Balancer(baseはHA Proxy, それ以外はplugin形式) - L3(使いたくない)よりもL4, L7と現実的なシステム構成を提供できる 17
- 18. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 trunk Grizzly https://launchpad.net/ openstack-ubuntu-testing/+archive/grizzly-trunk-testing https://wiki.ubuntu.com/ServerTeam/OpenStack $ sudo add-apt-repository ppa:openstack-ubuntu-testing/grizzly-trunk-testing $ sudo cat > /etc/apt/sources.list.d/grizzly.list << __EOF deb http://ppa.launchpad.net/openstack-ubuntu-testing/grizzly-trunk-testing/ ubuntu precise main deb-src http://ppa.launchpad.net/openstack-ubuntu-testing/grizzly-trunk-testing/ ubuntu precise main __EOF $ Grizzly trunk testing リポジトリの追加 18
- 19. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 trunk Grizzly Jenkins build天気は... https://jenkins.qa.ubuntu.com/view/Openstack_Testing/view/Grizzly/? 晴れもあれば、雷雨もあるw 総ビルド数 (jenkins build status) >> 全ビルド 4386 まぁ、@がんばりましょう 失敗 1728 @かんばります といった状態が今 不安定 0 成功 2624 未決定 0 無効 0 中断 34 未ビルド 0 19
- 20. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎Quantum Network (Open vSwitch plugin) Nova NetworkからQuantum Networkへ ・Open vSwitch pluginを一旦選択 ==> OpenFlowコントローラーのpluginはGrizzlyを待つ(増えるから) ==> Folsom QuantumからFlat VLAN + gre tunnel networkといっ た運用も可能 ・(Open vSwitch 1.9系(最新trunk)ではVXLANも利用できる ==> Quantumではgre固定で作ってあるため、パッチ適用が必要 20
- 21. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎Quantum Network (Open vSwitch plugin) Quantum自体がSDNコントローラとして動く構成 ・ gre tunnelでのEdge Overlayネットワーク構成による既存環境の VLANを消費しない ==> Hardware SWの負荷軽減(次は10GBase-Tの採用) ==> しかし、Edge SWがOpen vSwitchになり、sFlowなどの利用 で、gre tunnel内部の状態監視と運用管理が必要になってくる 21
- 22. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎Quantum Network (Open vSwitch plugin) Quantum Folsomでの現在の問題点 ==> Folsomではネットワークのメタデータ取得がL3 agentに依存 L3が無いFlat Quantum構成では cloud-init など使えないw ==> メタデータ エージェントプロセスの個別起動など改修必要 ==> Grizzlyで使えるようになるらしい(未検証) 22
- 23. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 既存のお名前.com VPS KVM ネットワーク Internet GMO core backbone L3 SW L3 SW L3 SW L2 SW L3 SWにて、dhcp relayでネットワーク の異なるdhcpに接続するように設定 eth0 eth1 console nova Compute dhcp bond0 bridge.VLAN1 libvirt network filter console ldap bridge.VLAN2 ebtalbes bridge.VLAN3 tc htb (iproute) LDAPでユーザのVMのMAC collectd ADDRESSとIPの管理 eth0 VM eth0 eth0 eth0 VM VM VM 23
- 24. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 Quantum Open vSwitch plugin network ・ gre tunnelがフルメッシュで組 まれる VM 1 VM 2 VM 1 VM 2 >> greは1 hopで接続が必要な為 ・ovs ノード が増えた時のメッシ 10.0.1.3 10.0.1.4 10.0.1.5 10.0.1.6 ュ構造から挙動はまだ不明 OVS br-tun OVS br-tun >> ノード数 = Compute + Net Node OVS br-int Compute Node Compute Node OVS br-int ・gre tunnel内部のOVS VLAN の数は? OVS br-tun OVS br-tun Network Interface iptables ip6tables patch port + OpenFlow rule 8.8.0.2, … 8.8.0.1 GRE Floting IPs Public IP 10.0.1.1 WAN DHCP server 8.8.0.1 10.0.1.2/24 OVS br-int OVS br-int DHCP Node Network Node 24
- 25. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎NIC(IP)追加機能 (動的NIC追加、削除) trunk Grizzly; Change I4f8f677a: Add support for network adapter hotplug https://review.openstack.org/#/c/21819/1/ これまでのOpenStack FolsomまではNICの数はVMの接続するNetwork の数で固定されていた ==>> あとから、NICを追加(nova)して、ネットワークに接続(Quantum)す る機能 ==>> これをFolsomにバックポートするのか、Grizzlyでの開発に進めるかだ いぶ大変度が違う << JenkinsテストコードはIPv4しか無いです(キリッ) << 先ほどのtrunk GrizzlyのJenkins天気では、Folsomバックポートか、 または独自実装かも 25
- 26. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 顧客(テナント)ネットワーク構成(docs.openstack.org) Simple Flat Network Model Physical Router Simple Flat Network Model gw: 10.0.0.1 これまでのVPSの構成 Shared Network 10.0.0.0/24 Tenant A Tenant B Tenant A Tenant C vm 1 vm 1 vm 2 vm 1 10.0.0.2 10.0.0.3 10.0.0.4 10.0.0.5 Mixed Flat and Private Network Physical Router gw: 10.0.0.1 Mixed Flat and Private Shared Network 10.0.0.0/24 Network Model NIC追加などができると、 Tenant A Tenant A Tenant C Tenant B Tenant B このような構成が実現で vm 1 vm 2 vm 1 vm 1 vm 2 10.0.0.2 10.0.0.4 10.0.0.5 10.0.0.3 10.0.0.6 172.20.0.2 172.20.0.4 172.21.0.3 172.21.0.6 きる Tenant A Private Network Tenant B Private Network 172.20.0.0/24 172.21.0.0/24 26
- 27. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎IPv6 IPv4 Dual Stack Network ・OpenStack Folsomを見た限りでは、IPv6 onlyのネットワークは構築でき なさそう ・かと言って、IPv6 IPv4 Dual Stack Networkも Quantumのdhcp agentがdnsmasqを起動する所で落ちる ==> dhcpを諦めて手動で割り当てれば疎通まではいける ==> dhcp agentからISC dhcpを起動するように修正する(IPv6, IPv4の２つ のプロセスをDual Stackの一つのネットワークにそれぞれ起動) ==> そもそも、ISC dhcp + openldapでIPv6を払い出す << 今ここ検証 更に問題点 ・IPv6にはlibvirtのNetFilterが適用されないようだ(コードの存在無し) ip6tablesにルールを入れる部分 ・IPv6の悪用対策(ノウハウも) ・複数IP対応のルール、IPv6のネットワーク[ /64 ]での追加IPv6払い出し対応 27
- 28. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 IPv6 IPv4 Dual Stack Network IPv4 : 32bit 192.168.32.24/24 >> ドット . で区切られた 192 : 8bitの10進数表記(0 ... 255)=2^8 IPv6 : 128bit 2400:cafe:beef:a00f:0000:0000:0000:0001/64 >> コロン”:”区切切り : “2400” : 1桁が4bit 16進数表記 4bit*32桁で128bit webのVirtualHostでNameBaseVirtualしているIPv4の世界 ==> SNIとかのSSL NameBase Virtualもあるけどブラウザ依存 ==> IPv6の世界ではすべてIP Virtualでまかなえる 28
- 29. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 IPv6 IPv4 Dual Stack わりあてルール(とりあえず) IPv4 : 32bit 192.168.32.24/23 >> とりあえず、/23でGlobal IPから一つづつを割り振る予定 IPv6 : 128bit (Dual Stack側) 2400:cafe:beef:a00f:0192:0168:0032:0024/64 >> 射影アドレス(10進数)として割り当てる >> /64で対応なので、⼤大量量に余るはず ・あまった IPv6はそのセグメントで追加IPv6 IPとして活用する予定 ・Default でdhcpで払い出し ・GlobalのセグメントのみIPv6を払い出す予定(Privateは無しの予定) 29
- 30. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 IPv6 IPv4 Dual Stack ; dhcpd dhcpでMAC ADDRESSに紐付いた固定IPで払い出したい >> OpenStack dhcp agentだと、Dual Stack動作だが向かない >> dhcp agentのDual Stack動作もいまのところ動かない >> 一つのネットワークにIPv6, IPv4の２つのプロトコルのネットワークア ドレスがつくようにdnsmasqの起動引数が対応してないっぽい ISC dhcpで管理する方向で実装(dhcp agent改造?) >> ISC dhcpでのopenldapでのデータを持たせて一元管理 >> nova, quantumでIPを割り当てた時のopenldapへの登録 >> RA(ルーターからのIPv6払い出し)は今回やらないで、IPv6はISC dhcpdからstatelessに払い出す この方向で改修中 30
- 31. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 IPv6 IPv4 Dual Stack ; dhcpd OVS br-tun IPv6, IPv4は別プロトコル >> 一つのDual Stackネットワーク(VLAN)に 対して、dhcpd, dhcpv6dの２つを起動する必 要がある ISC DHCP server 10.0.1.2/24 >> ldapのデータはdhcp(v4), dhcp(v6)の OVS br-int ２つのグループツリーになる ISC DHCPv6 server 2400:cafe:beef:a00f::/64 DHCP Node 31
- 32. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎まとめと今後の展開とか ・OpenStack FolsomときどきGrizzlyで開発中 ・Quantumで自由なネットワーク; SDN >> OpenFlowコントローラ採用は開発進捗次第なのかな ・Ubuntu 12.04 LTSをHost OSに採用によるメリットとか新機能とかも 予定しているかも(KVM, Qemu, libvirt, kernelまわり) ・IPv6 IPv4 Dual Stack利用のOpenStackとしてリリースまでなんとか (泣) 改修する。需要があるかわからないけど、dnsmasqと切り替え可能な機 能の提案 ・OpenStackのfixにも協力しやすくなった開発運用環境 >> ここは頑張っていく 32
- 33. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ◎まとめと今後の展開とか(2) ・10GBase-Tは2013年が普及年なんで >> 採用します。どんどん今年から安くなってくれることを期待ａｇｅ ・それによるストレージサービスの環境も整えたい >> GMOアプリクラウドユーザにまずはテスト提供予定 >> Gluster + Swift proxy Interface ・また、ご要望が多かったISO uploadをwebからできるようなネットワーク 構成にできそう 33
- 34. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 質問、要望、アドバイスなど有りましたら、ブースまでよろ しくお願い致します OSCでスタッフがふらついている時に捕まえてもらっても 構いません パンフレットに60日間 1GB Plan無料トライアルの用紙 が入っていますので、お持ちください (nginxとWordPressの活用事例記事の小冊子、 はてなの記事などもはまれています) 34
- 35. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 ご清聴ありがとうございました Special Thanks! GMO Internet Inc., System Div., SI Team and Cloud Team, Hostingh Team 35
- 36. OpenStack + KVM + ipv6 = お名前.com VPS 〜～開発担当者が語る、ここだけの裏裏話 2013 〜～ 近況開発報告 おまけ : TGS 2012 の様子 (GMOアプリクラウド) 「美雲あんず」仕様 Honda Fit 36