Open Ethernet - открытый подход к построению Ethernet сетей
0 likes•4,851 views
Документ обсуждает открытый подход к построению Ethernet-сетей, акцентируя внимание на важности открытых платформ и стандартных интерфейсов для инноваций в области сетевых технологий. Описываются ключевые компоненты и преимущества Open Ethernet, включая поддержку множества операционных систем и возможность выбора аппаратного обеспечения. Приводится информация о характеристиках чипов Mellanox Spectrum и их приложении в сетевой инфраструктуре.
![© 2016 Mellanox Technologies 13
Пример работы Switchdev (Linux запущен на Spectrum)
panther # brctrl addbr br0
panther # brctrl addif br0 eth29
panther # brctrl addif br0 eth28
host-2 # iperf –s –i1
host-1 # iperf -c 192.168.1.1 -i1 -P 8
------------------------------------------------------------
Client connecting to 192.168.1.1, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[ 9] local 192.168.1.2 port 38848 connected with 192.168.1.1 port 5001
...
[ 7] local 192.168.1.2 port 38844 connected with 192.168.1.1 port 5001
[ 10] local 192.168.1.2 port 38846 connected with 192.168.1.1 port 5001
[ ID] Interval Transfer Bandwidth
[ 9] 1.0- 2.0 sec 1.25 GBytes 10.7 Gbits/sec
[ 3] 1.0- 2.0 sec 1.28 GBytes 11.0 Gbits/sec
…
[ 7] 1.0- 2.0 sec 1.44 GBytes 12.4 Gbits/sec
[ 10] 1.0- 2.0 sec 1.36 GBytes 11.7 Gbits/sec
[SUM] 1.0- 2.0 sec 10.5 GBytes 90.6 Gbits/sec](https://image.slidesharecdn.com/arccn-openethernet-mellanox-160609101758/85/Open-Ethernet-Ethernet-13-320.jpg)
Open Ethernet - открытый подход к построению Ethernet сетей
- 1. Июнь 2016 Open Ethernet – открытый подход к построению Ethernet сетей Александр Петровский – Mellanox Technologies
- 2. © 2016 Mellanox Technologies 2 Смена парадигмы в истории IT От эры мейнфреймов • Закрытая архитектура • Проприетарные интерфейсы • Проприетарное ПО • Вертикальная Scale-up маштабируемость К эпохе PC • Открытая расширяемая архитектура • Стандартные интерфейсы • Огромный выбор ПО • Горизонтальная Scale-out масштабируемость * PDP-11/70 minicomputer * Racks of OCP servers in Facebook
- 3. © 2016 Mellanox Technologies 3 Смена парадигмы в наше время Wall street IT Web-scale IT CLOS Fabric Scale-out Distributed Автоматизация, DevOps Open source Гиперконвергенция Software-defined Scale-up Centralized Традиционное управление Проприетарное ПО Виртуализация Hardware-defined “By 2017, Web-scale IT will be an architectural approach found operating in 50 percent of global enterprises…” Gartner, March 5, 2014
- 4. © 2016 Mellanox Technologies 4 Закрытая платформа - Привязка к одному вендору - Дорого! - Медленный цикл разработки Open Ethernet = Open Source в мире сетей Возможность выбора - Лучшего железа - Лучшего ПО - Быстрое внедрение hardware operating system app app app Дезагрегация инфраструктуры: - ONIE, SDK API, SAI SONiC
- 5. © 2016 Mellanox Technologies 5 Открытые платформы и API 1. Открытые Ethernet платформы - Выбор сетевой ОС, платформы коммутатора и приложений - Open Compute Project 2. Стандартные, открытые API - OCP ONIE, SAI - Linux Switchdev 3. Открытые интерфейсы автоматизации и оркестрации - REST API - Chef, Puppet, Ansible Стандартные протоколы и приложения 1. Routing: Quagga, Bird 2. Switching: OpenMLAG 3. SDN: OpenFlow, Overlays (VXLAN) Ключевые компоненты Open Ethernet Open Ethernet для ускорения инноваций +NOSs
- 6. © 2016 Mellanox Technologies 6 Spectrum 100G Ethernet ASIC – платформа Open Ethernet Лидер по производительности • Неблокирующая коммутация 6.4Tb/s • <300ns задержки на L2/L3 от 64b до 9Kb • Zero Packet Loss Масштабируемость для облаков • Поддержка виртуализации • Оптимизация пропускной способности • Гибкие SDN возможности Функциональность • 32 порта по 100 / 56 / 40GbE • 64 порта по 50 / 25 / 10GbE • RDMA over Converged Ethernet • Программируемость для SDN и поддержка Overlay (VXLAN, NVGRE, Geneve) и MPLS
- 7. © 2016 Mellanox Technologies 7 Чип Mellanox Spectrum – лучший в индустрии 50 60 70 80 90 100 Packet Size (Bytes) Broadcom 50 60 70 80 90 100 Packet Size (Bytes) Spectrum LatencyFairness Zero Packet Loss Стабильно низкая задержка для любого типа трафика и любых размеров пакетов Равномерное распределение полосы Отсутствие потерь пакетов любых размеров при любой нагрузке BroadcomSpectrum www.zeropacketloss.com www.Mellanox.com/tolly • Отчет Tolly раскрывает фундаментальные различия в характеристиках коммутаторов на базе Mellanox Spectrum и Broadcom Tomahawk • На базе Broadcom делают свои коммутаторы ведущие производители – Cisco, Juniper, Extreme, Arista, Huawei и многие
- 8. © 2016 Mellanox Technologies 8 Выбор сетевой ОС на Spectrum – уже реальность 6 коммутаторов Spectrum : • Cumulus Linux • Mellanox OS • Microsoft ACS (SONiC) • HP OpenSwitch (future) • MetaSwitch (future) • BaiduOS (future) OCP Summit March 2016 – Live Demo
- 9. © 2016 Mellanox Technologies 9 Open Compute Project Open HW Switch Abstraction Interfaces Any NOS Open Network Linux Unified Platform Interfaces Testing and Benchmarking Suits Open Network Install Environment Сообщество разработки открытых архитектур оборудования Выбор строительных блоков инфраструктуры через открытые интерфейсы Экосистема производителей и потребителей Возможность выбора любого компонента на любом уровне архитектуры (HW, SW, platform): • Server • Storage • Networking • Rack • Management • Data Center physical environment
- 10. © 2016 Mellanox Technologies 10 ONIE – открытый загрузчик сетевых ОС ONIE – Open Network Install Environment • Загрузчик + Ядро Linux + BusyBox • Аналог BIOS/UEFI в серверах Выбор – любая ОС на любом железе First power up (or upgrade) ONIE boot on local CPU Connect to management network Download NetOS installer via FTP or TFTP Execute NetOS installer Install the NetOS Boot from NetOS ONIE Operation
- 11. © 2016 Mellanox Technologies 11 Что такое SAI? User-space абстракция ASIC OCP спецификация для абстракции интерфейсов управления коммутатором • Обертка над SDK API • Вендоронезависимые интерфейсы управления основными функциями коммутатора - Init, startup/shutdown, Port, L2, L3, ACL, QoS - vendor-specific функциональность и расширения • Развивается открытым сообществом • Лидеры: Microsoft, Dell, Facebook, Broadcom, Intel, Mellanox • Обеспечивает совместимость с любым HW • Позволяет разработать собственную сетевую ОС Вклад Mellanox • Mellanox – один из авторов спецификации SAI • SAI встроен в Spectrum SDK • Сетевые ОС на базе SAI: - OpenSwitch - SONiC
- 12. © 2016 Mellanox Technologies 12 Что такое Switchdev? In-Kernel абстракция ASIC Драйвер Linux ядра, позволяющий сделать offload сетевого стека (dataplane) на ASIC Разрабатывается сообществом Linux Полностью открытое решение Использует стандартные Linux APIs • Open-source протокол для аппаратного ускорения сетевых функций Linux • Можно поставить Linux на коммутатор и сразу же получить wire-speed производительность на L2/L3 HW p3p2p1 p5 Router Vlan 2 SwitchDev Policy management Spectrum Port net dev mlxsw_pci mlxsw_core mlxsw_spectrum Spectrum Port net dev Spectrum Port net dev Spectrum Port net dev Port Config(NDO) , hw event Packet rx/tx Port Config(NDO) hw event Packet rx/tx Port Config(NDO) ,hw event Packet rx/tx Port Config(NDO) ,hw event Packet rx/tx switchdev_ops ,hw event Linux bridge TC Router FDB APIs FIB APIs FlowAPIs
- 13. © 2016 Mellanox Technologies 13 Пример работы Switchdev (Linux запущен на Spectrum) panther # brctrl addbr br0 panther # brctrl addif br0 eth29 panther # brctrl addif br0 eth28 host-2 # iperf –s –i1 host-1 # iperf -c 192.168.1.1 -i1 -P 8 ------------------------------------------------------------ Client connecting to 192.168.1.1, TCP port 5001 TCP window size: 85.0 KByte (default) ------------------------------------------------------------ [ 9] local 192.168.1.2 port 38848 connected with 192.168.1.1 port 5001 ... [ 7] local 192.168.1.2 port 38844 connected with 192.168.1.1 port 5001 [ 10] local 192.168.1.2 port 38846 connected with 192.168.1.1 port 5001 [ ID] Interval Transfer Bandwidth [ 9] 1.0- 2.0 sec 1.25 GBytes 10.7 Gbits/sec [ 3] 1.0- 2.0 sec 1.28 GBytes 11.0 Gbits/sec … [ 7] 1.0- 2.0 sec 1.44 GBytes 12.4 Gbits/sec [ 10] 1.0- 2.0 sec 1.36 GBytes 11.7 Gbits/sec [SUM] 1.0- 2.0 sec 10.5 GBytes 90.6 Gbits/sec
- 14. © 2016 Mellanox Technologies 14 Первая Open Source реализация протокола MLAG Open MLAG • Стандартная реализация MLAG для различных программных и аппаратных платформ • Протокольная совместимость MLAG MLAG • Синхронизация параметров распределенных LAG портов между коммутаторами • Хост (или коммутатор) подключенный к MLAG паре, прозрачно использует LAG • Балансировка нагрузки, fail-over SONiC
- 15. © 2016 Mellanox Technologies 15 Единственный адаптер Multi-Host Ethernet для сервера Facebook Yosemite Первый в мире адаптер 25/50Gb Ethernet для сервера Facebook Leopard Первый в мире адаптер 50Gb Ethernet для сервера OpenPower Rackspace Barreleye OCP адаптеры Mellanox Yosemite Leopard Barreleye 50GbE Multihost NIC 50GbE NIC 25GbE NIC
- 16. © 2016 Mellanox Technologies 16 Facebook Yosemite: дезагрегированный Multi-Host сервер Серверная Quad Core Multi-host платформа Facebook Yosemite 100Gb/s Copper Cable ConnectX-4 OCP2.0 100Gb/s Multi-Core Adapter Multi-Host PCI-Express Host Connections 100Gb/E QSFP Yosemite Sled With Quad CPU Cards
- 17. © 2016 Mellanox Technologies 17 OCP • Open SDK on GitHub • OCP Switch Hardware • OCP Adapters Open mLAG • Contributed to GitHub SAI, Switchdev • Switch Abstraction Interface • Enables MSFT ACS (SONiC) • Mellanox Switchdev driver in upstream ONIE • All Spectrum switches have ONIE Выбор NOS • MLNX-OS • Cumulus • OPS, SONiC (future) Вклад Mellanox в Open Ethernet и Open Networking
- 18. © 2016 Mellanox Technologies 18 1. Выбирайте любые программные компоненты в сети (ОС, ПО, Стеки протоколов) 2. Выбирайте самую лучшую аппаратную платформу В заключение об Open Ethernet…