HPC file systems (160761)
0 likes•643 views
Документ представляет обзор различных файловых систем для вычислительных кластеров, фокусируясь на их особенностях, сильных и слабых сторонах, а также стоимости. Обсуждаются системы, такие как IBM GPFS, Lustre и HDFS, с акцентом на их производительность, масштабируемость и применение в нефтегазовом секторе. Также приводятся примеры клиентов и исторические данные относительно внедрений этих систем.
HPC file systems (160761)
- 1. Файловые системы для вычислительных кластеров Краткий обзор
- 2. Файловые системы для HPC Зачем нужны? Чем различаются? Какие самые известные? Сколько стоят? 2
- 3. Распределенные файловые системы Нет монополизации LUN конкретным сервером •сохраняются возможности блокировки отдельных файлов на чтение и запись Высокая масштабируемость •по данным и метаданным Высокая надёжность Относительная дешевизна 3
- 4. Особенности масштабируемых ФС Производительность ? single-thread (GB/s) ? multi-thread (GB/s) ? обработка коротких операций ввода-вывода ? метаданные Совместимость ? операционные системы и их версии Масштабируемость ? по данным ? по метаданным Надёжность ? kernel space / user space ? репликация данных ? снэпшоты Функциональность ? снэпшоты ? пулы ресурсов и HSM ? дедупликация Стабильность ? количество внедрений ? SLA службы поддержки Стоимость 4
- 5. Самые известные масштабируемые ФС IBM GPFS Lustre File System Hadoop Distributed File System (HDFS) Fraunhofer File System (BeeGFS) ---- Panasas File System (PanFS) Quantum StorNext File System 5
- 6. IBM GPFS 6
- 7. IBM GPFS — архитектура 7
- 8. IBM GPFS — сильные и слабые стороны Сильные стороны: •высокая производительность •мгновенные снимки, пулы ресурсов Слабые стороны: •сложность настройки •множество недокументированных параметров •отсутствие графической консоли управления •дороговизна лицензий и техподдержки •перегрузка служб техподдержки 8
- 9. GPFS --- клиенты в нефтегазовом секторе Petrobras Exxon Mobil ENI British Petroleum Подробности недоступны! 9
- 10. IBM GPFS --- стоимость (List Price) Сервер: •лицензия + 1 год поддержки — 184 USD •доп. 1 год поддержки — 36.75 USD Клиент: •лицензия + 1 год поддержки — 2.20 USD •доп. 1 год поддержки — 0.45 USD Все цены — за 10 PVU •в типичном современном Intel Xeon --- 70 PVU на 1 ядро 10
- 11. LUSTRE (IEEL) 11
- 13. Lustre — сильные и слабые стороны Сильные стороны: •высочайшая производительность •высочайшая масштабируемость •графическая консоль управления •бесплатность лицензий и дешевизна коммерческой техподдержки •возможность работы с любыми массивами Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха в нефтегазовой отрасли 13
- 14. Масштабируемость Lustre — 1.5 ТБ/с 14
- 15. Внутри инсталляции LLNL --- NetApp E5400 15
- 16. Lustre + ZFS --- потеря производительности 16
- 17. Lustre --- клиенты в нефтегазовом секторе DownUnder Geosolutions (Australia) •Сluster size: 12’000 cores •Storage size: 1.5 PB •I/O performance: 10 GB/s Total S. A. (France) •Сluster size: 110’592 cores •Storage size: 7 PB •Pangea --- крупнейший коммерческий суперкомпьютер в мире! 17
- 18. Lustre File System — история и команда 1999 --- Университет Карнеги-Мелон 2003 — Cluster File Systems, Inc. 2007 --- Sun Microsystems, Inc. 2010 --- Oracle Corporation 2010 --- Whamcloud 2012 --- Intel Corporation 18 Peter Braam Eric Barton Andreas DilgerBrent Gorda
- 19. «СетьПроект» — партнёр Intel в России 19
- 20. Intel Lustre --- стоимость (List Price) Сервер (OSS): •1 год поддержки — 7000 USD Клиент: •бесплатно 20
- 21. APACHE HDFS 21
- 23. HDFS — сильные и слабые стороны Сильные стороны: •широкая распространенность •социальные сети, поисковые машины •масса вариантов коммерческой поддержки •возможность работы с любыми массивами •бесплатность лицензий и дешевизна коммерческой техподдержки Слабые стороны: •плохая производительность по операциям записи •плохая масштабируемость •множество несовместимых версий •нет историй успеха в нефтегазовой отрасли 23
- 24. HDFS --- крупнейшие внедрения 24
- 27. BeeGFS --- сильные и слабые стороны Сильные стороны: •универсальность (полностью в user space) •распределенные серверы метаданных •высочайшая производительность •особенно single-thread •графическая консоль управления •бесплатность лицензий и дешевизна коммерческой техподдержки •возможность работы с любыми массивами Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха в нефтегазовой отрасли 27
- 28. BeeGFS--- клиенты в нефтегазовом секторе Det norske oljeselskap (Норвегия) RockSolidImages (США) Lundin (Норвегия) Подробности недоступны! 28
- 29. BeeGFS --- типичная инсталляция 29
- 30. BeeGFS --- производит-сть Single-Thread 30 Оборудование: •5 storage servers по 36 дисков RAID60 Тест: •iozone 1-thread, 1-node Результаты BeeGFS: •2’484’441.50 Kbytes/sec, Sequential Write •1’087’680.75 Kbytes/sec, Sequential Read Результаты Lustre (для сравнения): •465’339.94 Kbytes/sec, Sequential Write •378’283.56 Kbytes/sec, Sequential Read
- 31. BeeGFS --- производит-сть Multi-Thread 31 Оборудование: •5 storage servers по 36 дисков RAID60 Тест: •IOB_5 (8 threads on 8 nodes) Результаты BeeGFS: •5’623’611.31 Kbytes/sec, Sequential Write •7’913’005.2 Kbytes/sec, Sequential Read Результаты Lustre (для сравнения): •3’494’379.44 Kbytes/sec, Sequential Write •2’750’521.81 Kbytes/sec, Sequential Read
- 32. BeeGFS --- стоимость (List Price) Сервер (multi-target): •1 год поддержки — 1600 EUR Сервер (single-target): •1 год поддержки — 1100 EUR Клиент: •бесплатно 32
- 33. Услуги «СетьПроекта» Помощь в постановке задачи •уточнение исходных данных •выявление неочевидных ограничений •организация тестовых стендов Внедрение СХД •проектирование •поставка •развертывание Сопровождение СХД 33
- 34. 34 Знаем и умеем --- проверено! Интернет: http://www.netproject.ru Электр. почта: [email protected] Телефон: (495) 969-24-30 Факс: (499) 969-80-63 Адрес: 119334, Москва, 5-й Донской проезд, 15 стр. 8
- 35. Дешевизна масштабируемых ФС Задача --- файловая система для вычислительного кластера: •200 ТБ полезной емкости •6 ГБ/с скорость последовательной записи Расчет в ценах List Price NetApp FAS (IO size = 32К): •FAS8060 •8 узлов, 576 дисков 900 ГБ SAS 10K --- $4.4М NetApp E-Series + Lustre (IO size = 256K): •E2700 •6 узлов, 247 дисков 2 ТБ SATA --- $350K 35