Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)
0 likes1,286 views
Документ посвящен высокопроизводительному мониторингу с использованием Zabbix, включая архитектуру системы, тесты производительности и анализ узких мест. Обсуждаются параметры конфигурации, эффективность обработки метрик и сравнение различных баз данных. Кроме того, приводятся результаты тестирования, показывающие, что Zabbix может собирать до 90,000 метрик в секунду при низкой нагрузке на CPU.
Zabbix: рецепты высокопроизводительного мониторинга / Алексей Владышев (Zabbix)
- 2. О чём будем говорить Архитектура и внутреннее устройство Zabbix Тесты производительности Работа над ошибками Смотрим в будущее 2
- 3. 3 Архитектура Zabbix База данныхZabbix Server Zabbix Proxy Zabbix Proxy Агенты Агенты Агенты Push Pull Pull Агенты Push Интерфейс
- 4. 4 Сбор данных: что быстрее? Zabbix Server Агенты Push
- 5. 5 Сбор данных: что быстрее? Zabbix Server Агенты Push Zabbix Proxy
- 6. 6 Сбор данных: что быстрее? Zabbix Server Агенты Push Zabbix Proxy Пакетная обработка данных
- 7. 7 Сбор данных: что быстрее? Zabbix Server Агенты Push Zabbix Proxy Отсутствие TLS шифрования
- 8. Zabbix является мультипроцессным приложением Zabbix - полновесная система мониторинга Zabbix предоставляет множество гарантий (TCP, транзакционность, целостность даных) 8 О чём важно помнить?
- 10. 10 Основные параметры Количество процессов: StartTrappers=5 StartDBSyncers=4 StartPreprocessors=3 … Размеры буферов: CacheSize=8M HistoryCacheSize=16M …
- 11. Задачи Достичь максимального уровня производительности Найти узкие места Zabbix Server 11
- 12. HPE DL360 G9 2 x Xeon E5-2650V4 / 2.2 GHz / 24 cores128GB RAM RAID10 of 4x800GB SSD Стоимость решения: 5-7K EUR Облачный аналог: AWS EC2 i3.8xlarge, 1250 EUR per month OS: RedHat Enterprise Linux 7.5, filesystem: XFS 12 Спецификация сервера
- 13. 2 000 000 метрик 1 000 000 триггеров Хост: 100 метрик, 50 триггеров 13 Реалистичное тестовое окружение 20 000 хостов
- 14. 100 метрик, 25% с предобработкой 40 uint: 8 с предобработкой: diff, hex2dec, multiplier 40 float: 8 с предобработкой: diff, change, multiplier 10 string: 5 с предобработкой: trim, ltrim, rtrim 5 text: 2 с предобработкой: trim, ltrim 5 log: 2 с предобработкой: regex 14 Метрики 1 хост
- 16. 16 Или любой другой формат Правила предварительной обработки ………. Available memory CPU utilization Response time TPS Network utilization SSL certificate expiry date ……….. Метрики
- 17. 17 Как будем тестировать? 2M измерений Zabbix Server v3.4.3 1-8 proxy 2M измерений 2M измерений 2M измерений
- 18. 18 Физический уровень Proxy 48 x 1Gbps HPE switch Zabbix Server N x
- 19. 19 Zabbix Server: основные компоненты Обработка метрик Анализ История Zabbix Server
- 22. 22 Внутренности Zabbix TCP TCP TCP TCP TCP TCP Trappers Configuration Cache ITEMID ITEM Configuration Syncer Обработка метрик
- 23. 23 Внутренности Zabbix TCP TCP TCP TCP TCP TCP Trappers Configuration Cache ITEMID Pre-processing manager ITEM Internal queue itemid + processed flag Workers not processed processed History Cache Configuration Syncer Обработка метрик
- 24. 24 Параметры конфигурации TCP TCP TCP TCP TCP TCP Trappers Configuration Cache ITEMID Pre-processing manager ITEM Internal queue itemid + processed flag Workers not processed processed History Cache StartTrappers = 5 CacheSize = 8M HistoryCacheSize = 16M StartPreprocessors = 3 Configuration Syncer CacheUpdateFrequency = 60 Обработка метрик
- 26. 26 Без триггеров и DB Прокси rx size mb/s значений время vps 1 134484745 4.23 1997600 30 65962 2 270751932 8.05 3995200 32 124530 4 543339644 10.83 7990400 48 166995 8 1088377468 11 15980800 94 169372
- 27. 168 тысяч проверок в секунду: маловато! Утилизация CPU: 8%. Упёрлись в сеть, 100Mbps. Переходим на 1Gbps. А если использовать компрессию? 27 Первые выводы
- 28. 28 С компрессией Прокси rx size mb/s значений время vps 1 24385957 0.91 1997600 25 81474 2 48779874 1.69 3995200 28 141368 4 97566928 2.42 7990400 39 204577 8 195109219 2.32 15980800 80 200506
- 30. 200К метрик в секунду, +20% Компрессия помогла! Упёрлись в узкое место: Preprocessor Manager Исправили проблему в Preprocessing Manager & Workers +10% 30 Выводы
- 31. 31 Preprocessing manager Pre-processing manager ITEM Internal queue itemid + processed flag Workers not processed processed History Cache
- 33. 33 History Syncer History Cache History Syncers Configuration Cache ITEMID TRIGGER EVAL Value Cache VALUES EVENT PROCESING ACTION PROCESING History Trends Problems Triggers Escalations Анализ
- 34. 34 History Syncer History Cache History Syncers Configuration Cache ITEMID TRIGGER EVAL Value Cache VALUES EVENT PROCESING ACTION PROCESING History Trends Problems Triggers Escalations CacheSize = 8M HistoryCacheSize 8M ValueCacheSize = 8MStartDBSyncers = 8M Анализ
- 35. 35 С триггерами Proxies rx size mb/s values время vps 1 134484745 4.23 1997600 32 62857 (-30%) 2 270751932 8.05 3995200 44 90070 (-40%) 4 543339644 10.83 7990400 88 90905 (-60%) 8 1088377468 11 15980800 178 89753 (-60%)
- 36. Обработка триггеров снижает производительность от 30% до 60% и упирается в 90 000 в секунду. Узкое место: ValueCache 36 Выводы
- 38. 38 History Syncer History Cache History Syncers Configuration Cache ITEMID TRIGGER EVAL Value Cache VALUES EVENT PROCESING ACTION PROCESING History Trends Problems Triggers Escalations История
- 39. 39 Выбираем базу VS VS MariaDB 5.5 PostgreSQL 9.2 InfluxDB 1.3.5
- 40. 40 MariaDB 5.5: синтетический тест 0 50000 100000 150000 200000 0 10 20 30 40 50 60 70
- 41. 41 База данных: MariaDB 5.5 Партиционирование, каждая партиция хранит историю за 1 час, 50GB на партицию История
- 42. 42 MariaDB: синтетический тест 0 50000 100000 150000 200000 0 10 20 30 40 50 60 70
- 43. 43 PostgreSQL: синтетический тест 0 60000 120000 180000 240000 0 10 20 30 40 50 60 70 MariaDB PostgreSQL
- 44. 44 InfluxDB: синтетический тест 0 350000 700000 1050000 1400000 0 10 20 30 40 50 60 70 MariaDB PostgreSQL InfluxDB
- 45. 45 Базы данных: результат VS VS MariaDB 5.5 PostgreSQL 9.2 InfluxDB 160 000 VPS Ограничение: I/O 200 000 VPS Ограничение: I/O 1 300 000 VPS Ограничение: CPU
- 46. 46 С историей Proxies values время vps 1 1997600 34 85752 (-4%) 2 3995200 46 86852 (-4%) 4 7990400 93 85918 (-5%) 8 15980800 187 85458 (-5%)
- 47. 47 90 000 метрик в секунду Достаточно для мониторинга каждую минуту: 100 000 хостов, 54 метрик на хост Каждые 10 секунд: 10 000 хостов, 90 метрик на хост Раз в секунду: 1 000 хостов, 90 метрик на хост
- 48. Хранение истории уменьшает скорость на 5%. Существенно не влияет на производительность 48 Выводы
- 49. Использование компрессии Распараллелить внутреннюю обработку данных Более эффективно работать с внутренними структурами данных Ускорить систему хранения данных 49 Что можно улучшить?
- 50. Убедились, что Zabbix способен собирать 90 000 метрик в секунду, используя лишь 10% CPU Получили 20% прирост производительности по ходу тестов 50 Итог
- 51. Поддержка быстрых хранилищ данных Изучить влияние интерфейса на производительность Избавиться от узких мест и распараллеливание операций 51 Задачи на Zabbix 4.0
- 52. The Universal Open Source Enterprise Level Monitoring Solution Спасибо! Twitter: @avladishev Email: [email protected] Подробности на нашем стенде! All used icons made by Freepik from www.flaticon.com