SlideShare a Scribd company logo
Константин Осипов, Staff Engineer, Sun/MySQL [email_address] Maatkit — скрипты для MySQL
Что такое Maatkit 20+ Perl скриптов для адм. MySQL open source,  http://code.google.com/p/maatkit , http://groups.google.com/group/maatkit-discuss developed by Baron Schwartz (Percona employee) без зависимостей download & run – не нужна инсталляция документация – это код. --help всегда правильный
Что может Maatkit checksum и синхронизация таблиц задерживать replication slaves анализ slow query log архивация или удаление старых данных распараллеливать dump или restore  набор скриптов постоянно растёт
Checksum таблиц гарантирует что данные на мастере и слейве – те же как работает:  insert into <checksum table> select <checksum query> from <other table> на слейве:  select <slave_checksum> == <master_checksum> from <checksum_table> разные данные -> разное значение checksum
Возможности checksum чуть-чуть за раз, throttle, и т.д. semi-continually и incrementally как запустить: mk-table-checksum –replicate=maatkit.checksum –createreplicate –chnksize=1000 –sleep-coef=2 master_db_host По завершению, проверить результаты на слейвах, в глубину 2: mk-table-checksum –replicate = maatkit.checksum –replcheck 2 master_db_host
Синхронизация данных если replcheck нашла разницу, mk-table-sync может её устранить mk-table-sync –sycn-on-master –replicate=maatkit.checksum –execute slave_db_host
Задержка slave полезно как страховка на случай human error Если случайно DROP TABLE на мастере, N минут чтобы остановить репликацию и исправить ситуацию не замена бэкапам,  а способ снизить downtime смотрит за статусом слейва, не зависит от Seconds_behind_master, не читает логи  при этом даёт точный результат mk-slave-delay —delay=60m slave_db_host
Анализ slow query log mk-query-digest — GROUP BY для slow query log работает и для других источников: mk-query-digest —processlit h=localhost mk-query-digest /path/to/slow_log
Отчёты mk-query-digest top 95% времени выполнения --report tables --report distill min/max/average/median/stddev худший в сэмпле
История с mk-query-digest можно хранить отчёты в табличке каждый запуск — отдельная строка в табличке  поиск «новых» проблемных запросов, график загрузки mk-query-digest /path/to/slow_query_log —review h,localhost, D=maatkit,t=review —createreview —review-history t=review_history —createreviewhistory недавно добавлена. Планируется третий скрипт для работы с review history
Что в разработке поддержка configuration files стандартизация command line options todo:  http://code.google.com/p/maatkit/issues/list можно sponsor a feature

More Related Content

PDF
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
Ontico
 
PDF
Call of Postgres: Advanced Operations (part 2)
Alexey Lesovsky
 
PDF
pgconf.ru 2015.avito postgresql recovery
Михаил Тюрин
 
PDF
PostgreSQL Streaming Replication
Alexey Lesovsky
 
PPT
Moscow Exchange Test Automation of a Backup System at TMPA-2014 (Trading Syst...
Iosif Itkin
 
PDF
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual Machines
Iosif Itkin
 
PDF
Call of Postgres: Advanced Operations (part 3)
Alexey Lesovsky
 
PDF
Cgroup и их использование в бк
Yandex
 
Девять кругов ада или PostgreSQL Vacuum / Алексей Лесовский (PostgreSQL-Consu...
Ontico
 
Call of Postgres: Advanced Operations (part 2)
Alexey Lesovsky
 
pgconf.ru 2015.avito postgresql recovery
Михаил Тюрин
 
PostgreSQL Streaming Replication
Alexey Lesovsky
 
Moscow Exchange Test Automation of a Backup System at TMPA-2014 (Trading Syst...
Iosif Itkin
 
TMPA-2015: Multi-Platform Approach to Reverse Debugging of Virtual Machines
Iosif Itkin
 
Call of Postgres: Advanced Operations (part 3)
Alexey Lesovsky
 
Cgroup и их использование в бк
Yandex
 

What's hot (20)

PDF
Call of Postgres: Advanced Operations (part 5)
Alexey Lesovsky
 
PDF
2014.10.15 Сергей Бурладян, Avito.ru
Nikolay Samokhvalov
 
PDF
2014.10.15 Мурат Кабилов, Avito.ru #PostgreSQLRussia
Nikolay Samokhvalov
 
PDF
Волков не бояться! Бизнес логика и РСУБД
Sergey Melekhin
 
PDF
Call of Postgres: Advanced Operations (part 1)
Alexey Lesovsky
 
PDF
Hacking PostgreSQL. Локальная память процессов. Контексты памяти.
Anastasia Lubennikova
 
PDF
Мастер-класс : Time Profiler - главный инструмент нашего Xcode-ансамбля! / Дм...
ssuserdc56a9
 
PPTX
СУБД осень 2012 лекция 9
Technopark
 
PDF
Расширения для PostgreSQL
Anastasia Lubennikova
 
PDF
Мониторинг ожиданий в PostgreSQL / Курбангалиев Ильдус (Postgres Professional)
Ontico
 
PDF
Wordpress Cron
versusbassz
 
PDF
Call of Postgres: Advanced Operations (part 4)
Alexey Lesovsky
 
PDF
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Ontico
 
PDF
Отладка и устранение проблем в PostgreSQL Streaming Replication.
Alexey Lesovsky
 
PDF
Новые технологии репликации данных в PostgreSQL - Александр Алексеев
Aleksander Alekseev
 
PDF
Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...
Ontico
 
PDF
Механика DDoS (Александр Крижановский)
Ontico
 
PDF
Владимир Бородин: Как спать спокойно - 2015.10.14 PostgreSQLRussia.org meetu...
Nikolay Samokhvalov
 
PDF
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Ontico
 
PDF
Анатолий Полицын, агентство интернет-маркетинга «Синапс» — Корпоративный хост...
Dev_Party
 
Call of Postgres: Advanced Operations (part 5)
Alexey Lesovsky
 
2014.10.15 Сергей Бурладян, Avito.ru
Nikolay Samokhvalov
 
2014.10.15 Мурат Кабилов, Avito.ru #PostgreSQLRussia
Nikolay Samokhvalov
 
Волков не бояться! Бизнес логика и РСУБД
Sergey Melekhin
 
Call of Postgres: Advanced Operations (part 1)
Alexey Lesovsky
 
Hacking PostgreSQL. Локальная память процессов. Контексты памяти.
Anastasia Lubennikova
 
Мастер-класс : Time Profiler - главный инструмент нашего Xcode-ансамбля! / Дм...
ssuserdc56a9
 
СУБД осень 2012 лекция 9
Technopark
 
Расширения для PostgreSQL
Anastasia Lubennikova
 
Мониторинг ожиданий в PostgreSQL / Курбангалиев Ильдус (Postgres Professional)
Ontico
 
Wordpress Cron
versusbassz
 
Call of Postgres: Advanced Operations (part 4)
Alexey Lesovsky
 
Кластеры баз данных делаем сложные вещи просто / Андрей Тихонов (Avito)
Ontico
 
Отладка и устранение проблем в PostgreSQL Streaming Replication.
Alexey Lesovsky
 
Новые технологии репликации данных в PostgreSQL - Александр Алексеев
Aleksander Alekseev
 
Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Г...
Ontico
 
Механика DDoS (Александр Крижановский)
Ontico
 
Владимир Бородин: Как спать спокойно - 2015.10.14 PostgreSQLRussia.org meetu...
Nikolay Samokhvalov
 
Реализация восстановления после аварий / Сергей Бурладян (Avito)
Ontico
 
Анатолий Полицын, агентство интернет-маркетинга «Синапс» — Корпоративный хост...
Dev_Party
 
Ad

Viewers also liked (20)

PPS
Pinturas(iz)
franchyintercultural
 
PPTX
Trabalho usp
edsonrn
 
DOCX
Metodologia
Rosa Maria Cristobal
 
PPTX
Drogas
Alicia Luis
 
PPTX
Case - FADU - Portugal - Novo logotipo
Brav Design
 
PPTX
Antropologia Cultural e de Mercado
Bruna Ticianelli
 
PPT
3series cap32primeira guerra2
Gabriel Lopes
 
PPTX
Guai dos cohes
camilorincon96
 
PPT
Abangoardiako eskultura (ii) (berria)
mfresnillo
 
PPT
Organizismoa eta 50.eko arkitektura (berria)
mfresnillo
 
DOC
ADSL_training
Vũ Nguyên
 
PDF
Feather271-4-9
Wayne Hsu
 
PPTX
Fotos e p.
Asas121
 
PPS
77 el arb.-
franchyintercultural
 
PDF
Suzy anne lopes de souza proposta gestão de pessoas 2013
Gabriel Talask
 
PDF
Come essere Mobile in 10 mosse
Data For Business
 
PDF
Максим Ткачук "Hard Rock Design"
Agile Base Camp
 
PPTX
Responsabilidade social da edp
cantanhede096
 
PDF
Tic’s na educação profa. suzy dayse cópia
Igor Rezende Santos
 
Pinturas(iz)
franchyintercultural
 
Trabalho usp
edsonrn
 
Drogas
Alicia Luis
 
Case - FADU - Portugal - Novo logotipo
Brav Design
 
Antropologia Cultural e de Mercado
Bruna Ticianelli
 
3series cap32primeira guerra2
Gabriel Lopes
 
Guai dos cohes
camilorincon96
 
Abangoardiako eskultura (ii) (berria)
mfresnillo
 
Organizismoa eta 50.eko arkitektura (berria)
mfresnillo
 
ADSL_training
Vũ Nguyên
 
Feather271-4-9
Wayne Hsu
 
Fotos e p.
Asas121
 
Suzy anne lopes de souza proposta gestão de pessoas 2013
Gabriel Talask
 
Come essere Mobile in 10 mosse
Data For Business
 
Максим Ткачук "Hard Rock Design"
Agile Base Camp
 
Responsabilidade social da edp
cantanhede096
 
Tic’s na educação profa. suzy dayse cópia
Igor Rezende Santos
 
Ad

Similar to Kostja Root Conf (20)

PPT
поиск узких мест в производительности My sql ботанический определитель. г. ру...
rit2011
 
PDF
SECON'2017, Лесовский Алексей, Потоковая репликация в PostgreSQL.
SECON
 
PDF
Bazhin 1 zal
kuchinskaya
 
PPTX
#PostgreSQLRussia в банке Тинькофф, доклад №1
Nikolay Samokhvalov
 
KEY
Batch processing in rails
Sergey
 
PPTX
сотни серверов, десятки компонент. автоматизация раскладки и конфигурирования...
rit2011
 
PDF
React со скоростью света: не совсем обычный серверный рендеринг
Timophy Chaptykov
 
PDF
Hacking PostgreSQL. Разделяемая память и блокировки.
Anastasia Lubennikova
 
PDF
Streaming replication in practice
Alexey Lesovsky
 
PDF
PostgreSQL Vacuum: Nine Circles of Hell
Alexey Lesovsky
 
PPTX
PHP 5.4: Что нового?
phpdevby
 
PPTX
(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...
ForkConf
 
PPTX
Оптимизация трассирования с использованием Expression templates
Platonov Sergey
 
PPTX
Оптимизация трассирования с использованием Expression templates
Platonov Sergey
 
PDF
My talk on DevOps engineer's adventures in the Windows world at UWDC 2017
Alex Chistyakov
 
PPT
Надежда Серкова -- Автоматическая генерация Perl скриптов для тестирования си...
sqadays8
 
PDF
pgconf.ru 2015 avito postgresql
Михаил Тюрин
 
PPTX
PowerShell
GetDev.NET
 
PDF
Building deployment pipeline - DevOps way
Andrey Rebrov
 
PPTX
СУБД 2013 Лекция №9 "Безопасность баз данных"
Technopark
 
поиск узких мест в производительности My sql ботанический определитель. г. ру...
rit2011
 
SECON'2017, Лесовский Алексей, Потоковая репликация в PostgreSQL.
SECON
 
Bazhin 1 zal
kuchinskaya
 
#PostgreSQLRussia в банке Тинькофф, доклад №1
Nikolay Samokhvalov
 
Batch processing in rails
Sergey
 
сотни серверов, десятки компонент. автоматизация раскладки и конфигурирования...
rit2011
 
React со скоростью света: не совсем обычный серверный рендеринг
Timophy Chaptykov
 
Hacking PostgreSQL. Разделяемая память и блокировки.
Anastasia Lubennikova
 
Streaming replication in practice
Alexey Lesovsky
 
PostgreSQL Vacuum: Nine Circles of Hell
Alexey Lesovsky
 
PHP 5.4: Что нового?
phpdevby
 
(1 часть) 1С-Битрикс. Как настроить двухуровневую конфигурацию веб-приложения...
ForkConf
 
Оптимизация трассирования с использованием Expression templates
Platonov Sergey
 
Оптимизация трассирования с использованием Expression templates
Platonov Sergey
 
My talk on DevOps engineer's adventures in the Windows world at UWDC 2017
Alex Chistyakov
 
Надежда Серкова -- Автоматическая генерация Perl скриптов для тестирования си...
sqadays8
 
pgconf.ru 2015 avito postgresql
Михаил Тюрин
 
PowerShell
GetDev.NET
 
Building deployment pipeline - DevOps way
Andrey Rebrov
 
СУБД 2013 Лекция №9 "Безопасность баз данных"
Technopark
 

More from Liudmila Li (20)

PPSX
11 Ban Net Scaler Xa
Liudmila Li
 
PPSX
10 Dg Xd
Liudmila Li
 
PPSX
09 Ban Branch Repeater1
Liudmila Li
 
PPSX
08 Xenserver Dg
Liudmila Li
 
PPSX
07 Ibm System X And Blade Center For Citrix Forum(Ekatirenburg)
Liudmila Li
 
PPSX
04 Cvc2009 Yekaterinburg Xa5 Fp1 Sergey Kh
Liudmila Li
 
PPSX
06 [хост]
Liudmila Li
 
PPSX
05 чэс описание решения V3
Liudmila Li
 
PPSX
03 Bcc суэк
Liudmila Li
 
PPSX
01 Ap еKaterinburg
Liudmila Li
 
PPSX
11 Net Scaler Xa1
Liudmila Li
 
PPSX
09 Branch Repeater1
Liudmila Li
 
PPSX
10 Xs Dg
Liudmila Li
 
PPSX
08 Dg Xd
Liudmila Li
 
PPSX
07 Ws08 R2 Virt
Liudmila Li
 
PPSX
06 03 Gazprombank Success Story
Liudmila Li
 
PPSX
06 02 C I S Citrix Final
Liudmila Li
 
PPSX
06 01 сертифицированные продукты
Liudmila Li
 
PPSX
05 Bykov Citrix Last
Liudmila Li
 
PPSX
04 Xa5 Fp1 Sergey Kh
Liudmila Li
 
11 Ban Net Scaler Xa
Liudmila Li
 
10 Dg Xd
Liudmila Li
 
09 Ban Branch Repeater1
Liudmila Li
 
08 Xenserver Dg
Liudmila Li
 
07 Ibm System X And Blade Center For Citrix Forum(Ekatirenburg)
Liudmila Li
 
04 Cvc2009 Yekaterinburg Xa5 Fp1 Sergey Kh
Liudmila Li
 
06 [хост]
Liudmila Li
 
05 чэс описание решения V3
Liudmila Li
 
03 Bcc суэк
Liudmila Li
 
01 Ap еKaterinburg
Liudmila Li
 
11 Net Scaler Xa1
Liudmila Li
 
09 Branch Repeater1
Liudmila Li
 
10 Xs Dg
Liudmila Li
 
08 Dg Xd
Liudmila Li
 
07 Ws08 R2 Virt
Liudmila Li
 
06 03 Gazprombank Success Story
Liudmila Li
 
06 02 C I S Citrix Final
Liudmila Li
 
06 01 сертифицированные продукты
Liudmila Li
 
05 Bykov Citrix Last
Liudmila Li
 
04 Xa5 Fp1 Sergey Kh
Liudmila Li
 

Kostja Root Conf

  • 1. Константин Осипов, Staff Engineer, Sun/MySQL [email_address] Maatkit — скрипты для MySQL
  • 2. Что такое Maatkit 20+ Perl скриптов для адм. MySQL open source, http://code.google.com/p/maatkit , http://groups.google.com/group/maatkit-discuss developed by Baron Schwartz (Percona employee) без зависимостей download & run – не нужна инсталляция документация – это код. --help всегда правильный
  • 3. Что может Maatkit checksum и синхронизация таблиц задерживать replication slaves анализ slow query log архивация или удаление старых данных распараллеливать dump или restore набор скриптов постоянно растёт
  • 4. Checksum таблиц гарантирует что данные на мастере и слейве – те же как работает: insert into <checksum table> select <checksum query> from <other table> на слейве: select <slave_checksum> == <master_checksum> from <checksum_table> разные данные -> разное значение checksum
  • 5. Возможности checksum чуть-чуть за раз, throttle, и т.д. semi-continually и incrementally как запустить: mk-table-checksum –replicate=maatkit.checksum –createreplicate –chnksize=1000 –sleep-coef=2 master_db_host По завершению, проверить результаты на слейвах, в глубину 2: mk-table-checksum –replicate = maatkit.checksum –replcheck 2 master_db_host
  • 6. Синхронизация данных если replcheck нашла разницу, mk-table-sync может её устранить mk-table-sync –sycn-on-master –replicate=maatkit.checksum –execute slave_db_host
  • 7. Задержка slave полезно как страховка на случай human error Если случайно DROP TABLE на мастере, N минут чтобы остановить репликацию и исправить ситуацию не замена бэкапам, а способ снизить downtime смотрит за статусом слейва, не зависит от Seconds_behind_master, не читает логи при этом даёт точный результат mk-slave-delay —delay=60m slave_db_host
  • 8. Анализ slow query log mk-query-digest — GROUP BY для slow query log работает и для других источников: mk-query-digest —processlit h=localhost mk-query-digest /path/to/slow_log
  • 9. Отчёты mk-query-digest top 95% времени выполнения --report tables --report distill min/max/average/median/stddev худший в сэмпле
  • 10. История с mk-query-digest можно хранить отчёты в табличке каждый запуск — отдельная строка в табличке поиск «новых» проблемных запросов, график загрузки mk-query-digest /path/to/slow_query_log —review h,localhost, D=maatkit,t=review —createreview —review-history t=review_history —createreviewhistory недавно добавлена. Планируется третий скрипт для работы с review history
  • 11. Что в разработке поддержка configuration files стандартизация command line options todo: http://code.google.com/p/maatkit/issues/list можно sponsor a feature