Адаптивная оптимизация запросов в реляционных СУБД / Олег Иванов (Postgres Professional)
1 like1,224 views
Документ рассматривает адаптивную оптимизацию запросов в реляционных СУБД с использованием методов машинного обучения, таких как метод ближайших соседей. Обсуждаются различные планы выполнения запросов и оценка их стоимости, включая применение динамического программирования и генетических алгоритмов. Описываются результаты экспериментов по производительности, подтверждающие улучшение с использованием адаптивной оптимизации.
Адаптивная оптимизация запросов в реляционных СУБД / Олег Иванов (Postgres Professional)
- 1. Адаптивная оптимизация запросов Олег Иванов Postgres Professional
- 2. Что такое оптимизация запросов? Как современные реляционные СУБД оптимизируют запросы? Что такое адаптивная оптимизация запросов? Машинное обучение, метод ближайших соседей. Как использовать машинное обучение для адаптивной оптимизации запросов? Насколько это улучшает производительность СУБД?
- 3. SeqScan users u1 IndexScan messages m MergeJoin IndexScan users u2 NestedLoopJoin SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id; Что такое оптимизация запросов?
- 4. IndexScan users u1 SeqScan messages m NestedLoopJoin IndexScan users u2 NestedLoopJoin SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
- 5. SeqScan users u1 SeqScan messages m HashJoin SeqScan users u2 HashJoin SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
- 6. EXPLAIN SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id; QUERY PLAN ----------------------------------------------------------------------------------- Hash Join (cost=540.00..439429.44 rows=10003825 width=27) Hash Cond: (m.receiver_id = u2.id) -> Hash Join (cost=270.00..301606.84 rows=10003825 width=23) Hash Cond: (m.sender_id = u1.id) -> Seq Scan on messages m (cost=0.00..163784.25 rows=10003825 width=19) -> Hash (cost=145.00..145.00 rows=10000 width=4) -> Seq Scan on users u1 (cost=0.00..145.00 rows=10000 width=4) -> Hash (cost=145.00..145.00 rows=10000 width=4) -> Seq Scan on users u2 (cost=0.00..145.00 rows=10000 width=4) (9 rows)
- 7. EXPLAIN SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id; QUERY PLAN ----------------------------------------------------------------------------------- Hash Join (cost=540.00..439429.44 rows=10003825 width=27) Hash Cond: (m.receiver_id = u2.id) -> Hash Join (cost=270.00..301606.84 rows=10003825 width=23) Hash Cond: (m.sender_id = u1.id) -> Seq Scan on messages m (cost=0.00..163784.25 rows=10003825 width=19) -> Hash (cost=145.00..145.00 rows=10000 width=4) -> Seq Scan on users u1 (cost=0.00..145.00 rows=10000 width=4) -> Hash (cost=145.00..145.00 rows=10000 width=4) -> Seq Scan on users u2 (cost=0.00..145.00 rows=10000 width=4) (9 rows) Стоимость выполнения вершины плана Мощность (cardinality) вершины плана Стоимость выполнения плана
- 8. Стоимостная оптимизация запросов System R (1974) Среди всех планов выполнения запроса выбираем план с наименьшей стоимостью
- 9. cs seq_page_cost 1.0 cr random_page_cost 4.0 ct cpu_Tuple_cost 0.01 ci cpu_Index_tuple_cost 0.005 co cpu_Operator_cost 0.0025 Cost=ns cs+nr cr+nt ct +ni ci+no co PostgreSQL
- 10. DataSeqScan IndexScan Cost=ns cs+no⋅co ns=N pages no=Ntuples SELECT * FROM users WHERE age < 25;
- 11. Data Data Index SeqScan IndexScan Cost=ns cs+no⋅co Cost=nr⋅cr ns=N pages no=Ntuples nr=Cardinality SELECT * FROM users WHERE age < 25;
- 12. 0 – 4 5 – 9 10 - 14 15 - 19 20 - 24 25 - 29 30 - 34 35 - 39 40 - 44 45 - 49 50 - 54 55 - 59 60 - 64 65 - 69 70 - 74 75 - 79 80 - 84 85 - 89 90 - 94 95 – 99 100 or more 0 2000 4000 6000 8000 10000 12000 14000 Age SELECT * FROM users WHERE age < 25; Cardinality
- 13. SeqScan users u1 SeqScan messages m HashJoin SeqScan users u2 HashJoin SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
- 14. SeqScan users u1 SeqScan messages m HashJoin SeqScan users u2 HashJoin 10000000 10000 1000010000000 10000000 SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
- 15. SeqScan users u1 SeqScan messages m HashJoin SeqScan users u2 HashJoin 10000000 10000 1000010000000 10000000 145 145163784 301607 439429 SELECT * FROM users AS u1, messages AS m, users AS u2 WHERE u1.id = m.sender_id AND m.receiver_id = u2.id;
- 16. Полный перебор Метод оптимизации Оценка стоимости плана SeqScan users HashJoin HashJoin SeqScan messages SeqScan pictures Cost = 439429 MergeJoin SeqScan messages SeqScan pictures Cost = 304528
- 17. Полный перебор Метод оптимизации Оценка стоимости плана SeqScan users HashJoin HashJoin SeqScan messages SeqScan pictures Cost = 439429 MergeJoin SeqScan messages SeqScan pictures Cost = 304528
- 18. Динамическое программирование или Генетический алгоритм Метод оптимизации Оценка стоимости плана SeqScan users HashJoin HashJoin SeqScan messages SeqScan pictures Cost = 439429 MergeJoin SeqScan messages SeqScan pictures Cost = 304528
- 19. Динамическое программирование ● System R ● Временная сложность: 3n ● Объем потребляемой памяти: 2n ● Всегда находит самый дешевый план по подмножествам
- 20. Генетический алгоритм ● PostgreSQL ● Общий, гибко настраиваемый метод ● Может быть остановлен на любой итерации ● Нет гарантий
- 21. Динамическое программирование или Генетический алгоритм Метод оптимизации Оценка стоимости плана SeqScan users HashJoin HashJoin SeqScan messages SeqScan pictures Cost = 439429 MergeJoin SeqScan messages SeqScan pictures Cost = 304528
- 22. Условия запроса Информация о данных Состояние СУБД Оценка мощности Оценка стоимости
- 23. Dataset: The TPC Benchmark™DS (TPC-DS) http://www.tpc.org/tpcds/
- 24. Dataset: The TPC Benchmark™DS (TPC-DS) http://www.tpc.org/tpcds/ Ошибка в 300 раз Ошибка в 4 раза
- 25. Условия запроса Информация о данных Состояние СУБД Оценка мощности Оценка стоимости How good are query optimizers, really? V. Leis, A. Gubichev, A. Mirchev et al.
- 26. 0 – 4 5 – 9 10 - 14 15 - 19 20 - 24 25 - 29 30 - 34 35 - 39 40 - 44 45 - 49 50 - 54 55 - 59 60 - 64 65 - 69 70 - 74 75 - 79 80 - 84 85 - 89 90 - 94 95 – 99 100 or more 0 2000 4000 6000 8000 10000 12000 14000 Age Выборочность Selectivity≃0.3 Cardinality=Ntuples⋅Selectivity SELECT * FROM users WHERE age < 25;
- 27. SELECT * FROM users WHERE age < 25 AND city = 'Moscow'; Selectivityage= 1 3 Selectivitycity= 1 7 Selectivityage ,city=? Известны только выборочности отдельных условий
- 28. age < 25 city = 'Moscow' 1/3 1/7 1/21
- 29. SELECT * FROM users WHERE age < 25 AND city = 'Moscow'; Selectivityage ,city=Selectivityage⋅Selectivitycity За исключением Selectivity25<age ANDage<57=Selectivity25<age<57 Известны только выборочности отдельных условий Условия полагаются независимыми:
- 30. age < 25 city = 'Moscow' 1/3 1/7 1/7
- 31. age < 25 city = 'Moscow' 1/3 1/7
- 32. SELECT * FROM users WHERE age < 12 AND married = true; married = trueage < 12
- 33. SELECT * FROM users WHERE age < 12 AND married = false; age < 12 married = false
- 34. SELECT * FROM users WHERE age > 25 AND married = true AND position = 'CTO'; age > 25position = 'CTO' married = true
- 36. Гистограммы Модели стоимости Статическая информация Обратная связь Результат SQL запрос Выполнение запроса Оптимизация запроса Статистика выполнения Что такое адаптивная оптимизация?
- 37. Что такое адаптивная оптимизация? Гистограммы Модели стоимости Статическая информация скорректированная Обратная связь Результат SQL запрос Выполнение запроса Оптимизация запроса Статистика выполнения
- 41. Признак 1 Признак 2 Признак 3 Скрытые значения Признаки Обучающая выборка Тестовая выборка Объекты
- 42. Метод k ближайших соседей 25 47 55 32 22 45 28 50 120 100 80 30 90 ?
- 43. 25 47 55 32 22 45 28 50 120 100 80 30 90 ? Метод k ближайших соседей
- 44. 27 47 28 53 103 ? 2/3 1/3 1/3 5/3 Градиентный метод k ближайших соседей
- 45. Как применить машинное обучение для адаптивной оптимизации запросов?
- 46. SeqScan users u1 IndexScan messages m MergeJoin users u2 NestedLoopJoin Объект – вершина и её поддерево u2.id = messages.receiver_id u1.id = messages.sender_id IndexScan u2.married = true AND u2.age < 25
- 47. Будет выдано 105 кортежей!Список ограничений users.id = messages.receiver_id AND users.married = true AND users.age < 25 PostgreSQL Гистограммы
- 48. Будет выдано 1017 кортежей!Список ограничений users.id = messages.receiver_id AND users.married = const AND users.age < const Машинное обучение Выборочности условий ● 0.0001 ● 0.73 ● 0.23
- 49. users.id = messages.receiver_id users.married = const users.age < const 0.0001 0.73 0.23 Мощность вершины Признаки Скрытое значение ? Объект – вершина плана Постановка задачи машинного обучения
- 50. Оптимизация запроса Выполнение запросаПарсинг запроса Предсказание мощности Данные машинного обучения Статистика выполнения запроса ОбучениеМашинное обучение
- 51. ● Сойдется ли? ● Как быстро сойдется? ● Куда сойдется?
- 52. ● Сойдется ли? ● Как быстро сойдется? ● Куда сойдется? Да, за конечное число шагов
- 53. ● Сойдется ли? ● Как быстро сойдется? ● Куда сойдется? Да, за конечное число шагов Неизвестно (на практике за несколько шагов)
- 54. ● Сойдется ли? ● Как быстро сойдется? ● Куда сойдется? Да, за конечное число шагов Для выполненных планов предсказания верны Неизвестно (на практике за несколько шагов)
- 55. ● Сойдется ли? ● Как быстро сойдется? ● Куда сойдется? Да, за конечное число шагов Для выполненных планов предсказания верны Неизвестно (на практике за несколько шагов) С идеальной моделью стоимости время выполнения запроса гарантированно не увеличивается
- 60. АдаптивныйОригинальный TPC-H slow TPC-H fast 0 10 20 30 40 50 60 +1.3% Прирост производительности
- 61. TPC-H slow TPС-H fast 0 5000 10000 15000 20000 АдаптивныйОригинальный -4.4% Прирост производительности
- 62. АдаптивныйОригинальный TPC-DS very slow TPC-DS slow TPC-DS normal TPC-DS fast TPC-DS very fast 0 2 4 6 8 10 12 14 16 18 +12% Прирост производительности
- 63. АдаптивныйОригинальный TPC-DS very slow TPC-DS slow TPC-DS normal TPC-DS fast TPC-DS very fast 0 20 40 60 80 100 120 140 +24% Прирост производительности
- 64. АдаптивныйОригинальный TPC-DS very slow TPC-DS slow TPC-DS normal TPC-DS fast TPC-DS very fast 0 50 100 150 200 250 300 +41% Прирост производительности
- 65. АдаптивныйОригинальный TPC-DS very slow TPC-DS slow TPC-DS normal TPC-DS fast TPC-DS very fast 0 200 400 600 800 1000 1200 1400 1600 1800 +285% Прирост производительности
- 66. TPC-DS very slow TPC-DS slow TPC-DS normal TPC-DS fast TPC-DS very fast 0 5000 10000 15000 20000 Адаптивный +115% Оригинальный Прирост производительности
- 68. Замедление для генетического алгоритма: не более 2 секунд Для динамического программирования: не более 30 миллисекунд Накладные расходы экcпериментальные
- 69. Область применимости Сложные аналитические запросы с повторяющейся структурой.
- 70. 0 1 2 3 4 5 6 7 8 9 # iter 0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3 1.4 Executiontime,s TPC-DS 18 Динамика обучения
- 71. 0 1 2 3 4 5 6 7 8 9 # iter 10 0 10 1 10 2 10 3 10 4 Executiontime,s TPC-DS 69 Динамика обучения
- 72. 0 1 2 3 4 5 6 7 8 9 # iter 0.7 0.8 0.9 1.0 1.1 1.2 1.3 Executiontime,s TPC-DS 26 Динамика обучения
- 73. Что дальше?
- 74. Вопросы? Контакты: ● [email protected] ● +7 (916) 377-55-63 Текущий код для PostgreSQL: https://github.com/tigvarts/aqo