Партицирование и миграции данных на примере PostgreSQL, Денис Иванов (2ГИС)
3 likes•2,479 views
Документ описывает методики партицирования и миграции данных в PostgreSQL, применяемые компанией 2ГИС для обработки больших нагрузок на сервис 'фото'. В частности, рассматриваются преимущества автоматического партицирования и использование инструментов, таких как 'migraptor', для упрощения миграций и управления изменениями в коде. Также упоминаются примеры ускорения запросов и управления таблицами в контексте высоких требований к производительности.
![Status Quo
Currently we allow the user to (manually) create arbitrary nested tables with arbitrary constraints and then the planner tries to detect at
run-time which child tables are candidates for the query. See PostgreSQL Partitioning for details. There are some 3rd party plugins that simplify
the (manual) task/triggers, etc. see bottom of this page.
Today, at create time you create a master table, children that inherit from it (and how they are partitioned), separate indices for each child table,
and create an insert trigger so that new rows are inserted to the appropriate (child) table (and/or more aggressive measures, such as allowing
updates to the partitioned key [by default, updates to rows' partitioned key leave them in the same partition, possibly in error], dynamically
allocating new child tables [be careful with race conditions], etc. see the various blogs out there).](https://image.slidesharecdn.com/postgresql2-141111145748-conversion-gate02/85/PostgreSQL-2-21-320.jpg)
Партицирование и миграции данных на примере PostgreSQL, Денис Иванов (2ГИС)
- 1. Партицирование и миграции данных в PostgreSQL Иванов Денис
- 2. Ведущий разработчик в 2ГИС
- 3. Крайний за высокие нагрузки сервиса «Фото»
- 10. 8 стран 2 млн фирм 250 городов
- 11. 50 млн
- 12. 20 млн 2000 RPS
- 14. Окружение машины, на которой проводился бенчмарк: 8 CPU, 8GB RAM.
- 15. Мы не вывозим
- 16. Что делать?
- 18. photo photo_1 photo_2 photo_N
- 21. Status Quo Currently we allow the user to (manually) create arbitrary nested tables with arbitrary constraints and then the planner tries to detect at run-time which child tables are candidates for the query. See PostgreSQL Partitioning for details. There are some 3rd party plugins that simplify the (manual) task/triggers, etc. see bottom of this page. Today, at create time you create a master table, children that inherit from it (and how they are partitioned), separate indices for each child table, and create an insert trigger so that new rows are inserted to the appropriate (child) table (and/or more aggressive measures, such as allowing updates to the partitioned key [by default, updates to rows' partitioned key leave them in the same partition, possibly in error], dynamically allocating new child tables [be careful with race conditions], etc. see the various blogs out there).
- 28. Ускоряемся
- 29. WHERE category_id = N
- 30. FROM news_1
- 33. Ускорили в 3 раза
- 34. Профит
- 35. Профит ● Системные таблицы (pg_indexes…).
- 36. Профит ● Системные таблицы (pg_indexes…). ● Автоматические партиции.
- 37. Профит ● Системные таблицы (pg_indexes…). ● Автоматические партиции. ● Без единой правки кода приложения.
- 38. Профит ● Системные таблицы (pg_indexes…). ● Автоматические партиции. ● Без единой правки кода приложения. ● Ускорение в 3 раза.
- 39. Раздача слонов — https://github.com/2gis/partition_magic
- 40. 2. МИГРАЦИИ
- 41. Yiic Migrate + Phing
- 42. Мы теряем изменения в коде хранимых процедур
- 43. «MIGRAPTOR»
- 44. Поддерживает ● Yii CDbConnection. ● Нативные Yii миграции. ● Схемы. ● Хранимые процедуры. ● Представления (view). ● DDL. ● DML. ● Скрипты. ● И другое.
- 45. Профит
- 46. Профит ● Обёртка над Yiic Migrate (Yii 1).
- 47. Профит ● Обёртка над Yiic Migrate (Yii 1). ● Дельты и миграции — код.
- 48. Профит ● Обёртка над Yiic Migrate (Yii 1). ● Дельты и миграции — код. ● VCS (Git), версии.
- 49. Профит ● Обёртка над Yiic Migrate (Yii 1). ● Дельты и миграции — код. ● VCS (Git), версии. ● Обновление при деплое.
- 50. Раздача слонов — https://github.com/2gis/migraptor