Илья Кудинов
0 likes1,133 views
Документ описывает эволюцию процессов тестирования в компании Badoo за три года, включая увеличение числа разработчиков и пользователей. Он охватывает различные методологии контроля качества, такие как код-ревью, автоматизированное тестирование и этапы релиза. Основное внимание уделено улучшению тестовых фреймворков и систем мониторинга для повышения стабильности и эффективности.
More Related Content
![Философия "СI глазами QA" [NoBugs WTF PRO уровень].pptx](https://cdn.slidesharecdn.com/ss_thumbnails/iqa-241108031514-e912814c-thumbnail.jpg?width=560&fit=bounds)
Илья Кудинов
- 1. Развитие процессов тестирования в Badoo за три года, или как мы думали, что всё хорошо, а оказалось, что можно лучше. Кудинов Илья, Badoo Development
- 2. Немного цифр — как обычно ● 2 серверных релиза в день ● Еженедельные релизы приложений ● ~80 => ~150 разработчиков ● ~20 => ~50 QA-инженеров ● 180 => 300+ миллионов пользователей ● 0.6 => 1+ миллиона пользователей онлайн
- 3. Разные QA-флоу ● Web / mobile app server ● С daemons ● Mobile flows – iOS – Android – Windows – Mobile Web
- 4. 5 (или около того) этапов контроля качества 1. Code Review 2. Тестирование на девеле 3. Тестирование в шоте 4. Тестирование на стейджинге 5. Верификация на продакшне
- 5. Code Review
- 6. Code Review ● «Автоматизированное» ревью — гит-хуки
- 7. Code Review ● «Автоматизированное» ревью — гит-хуки – Проверка имени ветки
- 8. Code Review ● «Автоматизированное» ревью — гит-хуки – Проверка имени ветки – Проверка прав на коммит
- 9. Code Review ● «Автоматизированное» ревью — гит-хуки – Проверка имени ветки – Проверка прав на коммит – Проверяем соответствие код-формату (phpcf!) https://habrahabr.ru/company/badoo/blog/232133/
- 10. Code Review ● «Автоматизированное» ревью — гит-хуки – Проверка имени ветки – Проверка прав на коммит – Проверяем соответствие код-формату (phpcf!) – Обновление статусов и комментарии в Jira
- 11. Code Review ● «Автоматизированное» ревью — гит-хуки – Проверка имени ветки – Проверка прав на коммит – Проверяем соответствие код-формату (phpcf!) – Обновление статусов и комментарии в Jira – Корректность тестов
- 12. Code Review ● «Автоматизированное» ревью — гит-хуки – Проверка имени ветки – Проверка прав на коммит – Проверяем соответствие код-формату (phpcf!) – Обновление статусов и комментарии в Jira – Корректность тестов – И мнооооогое-многое другое
- 13. Code Review ● «Ручное» ревью https://habrahabr.ru/company/badoo/blog/200946/
- 14. Code Review ● «Ручное» ревью – Корректность логики
- 15. Code Review ● «Ручное» ревью – Корректность логики – Оптимальность решения
- 16. Code Review ● «Ручное» ревью – Корректность логики – Оптимальность решения – Соответствие архитектуре
- 17. Code Review ● «Ручное» ревью – Корректность логики – Оптимальность решения – Соответствие архитектуре – Покрытие юнит-тестами
- 18. Code Review ● «Ручное» ревью – Корректность логики – Оптимальность решения – Соответствие архитектуре – Покрытие юнит-тестами – Проверка со стороны других отделов
- 19. Автоматическое тестирование ветки История войны за автоматический прогон юнит-тестов
- 20. Автоматическое тестирование ветки 2012 ● 15'000 тестов ● Однопоточный / топорный многопоточный запуск ● >40 минут на прохождение тестов ● Запускаем только руками :(
- 21. Автоматическое тестирование ветки 2013 ● 25'000 тестов ● Многопоточная пускалка ● 5 минут на прохождение тестов ● Запускаем по резолву задачи! https://habrahabr.ru/company/badoo/blog/181488/
- 22. Автоматическое тестирование ветки 2014 ● 40'000 тестов ● Облачная пускалка ● 2-3 минуты на прохождение тестов
- 23. Автоматическое тестирование ветки 2015 ● 55'000 тестов (каверидж ~50%) ● Стараемся запускать тесты по кавериджу ● 1-2 минуты на прохождение тестов для ветки ● 5-7 минут на прохождение всех тестов https://habrahabr.ru/company/badoo/blog/264497/
- 24. Автоматическое тестирование ветки 2016 ● 60'000+ тестов (and counting!) ● SoftMocks! ● PHP7! ● 2-3 минуты на все тесты! https://habrahabr.ru/company/badoo/blog/279617/
- 28. Совсем ручное тестирование ● Регистрируем пользователя для каждого теста
- 29. Совсем ручное тестирование ● Регистрируем пользователя для каждого теста ● Заливаем и модерируем фотографии
- 30. Совсем ручное тестирование ● Регистрируем пользователя для каждого теста ● Заливаем и модерируем фотографии ● Подготавливаем тестовые данные
- 31. Совсем ручное тестирование ● Регистрируем пользователя для каждого теста ● Заливаем и модерируем фотографии ● Подготавливаем тестовые данные ● Сложновоспроизводимые кейсы
- 32. Совсем ручное тестирование ● Регистрируем пользователя для каждого теста ● Заливаем и модерируем фотографии ● Подготавливаем тестовые данные ● Сложновоспроизводимые кейсы ● Не забываем удалять
- 33. QAAPI
- 34. QAAPI ● Быстрая регистрация пользователя
- 35. QAAPI ● Быстрая регистрация пользователя ● Заполнение любых данных
- 36. QAAPI ● Быстрая регистрация пользователя ● Заполнение любых данных ● Изменение нередактируемых параметров
- 37. QAAPI ● Быстрая регистрация пользователя ● Заполнение любых данных ● Изменение нередактируемых параметров ● Ускорение автотестов
- 38. QAAPI ● Быстрая регистрация пользователя ● Заполнение любых данных ● Изменение нередактируемых параметров ● Ускорение автотестов ● QAAPI сценарии
- 39. QAAPI ● Быстрая регистрация пользователя ● Заполнение любых данных ● Изменение нередактируемых параметров ● Ускорение автотестов ● QAAPI сценарии ● Недоступно для внешних пользователей
- 41. Облачный скриптовый фреймворк * * 1 * * script1.php * 5 * * * script2.php
- 43. Облачный скриптовый фреймворк * * 1 * * script1.php * 5 * * * script2.php
- 44. Более стабильные тесты для девела
- 45. Тестирование в шоте ● Микростейджинг 'master + task' ● Продакшн-окружение ● Генерация переводов
- 46. Тестирование в шоте ● Микростейджинг 'master + task' ● Продакшн-окружение ● Генерация переводов ● NEW! Сбор скриншотов лексем для переводчиков
- 47. Тестирование в шоте ● Микростейджинг 'master + task' ● Продакшн-окружение ● Генерация переводов ● NEW! Сбор скриншотов лексем для переводчиков ● NEW! Автоматический запуск селениум-тестов
- 49. Селениум-теста нет? ● Тесты пишутся после релиза задачи ● Селениум-тестами покрывается только устоявшийся и критический функционал
- 53. Сборка релиза AIDA: Automated Interactive Deploy Assistant https://habrahabr.ru/company/badoo/blog/169417/
- 54. Сборка релиза ● Определение задач, готовых к релизу
- 55. Сборка релиза ● Определение задач, готовых к релизу ● Автомерж
- 56. Сборка релиза ● Определение задач, готовых к релизу ● Автомерж ● Деплой релиза на стейджинговые сервера
- 57. Сборка релиза ● Определение задач, готовых к релизу ● Автомерж ● Деплой релиза на стейджинговые сервера ● Запуск автоматического тестирования
- 59. Автоматическое тестирование релиза ● Смоук-тесты при каждом обновлении релизной ветки
- 60. Автоматическое тестирование релиза ● Смоук-тесты при каждом обновлении релизной ветки ● Постоянно гоняющиеся юнит- и селениум-тесты
- 61. Автоматическое тестирование релиза ● Смоук-тесты при каждом обновлении релизной ветки ● Постоянно гоняющиеся юнит- и селениум-тесты ● Сигнализация о каждой ошибке
- 62. Автоматическое тестирование релиза ● Смоук-тесты при каждом обновлении релизной ветки ● Постоянно гоняющиеся юнит- и селениум-тесты ● Сигнализация о каждой ошибке ● Возможность быстрой пересборки билда при ошибке
- 64. Что-то сломалось! (на стейджинге, не на продкшне, конечно же!)
- 66. Локализуем проблему ● Смотрим логи тестов
- 67. Локализуем проблему ● Смотрим логи тестов ● Запускаем там, где не запускались
- 68. Локализуем проблему ● Смотрим логи тестов ● Запускаем там, где не запускались ● Находим тикет, в котором всё сломалось
- 69. Локализуем проблему ● Смотрим логи тестов ● Запускаем там, где не запускались ● Находим тикет, в котором всё сломалось ● Помогает не всегда — приходится искать самим :(
- 70. Устраняем проблему ● Если всё совсем плохо — откатываем тикет
- 71. Устраняем проблему ● Фиксим коммитом в ветку билда (?)
- 72. Устраняем проблему ● Делаем патч в билд!
- 73. Всё готово к релизу?
- 74. Всё готово к релизу?
- 75. Р Е Л И З !
- 76. Нет, на самом деле мы работаем дальше
- 78. Мониторинг!
- 79. Мониторинг ● RRDTool – Основные метрики – Нагрузка – Логи ошибок и дебаг-сообщений
- 80. Мониторинг ● Splunk – Динамика событий в реальном времени – Графики ошибок и дебага – Создание тикетов на ошибки прямо из интерфейса
- 81. Всегда есть куда стремиться!
- 83. Статьи на Хабре ● GitPHP: https://habrahabr.ru/company/badoo/blog/200946/ ● PHPCF: https://habrahabr.ru/company/badoo/blog/232133/ ● Многопоточная пускалка: https://habrahabr.ru/company/badoo/blog/181488/ ● Сборка кавериджа, QAAPI: https://habrahabr.ru/company/badoo/blog/264497/ ● SoftMocks: https://habrahabr.ru/company/badoo/blog/279617/ ● User Split: https://habrahabr.ru/company/badoo/blog/278089/ ● AIDA: https://habrahabr.ru/company/badoo/blog/169417/