«Oracle Application Quality Management: Средства тестирования и управления тестовыми данными» — Datamasking/RATOracle testing tools_overview
2 likes949 views
Документ описывает решения Oracle в области управления качеством приложений и инструментов тестирования, включая функциональное и нагрузочное тестирование. Приводятся преимущества использования различных компонентов, таких как Oracle Application Testing Suite, включая автоматизацию и интеграцию с другими системами. Также обсуждаются методы захвата и воспроизведения реальной нагрузки на приложения и базы данных для более эффективного тестирования.
«Oracle Application Quality Management: Средства тестирования и управления тестовыми данными» — Datamasking/RATOracle testing tools_overview
- 1. ORACLE PRODUCT LOGO Application Quality Management Обзор средств Тестирования Борис Пищик – Консультант, Oracle CIS 1 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Email: [email protected] Insert Information Protection Policy Classification from Slide 8
- 2. Подход Oracle к Тестированию Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка Application Changes – «синтетическая» нагрузка • Тестирование приложений под реальной и синтетической нагрузкой • Охват всех уровней технологического стека при тестировании 2 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 3. Application Testing Suite 3 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 4. Oracle Application Testing Suite Интегрированное решение для «синтетического» тестирования Oracle Functional Testing Oracle Test Manager 4 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Oracle Load Testing
- 5. Oracle Test Manager Структурированное, открытое и наглядное управление тестированием. Основные преимущества • Интегрированная среда для полного контроля над процессом тестирования • Web-интерфейс • Планы/Требования/Тесты/Проблемы • Запуск тестов • Контроль доступа – разные роли • Визуализация статуса тестирования • Графические отчеты 5 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 6. Oracle Functional Testing Простое в освоении средство функционального тестирования Преимущества: • Простота создания тестовых сценариев • Возможность «кастомизации» скриптов тестирования • Различный уровень детализации: – Визуальный (GUI) – Опытный пользователь (JAVA code UI) • Полный контроль над тестовым сценарием (возможность добавления проверок и т.д.) • Удобная среда пользователя • Параметризация и корреляция 6 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 7. Oracle OpenScript – создание скриптов 7 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 8. Oracle Load Testing Автоматизация нагрузочного тестирования Преимущества • Эмуляция нагрузки с помощью «виртуальных пользователей» • Отчеты, помогающие определить предел нагрузки на приложение • Интегрирован с Enterprise Manager • Планирование аппаратных ресурсов • Автоматический запуск и останов теста • Статистика производительности инфраструктурных компонентов 8 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 9. Качественные скрипты за короткое время Акселераторы Сокращают время создания скриптов 9 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 10. Готовые наборы скриптов для тестирования 10 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 11. Oracle Application Testing Suite 12.3 - NEW • Обеспечивает • • • • • Functional/Regression testing Load/Performance testing Test Management Web, Siebel, EBS/Forms, ADF, JD Edwards E1, Adobe ® Flex, Database & WebServices, Hyperion, PeopleSoft, JD Edwards Functional - НОВЫЕ Сокращает время на создание тестовых скриптов на ~50% 11 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. • Мультиплатформенность Windows/Linux • Серверные компоненты Test Manager и Load Testing могут работать под Linux • Hardware estimation • Автоматическая оценка мощности аппаратной платформы для сценариев нагрузочного/стресс тестирования • Улучшенные библиотеки корреляции. Поддержка Chrome
- 12. Oracle Flow Builder (для EBS) • Возможность ручного создания скриптов из готовых компонентов – Библиотека из 3000 компонентов и 200 «потоков» – Будут поставляться ”Advanced packs” с дополнительными потоками и компонентами (ожидается в 2014 г.) 12 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
- 13. Oracle EBS QA • Команда Oracle EBS QA одна из крупнейших в индустрии разработки ПО • Использует Application Testing Suite как стандартную платформу для тестирования • Библиотека из более 41200 тестовых скриптов • 6280 часов (261 дней) автоматизированного тестирования 13 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 14. Подход Oracle к Тестированию Application Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка 14 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Application Changes – «синтетическая» нагрузка
- 15. Средства тестирования под реальной нагрузкой Application Replay Изменения логики приложения Client Изменения инфраструктуры Middle Tier Client … Client Middle Tier Real Application Testing Обновление БД, Патчи Схема, Параметры RAC узлы, Миграция Обновления OS и Hardware CPU, RAM, Storage и т.д. 15 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Storage Запись запросов от внешних клиентов
- 16. Real Application Testing 16 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 17. Real Application Testing (RAT) Решение для высококачественного тестирования на уровне БД • Состав продукта: • Database Replay захват/воспроизведение нагрузки на БД Deploy Test • SQL Performance Analyzer (SPA) анализ производительности SQLзапросов 17 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Change Remediate
- 18. Database Replay – процесс тестирования 1 Захват 2 Воспроизведение 3 • Захват Нагрузки в Рабочей системе Анализ и Настройка – Полный захват реальной нагрузки с сохранением всех характеристик: временные интервалы, порядок транзакций и т.д., запись в файлы – Перенос файлов нагрузки в тестовую среду и обработка • Воспроизведение Нагрузки в Тестовой среде – Применение планируемых изменений в тестовой среде – Полноценное воспроизведение нагрузки • Анализ & Отчетность – Сравнительные отчеты: Захват vs. Воспроизведение – Диагностические отчеты AWR, ASH,ADDM 18 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Analysis & Reporting
- 19. 19 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 20. 20 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 21. RAT Consolidated Replay - NEW Одновременное воспроизведение нагрузок, записанных на разных БД ERP Container Database CRM ERP DW 21 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. CRM DW
- 22. RAT Workload Scale Up - NEW SALES HR ERP CRM • Искусственное масштабирование нагрузки для планирования консолидации • Time Shifting - Совмещение «пиковых» периодов из разных нагрузок • Workload Folding - Вырезание и совмещение временных интервалов из одной нагрузки • Schema Remapping - Одновременное воспроизведение одной нагрузки в разных схемах 22 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 23. SQL Performance Analyzer (SPA) Детальный анализ влияния изменений на SQL–запросы • • • • • Детальный анализ по каждому SQLзапросу Интеграция с STS, SQL Plan Baselines, SQL Tuning Advisor Детальный отчет о расхождениях – выполнение «До» и «После» Сравнение результатов производительности конкретных SQLзапросов Минимальное влияние на производительность рабочей системы при захвате SQL в SQL Tuning Set (STS) 24 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. SQL Workload STS SQL plans + stats Pre-change Trial Compare SQL Performance Analysis Report SQL plans + stats Post-change Trial
- 24. SPA: Типичные области применения • Обновление ПО СУБД, установка patch-set – 9.2/10.1 10.2 , 11g, 12c – 11.2.0.3 11.2.0.4 • Обновление статистики оптимизатора запросов • Изменение параметров экземпляра БД • Изменения схемы БД (добавление/удаление индексов) • Применение рекомендаций по настройке • Изменения на уровне I/O (напр. Переход на ASM, Exadata) SPA может быть использован для: Любых изменений, влияющих на планы выполнения и производительность SQL Тестирования как на рабочей так и тестовой БД 25 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. MOS Note: 560977.1
- 25. SPA Отчеты 3 2 5 1 4 26 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 26. Подход Oracle к Тестированию Application Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка 27 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Application Changes – «синтетическая» нагрузка
- 27. Application Replay 28 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.
- 28. Application Replay Захват реальной нагрузки на уровне приложения • Захват нагрузки приложения (http запросы) на рабочей системе • Использует RUEI для захвата операций пользователей и данных об их производительности Рабочая система Пользователи Тестовая система Агенты воспроизведения • Нулевая дополнительная нагрузка на рабочую систему • Воспроизведение полной нагрузки на тестовой системе • С характеристиками нагрузки рабочей системы • Анализ и Отчёты • Расхождения при воспроизведении: доступ, содержимое, … • Время загрузки страниц, количество просмотров страниц, время размышления 29 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. СХД Захват Insert Information Protection Policy Classification from Slide 8 СХД Проигрывание Анализ & Отчёты
- 29. Application Replay - Анализ и Отчёты 1 • Итоговый отчёт – Расхождения при воспроизведении – Средняя скорость загрузки страниц – Страницы, создающие наибольшую нагрузку 30 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
- 30. Application Replay - Анализ и отчёты 2 • Анализ страниц – Метрики 31 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
- 31. Подход Oracle к Тестированию Application Middleware RDBMS O/S, Hardware Application Replay Infrastructure Infrastructure Testing tools Tools Testing Real Application Testing Application Testing Suite Application Testing tools Storage Infrastructure Changes – реальная нагрузка 32 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Application Changes – «синтетическая» нагрузка Insert Information Protection Policy Classification from Slide 8
- 32. Test Data Management 33 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
- 33. Управление тестовыми данными Решения Выявление секретных данных Маскирование данных Урезание Данных Модель данных Подготовка тестовой системы 34 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
- 34. Data Subsetting – «урезание» данных Создание подмножества данных в тестовых БД Export = Production Import Запись подмножества данных через DataPump Test Datapump Export file Удаление данных «на месте» Клонирование Production Test Database size Subset size Time* Data Pump method 200G (20%) 1 hour 8 minutes Clone and delete 35 1 Terabyte 1 Terabyte 200G (20%) 5 hours 49 minutes Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8
- 35. Data Masking Pack Безопасное развёртывание тестовых БД Production БД Тестовая БД SSN SALARY LAST_NAME SSN AGUILAR 203-33-3234 40,000 HODGES 111—23-1111 60,000 BENSON 323-22-2943 60,000 JOHNSON 222-34-1345 40,000 LAST_NAME • Безопасное развёртывание тестовой системы с помощью маскирования конфиденциальной информации • Расширяемая библиотека шаблонов маскирования 36 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8 SALARY
- 36. Маскирование данных на стороне источника Максимальное соответствие PCI DSS Database 12c Database 11g Рабочая Тестовая Рабочая Тестовая Замаскированный Data Pump файл 0100101100101010010010010010010010010010010010001 0010101001001001001110010010010010010010000100100 1011100100101010010010101010011010100101010010 Клонирование и Маскирование Рабочие данные копируются на тестовую систему и затем маскируются. Конфиденциальные данные уязвимы, пока не будут не замаскированы. 37 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. 010010110010101001001001001001001001001001001000 100101010010010010011100100100100100100100001001 001011100100101010010010101010011010100101010010 Маскирование на стороне источника Конфиденциальные данные маскируются на стороне источника прежде, чем они покинут рабочую базу данных. Insert Information Protection Policy Classification from Slide 8
- 37. Платформа Oracle Testing-as-a-Service - NEW Тестирование, как сервис в облаке • Scripts • Environments Test Library Test Engineers http(s) Test Lab Provisioning • Load Test • Functional Test • Test Drivers • Test Assets • Test Application Test Execution Самообслуживание Управление ресурсами в облаке Test Admin, Test Designer & Managers 38 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Облачная инфраструктура Monitoring & Chargeback •Monitoring •Resource Metering •Rule-based Chargeback
- 38. Oracle Application Quality Management Управление качеством приложений Oracle Oracle Test Application Functional Testing Manager Тестирование Приложений Oracle Load Testing Testing Suite Тестирование Инфраструктуры SQL Performance Analyzer Database Replay Application Replay Управление тестовыми данными и средами Data Masking Data Discovery and Modeling Data Sub setting Облачная платформа для тестирования Синтетическая нагрузка 39 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Testing-as-a-Service Реальная нагрузка Тестовые данные
- 39. Полезные ссылки • http://www.oracle.com/technetwork/oem/app-quality-mgmt/index.html • http://www.oracle.com/technetwork/oem/app-test/index.html • http://www.oracle.com/technetwork/oem/pdf/511889.pdf • http://www.oracle.com/technetwork/oem/pdf/511891.pdf • http://www.oracle.com/technetwork/oem/pdf/511875.pdf 40 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. 40
- 40. 41 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 8