High Load 2009 Dimaa Rus Ready 16 9

Миграция на SQL Server 2008:Чего можно ожидать и как с этим боротьсяДмитрий АртемовСтарший консультантdimaa@microsoft.com

О чем будем говоритьИнструменты

На что можно напороться

Как с этим боротьсяПредисловиеЯ постараюсь рассказать о:Вариантах перехода, методике, инструментах и планированииС фокусом на реляционную часть SQL ServerТехнических и не очень аспектах переходаЧасто встречающихся проблемах, ошибках и мифахЯ не планирую рассказывать о:Полном перечне всех возможных проблем миграцииПолном перечне нововведений в SQL Server 2008– пожалуйста спрашивайте, тем не менее Для лучшего усвоения желательно:Иметь некоторую практику работы с SQL Server 2000/2005Иметь базовые знания о SQL Server 2008

Определитесь в окруженииАнализ оборудования и инфраструктурыМощность сервера – CPU, RAM, network, storageВозможности дисковой подсистемы – размер, IOs, пропускная способностьИнфраструктура – требования к новому оборудованиюПриложение и БДКуплено или собственная разработкаКто сопровождаетФункционал и редакцииПлатформа определяет возможности 32/64Редакция определяет функционал

Общий обзор подходаАнализ окруженияТребования к миграцииВыбор редакцииТребования к оборудованиюИспользовать Upgrade AdvisorИсправить найденные несоответствияВыполнить тестирование на совместимостьПо возможности 100% тестирование кодаПеред миграциейПодробная документация на существующую системуРазработка тестов проверки, стресс тестов и снятие базовой линии производительностиСформулировать и проверить план откатаОпределитьсяс подходом в миграцииIn-place или side-by-sideСобственно миграцияПредмиграционные работыПосле миграцииВот тут-то начинается самое интересное

Что поддается миграцииКомпонентыРеляционный движокВключая суб компоненты такие как SQL Agent, Tools, и.т.д.Full-text SearchReporting ServicesAnalysis ServicesData Transformation Services / SSISРедакцииExpress, Developer, Workgroup, Standard, EnterpriseПлатформы32-bit & 64-bit (IA64 иx64)Языки и сортировкиSQL Server 2008 имеет новые сортировки (для соответствия Windows)

Варианты миграции:In-Place (замещение)Обновление существующей инсталляции при сохранении пользовательских данныхИмя экземпляра после миграции остается прежнимСтарый экземпляр перекрывается новым (исчезает)Практически 100% автоматический процесс

Миграция:Side-by-side (Параллельная установка)Ставится новый экземпляр SQL ServerОбъекты БД переносятся между экземплярами вручнуюCopy Database WizardНе копирует extended procs, alerts, DTS packages, linked servers.Detach -> Copy -> AttachBackup -> RestoreT-SQL Scripts, BCP , Break SAN mirror -> attach Новый и старый миры сосуществуют бок о бокЭто может быть жизнь на том же сервере (именованный экземпляр) или на другом сервереПроцесс в основном ручной

Как выбратьзамещение или параллельная установкаКритичность приложения и его сложностьКритичные приложения не обязательно сложны, но имеют жесткие ограничения по тестированию, размерам админ. окна,…Сложные приложения не обязательно критичны, но требуют интенсивного тестирования и можно столкнуться со сложным откатомПрактические соображенияРазмер БД и число объектовЛокальные задания по сопровождениюДлительность допустимого простояАппаратные возможности/возраст серверовЗависимость от системы и других приложенийВремя, необходимое на откат и усилия на это потребныеВозможные требования к параллельному исполнению

Перед миграциейСовместимостьЧасть функционала отмерла:Ее просто нет в составе SQL Server 2008Например: ряд недокументированных системных процедур, виртуальные кубы, DUMP database, backup with TRUNCATE ONLY, sp_addgroup, SAC,…Часть функционала приговорена:Не будт поддерживаться в следующей версии за SQL Server 2008 (напр. Notification Services) или будущих версияхЧасть функционала работает иначеНапример: если мы не можем использовать plan guides работаем без него (SQL 2005 выдавал ошибку), REPLACE сохраняет завершающие пробелыСм. документацию о возможных измененияхВыполните функциональное тестирование, чтобы поймать пропущенное Upgrade AdvisorНе все приложения нуждаются в полноценной проверке. Реальные по требности зависят от критичности/сложности приложенияКритичность != сложности и наоборот

Перед миграциейОно вам нужно?Как проверить, что будет «потом»?Как подготовиться к неожиданностям?11Только тестирование способно дать ответ на эти вопросыСбор данных по производительностиСравнениеПринятие обоснованного решения

Каксобрать данные по производительностиНужно снять реальную нагрузкуПрямо с промышленной системыОтносительно просто

Не факт, что поймаем нужный период

Существенная дополнительная нагрузка на сервер/дискиСредствами нагрузочных инструментовМожно имитировать любой периодбизнес активности

Если последовательно идти этим путем, в долговременной перспективе сплошные +++++

Сложность подготовки (разработка и параметризация скриптов нагрузки)

Дороговизна инструментов (но можно использовать Visual Studio tests)Если переходим с SQL 2005Берем планы прямо из кеша илиЗаписываем TRCЕсли переходим с SQL 2000TRC – единственная возможность

ReadTraceПредназначена для разбора TRC файловМного лучше, чем читать TRC средствами fn_trace_gettableРазбирает TRC в таблицыСтроит связи между пакетами команд и индивидуальными командамиСчитает агрегаты по производительностиНОРМАЛИЗУЕТ ТЕКСТ ЗАПРОСА (что позволяет сравнивать запросы по их тексту)Очень быстро работает

Нормализация текста запросаselect round(sum(-CS.Amount*CS.Price/(case when @currid =2 then R.RateTPK else R.RateETC end)*CH.Direction),0) as Result from Rates R (nolock) inner join (Sections S (nolock) inner join (CheckHeaders CH (nolock) inner loop join CheckSpec CS (nolock) --WITH (nolock,index (IX_CheckSpec_ObjectID)) on (CH.ObjectID=CS.ObjectID and CH.CheckID = CS.CheckID) and CS.StoreTypeID is not null) on (CH.ObjectID=S.ObjectID and CS.SectionID=S.SectionID) and S.Fictive=0) /* Отдельно обрабывается доллар */ on (R.CurrID=(case when @currid =2 then 1 else @currid end) and (R.RateDate >= @DateFrom and R.RateDate < @DateTo)) and datediff(d,0,CH.CheckDate) = datediff(d,0,R.RateDate) WHERE CH.ObjectID=@template_ObjectID and (CH.CheckDate<@DateTo and CH.CheckDate>=@DateFrom) and CH.Deleted = 0 and CH.OpID not in (4,8) and CH.ReserveID Is Null option (force order, keepfixed plan) ====================== Превращается в ===========================SELECT ROUND(SUM(-CS.AMOUNT*CS.PRICE/(CASE WHEN @CURRID ={##} THEN R.RATETPK ELSE R.RATEETC END)*CH.DIRECTION),{##}) AS RESULT FROM RATES R (NOLOCK) INNER JOIN (SECTIONS S (NOLOCK) INNER JOIN (CHECKHEADERS CH (NOLOCK) INNER LOOP JOIN CHECKSPEC CS (NOLOCK) ON (CH.OBJECTID=CS.OBJECTID AND CH.CHECKID = CS.CHECKID) AND CS.STORETYPEID IS NOT NULL) ON (CH.OBJECTID=S.OBJECTID AND CS.SECTIONID=S.SECTIONID) AND S.FICTIVE={##}) ON (R.CURRID=(CASE WHEN @CURRID ={##} THEN {##} ELSE @CURRID END) AND (R.RATEDATE >= @DATEFROM AND R.RATEDATE < @DATETO)) AND DATEDIFF(D,{##},CH.CHECKDATE) = DATEDIFF(D,{##},R.RATEDATE) WHERE CH.OBJECTID=@TEMPLATE_OBJECTID AND (CH.CHECKDATE<@DATETO AND CH.CHECKDATE>=@DATEFROM) AND CH.DELETED = {##} AND CH.OPID NOT IN(LIST) AND CH.RESERVEID IS NULL OPTION (FORCE ORDER, KEEPFIXED PLAN)

ReadTraceБерем результаты обработки старой и новой БДДелаем выборку по производительности запросовНа основании сравнения текстов командПомещаем результаты в ExcelСортируем и смотрим где «просели»

ReadTraceINSERT INTO TEMPDB..MINS25SELECT MIN(DURATION / 1000) 'Минимальное',MAX(DURATION / 1000) 'Максимальное',AVG(DURATION / 1000) 'Среднее',MIN(READS) 'Минимальное',MAX(READS) 'Максимальное',AVG(CAST(READS AS BIGINT)) 'Среднее',MIN(WRITES) 'Минимальное',MAX(WRITES) 'Максимальное',AVG(WRITES) 'Среднее',MIN(CPU) 'Минимальное',MAX(CPU) 'Максимальное',AVG(CPU) 'Среднее',MAX(ROWS) MAXROWS, SUBSTRING(NORMTEXT,1,250) AS NORMTEXT, COUNT(* ) EXECCOUNTFROM DBO.TBLUNIQUESTATEMENTS TSU JOIN DBO.TBLSTATEMENTS TS ON TSU.HASHID = TS.HASHIDWHERE (NORMTEXT LIKE 'Update%' OR NORMTEXT LIKE 'Insert%' OR NORMTEXT LIKE 'Select%' OR NORMTEXT LIKE 'Delete%') AND (NORMTEXT NOT LIKE 'SELECT STATMAN%')GROUP BY SUBSTRING(NORMTEXT,1,250)Следует учесть число вызовов, число выданных записейДля SQL 2005/2008 не забудьте поделить Duration на 1000 (если сравнивать с SQL 2000)

ReadTraceСравнивать можноDurationCPUReadWriteНаиболее правильным будет сравнение по чтениямИменно они характеризуют «покосившийся» планDuration в многопользовательской системе практически не имеет смыслаWrite – обычно малый процент от числа чтенийCPU – полезно для ограниченного числа случаев и, как правило, хорошо коррелирует с чтениями

Результаты сравненияПо моему опыту результаты сравнения обычно выглядят так (для OLTP систем)Отрицательные значения на графике относятся к тем командам, которые при работе в среде SQL Server 2008 выполнили меньше чтений.

Сравнили, нашли. Что дальше?Надо исправлятьсяОпределяем команды, которые стали больше читатьСмотрим sys.dm_db_missing_index _*Query processor все равно не отстанет Анализируем часто используемые командыНезначительное ухудшение для команды, вызываемой 1000 раз потенциально опаснее чем существенное ухудшение для команды,вызванной 5 разБерем для проблемных команд план из кеша (мы уже на SQL 2008!)Строим на основе плана тестПрогоняем через Database Tuning AdvisorПроверяем на граничных условиях параметровМного думаем 

Что можно сказать заранееSQL 2005/2008 Обожают include индексы (в разумных пределах это хорошо)Стараются всеми силами избегать дисковых операций (с современными быстрыми стойками это не всегда оправдано)Понять ситуацию теперь куда прощеDMV открывают перед разработчиками и администраторами истинное лицо оптимизатора

СовместимостьПосмотрите в документацииBehavior Changes to Database Engine Features in SQL Server 2008Deprecated Database Engine Features in SQL Server 2008Discontinued Database Engine Functionality in SQL Server 2008Breaking Changes to Database Engine Features in SQL Server 2008Что-то Upgrade Advisor мог пропустить, что-то может быть запланировано к разработке и нуждается в корректировке

СовместимостьSQL 2008 ставит (большой) набор счетчиков, отслеживающих устаревшие конструкции языкаНо как понять, в какой процедуре используются эти конструкции?select * from sys.sysperfinfo where object_name like '%Deprecated Features%‘(228 row(s) affected)

СовместимостьДля перехвата конкретного кода устаревших команд можно использоватьProfilerDeprecation Announcement event classDeprecation Final Support event classЛегко настроить

Относительно непросто выйти на объект (через SQL Handle)

Требует большого объема профилирования, если ловить код сразуExtended eventsDEPRECATION_ANNOUNCEMENTeventDEPRECATION_FINAL_SUPPORT eventПозволяют еще глубже чем раньше заглянуть внутрь

Срабатывают только на событие

Требуется кодировать (но освоить расширенные события только на пользу)Решено, мигрируем.Что дальше?

До начала миграцииПодготовка средыОбеспечиваем «чистую» средуDatabase consistency checksМожно даже сжать (shrink) БДОдин из редких случаев, когда это имеет смыслМеньше файл – быстрее копирование (для параллельной установки)Не прибить ли индексыВозможно будет быстрее перестроить их на новом месте (опять же сокращение размера файлов)Сделать резервные копииПосмотреть вокругНе пересекаемся ли мы с кем-тоНе запланированы ли работы/ которые могут нам помешатьКуда обращаться при возникновении проблемMCSПремьер-поддержка

До начала миграцииЗависимостиПредполагается, что работыс Upgrade Advisor и тестированию совместимости законченыСамо приложение“COM Components”, Extended Stored Procedures, sp_OA%, CLR assembliesLinked servers (вопросы разграничения доступа и провайдеры)Зависимости между БД (Cross-database dependencies)DTS пакетыЗависимость от решений третьих фирмПО– backup, management agents, clusters, MPIO, SAN mirroringКомпоненты – шифрование, почта,…Антивирусное ПООбычно его стоит остановить на период миграции,но это не всегда позволительноРазличия между функциональностью редакцийНичто не заменит знание самого приложения!

До начала миграцииБазовая линияСоздайте документацию на решениеsp_configure, SQLDIAG, sp_dboptionКонфигурация сети, хранилища, системы безопасностиСнимите базовую линию производительностиНа уровне системы (perfmon, waitstats,…)На уровне приложения (время отклика запросов, число пользователей,…)Разработайте критерии проверки и тесты для их верификацииНе обязательно (но рекомендуется): снимите планы для сложных и/или критичных запросов

МиграцияТщательно и подробно документируйте каждый шагСледите за сообщениями от сервера, стойки, сетиУбедитесь, что специалисты поддержки доступныПроверьте что в телефоне не села батарейка Создайте резервные копии БД старого образца иП-Р-О-В-Е-Р-Ь-Т-Е И-ХОтключите startup процедурыВерните max worker thread обратно в (0)Выполните миграцию/обновлениеСледите за процессомСледите за временем, сравните с тестовыми даннымиВыполните первоочередные задачи пост миграции

Мигрировали? Славно, теперь все только начинаетсяПриложение вышло под промышленную нагрузкуТеперь его нужно мониторить и править возникающие проблемы

После миграцииВ первую очередьПроверьте все журналыЕще раз посмотрите рекомендации Upgrade AdvisorОбновите статистикуFull если возможноSample для больших таблицFiltered для секционированныхПроверьте настройки Агента, задания и задачи по сопровождениюПроверьте настройки безопасностиОсобенно в части меж серверного и меж доменного взаимодействия/прав доступаПроверьте целостность БД

После миграцииВ первую очередьConfiguration ManagerОсобенно важен для параллельной установки для настройки среды исполнения, протоколов…При замещении, процесс установки старается сохранить максимально существующую среду: принцип «минимального удивления»Убедитесь, что tempdb имеет правильный размер (кто ее только не использует теперь )DBCC CHECKDB, CTEs, Cursors, MARS, Row Versioning, Service Broker, TriggersПроверьте настройки MODELПроверьте, что все что записно в MASTER верноЗаново наполните Full-Text Search каталогиВыполните запланированные проверки

Все плохо!Все хорошо!НУИ?

Хочу назад!!Уже после миграции что-то пошло сильно не так, нужно откатыватьсяВероятность такого варианта прямо зависит от глубины предварительного тестированияЧто можно сделать и откуда могут расти ногиНе паниковатьОпределить причину проблемы (если мигрируете с 2000, заранее поучитесь пользоваться новыми средствами диагностики)Может быть все не так и плохо В зависимости от… откат может быть простым и сложнымЕсли процедура прописана и протестирована, будет прощеМониторинг системы для раннего оповещенияИнструменты синхронизацииОсобо много не скажешь, мы пользовались tablediff. Работает быстро и проста в использовании33

После миграцииЧто можно сделать в первую очередьТипы данныхПроверьте точность представления и размеры храненияМожет быть использовать Sparse columnЭто может потребовать дополнительных ресурсов (посмотрите когда начинаются преимущества – “Estimated Space Savings by Data Type” в BOL)Persisted columnsИндексирование вычисляемых полейОбновите статистику (особенно, если переходили с SQL 2000)Настройки БДDB_CHAINING, EXECUTE ASPAGE_VERIFY CHECKSUMAUTO_UPDATE_STATISTICS_ASYNCPARAMETERIZATIONАнализ критичных запросовПосмотрите на ранее сохраненные планы и сделайте сравнение с базовой линией производительности

После миграцииЧто можно сделать в первую очередь (2)Секционированные таблицыEnterprise EditionСекционированные представления -> Секционированные таблицыСоответствующие настройки уровня блокировокТестируйте, при новом уровне блокировки могут возникать DeadlockПосмотрите на выделение ресурсовsp_configure ‘affinity mask’, sp_configure ‘affinity I/O mask’Новые возможности по управлениюData Collector, reports, DMVs (новые и измененные)Backup CompressionDatabase Tuning Advisor!Воспользуйтесь ранее собранными трассировками

После миграцииИспользование нового функционалаПосмотрите на качество индексирования и возможность использования индексированных представленийОцените качество управления статистикойSampling выборки, ручное,автоматическое управлениеАлгоритм автоматического срабатывания не изменился (20%)Оцените необходимость использовнаия хинтовПосмотрите SQL Server Magazine InstantDoc #26406 (флаги отключения хинтов)Уберите хинт или опишите его полезность в документацииПодумайте об использовании plan guide вместо хинтов (теперь можно строить plan guide по данным из кеша)Оцените полезность онлайновых операций (в основном для Enterprise Edition)Как себя чувствует TEMPDB (особенно при переходе с SQL 2000)Управление на основе политикНе следует ли применить ее для внедрения существующих стандартовResource GovernorНачните с минимального числа групп, пулов и правил (в классифицирущей функции)

После миграцииНа более дальнюю перспективуНовые типы данныхБолее удобные типы– date, timeЕсли есть написанные CLR типы которые можно перевести на встроенные (geometry, geography, hierarchyid)Переписать«COM компоненты»наCLRXPs на C# или VB вCLRРазграничение доступаСхемы (для миграции с SQL 2000), новые возможности шифрования(TDE), новые возможности аудитаУстаревший функционал нужно переписать/удалитьAS COM assemblies, DTS, ActiveX Script task, SQL Mail, sp_repladdcolumn, updateable subscriptions, sp_dbcmptlevel, ……Если мигрировали с SQL Server 2000, то еще много чего – см. документацию

Часто встречающиеся проблемыПосле перехода на SQL Server 2008 запросы исполняются дольше

В чем может быть проблема

High Load 2009 Dimaa Rus Ready 16 9

More Related Content

Viewers also liked (10)

Similar to High Load 2009 Dimaa Rus Ready 16 9 (20)

More from HighLoad2009 (20)

High Load 2009 Dimaa Rus Ready 16 9