Случайны выбор дневника Раскрыть/свернуть полный список возможностей


Найдено 1096 сообщений
Cообщения с меткой

резервное копирование - Самое интересное в блогах

Следующие 30  »
rss_rss_hh_new

Новые возможности Veeam Agent for Microsoft Windows 2.0 (в бесплатной и платных версиях)

Вторник, 15 Августа 2017 г. 12:56 (ссылка)

Продукт для резервного копирования физических машин Veeam Agent for Microsoft Windows (раннее Veeam Endpoint Backup FREE) довольно-таки популярен как среди ИТ-администраторов компаний, так и среди пользователей домашних компьютеров. Во втором квартале этого года вышла в свет версия 2.0, уже с названием Veeam Agent и с тремя различными редакциями, включая одну бесплатную. Сегодня я расскажу о нескольких новых фичах, относящихся к работе этого решения с СХД, а также о поддержке Veeam Cloud Connect. Надеюсь, что-то из этих новинок окажется для вас полезным.

Итак, добро пожаловать под кат.




Читать дальше ->

https://habrahabr.ru/post/335628/

Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Зачем бэкап? У нас же RAID

Вторник, 15 Августа 2017 г. 10:02 (ссылка)





В корпоративные блоги принято писать success story — это положительно влияет на образ компании. К сожалению, не всегда в работе инженера всё заканчивается happy end-ом.

Надо сказать, что коллеги уже начинают подшучивать, что я «притягиваю» проблемы. Тем или иным образом я поучаствовал почти во всех проблемных заявках за последнее время. И теперь хочу рассказать одну поучительную историю из своей практики.



История началась с того, что меня попросили проанализировать производительность дискового массива IBM Storwize v7000 gen1, «тормоза» которого парализовали работу целого филиала. Исходная ситуация такая:




  • На массиве находятся датасторы VMware-фермы.

  • Все тома располагаются на RAID5 (диски 7200 и 10000) и зеркалируются между двумя идентичными массивами.

  • Контракта с IBM на поддержку этого оборудования нет.

  • Версия прошивки массива — 7.3.0.4 (актуальная на тот момент 7.6.1.1).

  • Также СХД IBM Storwize используется для виртуализации СХД HP EVA.



Согласно логам производительности массива, «тормоза» возникали не из-за повышенной нагрузки. Я заподозрил, что причиной проблем является вышедший из строя контроллер на виртуализованной СХД HP EVA. Обычно проблемы с производительностью решаются удалённо, но в данном случае решили отправить инженера на место (тогда ещё никто не подозревал, что командировка затянется на две недели).



И тут в ходе анализа производительности начал проявляться «полтергейст»: у томов с массива в интерфейсе vSphere периодически отображается неверный объём (от отрицательного до десятков петабайт), что заказчик расценил как проблему в массиве. При этом пропадал доступ к консолям части виртуальных машин, и возникают другие неприятности. Даже я уже начал нервничать, а заказчик просто в ауте.



И тут начинается просто фейерверк проблем.



Мы нашли баг ESXi, из-за которого могут отображаться неверные размеры томов. Но выясняется, что официального контракта на поддержку VMware нет. Поддержка осуществляется сторонней компанией и только по рабочим дням, а дело происходит в субботу.







Для полного счастья, прошивки двух серверов из трёх и коммутаторов (блейд-шасси) отстают от прошивки модуля управления шасси, что тоже может приводить к самым неожиданным проблемам. Ну и вишенка на торте: на коммутаторах SAN стоят разные версии прошивок, и все позапрошлой мажорной версии (6.x.x, когда доступна 8.0.x).



Напоследок выясняется, что в MS SQL Server Express закончилось свободное место, из-за чего возник «полтергейст» с доступностью консолей VM в vSphere и неверно отображались размеры томов. Так что пока администраторы решали проблемы БД, мы пытались разобраться с СХД.



После некоторых действий основной том вдруг ушёл в оффлайн.



Мы вспоминили про баг в прошивках Storwize версий 7.3, 7.4 и 7.5, из-за которого на сжатых томах после определённого количества обращений могут появиться битые блоки (в этой ситуации не может помочь ни отказоустойвость RAID, ни зеркалирование томов на соседний массив, так как ошибка находится уровнем выше).



И вот тут проявился самый интересный нюанс: оказывается, что СРК у заказчика не работает уже 3 месяца. То есть бэкапы есть, но они не актуальные, и восстанавливаться из них — всё равно, что потерять данные.



Нам удалось перевести том в онлайн (через CLI массива), но при первой же попытке хоста что-то записать, он снова упал. Мы отключили все датасторы на серверах и следующие сутки провели в офисе, почти не дыша копируя все виртуальные машины куда получится — на серверы, USB-диски и ПК.



В результате нам удалось спасти все данные, кроме ВМ, на которой запустили консолидацию снапшотов, так как в процессе консолидации LUN ушёл в оффлайн, и вместо данных ВМ осталась «каша». По закону подлости это оказалась ВМ электронного документооборота. Кроме того, для исключения разных рисков пришлось обновить почти всю инфраструктуру — VMware, Brocade, HP Blade, IBM Storwize.



Предпосылки катастрофы



Какие выводы может сделать из этой истории уважаемый читатель, чтобы не оказаться в подобной ситуации?




  1. СХД была спроектирована некорректно. Один том на ~12 Тб не будет нормально работать ни на одной классической СХД. Всегда разбивайте общую ёмкость на тома порядка 1-2 Тб. Да, будет меньше полезной ёмкости, но зато будет гораздо меньше шансов открыть заявку «у нас всё тормозит».

  2. Прошивки никогда не обновлялись. Это не единственная история, когда баг в старой прошивке приводил к простоям или потере данных. Да, в новых прошивках тоже есть баги, но вас никто не принуждает пользоваться bleeding edge. Используйте стабильные, рекомендованные версии.

  3. Бэкапы. Сколько было просьб и рекомендаций делать и проверять бэкапы — не счесть. Повторяться не хочется, но ВСЕГДА ДЕЛАЙТЕ И СВОЕВРЕМЕННО ПРОВЕРЯЙТЕ БЭКАП. В этой истории можно было сократить время простоя не менее, чем в два раза, если бы СРК поддерживалась в рабочем состоянии.








  4. Не было вендорской поддержки оборудования. У нас отличные специалисты, с глубоким знанием оборудования, но бывают ситуации, когда помочь может только вендор.

  5. Не мониторилось свободное место в БД. Следите за свободным местом не только на дисках, но и в БД.



Спасибо за внимание, работы вам без сбоев.



Алексей Трифонов Tomatos, инженер Сервисного центра компании «Инфосистемы Джет».
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/335618/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Архивируй это: как устроено архивирование файловой системы с помощью Commvault

Пятница, 04 Августа 2017 г. 10:23 (ссылка)



Раньше было больше распространено так называемое долгосрочное архивирование, когда файлы, которые нужно было хранить по закону несколько лет, сбрасывались на ленты, кассеты при необходимости увозили в специальное хранилище. По праздникам, например, по случаю аудита, кассеты приезжали в офис, и с них доставались нужные файлы. С доступностью дисковых хранилищ появилась возможность организовывать архивирование не только для суперважных бухгалтерских или юридических документов, но и для простых смертных файлов, которые вроде как и удалять нельзя (вдруг пригодятся), но и место на быстрой хранилке под них тратить не хочется.

Такое архивирование обычно работает следующим образом: прописываются специальные правила архивирования (дата последнего открытия, редактирования, создания), и все файлы, которые попадают под эти правила, автоматически перемещаются с продуктивного хранилища в архив на более медленных дисках.



Сегодня как раз хочу рассказать про такой вариант архивирования на примере решения Commvault.



И сразу дисклеймер: архивирование не равно бэкапу



Как можно было уже догадаться, основной профит от архивирования – в экономии места на хранилке. Квартальные отчеты, которые нужны только при прохождении аудита, фотографии с позапрошлого новогоднего корпоратива – в общем все, что не нужно, переносится в архив, а не лежит балластом на основном хранилище. Так как в итоге файлов меньше, то и объем резервных копий с подуктива сократится, а значит и места под бэкапы нужно меньше.

Как правило, лицензии на архивирование стоят дешевле, чем на резервное копирование.



Пример: лицензия на резервное копирование условно стоит 100 долларов за 1 ТБ, а на архивирование – 70. У клиента есть сервер с 5 ТБ данных, который он полностью бэкапит и платит за это 500 долларов в месяц. После того, как он решил скинуть 4 ТБ в архив, под бэкап осталось 1 ТБ, т.е. 100 долларов в месяц. За архив он платит 4 ТБ х 70 долларов = 280 долларов. В итоге вместо первоначальных 500 долларов клиент платит 380, экономия 120. Умножаем на 12, получается на 1440 долларов меньше ежегодно.



Можно пойти дальше, и приплюсовать сюда стоимость освободившегося места на продуктиве за счет отъехавшего в архив, а также экономию благодаря дедупликации, которая тоже работает в архивировании. Многих такой расклад радует настолько, что возникает светлая мысль: а не заменить ли более дорогой бэкап архивированием. И вот тут начинаются проблемы.



Архивирование не равно бэкапу (что еще не бэкап, читайте здесь). От резервного копирования оно отличается тем, что никак не поддерживает версионность: в каком виде файл попал в архив, в таком он там и будет лежать. Второй момент: если с архивным хранилищем что-то случится, то без бэкапа или копии на вторую площадку судьба архива будет плачевна.

По сути они решают две разные задачи: архивирование – оптимизация места на продуктивном хранилище, бэкап – защита от потери данных.



Что полезного для архивирования есть у Commvault



В Commvault за архивирование отвечает тот же агент, что и за резервное копирование, – OnePass. В рамках одного задания часть данных уходит на бэкап, другая, подпадающая под правила архивирования, – в архив. Поэтому если уже бэкапите данные с помощью Commvault и решили познакомиться с архивацией, то не нужно устанавливать никаких дополнительных агентов.



OnePass работает следующим образом:



1. Если уже есть полный и инкрементальные бэкапы файлов, то рекомендуется сделать синтетический бэкап (synthetic full backup). В этом случае файл бэкапа соберется из последнего полного бэкапа и всех последующих инкрементальных и/или дифференциальных копий. Ресурсы исходного сервера при этом задействованы не будут.



2. После завершения бэкапа OnePass определяет файлы, попадающие под политику архивирования (archiving rules), и переносит их в архив (выделенное пространство на СХД или отдельную хранилку для архивов — это как вы решите).



Критерии, по которым OnePass решает отправить файл в архив, следующие:


  • когда начинать удалять файлы в архив (в зависимости от наличия свободного места на диске);

  • когда последний раз открывали файл;

  • когда последний раз редактировали файл;

  • время создания файла;

  • размер файла.





Собственно тут все и настраивается.



3. Файлы, определенные в архив, или удаляются с продуктива совсем, или заменяются на своего рода ярлыки (stubs).

Во втором случае для конечного пользователя мало что изменится. Если бухгалтеру Марье Ивановне понадобится показать аудитору отчет пятилетней давности, то она просто кликнет на ярлык, файл снова переедет на продуктив и откроется как обычно. Небольшие файлы будут восстанавливаться из архива быстро: вордовский файл меньше МБ – несколько секунд. Если это какое-нибудь видео, то времени потребуется больше.

На продуктиве потревоженный файл останется до тех пор, пока снова не попадет под политику архивирования. До этого момента он будет уходить по заданию на бэкап.



Файлики с крестиками и есть те самые ярлыки.



Как и с бэкапом, у администратора есть возможность ограничить количество потоков на восстановление (throttling), чтобы система не прилегла под большим количеством запросов. Можно выставить настройки по количеству файлов на одновременное восстановление, задать интервалы между восстановлениями и пр.



Файлы, которые отправляются в архив, можно зашифровать и хранить их уже в таком виде.

После переноса на архивное хранилище приключения невостребованных файлов не заканчиваются. Для архивного хранилища также можно настроить правила, по которым сами архивы по прошествии времени будут удаляться (retention policy). Например, отчеты отмотали законные три года в архиве, а после автоматически удалились.





На тестовом диске с копиями документов отдела кадров, видео и фото со всяких корпоративов я попробовал применить следующие правила архивирования: файлы старше 0 дней, которые не менялись более 7 дней, размером более 1 МБ. Получилось следующее: до архивации объем данных на продуктиве – 391 ГБ, после – всего 1 ГБ.









Как понять, что отдать в архив



Чтобы определиться с тем, какие именно значения прописать по каждому параметру, в OnePass есть инструмент System Discovery and Archive Analyzer Tool (доступен для пользователей Commvault). Он просканирует файлы по времени последнего изменения, открытия и создания, а также по их размерам. Дальше всю эту сырую статистику можно отправить в Commvault и получить красивые графики и диаграммы, из которых наглядно видно, какие правила архивирования лучше прописать. Не самая удобная схема, признаюсь, но зато будет понятно, в каком направлении копать.



На графике показана статистика по давности изменений в файлах. Скриншот из документации Commvault.





А здесь собрана статистика по дате последнего открытия файла. Скриншот из документации Commvault.



Также делаются отчеты по размерам файлов и их формату. Но самый главный — это File Level Analytics Report. Он предложит правила архивирования, а также покажет, сколько места вы сможете сэкономить, если этими правилами воспользуетесь.



В отчете обещают, что если все файлы больше 10 МБ, не изменяемые больше 90 дней отправлять в архив, то сэкономится 3,85 ТБ. На расчет экономии в деньгах смотреть не стоит: стоимость 1 ГБ на диске почему-то оценивается ими в космические 10 баксов.




Стали бы вы использовать подобное архивирование в собственной практике?




























Никто ещё не голосовал. Воздержавшихся нет.





Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.


Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/334824/

Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[Перевод - recovery mode ] Пора восстанавливать данные. Вы знаете, где они?

Среда, 02 Августа 2017 г. 17:26 (ссылка)

Создание резервной копии данных — только начало. Вам необходимо убедиться в том, что резервные копии содержат в себе необходимые данные и совместимы с приложениями, которые будут пользоваться ими.



image



Итак, вы регулярно создаете резервные копии, но однажды вам придется восстанавливать данные. Знаете ли вы, где они находятся? Можете ли вы пользоваться ими?



Ответы на эти вопросы должны давать процедуры использования ИТ и инфраструктуры данных, однако иногда нелишне повторить то, что кажется очевидным.



Помня об инцидентах с потерей данных в Gitlab и налоговой службе Австралии, мы еще раз обратимся к базовым аспектам резервного копирования.



Одни специалисты утверждают, что резервное копирование важнее восстановления, поскольку невозможно восстановить то, что не сохранено. Другие специалисты убеждены в обратном. Если данные невозможно восстановить, то зачем создавать их резервные копии?



Это напоминает спор о том, что первично — яйцо или курица. Если у вас нет резервной копии, CDP-копии или версии данных на конкретный момент времени, то что вы собираетесь восстанавливать? Если вы уделяете внимание только копированию данных, то как вы гарантируете возможность их восстановления?



Чтобы достичь баланса между защитой и восстановлением данных, мы введем в формулу дополнительные переменные — управление и тестирование. Зачем выполнять восстановление, если вы не уверены в том, что резервные копии включают в себя все необходимые данные, доступны для чтения и не содержат ошибок?



Одной из задач управления резервным копированием и восстановлением является проверка целостности резервных копий и наличия в них необходимых данных. При тестировании необходимо проверять, что резервные копии и их данные соответствуют конкретной контрольной точке и расположены на другом носителе.



Тестирование предусматривает еще одно действие — проверку доступности данных вашим приложениям. Вы можете восстановить данные, но что произойдет, когда ваше приложение попытается воспользоваться ими? Будут ли применены к данным сертификаты безопасности, разрешения, средства контроля доступа и дешифрования? Доступно ли вам программное обеспечение, с помощью которого были упакованы или отформатированы защищаемые данные? Можете ли вы проверять соответствие резервных копий требованиям к точкам восстановления и восстанавливать данные в другие места для полного тестирования, не выводя систему из строя?



Для того чтобы управлять восстановлением, вам нужна информация о том, какие данные доступны для использования, а какие — нет.Например, вам необходимо знать, своевременно ли создаются резервные копии, содержат ли они данные, указанные в требованиях к точкам восстановления, RTO, SLO и др.



Вам также необходима информация о доступных ресурсах: серверах, хранилищах, приложениях, системах их защиты, а также средствах управления копиями данных. Средства управления копиями данных, инструменты подготовки отчетов и управления информацией помогают определять количество копий данных, их типы, версии и местоположения.



Несколько важных рекомендаций о резервном копировании и восстановлении:




  • Помните формулу «4, 3, 2, 1» — расширенный вариант формулы «3, 2, 1» («дед, отец, сын» или «бабушка, мать, дочь»). Ее смысл состоит в том, что вам необходимо иметь не менее четырех копий защищаемых данных как минимум трех версий (точек восстановления), из которых как минимум две находятся на различных серверах, хранилищах, носителях или системах, а как минимум одна — в другой среде (подключенной или неподключенной).

  • Уменьшайте объем данных на исходной и целевой системах с помощью сжатия, дедубликации и других методов.

  • Пересматривайте стратегию защиты данных: что, где, когда и для чего вы защищаете, как часто создаете резервные копии, как долго храните их и каков уровень детализации резервного копирования (полные копии, образы, файлы, объекты или базы данных). Помните, что центры обработки и инфраструктуры данных, среды, организации и даже отдельные приложения имеют свою специфику. Не пытайтесь применять одни и те же правила защиты данных ко всем приложениям, данным, настройкам и конфигурациям.

  • Собирайте информацию с помощью аналитических инструментов. Автоматизируйте функции обнаружения и отображения количества резервных копий, их версий, местоположений, сроков хранения и другой служебной информации.



Когда меня спрашивают, что важнее (резервное копирование или восстановление), я отвечаю, что тестировать резервные копии и управлять ими ничуть не менее важно. Какова польза от восстановления, если вы не уверены в том, что с резервной копией данных все в порядке?



Зачем восстанавливать данные, если резервные копии повреждены, заражены или созданы не вовремя? В Международный день резервного копирования, 31 марта, вспомните, когда вы последний раз тестировали резервные копии, и запланируйте следующее тестирование.



Напоследок последний тезис: помните, что только вы можете предотвратить потерю данных.
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/334742/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[Перевод] ZFS — лучшая файловая система (пока)

Вторник, 01 Августа 2017 г. 09:48 (ссылка)

ZFS должна быть классной, но меня немного бесит, что она словно застряла в прошлом — даже до того, как её признали крутой и лучшей файловой системой. Она негибкая, ей не хватает современной интеграции с флеш-памятью и она не поддерживается напрямую большинством операционных систем. Но я храню все свои ценные данные на ZFS, поскольку именно она обеспечивает наилучший уровень защиты для условий SOHO (малый офис/домашний офис). И вот почему.





Первая директива систем хранения: не возвращать неправильные данные!



Революция ZFS. Около 2006 года



В своих статьях о FreeNAS я настойчиво повторял, что «ZFS — самая лучшая файловая система», но если вы посмотрите мои сообщения в социальных медиа, то станет ясно, что мне она на самом деле не совсем нравится. Я пришёл к выводу, что такое противоречие требует объяснения и контекста, так что рискнём потревожить фанатов ZFS и сделаем это.



Когда ZFS впервые появилась в 2005 году, она была абсолютно своевременной, но она застряла там до сих пор. Разработчики ZFS сделали много правильных вещей, объединив лучшие функции диспетчера томов с файловой системой «зеттабайтного масштаба» в Solaris 10:




  • ZFS достигла такого уровня масштабируемости, который должна иметь каждая современная файловая система, практически без ограничений на количество данных и метаданных и размер файлов.

  • ZFS проверяет контрольные суммы всех данных и метаданных для обнаружения повреждёний, это совершенно необходимая функция для долговременного крупномасштабного хранения данных.

  • Когда ZFS выявляет ошибку, то может автоматически восстановить данные с зеркал, блоков чётности или альтернативных мест хранения.

  • В систему встроены зеркалирование и RAID-Z, за счёт чего многочисленные накопители органично объединяются в один логический том.

  • ZFS имеет надёжные функции для подготовки снапшотов и зеркал, в том числе возможность пошагово обновлять данные на других томах.

  • Данные можно сжимать на лету, также поддерживается дедупликация.



Когда появилась ZFS, это была революционная система, по сравнению со старыми диспетчерами томов и файловыми системами. И Sun открыла б'oльшую часть исходного кода ZFS, позволив портировать её на другие операционные системы. Как любимая игрушка всей индустрии, ZFS быстро появилась на Linux и FreeBSD, и даже Apple начала внедрять её как часть файловой системы следующего поколения в Mac OS X! Будущее казалось таким светлым!



Контрольные суммы для пользовательских данных необходимы, иначе вы неизбежно потеряете данные: «Почему в больших дисках требуется проверка целостности данных» и «Первая директива систем хранения: не терять данные»


С 2007 по 2010-й: ZFS пошла под откос



Но что-то ужасное случилось с ZFS на пути к её триумфу: судебные иски, проблемы с лицензиями и FUD — тактика психологической манипуляции от недоброжелателей.



Первые тучи появились в 2007 году, когда NetApp подала иск к Sun на основании того, что ZFS нарушает их патенты на WAFL. Sun ответила встречным иском в том же году — и юридические тяжбы затянулись. Хотя в ZFS определённо не было кода NetApp, но механизм копирования при записи в снапшоты был похож на WAFL, и некоторые из нас в индустрии обеспокоились, что иск NetApp повлияет на доступность открытых исходников ZFS. Этих рисков оказалось достаточно для Apple, чтобы отказаться от поддержки ZFS в Mac OS X 10.6 “Snow Leopard” прямо перед выпуском этой ОС.



Вот отличный блог о ZFS и Apple от Адама Левенталя, который работал над этим проектом в компании: ZFS: Apple’s New Filesystem That Wasn’t


Тогда Sun переживала трудные времена, и Oracle воспользовалась моментом для покупки компании. Это посеяло новые сомнения о будущем ZFS, поскольку Oracle известна как не большой любитель широкой общественной поддержки свободных проектов. А лицензия CDDL, которую Oracle применила к коду ZFS, признана несовместимой с GPLv2, которая используется в Linux, что делает невозможным использование ZFS в самой популярной в мире ОС для серверов.



Хотя проект OpenSolaris продолжился и после приобретения Oracle, а ZFS включили во FreeBSD, но это было в значительной степени за пределами корпоративного сектора. Конечно, NexentaStor и GreenBytes помогли продвинуть ZFS в корпоративном секторе, но недостаток поддержки серверов Sun со стороны Oracle тоже начал влиять на ситуацию.



Какие проблемы у ZFS сейчас?



OpenZFS практически не отличается от той файловой системы, что была десять лет назад.



Многие продолжают скептически относиться к дедупликации, которая требует много дорогой памяти. И я действительно имею в виду дорогой: практически каждый ZFS FAQ однозначно требует наличия памяти только ECC и минимум 8 ГБ. По моему собственному опыту с FreeNAS, для активного маленького сервера с ZFS подойдёт 32 ГБ, а это стоит $200-300 даже по сегодняшним ценам.



И ZFS так и по-настоящему не приспособился к флеш-памяти, которая сейчас используется повсеместно. Хотя флеш можно использовать для кэшей ZIL и L2ARC, это сомнительное преимущество для систем с достаточным количеством RAM, и у ZFS нет настоящей функции гибридного хранилища данных. Смехотворно, что в документации ZFS повсеместно упоминаются несколько гигабайт флеш-памяти SLC, когда на рынке уже есть многотерабайтные диски 3D NAND. И никто не говорит о NVMe, хотя это стандарт для высокопроизводительых ПК.



И есть ещё вопрос гибкости, точнее, её отсутствия. Если вы создали том ZFS, то он практически зафиксирован на всю жизнь. Есть только три способа расширить пул хранения:




  • Заменить абсолютно все диски в пуле на диски большей ёмкости (что классно, но дорого).

  • Создать дисковую последовательность с другим набором дисков (что может привести к несбалансированной производительности, избыточности и куче других потенциально глупых ошибок).

  • Построить новый пул и перенести туда наборы данных командой zfs send (так поступаю я, хотя тут свои хитрости).



Кроме третьего способа, у вас нет возможности уменьшить пул ZFS. Хуже того, вы не можете изменить тип защиты данных без пересборки всего пула, в том числе добавить второй и третий диски чётности. FreeNAS добросовестно тратит огромное количество времени, пытаясь отговорить новичков от использования RAID-Z1[1], и жалуется, если они всё равно выбирают такую схему.



Всё это может показаться мелкими, незначительными придирками, но в совокупности они субъективно отправляют ZFS в средние века, после использования Drobo, Synology или современных облачных систем хранения. С ZFS вам нужно «купить диски, много памяти, создать RAID-массив и никогда его больше трогать», что не совсем соответствует современному использованию систем хранения[2].



Какие варианты?



Наверное, я представил ZFS не совсем в выгодном свете. Когда-то она была революционной, но сейчас начинает проявлять ограничения и выпадать из контекста современного мира с флеш-хранением данных. Так есть ли альтернативы?



В Linux несколько приличных диспетчеров томов и файловых систем, а большинство используют LVM или MD и ext4. Спецов по файловым системам очень порадовала Btrfs, которая сочетает в себе функции диспетчера томов и файловой системы в стиле ZFS, но с дополнительной гибкостью за пределами того, на чём шлёпнулась ReiserFS. И Btrfs действительно могла бы стать «ZFS для Linux», но не так давно разработка споткнулась, после ужасного прошлогоднего бага с потерей данных с рейдах RAID 5 и 6, и больше о них почти ничего не слышно. Но я по-прежнему думаю, что через пять лет буду рекомендовать пользователям Linux использовать Btrfs, особенно с её мощным потенциалом для применения в контейнерах[3].



Для Windows компания Microsoft тоже собирается выкатить собственную файловую систему нового поколения ReFS с использованием деревьев B+ (похоже на Btrfs), с сумасшедшим масштабированием и функциями стойкости и защиты данных[4]. В сочетании со Storage Spaces, у Microsoft будет жизнеспособная система хранения следующего поколения для Windows Server, которая может даже использовать SSD и 3D-XPoint как уровень или кэш.



И есть ещё Apple, которая по слухам несколько раз меняла систему хранения, до того как остановиться на APFS, которая вышла в этом году в macOS High Sierra. APFS во многом похожа на Btrfs и ReFS, хотя реализована совершенно иначе, с большей ориентацией на пользователя. Уступая в некоторых сферах (пользовательские данные не проверяются контрольной суммой и не поддерживается сжатие), APFS — именно та система, которая нужна для iOS и macOS. И APFS — это последний гвоздь в гроб идеи «ZFS на Mac OS X».



В каждой из трёх основных ОС теперь есть файловая система нового поколения (и диспетчер томов). В Linux есть Btrfs, в Windows — ReFS и Storage Spaces, а в macOS есть APFS. FreeBSD вроде бы сохранила приверженность ZFS, но это незначительная часть рынка. И каждая система корпоративного уровня уже продвинулась намного дальше того, что может делать ZFS и системы корпоративного уровня на базе ZFS от Sun, Nexenta и iXsystems.



Но ZFS по-прежнему намного превосходит старые файловые системы для домашнего пользователя. Из-за отсутствия проверки целостности, избыточности и восстановления после ошибок NTFS (Windows), HFS+ (macOS) и ext3/4 (Linux) абсолютно не подходят для долговременного хранения данных. И даже ReFS и APFS из-за отсутствия проверки целостности не подходят там, где потеря данных неприемлема.



Позиция автора: используйте ZFS (пока)



Грустно это признавать, но на 2017 год ZFS — лучшая файловая система для долговременного широкомасштабного хранения данных. Хотя иногда и сложно с ней работать (кроме FreeBSD, Solaris и специализированных устройств), но надёжность и проверенность делают ZFS единственным заслуживающим доверия инструментом для хранения данных за пределами корпоративных систем хранения. В конце концов, надёжное хранение данных — это единственное, что действительно должна делать файловая система. Все мои важные данные сразу идут в ZFS, от фотографий до музыки, от фильмов до офисных файлов. Ещё нескоро я доверюсь чему-нибудь кроме ZFS!



Сноски



1. Для современных больших дисков предпочтительнее RAID-Z2 и RAID-Z3 с большей избыточностью.^

2. Странно, хотя множественные пулы и съёмные диски отлично работают на ZFS, почти никто не говорит о таком варианте использования. Всегда речь идёт об одном пуле под названием “tank”, который включает в себя все диски в системе.^

3. Одна вещь, которой по-настоящему не хватает в Btrfs — это поддержки флеш, и особенно гибридных систем хранения. Но лично я бы предпочёл, чтобы они сначала реализовали поддержку RAID-6.^

4. Хотя контрольные суммы для данных в ReFS по-прежнему отключены по умолчанию.^
Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/334596/

Комментарии (0)КомментироватьВ цитатник или сообщество
Romiks

Видеокурс «Антикатастрофа»

Пятница, 28 Июля 2017 г. 13:17 (ссылка)

Видеокурс «Антикатастрофа»




Видеокурс «Антикатастрофа»



 


Видеокурс «Антикатастрофа»


Что вы будете чувствовать, когда исчезнет всё, что хранится на вашем компьютере? Вне зависимости от того, накрылся ли жесткий диск, поразил ли систему вирус, или даже произошел пожар, мои ДАННЫЕ ДОЛЖНЫ БЫЛИ БЫТЬ СОХРАНЕНЫ. Раз в неделю автоматически ДОЛЖНА СОЗДАВАТЬСЯ КОПИЯ операционной системы, а ежедневно - отдельная копия личных файлов. Восстановление должно происходить ЛЕГКО И ПРОСТО! Для достижения этой цели пришлось связать несколько программ в единый комплекс, который ТЕПЕРЬ ЕЖЕДНЕВНО КОПИРУЕТ ВСЕ МОИ ДАННЫЕ на отдельные жесткие диски и некоторые из них даже выгружает в Интернет. Всего за 1 день вы можете изучить наш курс и полностью настроить автоматическое резервное копирование на всех ваших компьютерах.


 


Другие видеокурсы по теме:


- Видеокурс «Неизвестный Excel»

- Видеокурс «Уверенный пользователь ПК 2.0»

- Видеокурс «Бесшумный ПК»

- Видеокурс «Неизвестный Word»

- Видеокурс «Сборка компьютера от А до Я»

- Видеокурс «Резервное копирование по методу Евгения Попова»

- Видеокурс «Комплексная защита ПК»

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

[Перевод] Резервное копирование виртуальной машины и скрипты заморозки/оттаивания InterSystems Cach'e

Четверг, 27 Июля 2017 г. 04:24 (ссылка)

В этой статье я рассмотрю стратегии резервного копирования Cach'e с использованием систем внешнего резервного копирования и приведу примеры интеграции с решениями на основе снимков состояния виртуальной машины (VM snapshot, снапшот). Большинство решений, с которыми я сталкиваюсь сегодня, развернуты на базе Linux и VMware, поэтому я приведу примеры решений именно с использованием снапшотов VMware.



Список моих статей из серии 'Платформы данных InterSystems и производительность' находится здесь (англ.).



Для лучшего понимания данной статьи вам следует также ознакомиться с руководством по резервному копированию и восстановлению в онлайн-документации Cach'e.



Cach'e backup: батарейки в комплекте?



Встроенное горячее резервное копирование (Cach'e online backup) поставляется вместе с Cach'e «из коробки» и предназначено для резервного копирования баз данных Cach'e без остановки системы. Однако существуют и более эффективные решения для резервного копирования, о которых стоит знать в те моменты, когда вы планируете масштабирование крупной системы. Внешнее резервное копирование (External Backup) с использованием технологий создания снимков — рекомендуемое мною решение для резервного копирования систем, в том числе, использующих базы данных Cach'e.



Что необходимо учитывать при внешнем резервном копировании?



В онлайн документации InterSystems, посвященной внешнему резервному копированию, можно найти все интересующие детали. Отметим лишь ключевой момент:



«Для обеспечения целостности снимка файловой системы Cach'e предоставляет возможности для заморозки (freeze) записи в базы данных в момент создания снимка. Заморозке подвергаются только попытки физической записи в файлы базы данных, что позволяет пользовательским процессам продолжать бесперебойно выполнять обновления базы данных в памяти».

Важно также отметить, что часть процесса создания снимка в виртуализированных системах вызывает небольшую паузу в работе виртуальной машины, которую принято называть замиранием (stun). Обычно замирание длится меньше секунды, поэтому его не замечают пользователи и оно не оказывает воздействия на работу системы, однако в некоторых случаях замирание может длиться и дольше. Если замирание длится дольше, чем таймаут QoS (Quality of service, показатель качества обслуживания) зеркалирования базы данных Cach'e, то резервный узел зеркала решит, что произошел сбой в основной системе, и произведет переключение зеркала. Позже в этой статье я расскажу как можно замерить время замирания на тот случай, если вам нужно будет внести изменения в настройку таймаута QoS для зеркалирования.



Варианты резервного копирования



Минималистичное решение для резервного копирования – встроенное резервное копирование (Cach'e Online Backup)



Если у вас нет возможности использовать другие средства, остается этот старый добрый способ, который входит в комплект поставки с платформами InterSystems. Учтите, что Cach'e online backup создает резервные копии только для файлов баз данных Cach'e, сохраняя все непустые блоки в базах данных, записывая их последовательно в файл. Cach'e Online Backup поддерживает накопительное (cumulative) и инкрементное (incremental) резервное копирование.



В контексте VMware, Cach'e Online Backup выполняется на гостевой машине. Подобно другим аналогичным решениям, операции, выполняемые Cach'e Online Backup, одинаковы независимо от того, виртуализировано ли приложение или выполняется непосредственно на физическом сервере. Соответственно, копии, полученные Cach'e Online Backup должны быть перемещены на резервный носитель вместе со всеми другими файлами, которыми пользуется ваше приложение. При резервном копировании системы необходимо помнить о каталоге приложения, основном и альтернативном каталогах журнала БД, и любых других каталогах, содержащих файлы, используемые приложением.



Cach'e Online Backup следует рассматривать либо как подход начального уровня для небольших проектов, желающих реализовать недорогое решение для «горячего» резервного копирования баз данных, либо для создания разовых резервных копий. Например, создание подобных копий очень полезно при первоначальной настройке зеркалирования. Однако, поскольку базы данных увеличиваются в размерах и поскольку базы данных Cach'e обычно являются лишь частью клиентского набора данных, внешние резервные копии в сочетании с технологией создания моментальных снимков при использовании сторонних утилит рекомендуются как наилучшее решение с такими преимуществами, как возможность включать в резервную копию файлы, отличных от файлов базы данных, уменьшенное время восстановления, возможность контроля данных в масштабах всей организации и доступность улучшенных инструментов для каталогизации и управления.



Рекомендуемое решение для резервного копирования: внешнее резервное копирование



Рассмотрим его на примере VMware. Использование VMware для виртуализации добавляет новые функции и возможности для защиты виртуальных машин в целом. Виртуализация решения приводит систему (включая операционную систему) к эффективной инкапсуляции вашего приложения со всеми данными внутри одного файла vmdk (и нескольких других файлов). При необходимости этими файлами можно очень легко манипулировать, и они могут использоваться для быстрого восстановления целой системы. Это сильно отличается от восстановления работоспособности вашего приложения на голом железе, где вы должны восстановить и настроить каждый компонент по отдельности — операционную систему, драйверы, сторонние приложения, СУБД и файлы баз данных и т.д.



Снимок состояния VMware



VMware vSphere Data Protection (VDP) и другие сторонние решения для резервного копирования виртуальных машин, такие как Veeam или Commvault, используют функции снимков состояния (snapshot) виртуальных машин VMware для создания резервных копий. Ниже приведено краткое объяснение механизма работы снимков VMware. Для получения более подробной информации обратитесь к документации.



Важно помнить, что снимки делаются со всей виртуальной машины и что гостевая операционная система и любые приложения или СУБД не знают о том, что сейчас с них делают снимок. Запомните также следующее:



Сами по себе снимки VMware не являются резервными копиями!

Снимки позволяют использовать ПО для резервного копирования и сделать резервные копии, но они не являются резервными копиями сами по себе.



VDP и другие сторонние решения используют процесс создания снимков состояния VMware в сочетании с каким-либо приложением для управления созданием и, что очень важно, удалением снимков. Вкратце последовательность событий для создания внешней резервной копии с помощью снимков VMware выглядит следующим образом:




  • Стороннее программное обеспечение для резервного копирования запрашивает у хоста ESXi выполнение снимка состояния VMware.

  • Файлы .vmdk виртуальной машины переводятся в режим «только для чтения» и для каждого файла .vmdk каждой виртуальной машины создаётся дочерний .vmdk дельта-файл.

  • Любая запись на диск происходит в дельта файл виртуальной машины. Любые операции чтения выполняются сначала из дельта-файла.

  • Программное обеспечение резервного копирования выполняет резервное копирование родительских .vmdk-файлов, находящихся в режиме «только для чтения»

  • Когда резервное копирование завершено, снимок сливается с исходным файлом (диски виртуальной машины становятся доступными для записи и обновлённые блоки из дельта-файлов дописываются к родительским файлам).

  • Снимки VMware удаляются.



Решения для резервного копирования также содержат специальные возможности, как например отслеживание измененных блоков (Changed Block Tracking, CBT), чтобы выполнять инкрементное или накопительное резервное копирование максимально быстро и эффективно (что особо важно для экономии места). Подобные решения обычно также добавляют другие полезные и важные функции, такие как сжатие данных, организация работы по расписанию, восстановление виртуальных машин с другим IP-адресом для проверки целостности, восстановление как всей виртуальной машины, так и отдельных файлов с нее, управление каталогом резервных копий и т.д.



Снимки состояния VMware, которые должным образом не управляются или оставляются висеть длительное время, могут сильно уменьшить свободное место в хранилище (по мере накопления изменений дельта-файлы становятся всё больше и больше), а также замедлить работу виртуальной машины.

Следует очень хорошо подумать, прежде чем делать снимки состояния вручную на основном сервере баз данных. Зачем вы это делаете? Что произойдет, если вы вернетесь в прошлое к тому моменту, когда создавали снимок? Что происходит со всеми транзакциями между созданием снимка и откатом изменений?



Если ваше программное обеспечение резервного копирования создает и удаляет снимки состояния — это абсолютно нормально. Снимок и должен создаваться только на непродолжительное время, а ключевой частью вашей стратегии резервного копирования будет выбор времени копирования когда система минимально загружена, что еще больше снизит влияние на пользователей и общую производительность.



Особенности Cach'e для снимков состояния системы



Перед выполнением снимка база данных должна быть стабилизирована (quiesced): все записи в файлы должны быть завершены и файлы баз данных должны быть в корректном состоянии. Cach'e предоставляет методы и API для завершения, а затем замораживания (freeze) записи в базы данных на короткий период создания снимка. Заморозке во время создания снимка подвергаются только попытки физической записи в файлы базы данных, что позволяет пользовательским процессам продолжать выполнять обновления в памяти бесперебойно. После того как снимок был сделан, возможность записи в базу данных восстанавливается, база данных «оттаивает» (thaw), и резервная копия продолжает копироваться на резервный носитель. Время между замораживанием и оттаиванием должно быть небольшим (не более нескольких секунд).

В дополнение к приостановке записи, заморозка Cach'e также приводит к смене файлов журнала и помещению маркера создания резервной копии в журнал. Запись в файл журнала при этом продолжается нормально, пока запись в физическую базу данных заморожена. Если система рухнет в то время, пока записи в физической базе данных будут заморожены, данные будут восстановлены из журнала как обычно при запуске.



Следующая диаграмма показывает замораживание и оттаивание с выполнением снимков для создания резервной копии с корректным файлом базы данных.





Обратите внимание на короткое время между замораживанием и оттаиванием — это время только на создание снимка, а не время, которое требуется на копирование всего родительского объекта в резервную копию.



Заморозка и оттаивание Cach'e



vSphere позволяет автоматически вызывать скрипты до и после создания снимка: это и есть те самые моменты, которые называются заморозкой и оттаиванием Cach'e. Примечание: для правильной работы этого функционала ESXi хост запрашивает у гостевой операционной системы заморозку дисков через VMware Tools.

В гостевой операционной системе должны быть установлены Инструменты VMware.

Скрипты должны соблюдать строгие требования к имени и местоположению. Необходимо также назначить корректные права на файлы. Имена скриптов для VMware на Linux:



# /usr/sbin/pre-freeze-script
# /usr/sbin/post-thaw-script


Ниже приведены примеры скриптов замораживания и оттаивания, которые наша команда использует для резервного копирования с помощью Veeam в наших внутренних тестовых лабораториях. Эти скрипты также должны подойти для работы и с использованием других продуктов. Примеры были протестированы и использовались на vSphere 6 и Red Hat 7.

Хотя эти сценарии могут использоваться в качестве примеров и являются иллюстрацией к описываемому методу, вы должны убедиться в их корректности для вашей собственной среды!

Пример скрипта заморозки:



#!/bin/sh
#
# Script called by VMWare immediately prior to snapshot for backup.
# Tested on Red Hat 7.2
#

LOGDIR=/var/log
SNAPLOG=$LOGDIR/snapshot.log

echo >> $SNAPLOG
echo "`date`: Pre freeze script started" >> $SNAPLOG
exit_code=0

# Только для запущенных экземпляров
for INST in `ccontrol qall 2>/dev/null | tail -n +3 | grep '^up' | cut -c5- | awk '{print $1}'`; do

echo "`date`: Attempting to freeze $INST" >> $SNAPLOG

# Detailed instances specific log
LOGFILE=$LOGDIR/$INST-pre_post.log

# Freeze
csession $INST -U '%SYS' "##Class(Backup.General).ExternalFreeze(\"$LOGFILE\",,,,,,1800)" >> $SNAPLOG $
status=$?

case $status in
5) echo "`date`: $INST IS FROZEN" >> $SNAPLOG
;;
3) echo "`date`: $INST FREEZE FAILED" >> $SNAPLOG
logger -p user.err "freeze of $INST failed"
exit_code=1
;;
*) echo "`date`: ERROR: Unknown status code: $status" >> $SNAPLOG
logger -p user.err "ERROR when freezing $INST"
exit_code=1
;;
esac
echo "`date`: Completed freeze of $INST" >> $SNAPLOG
done

echo "`date`: Pre freeze script finished" >> $SNAPLOG
exit $exit_code


Пример скрипта оттаивания:



#!/bin/sh
#
# Script called by VMWare immediately after backup snapshot has been created
# Tested on Red Hat 7.2
#

LOGDIR=/var/log
SNAPLOG=$LOGDIR/snapshot.log

echo >> $SNAPLOG
echo "`date`: Post thaw script started" >> $SNAPLOG
exit_code=0

if [ -d "$LOGDIR" ]; then

# Только для запущенных экземпляров
for INST in `ccontrol qall 2>/dev/null | tail -n +3 | grep '^up' | cut -c5- | awk '{print $1}'`; do

echo "`date`: Attempting to thaw $INST" >> $SNAPLOG

# Detailed instances specific log
LOGFILE=$LOGDIR/$INST-pre_post.log

# Оттаивание
csession $INST -U%SYS "##Class(Backup.General).ExternalThaw(\"$LOGFILE\")" >> $SNAPLOG 2>&1
status=$?

case $status in
5) echo "`date`: $INST IS THAWED" >> $SNAPLOG
csession $INST -U%SYS "##Class(Backup.General).ExternalSetHistory(\"$LOGFILE\")" >> $SNAPLOG$
;;
3) echo "`date`: $INST THAW FAILED" >> $SNAPLOG
logger -p user.err "thaw of $INST failed"
exit_code=1
;;
*) echo "`date`: ERROR: Unknown status code: $status" >> $SNAPLOG
logger -p user.err "ERROR when thawing $INST"
exit_code=1
;;
esac
echo "`date`: Completed thaw of $INST" >> $SNAPLOG
done
fi

echo "`date`: Post thaw script finished" >> $SNAPLOG
exit $exit_code


Не забудьте установить права на файлы:



# sudo chown root.root /usr/sbin/pre-freeze-script /usr/sbin/post-thaw-script
# sudo chmod 0700 /usr/sbin/pre-freeze-script /usr/sbin/post-thaw-script


Тестирование заморозки и оттаивания



Чтобы проверить работу приведенных сценариев, вы можете вручную запустить выполнение снимка на виртуальной машине и проверить что выведет сценарий. На следующем скриншоте показан диалог «Take VM Snapshot» и его опции.





Сбросьте флажок "Snapshot the virtual machine's memory" (Сохранить оперативную память виртуальной машины)

Отметьте флажок "Quiesce guest file system (Needs VMware Tools installed)" (Стабилизировать гостевую файловую систему). Это приведет к приостановке запущенных процессов в гостевой операционной системе и сбросу буферов, чтобы содержимое файловой системы находилось в известном непротиворечивом состоянии при выполнении снимка.



Важно! После теста не забудьте удалить сделанный снимок!

Если флажок стабилизации (quiescing) отмечен и виртуальная машина работает в тот момент, когда делается снимок, для стабилизации файловой системы виртуальной машины будет использоваться VMware Tools. Стабилизация файловой системы представляет собой процесс приведения данных на диске в состояние "готов к резервному копированию". Этот процесс может включать в себя такие операции, как очистка заполненных буферов между кэшем операционной системы в памяти и диском.



Следующий вывод показывает содержимое файла журнала $SNAPLOG, указанного в приведенных выше примерах сценариев замораживания/оттаивания после запуска процедуры резервного копирования, которая в том числе делает выполнение снимка.



Wed Jan  4 16:30:35 EST 2017: Pre freeze script started
Wed Jan 4 16:30:35 EST 2017: Attempting to freeze H20152
Wed Jan 4 16:30:36 EST 2017: H20152 IS FROZEN
Wed Jan 4 16:30:36 EST 2017: Completed freeze of H20152
Wed Jan 4 16:30:36 EST 2017: Pre freeze script finished

Wed Jan 4 16:30:41 EST 2017: Post thaw script started
Wed Jan 4 16:30:41 EST 2017: Attempting to thaw H20152
Wed Jan 4 16:30:42 EST 2017: H20152 IS THAWED
Wed Jan 4 16:30:42 EST 2017: Completed thaw of H20152
Wed Jan 4 16:30:42 EST 2017: Post thaw script finished


На этом примере видно, что время между замораживанием и оттаиванием составляет 6 секунд (16:30:36 — 16:30:42). В течение этого периода работа пользователей НЕ прерывается. Вам нужно будет собрать статистику с ваших собственных систем, но для информации отметим, что данный пример был запущен во время тестирования производительности приложения на системе без «узких мест» в системе ввода/вывода, в среднем выполнявшей более 2 миллионов операций чтения БД в секунду (Glorefs/sec), 170 000 операций записи БД в секунду (Gloupds/sec) и в среднем 1100 физических операций чтения диска в секунду и 3000 записей за цикл демона записи БД (write daemon cycle).



Помните, что оперативная память не является частью снимка, поэтому при восстановлении резервной копии виртуальная машина будет перезагружена и выполнит процедуры восстановления. Файлы базы данных будут согласованными. Вы не ставите целью «продолжить работу» из резервной копии и просто хотите, чтобы у вас были корректные резервные копии файлов на конкретный момент времени. Вы можете затем выполнить прогон журналов БД и выполнить другие процедуры восстановления, необходимые для восстановления целостности приложения и согласованности транзакций после восстановления файлов.



Для дополнительной защиты данных, смена журнала может также выполняться сама по себе, сопровождаемая резервным копированием или репликацией журнала, например, ежечасно.

Ниже приведено содержимое $LOGFILE из примера заморозки/оттаивания, приведенного выше, в котором показаны подробности журнала для снимка.



01/04/2017 16:30:35: Backup.General.ExternalFreeze: Suspending system

Journal file switched to:
/trak/jnl/jrnpri/h20152/H20152_20170104.011
01/04/2017 16:30:35: Backup.General.ExternalFreeze: Start a journal restore for this backup with journal file: /trak/jnl/jrnpri/h20152/H20152_20170104.011

Journal marker set at
offset 197192 of /trak/jnl/jrnpri/h20152/H20152_20170104.011
01/04/2017 16:30:36: Backup.General.ExternalFreeze: System suspended
01/04/2017 16:30:41: Backup.General.ExternalThaw: Resuming system
01/04/2017 16:30:42: Backup.General.ExternalThaw: System resumed


Замирание виртуальной машины



Во время создания снимка виртуальной машины, а также после завершения резервного копирования и удаления снимка виртуальную машину необходимо заморозить на короткий период времени. Это кратковременное замораживание часто называют замиранием (stun). Хорошая статья о замирании виртуальных машин есть здесь. Я изложу некоторые подробности ниже, применительно базам данных Cach'e.



Выдержка из статьи: «Чтобы создать снимок виртуальной машины, виртуальная машина «замирает», чтобы (i) сериализовать состояние устройства на диск и (ii) закрыть текущий работающий диск и создать точку начала снимка… При слиянии дельта-файлов виртуальная машина «замирает», чтобы закрыть диски для записи и перевести их в состояние, подходящее для слияния.»

Время замирания обычно составляет около 100 миллисекунд, однако, при очень высокой активности записи на диск, во время фазы слияния дельта-файлов замирание может длиться до нескольких секунд.



Если виртуальная машина является основным или резервным участником зеркалирования Cach'e, и время замирания больше, чем таймаут QoS для зеркалирования, зеркало может ошибочно сообщить о сбое основной виртуальной машины и инициировать перехват зеркала резервной системой.

Для получения дополнительной информации о параметре QoS при зеркалировании обратитесь к документации. Стратегии, сводящие к минимуму время замирания, включают выбор момента резервного копирования, когда активность базы данных является максимально низкой, а также наличие хорошо настроенной системы хранения.



Как отмечалось выше, при создании снимка есть несколько опций, которые можно указать. Одна из опций позволяет включать сохранение оперативной памяти в снимке. Помните, что сохранение оперативной памяти не требуется для резервного копирования базы данных Cach'e. Если установлен флаг сохранения памяти, дамп внутреннего состояния виртуальной машины будет входить в снимок. Выполнение снимка с памятью занимает гораздо больше времени. Снимки памяти используются для возврата к такому состоянию виртуальной машины, которое было на момент выполнения снимка. Этого НЕ требуется для резервного копирования файлов базы данных.



Когда выполняется снимок оперативной памяти, состояние всей виртуальной машины будет заморожено на неопределенное время.

Как уже отмечалось ранее, для резервных копий флажок «согласованность» (quiesce) должен быть отмечен, чтобы гарантировать целостное и успешное резервное копирование.



Узнаем время замирания из журналов VMware



Начиная с ESXi 5.0 время замирания регистрируется в файле журнала каждой виртуальной машины (vmware.log) сообщениями, похожими на следующие:



2017-01-04T22:15:58.846Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 38123 us


Время замирания указывается в микросекундах, поэтому в примере выше 38123 us это 38123/1,000,000 секунд или 0.038 секунды.



Чтобы быть уверенным в том, что продолжительность замирания машины находится в допустимых пределах, или если есть подозрение, что длительное время замирания машины вызывает проблемы, вы можете скачать и просмотреть файлы vmware.log из папки этой виртуальной машины. После загрузки вы можете открыть и упорядочить журнал с помощью стандартных команд Linux, которые мы рассмотрим в следующей главе.



Пример загрузки файлов vmware.log



Существует несколько способов скачать журналы, в том числе путём создания пакета поддержки (support bundle) VMware через консоль управления vSphere или из командной строки хоста ESXi. Обратитесь к документации VMware за всеми подробностями, а ниже приведен простой способ создания и сбора минимального пакета журналов поддержки, который включает в себя файл vmware.log, позволяющий узнать продолжительность замирания.



Вам понадобится длинное имя каталога, где расположены файлы виртуальной машины. Зайдите по ssh на тот хост ESXi, где запущена виртуальная машина с базой данных и выполните команду vim-cmd vmsvc/getallvms для получения списка vmx файлов и связанных с ними уникальных длинных имён.



Пример длинного имени для базы данных виртуальной машины, упоминающейся в этой статье, будет выглядеть так:



26 vsan-tc2016-db1 [vsanDatastore] e2fe4e58-dbd1-5e79-e3e2-246e9613a6f0/vsan-tc2016-db1.vmx rhel7_64Guest vmx-11


Далее выполните команду для сбора файлов журнала:



vm-support -a VirtualMachines:logs


Команда отобразит местоположение созданного пакета поддержки, например:



To see the files collected, check '/vmfs/volumes/datastore1 (3)/esx-esxvsan4.iscinternal.com-2016-12-30--07.19-9235879.tgz'


Теперь вы можете забрать файлы с хоста для дальнейшей обработки и анализа по протоколу sftp.

В этом примере после распаковки пакета поддержки вы можете проследовать по путям, соответствующим длинным именам баз данных виртуальных машин. Например, в данном случае:



/vmfs/volumes//e2fe4e58-dbd1-5e79-e3e2-246e9613a6f0.


Там вы увидите несколько пронумерованных лог-файлов. Самый последний файл номера не имеет, это vmware.log. Журнал может быть не более 100 КБ, но при этом будет содержать очень много информации. Поскольку мы просто ищем моменты начала и конца замирания, их достаточно легко найти с помощью утилиты grep, например:



$ grep Unstun vmware.log
2017-01-04T21:30:19.662Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 1091706 us
---
2017-01-04T22:15:58.846Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 38123 us
2017-01-04T22:15:59.573Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 298346 us
2017-01-04T22:16:03.672Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 301099 us
2017-01-04T22:16:06.471Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 341616 us
2017-01-04T22:16:24.813Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 264392 us
2017-01-04T22:16:30.921Z| vcpu-0| I125: Checkpoint_Unstun: vm stopped for 221633 us


В примере мы видим две группы замираний. Первая состоит из момента создания снимков, а вторая — через 45 минут для каждого диска при завершении объединения снимка (например, после того, как программное обеспечение для резервного копирования завершило копирование основного vmx файла). В приведенном выше примере мы можем видеть, что большинство замираний не превосходят секунды, хотя начальное замирание составляет чуть более одной секунды.



Короткое замирание незаметно для конечного пользователя. Тем не менее, системные процессы, такие как, например, зеркалирование Cach'e, постоянно контролируют, является ли база «живой». Если время замирания превышает таймаут QoS для зеркалирования, то узел может быть признан неконтактным и «мертвым», и произойдет обработка аварийной ситуации.



Совет: для обзора всех журналов или поиска неисправностей удобно использовать команду grep чтобы найти все времена замираний и затем отформатировать их с помощью утилиты awk и отсортировать, как в следующем примере:



grep Unstun vmware* | awk '{ printf ("%'"'"'d", $8)} {print " ---" $0}' | sort -nr


Итог



Вы должны регулярно контролировать свою систему во время нормальной работы, чтобы знать и понимать величину времени замирания и то, как она может повлиять на средства обеспечения высокой доступности, например, зеркалирование. Как уже отмечалось ранее, стратегии, направленные на то, чтобы свести к минимуму время замирания, включают запуск резервных копий, когда активность базы данных и хранилища низкая и когда производительность хранилища максимальная. Для постоянного мониторинга журналы могут обрабатываться с помощью VMware Log insight или других инструментов.



Я ещё вернусь к операциям резервного копирования для платформ данных InterSystems в будущих статьях. А теперь если у вас есть комментарии или предложения, основанные на процессах, происходящих в ваших системах, поделитесь ими в комментариях.



Примечание переводчика: поскольку мы работаем с автором в одном офисе, я могу передать ему ваши вопросы и переслать сюда его ответы. Также обсуждение на английском есть в оригинале статьи на InterSystems Developer Community.


Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/334144/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество
rss_rss_hh_new

Подробно о новой версии Veeam Backup for Microsoft Office 365 и коротко о розыгрыше билетов на VMworld 2017

Среда, 26 Июля 2017 г. 11:04 (ссылка)

Недавно Veeam запустил программу бета-тестирования новой версии Veeam Backup for Microsoft Office 365. Эта новость особенно актуальна в свете последних отчетов от Microsoft, согласно которым выручка от продаж корпоративных подписок на облачный Office 365 за прошедший квартал впервые превысила выручку от лицензий на традиционные offline-приложения из пакета Office.

В нашем блоге мы рассказывали о версии 1.0 решения Veeam, предназначенного для резервного копирования и восстановления данных Exchange Online. C версией же 1.5 будет возможно бэкапить и восстанавливать почту не только для облачного, но и для локального Exchange или для гибридной организации.

Новая версия намечена к выпуску на конец текущего квартала и, как мы надеемся, особенно порадует сервис-провайдеров. Но не только их – ведь, помимо новой распределенной архитектуры и улучшенного интерфейса, в ней для автоматизации работы администраторов предлагается набор командлетов PowerShell, а также RESTful API.

За подробностями добро пожаловать под кат.







Итак, сегодня в программе:





Новое в архитектуре



По сравнению с первой версией архитектура была значительно переработана и теперь позволяет масштабировать решение для крупных организаций и сервис-провайдеров. За счет чего можно это сделать? Вот ключевые моменты:


  1. Основную нагрузку по работе с данными теперь несет прокси-сервер, а их можно развернуть столько, сколько вам потребуется для бэкапа данных вашей организации. Прокси-сервер может работать c одной или с несколькими Exchange-организациями.

  2. Для каждого прокси-сервера настраивается репозиторий (один или несколько), куда прокси будет сохранять данные почты.

  3. Центральный же сервер VBO365 выполняет управленческие функции, поддерживает базу данных конфигурации, обеспечивает работу пользовательской консоли и RESTful API. На этом же сервере по умолчанию ставится дефолтный прокси и дефолтный репозиторий.

  4. Задание резервного копирования (job) — совокупность настроек, согласно которым выполняется бэкап. Мы указываем, какие почтовые ящики надо бэкапить, куда сохранять данные, в какое время все это проделывать. Фактически, мы получаем политику резервного копирования для почты.



На картинке все это выглядит примерно так:





Настраивать задания можно с учетом особенностей структуры вашей организации – например, в отдельный репозиторий бэкапить почту головного офиса, того или иного отдела (маркетинг, продажи, финансы и т.п.), местных отделений и удаленных филиалов, и т.п. Если же вы – сервис-провайдер, то обратите внимание, что теперь можно складывать данные разных пользователей в разные репозитории, чего не позволяла прежняя версия.



Для восстановления писем, общих папок, задач и календарей все так же используется Veeam Explorer for Microsoft Exchange.



ОЧЕНЬ ВАЖНО! Бета-версия требует чистой установки. Обновление на 1.5 beta с релизной 1.0 не поддерживается. Также не будет поддержано обновление с бета-версии на релизную 1.5. Будьте внимательны!



Теперь подробнее о компонентах.



Сервер Veeam Backup for Microsoft Office 365



Этот центральный компонент ставится на физическую или виртуальную машину под управлением ОС Windows 7 и выше. Машина должна удовлетворять следующим требованиям:


  • ЦПУ: x64

  • RAM: 4ГБ

  • Диск: минимум 500 МБ свободного места для установки



В функции сервера входят управление лицензиями и общими настройками (в частности, настройки уведомлений о выполнении заданий и о статусе прокси, выбор папок, которые не надо бэкапить — например, Junk E-mail), управление заданиями, хранение конфигурационной базы, обеспечение работы RESTful API, и т.п.



Важно! Рекомендованные файловые системы для развертывания сервера VBO365 — NTFS и ReFS. Использование FAT32 не рекомендуется, поскольку ограничивает размер конфигурационной базы 4мя гигабайтами.



Обновленный пользовательский интерфейс



В интерфейсе появилось новое представление под названием Backup Infrastructure. Оно сделано по образу и подобию аналогичного представления в Veeam Backup & Replication: в дереве навигации отображаются объекты, составляющие инфраструктуру резервного копирования Veeam Backup for MS Office 365 — прокси-серверы и репозитории. С помощью команд меню, расположенных на соответствующих вкладках, можно добавлять, удалять и редактировать свойства этих объектов.









Прокси-сервер



Это новый компонент архитектуры, который позволяет оптимизировать обработку данных, разгрузив сервер управления, а также масштабировать решение по мере необходимости. В качестве прокси вы можете использовать физическую или виртуальную машину под управлением ОС Windows 7 и выше. Требования к ней аналогичны требованиям к серверу управления. При планировании установки обратите внимание на следующее:


  • Сервер управления и прокси-сервер должны находиться в одном домене, разрешается также развертывание в trusted доменах.

  • Для передачи данных между прокси и сервером управления по умолчанию используются TCP порты 9192 и 9193.

  • Для передачи данных между прокси и Exchange Online по умолчанию используются порты 80 и 443.

  • Можно использовать дефолтный прокси, по умолчанию развернутый на сервере управления.

    Для настройки нового прокси открываем представление Backup Infrastructure, при этом в дереве навигации фокус автоматически переходит на первый узел – Backup Proxies.









По правому клику или по команде Add Proxy с соответствующей вкладки меню запустится мастер настройки из 3 шагов:


  1. Вводим имя или IP-адрес нового прокси.

  2. Указываем учетку, под которой будем стучаться к этому серверу. У нее должны быть права локального админа на машине с прокси.

    Примечание: Сервис Veeam.Archiver.Proxy будет работать под Local System.

  3. Наблюдаем за ходом установки компонентов на указанный сервер.



После этого будет задан вопрос – а не хотим ли мы сразу настроить и репозиторий для нового прокси?

Отвечаем Yes и приступаем.



Репозиторий



Репозиторий служит местом хранения данных резервного копирования. Можно настроить задания бэкапа таким образом, чтобы каждое задание складывало данные в свой репозиторий.



Важно: Один и тот же прокси-сервер может работать с несколькими репозиториями.



Создаем репозиторий также с помощью мастера из 3 шагов. Сначала указываем имя, выбираем, на каком прокси-сервере и по какому пути будет расположен репозиторий:







Естественно, у каждого репозитория будет и своя политика хранения. По умолчанию данные хранятся 3 года, но вы можете задать нужное вам значение – от нескольких дней до сколь угодно долгого времени.



Обращаю ваше внимание на типы хранилищ, которые Veeam Backup for Microsoft Office 365 поддерживает в качестве репозитория:


  • Локальная папка на управляющем сервере (репозиторий по умолчанию).

  • Direct Attached Storage (DAS), подключенный к управляющему серверу; поддерживаются внешние устройства с подключением по USB/eSATA и тома с RDM (raw device mapping).

  • Сетевые системы хранения Storage Area Network (SAN); управляющий сервер необходимо подключить к SAN с помощью аппаратного или виртуального HBA либо iSCSI initiator-а.

  • Поддержка папок общего доступа SMB 3.0 заявлена в качестве экспериментального режима (для учетной записи управляющего сервера потребуется предоставить как минимум права на запись).



Путь к дефолтному репозиторию, ассоциированному с дефолтным же прокси на сервере Veeam Backup for Office 365, будет таким: С:\VeeamRepository.



Примечание: Не рекомендуется использовать в качестве места хранения бэкапов почты тот же репозиторий, с которым работает Veeam Backup & Replication, если таковой у вас развернут. Это связано с тем, что у Veeam Backup for Microsoft Office 365 и Veeam Backup & Replication совершенно разная структура данных бэкапа, а также разные политики хранения для содержимого репозиториев.



Как это работает



Veeam Backup for Microsoft Office 365 собирает данные почты с организации Exchange, используя Exchange Web Services и PowerShell, и сохраняет эти данные в репозиторий. Передача данных идет через прокси-сервер, указанный в настройках задания; при передаче используется SSL.



Примечание: Естественно, возможен и сценарий «всё в одном», то есть на локальном сервере у вас и управление, и дефолтный прокси с дефолтным же репозиторием.


  1. При первом запуске задания резервного копирования в репозитории создаются файл базы данных в формате ADB и вспомогательные файлы. По умолчанию, они находятся в папке с именем (год последнего изменения объекта из почты). Для работы с этой базой используется движок Extensible Storage Engine for Windows (ESE). Первый проход задания создает полный бэкап содержимого для всех выбранных ящиков.

  2. При следующих проходах задания данные о структуре базы и данные собственно почты синхронизируются с текущим состоянием организации Exchange, используя Exchange Web Services. Каждый раз успешно отработавшее задание создает точку восстановления, где сохраняет соответствующее состояние базы. Эти бэкапы уже инкрементальные – то есть Veeam выявляет изменения в данных почты (новые ящики или какие-либо модификации), произошедшие с момента последнего запуска. Затем выполняется «инкрементальная синхронизация».



В репозитории образуется и поддерживается вот такая структура:







Как мы видим, есть папки, куда складывается бэкап почты — они именуются согласно времени последнего изменения этой почты. То есть письма, претерпевшие последнее изменение в 2016 году, попадут в папку с именем 2016. А если письмо было модифицировано, скажем, 26 мая 2015 года, то оно попадет в папку 2015.

В файле Repository.xml хранятся настройки конфигурации, включая ID прокси и управляющего сервера.

Внутри же папок репозитория находятся следующие файлы:








  • repository.adb – файл базы, где, собственно, и хранятся данные почтовых ящиков организации Exchange Organization, с сохранением всей иерархии (ящики, папки и объекты в них – письма, календари, задачи). Срок хранения этих данных устанавливается в настройках репозитория, как описывалось выше.

  • файлы журналов транзакций и чекпойнт – потребуются, когда вы решите восстановить базу на выбранное состояние.





Настройки канала передачи данных



В версии 1.5 число потоков, настроенных по умолчанию, будет увеличено до 64. Пользователям предоставляется возможность самим задавать значение этого параметра в свойствах прокси-сервера. Здесь же можно и указать ограничение пропускной способности для канала, используемого данным прокси (по умолчанию ограничений нет).









Автономная работа прокси-сервера



В случае прекращения работы управляющего сервера прокси, ответственный за задания резервного копирования, будет работать автономно в течение 48 часов, чтобы довести свои задачи до конца. Если же упал сам прокси, то вы получите по e-mail оповещение об этом (если настраивали), а как только его работа восстановится, выполните команду Rescan, чтобы обновить данные о нем в базе.





Типы поддерживаемых организаций



В новой версии это не только облачная организация Microsoft Office 365, но и локальная организация Microsoft Exchange. Поддерживается и сценарий с гибридной организацией, что помогает осуществить миграцию почтовых ящиков.







Поддержка PowerShell и RESTful API



С помощью PowerShell и RESTful API конечные пользователи и сервис-провайдеры смогут автоматизировать типовые задачи.


  • Поддержка PowerShell реализована с помощью модуля, вызываемого командой Import-Module Veeam.Archiver.PowerShell.

  • RESTFul API, как ожидается, будет полезен сервис-провайдерам наряду с описанными выше возможностями масштабирования с помощью прокси и выделенных репозиториев для пользовательских организаций.



Для работы с RESTful API нужно активировать соответствующий сервис.


  1. Кликаем по иконке главного меню в левом верхнем углу консоли, открывается диалог с опциями.

  2. Переходим на вкладку REST API и зачекиваем галку Enable REST Service.






  3. Затем кликаем по кнопке Install и пользуемся мастером выбора сертификата.





Уведомления



На управляющем сервере можно настроить отправку уведомлений о статусе заданий бэкапа и о состоянии прокси-серверов. Администратор может указать, о каких именно состояниях заданий нужно уведомлять по e-mail: Success, Warning или Failure.

Аналогичные настройки можно использовать, чтобы вовремя получить сообщение о неработающем прокси-сервере.



Восстановление почты



Опции восстановления остались теми же, что в версии 1.0, реализованы они с помощью Veeam Explorer for Exchange:


  • Экспорт почтовых ящиков, папок и отдельных писем в формат .pst

  • Сохранение писем в формат .msg

  • Отправка писем\календарей\задач путем прикрепления к e-mail

  • Восстановление почтовых ящиков, писем, папок непосредственно в организацию Exchange



Теперь к ним добавилось еще и восстановление с использованием командлетов PowerShell.

Таким образом, в версии 1.5 Veeam Backup for MS Office 365 мы имеем хорошо масштабируемое решение с улучшенной производительностью, обладающее набором фич, которые будут полезны как конечным пользователям, так и сервис-провайдерам.



И немного о розыгрыше билетов на VMworld



На этот раз Veeam разыгрывает билеты на VMworld 2017 – ежегодную международную конференцию, организуемую компанией VMware.


  • Конференция в США пройдет на площадке Mandalay Bay Hotel & Convention Center в Лас Вегасе с 27 по 31 августа.

  • Европейская конференция пройдет на площадке Fira Gran Via в Барселоне с 11 по 14 сентября.



Что там будет? Как всегда, интереснейшие доклады и популярнейшие спикеры, последние новинки из мира виртуализации и облачных инфраструктур, известные эксперты, профессионалы ИТ-отрасли. Всех участников ждут специальные призы и подарки, а в завершение – посещение знаменитой вечеринки VMworld Customer Appreciation Party.



Как туда попасть? В этом году Veeam предоставляет 10 бесплатных билетов на VMworld 2017. Чтобы принять участие в розыгрыше, нужно зарегистрироваться на сайте, вот тут. Билет включает в себя посещение всех общих докладов и любых тематических сессий, тестовых лабораторий VMware Hands-On Labs и стендов Solutions Exchange.

Будучи на выставке, непременно посетите стенд Veeam — там можно будет пообщаться с нашими экспертами. Они ответят на ваши вопросы о продуктах компании, об обеспечении доступности данных, о возможностях резервного копирования и восстановления при работе в публичных, частных и гибридных облаках, в виртуальной и физической среде, и так далее. Не пропустите встречи с IT-профи со всего мира и, разумеется, розыгрыши призов от Veeam. Скучно не будет!

Розыгрыши билетов продлятся до 4 августа. Возможно, счастливый билет ждет именно вас – заходите за ним сюда. Желаем удачи!



Полезные ссылки




  • Чтобы присоединиться к программе бета-тестирования Veeam Backup for Microsoft Office 365, нужно, как всегда, указать почтовый ящик вот тут

  • Для бета-версии нужно использовать соответствующую лицензию (входит в пакет). Руководство пользователя также включено в пакет (на англ. языке), документацию для версии 1.0 (на англ. языке) можно найти тут

  • Нюансы работы можно обсудить на форуме, где также будут рады вашим комментариям и предложениям

  • Статья на Хабре о первой версии Veeam Backup for Microsoft Office 365


Original source: habrahabr.ru (comments, light).

https://habrahabr.ru/post/334104/

Метки:   Комментарии (0)КомментироватьВ цитатник или сообщество

Следующие 30  »

<резервное копирование - Самое интересное в блогах

Страницы: [1] 2 3 ..
.. 10

LiveInternet.Ru Ссылки: на главную|почта|знакомства|одноклассники|фото|открытки|тесты|чат
О проекте: помощь|контакты|разместить рекламу|версия для pda