NetApp AltaVault: Резервное копирование и архивирование данных в облаке

В октябре 2014 года компания NetApp приобрела продуктовую линейку SteelStore у компании Riverbed Technology’s. Этот продукт давно пользовался популярностью в корпоративных средах благодаря своей простоте и возможности собирать бэкапы (быть таргетом для складывания бэкапов) почти, со всех возможных продуктов резервного копирования и возможности складывать эти данные в облако. Этот продукт отлично дополнил портфолио компании NetApp и вписался в видение компании о будущем гибридных, частных и публичных облаков. После приобретения этот продукт получил новое имя AltaVault и несколько новшеств, о которых пойдет речь ниже.



Первое новшество — это то, что продукт «сменил железо», теперь он переехал на ту же самую платформу, на которой сейчас живет ONTAP, известной под названием FAS, соответственно применяются те же дисковые полки. Это был весьма логичный шаг, так как компания недавно завершила отладку и выпустила обновлённую платформу FAS8000 на базе PCI Express Gen 3, в ходе которой было проделано много работы и, что важно, найдены и исправлены хардварные баги, связанные с производительностью именно самой архитектуры PCIe gen 3. Плюс это экономически более целесообразно не плодить множество платформ. Другими словами, платформа, для продуктов FAS и AVA (AltaVault) одна и та же, а чтобы люди не путались, на изображениях этих продуктов появился маленький фиолетовый значок с надписью «AVA» справа в верхнем углу шасси с контроллерами.

NetApp давно зарекомендовала себя как компания, которая глубоко интегрирует все свои продукты, не исключением стала и платформа AltaVault. Второе важное новшество — это добавление поддержки NetApp StorageGrid Web Scale в качестве объектного хранилища данных. Это позволило строить схему резервного копирования не только в публичное, но и частное облако. Возможно, уже в ближайшем будущем будут добавлены и другие фичи для ещё более глубокой интеграции с другими продуктами NetApp.

Форма выпуска продукта

Продукт доступен в виде физического устройства и представлен моделями AVA400 (48-288TB локального хранилища) и AVA800 (72-576TB локального хранилища), а также в виде виртуальной машины AVA-v (2-32TB локального хранилища), которая поставляется в виде виртуального аплаенса для гипервизоров Hyper-V (2012 R2), ESXi (vSphere/ESXi 5.5 or 6.0: VMFS-5 или на RDM volume) или KVM (RedHat Enterprise Linux OS 6.5 or higher). Бывают 2TB, 8TB, 16TB и 32TB версии. Виртуальный аплаенс AVA-с также доступен в публичных облаках Amazon (EC2 Marketplace) и Azure, что весьма удобно при разворачивании резервной площадки в публичном облаке. Локальное хранилище здесь — это физическое пространство на дисках, без учёта сжатия. Т.е. если ваши бэкапы будут очень хорошо жаться, то на локальном хранилище можно будет держать намного больше данных, нежели физически есть пространства. 



Системные требования сервера для запуска AVA-v

AVA400 и AVA800

На AVA400 и AVA800 присутствуют 10GB интерфейсы, которые могут быть агрегированы при помощи 802.3ad mode. Поддерживается VLAN тегирование. AVA400 может подключать дисковые полки только с дисками 4TB, а AVA800 может подключать дисковые полки только с дисками 6TB.

Устройство работы

AltaVault представляет собой обычную файловую шару CIFS/NFS, куда ПО резервного копирования направляет бэкапы. Поддерживается NFS v3/v4, SMB v2/v3 (поддерживается SMB multi channel connections) и Veritas OpenStorage API (Veritas OST: NetBackup 6.5 and 7.7). Благодаря этой простоте продукт интегрируется с таким широким кругом ПО резервного копирования, в том числе и конкурирующих вендоров, таких как IBM Tivoli, EMC NetWorker, HP Data Protector и Dell vRanger. Данные, которые поступают на AVA, в онлайне дедублицируются (используется варьируемая длинна блока, что позволяет увеличить степень сжатия данных). Все самые последние копии данных храняться локально, а более старые данные отправляются в частное или публичное облако. Все данные перед отправкой шифруются при помощи сертификата шифрования.

Режимы работы: Cold & Hot Backup

Существует два режима работы: Cold Backup или Cold Storage mode (локальное кеширование не работает) и Hot Backup (локальное кеширование включено). 
В режиме Cold Backup данные, попадающие на AVA дедублицируются, шифруются и сразу после этого отправляются в облако, локальные диски хранят только совсем небольшой набор мета-информации о бэкапах, и соответственно необходимы хорошие каналы связи, чтобы бэкапы заливались в облако.
В режиме с включённым кешированием данные, поступающие в AVA, дедублицируются, шифруются и потом попадают на локальные диски, далее из дисков отправляются в облако по мере возможности, это позволяет наиболее новые бэекапы восстанавливать намного быстрее и иметь менее требовательный канал связи с облаком, нежели для режима Cold Backup. Т.е. в режиме кеширования наиболее свежие бэкапы хранятся и на локальных дисках, и в облаке. Более старые данные из кеша постепенно вытесняются новыми данными, которые просто удаляются (ведь их копия есть в облаке).

Размер бэкапа в облаке

Как правило, размер архива, который может быть залит в облако, в 5 раз (Backup mode) больше, чем локальный кеш на дисках у AVA. В режиме работы Cold Storage mode локальный кеш используется только для хранения мета-информации, что позволяет превышать объем хранимых данных в облаке больше чем в 5 раз по отношению к локальному кешу.

SnapMirror

SnapMirror — это тип репликации, основывающийся на снепшотах. После покупки SteelStore NetApp активно взялся за его интеграцию со своим флагманским продуктом ONTAP. Так как возможность репликации данных из ONTAP напрямую в AVA было бы логичным решением, что позволило бы выполнять бэкап намного эффективнее благодаря передачи только изменений данных, а не полного набора данных каждый раз во время бэкапа. Репликация из ONTAP напрямую в AVA также очень удобна тем, что устраняется необходимость вытягивание бэка из хоста (не нагружен CPU хоста и его сетевые порты), а также устраняется промежуточный Proxy сервер, который необходим был для переливки бэкапов-файлов из хоста на бэкап-таргет (AVA, облако). Репликация снепшотов происходит следующим образом: сначала отправляется «базовый набор данных», а потом к нему докатываются а-ля инкременты. Каждый такой снепшот (вместе с уже отреплицированным базовым набором данных и более старыми снепшотами) являет собой полный набор данных, с которыми, в отличие от инкрементов, нет нужды выполнять операцию «склеивания», чтобы что-то восстановить. В такой конфигурации AltaVault сможет выступать таргетом для принятия этих реплик с OS ONTAP, это позволит более экономно расходовать ресурсы пространства AltaVault, передавать меньший объем данных по сети и меньше по сравнению с операцией FullBackup нагружать СХД, с которой выполняется резервирование. Подробнее о снепшотах в продукте NetApp ONTAP. SnapMirror будет доступен в новой версии прошивки AVA в рамках концепции DataFabric.

Интерфейс и софт резервного копирования

У системы есть как Web GUI с очень простым и понятным расположением объектов, так и SSH консоль, синтаксисом, конфиг файлом и своим устройством очень похожа на Cisco роутер. Можно использовать одновременно множество разнообразных продуктов резервного копирования, которые складывают свои бэкапы на одну AltaVault, рекомендуется иметь для каждого приложения отдельную файловую шару.

Внешний вид коммандной строки и конфиг-файла
Официально поддерживаемые системы резервного копирования

Публичные и частные облака

AltaVault не может работать сам по себе в режиме хранения бэкапов только на внутренних дисках. Система нуждается в наличии или специализированного ПО, установленного в приватном облаке или в публичном облачном провайдере, поддерживающих объектное хранение данных. Поддерживается очень широкий список публичных провайдеров и ПО для частного хранения данных, в том числе OpenStack Swift и конкурентов, такие как EMC Atmos, IBM Cleversafe и Dell NetVault. AltaVault позволяет подключить какой-то один из облачных сервисов. Также поддерживается режим миграции из одного на второй облачный сервис.


Официально поддерживаемые облачные сервисы

Нагрузка на Back-End и Front-End

Шифрование

Данные, отправляемые в облако, уже сжаты и зашифрованы при помощи сертификата шифрования с использованием алгоритма AES 256-bit. Это позволяет не беспокоиться о вопросе, где находятся резервные копии, даже если они будут скопированы персоналом облачного провайдера. Поддерживается KMIP для обмена ключами, RBAC для доступа пользователей, Аутентификация AD/LDAP, TACACS, RADIUS, NFSv4 c Kerberos. AVA соответствует уровню безопасности FIPS 140-2 Lavel 1.

DR и восстановление настроек

AltaVault позволяет выгрузить конфиг-файл, который может быть использован для восстановления всей конфигурации на новой системе, а функция Re-Population затянет на локальные диски новой системы самые свежие данные из облака.
Repopulation data from the Cloud

Выводы

Продукт AltaVault имеет простой и интуитивно понятный интерфейс, хорошо дополняет портфолио резервного копирования и архивирования NetApp, был интегрирован с существующим продуктами StorageGrid и SnapProtect, поддерживает широкий список ПО для резервного копирования и множество облачных провайдеров и систем хранения. Продукт уже заслужил хорошую репутацию на рынке и является корпоративным стандартом для резервного копирования множества компаний.