На сегодняшний день в РФ на IT рынке сложилась крайне интересная ситуация.

Происходят (успешные или не очень — отдельный вопрос) попытки импортозамещения в IT, появилось множество продуктов «made in Russia», особые списки и прочее.

Мы не хотим и не будем говорить о политике, но поговорим о технологиях и ценообразовании.

Сегодня бы хотелось поговорить об одной из наиболее «нагретых» в мире и РФ тематик (и выгодной для производителей) — платформы для хранения и обработки данных — иными словами СХД, виртуализация, облака и прочее.





Для рассмотрения были выбраны три варианта — массово рекламируемые в РФ импортозаместительные продукты и Nutanix, как лидер (или один из лидеров) мирового рынка HCI.

Подавляющее большинство «стеков сделанных в РФ» укладываются в «Openstack + Ceph».

Перефразируя, мы говорим о современном подходе к построению IT инфрастуктур по принципу как делает Amazon, Google, Facebook и другие, но с локальными особенностям.

Как небольшое отступление, еще в 2014 году Forbes сделал прогноз о том что в 2017 большинство крупнейших / ключевых компаний будут использовать webscale решения, и они оказались правы.

Более половины крупнейших мировых компаний (из Global 100) уже используют WebScale (инфографика — ниже).

Gartner Says By 2017 Web-Scale IT Will Be an Architectural Approach Found Operating in 50 Percent of Global Enterprises



Аналитики в целом сходятся в том что традиционные подходы к построению инфраструктур изживают себя (так называемые «трех-уровневые инфраструктуры» базирующиеся на СХД), причем пере-раздел рынка происходит крайне быстро.

Крайне интересная инфографика и аналитика:



Теперь вы понимаете, почему рынок так сильно нагрет даже в РФ и почему «импортозаместители» ведут себя как в анекдоте «тушите свет, они на свет лезут», при этом (мое личное мнение) реальная ситуация с технологиями очень напоминает вот это:



На самом деле, речь идет о переразделе многомиллиардных (не в рублях) доходов даже в РФ:
обработка и хранения данных сейчас является ключевой проблемой практически любых бизнесов и организаций в мире, а публичные IT закупки российских компаний составляют сотни миллионов долларов.

Безусловно существуют другие конкурентные коммерческие западные вендоры, о них мы можем поговорить отдельно.

Суть статьи — понять что реально могут предложить технологически клиенту «российские продукты», является ли импортозамещение в данном случае реальным или бумажным, насколько это все дорого или дешево.

Многие профессионалы знают, что в подавляющем количестве случаев все эти продукты реально не разрабатывались в России, и либо используют ceph + openstack (по ощущению — >95% «импортозамещений»), либо делают вид что разрабатывают продукт локально, но в реалиях это вполне себе западный программный код.

Один из интересных примеров — как «Лёгким движением руки брюки превращаются в шорты».

Американская компания (бывшая Parallels) Virtuozzo -> "Росплатформа" -> "СКАЛА-Р"

Дабы избежать любых кривотолков — привожу ссылку на выступление топ-менеджера «Росплатформа», где речь фактически идет о «получении преференций на закупки для российских компаний».

Программный код Virtuozzo принадлежит американской компании.



Если говорить о суммах, то речь идет обычно о проектах от сотен тысяч до многих миллионов долларов, но решения применимы и небольшими компаниями — порог входа в «новый прекрасный мир» (для РФ) — где-то 35$k.

IBS ориентирует свою «Скала-Р» как «с экономической точки зрения платформа СКАЛА-Р может быть интересна компаниям с ИТ-бюджетом от $500 тыс.», что конечно мягко говоря несколько удивляет.

…

Кстати, позитивные исключения (из массы «готового американского кода») однозначно есть — например хранилища данных Raidix, которые создали специализированное решение для записи и воспроизведения медиа-потоков, причем весьма успешное, но реально не подходящее ни для серьезных проектов построения «корпоративных облаков» ни для хранения generic данных (коллегам просьба не обижаться — но это реально так, если будет желание можем провести сравнение функционала — объясню каких базовых «фич» у вас нет для того чтобы серьезно говорить про облачные enterprise применения).

…

Сегодня хотелось бы затронуть хотя бы базовые вопросы о технической части решений, но немного поговорим и про ценообразование.



Замечу так-же, что основным аргументов «импортозамещателей» по сути зачастую является наличие волшебной бумажки (сертификаций), но опять-же большинству понятно что все это является по сути профанацией.

Невозможно проверить (за обозримое время) на предмет ошибок или закладок программный код (миллионы строк) современного ядра Linux и всего типового окружения (на базе которого работают практически все «замещатели»), не говоря о массе дополнительного кода (ceph, openstack, virtuozzo и тд).

Только ядро Linux приблизилось к 20 миллионам строк.



Как показывает жизнь, практически все крупнейшие / скандальные дыры в программном коде Linux и типовых библиотек были обнаружены и исправлены не в РФ (включая heartbleed и прочее) — кому интересно, по сути можно взять и посмотреть когда были выпущены патчи к «русским линукс».

Учитывая что ceph и virtuozzo работают на уровне хоста / ядра ОС, это реально является серьезнейшей проблемой надежности и безопасности.

Итак, поехали. Пока — о базовых вещах.

Ceph + Openstack.

Единый продукт как таковой отсутствует, есть масса разрозненных проектов (компонентов Опенстак) в разном статусе — от достаточно качественной разработки до целиком заброшенных.

Ситуация напоминает «рак+лебедь+щука» — коммерческие провайдеры OS любой ценой стараются привязать клиента к своему решению, безболезненная миграция даже между продуктами одного вендора крайне тяжела, между различными — практически нереальна.



Основной гипервизор (и фактически единственный применимый для использования в случае ceph) — KVM.

В качестве SDS (программного хранения данных) — реальный вариант для использования — только ceph, отдельный opensource проект.

Теоретически можно использовать ESXi и HyperV через iSCSI, но практике ввиду отсутствия поддержки VAAI / ODX это является как максимум лабораторным вариантом.

Как отступление, я искренне не понимаю как можно запускать любые проекты на ceph для серьезного применения — только в 2017 году было открыто 108 «urgent» и 106 «immediate» баг-репортов, многие из которых могут привести к потере данных или крайне серьезным проблема.

Практически — по жесткой «баге» в день, что напоминает хождение по минному полю.



Напомню, что в конце 2016 года ceph.com «лежал» два дня ввиду падения хранилища на базе ceph. Весьма иронично.



Рассказы про то как «мощные команды русских программистов» (обычно речь идет реально про максимум 3-10 человек) исправили все ошибки ceph и создали русский продукт — оставим на совести продавцов таких решений, но у грамотного IT специалиста должны возникнуть вопросы — почему сотни / тысячи разработчиков основного ceph «не смогли», но у микро-команд из РФ все получилось.

Технологически, в архитектуру заложена масса узких мест — выделенные сервера метаданных, крайне высокие требования к RAM и т.д.

Cудьба Openstack как проекта в целом тоже вызывает много вопросов.

Для начала — пара цитат из блога Мирантис (при том что в 2016 году они например внедряли Опенстак в крупнейшем банке РФ, уже прекрасно осознавая что OS реально «не жилец»):



"Infrastructure Software is Dead"

«Now I’d love to tell you that it’s all because Mirantis OpenStack software is so much better than everybody else’s OpenStack software, but I’d be lying. Everybody’s OpenStack software is equally bad. It’s also as bad as all the other infrastructure software out there – software-defined networking, software-defined storage, cloud management platforms, platforms-as-service, container orchestrators, you name it. It’s all full of bugs, hard to upgrade and a nightmare to operate. It’s all bad.»

На сегодняшний день, практически все ведущие «драйверы» отказались от развития — «Мирантис» уволил массу сотрудников из OpenStack подразделения и открыто признает что надо уходить на микросервисы, HPE продали полностью подразделение, Rackspace как одна из икон опенстак-движения сделал делистинг с биржи — остался пожалуй только RedHat.

Далее поговорим о «бесплатности» таких решений.

Цена на поддержку коммерческого openstack в РФ — в среднем 4-5 тысяч $ (тех самых американских долларов) в год за каждый сервер.



Это совпадает с тем, что нам называли в РФ наши клиенты, когда к ним приходил тот-же «Мирантис», поэтому можем взять как базу для рассчетов.

Так-же всегда есть вариант нанять инженеров в свою команду, но для обеспечения нормального функционирования проекта обычно идет речь о нескольких десятках человек минимум — которым надо платить зарплаты. Дополнительная проблема — специалистов найти практически невозможно, даже те кто был (возьмем тот-же Мирантис) уже многие не в РФ (ввиду закрытия московского офиса).

Кстати, коммерческая поддержка openstack не включает в себя поддержку ceph, за нее надо платить отдельно.

Сертификация решений — разброд и шатание, часть локализованных вариантов имеет сертификацию.

Стартовый ПАК — от 45 тысячи долларов США — минимум 6 серверов (3 под ceph, 3 под KVM и OS). Конфигурация реально лабораторная, для промышленного использования требуется разносить сервисы ceph.

Каждый сервер около 5$k (30$k за сервера), плюс поддержка OpenStack (около 5$k за сервер в год).

Virtuozzo / Росплатформа / СКАЛА-Р.

Parallels -> Virtuozzo — по сути, широко известное, уважаемое и достаточно распространенное решение в узких кругах сервис-провайдеров, заточенное под конкретные задачи (обеспечение работы ISP и недорогих массовых хостингов).

В качестве стека виртуализации ранее использовали свой гипервизор, но в 7-й версии приняли решение переходить на KVM, который при этом "работает на 40% быстрее чем обычный KVM" (сразу вспомнил рекламу про «обычный стиральный порошок :) „)

Частью решения является virtuozzo storage, он-же “р-хранилище» — фактически распределенная СХД с массой ограничений (об этом ниже) и минимумом функционала, заточенная конкретно под нужды сервис-провайдинга, о чем упоминается в том числе в документации (на этом фоне крайне интересно позиционирование решения в РФ как универсального).

Готовый ПАК (программно-аппаратный комплекс) из 4-х простых серверов стартует минимально от 7.8 миллионов рублей (~130 тысяч долларов США — за импортозамещение надо платить)

«Cкала-Р» и «Росплатформа» — не совсем ясно, с официального сайта — «Безопасность продукта обеспечивается комплексом средств ИБ и готовностью к сертификации во ФСТЭК.»

Nutanix

Создатели рынка HCI / WebScale, лидеры по продажам, масса реализованных проектов практически в любых индустриях.

Как уже писал выше, более половины крупнейших мировых компаний (из Global 100) уже используют Nutanix.

Сертификация в РФ возможна, существуют процедуры, как минимум для одного из крупнейших проектов в РФ был получен ФСТЭК на «периметр».

Получены практически все ключевые сертификации безопасности в мире.

Готовый ПАК в РФ стартует от 35 тысяч долларов США, минимум 3 сервера.

Фактически, вся основная инфографика приложена:


…

Основной технический функционал был собран в сравнительную таблицу, которую в том числе я давал на рассмотрение в «Росплатформа» и IBS.
Комментарии они делать отказались, хотя поначалу проявили интерес.

Таблицу по OpenStack + ceph сверял с представителями OpenStack и ceph коммьюнити в РФ.

В таблице могут быть неточности или ошибки, пишите в комментариях — обязательно или поправим или объясним.



Какие выводы? Их я делать не буду, делайте сами.

	СКАЛА-Р / Росплатформа / Virtuozzo	Nutanix	CEPH + OpenStack
Программная архитектура В случае работы на уровне хоста / ядра ОС, потенциальные проблемы безопасности и отказоустойчивости.	Ядро / хост	Изолированный виртуальный контроллер	Ядро / хост
“Заточенность” решения	Сервис провайдеры	Энтерпрайз (корпорации), правительственные службы, военные, медицина, промышленность, ресурсодобывающие компании, финансовые структуры.	Сервис провайдеры
HCI (гиперконвергентное) решение. Дата сервисы и виртуализация работают на серверах одновременно.	да	да	нет
Отсутствие узких мест / точек отказа (централизованные сервисы, например cервера метаданных или сервера управления)	нет	да	нет
STIG политики (Security Technical Implementation Guide)	Отсутствуют, рекомендация производителя — ручной поиск rootkit и обнаружение взломов	да	Отсутствуют, есть масса разрозненных рекомендаций и методик
Расположение компании, разрабатывавшей основную часть ПО	США (Parallels -> Virtuozzo -> Росплатформы->”СКАЛА-Р”)	США	США (основная разработка), производится множеством компаний. Публично доступны полные исходные коды
Встроенный полноценный мониторинг (все аппаратные и программные компоненты) и самодиагностика	Частично, Скала-Р применяет дополнительные средства мониторинга	да	Частично
Интеллектуальный автоматический Data Tiering — перемещение блоков данных между холодным и горячими уровнями в случае изменения частоты запросов к этим данным (“нагрев” или “охлаждение”)	нет	да	нет
Встроенный портал самообслуживания	нет	да	да
Локализация данных VM (data locality) — активные данные VM находятся на том-же сервере где работает виртуальная машина. Кардинальное ускорение операций чтения и снижение нагрузки на сеть в разы.	нет	да	нет
Репликация на уровне VM	нет	да	нет
Восстановление целостности данных	Ручной запуск в случае потери крупного домена	Автоматический старт	Автоматический старт
Дедупликация данных	нет	да	нет
Компрессия данных	нет	да	нет
Erasure Code (помехоустойчивое кодирование)	нет	да	да
Поддержка All Flash	нет	да	да
Микс All Flash и Hybrid в едином кластере	нет	да	да
Обработка отказов SSD дисков с метаданными	Временная потеря части узлов с данными и долгое восстановление	Автоматическая отработка, не влияет на производительность кластера, все узлы с данными продолжают работу	Автоматическая отработка, может влиять на производительность кластера
Поддержка VAAI и ODX (протоколы «разгрузки» операций ввода-вывода на систему хранения данных)	нет	да	нет
Поддержка Application Consistent Snapshots (провайдер VSS для Windows Server и имплементация для Linux)	нет	да	нет
Неограниченное количество снапшотов VM, без влияния на производительность и возможностью манипуляций (в т.ч. удаления) снапшотов на любом уровне	нет	да	нет
Теневые клоны (shadow disk) — создание локальной копии дисков VM для кардинальной акселерации загрузки и работы	нет	да	нет
Встроенный бэкап на Amazon / Azure	нет	да	нет
Наличие Best Practice для ключевых типовых приложений (Oracle RAC, MSSQL, Postgres, SAP NetWeaver, MongoDB, Microsoft Exchange, Cisco Unified Communications и другие)	нет	да	нет
Распределенный отказоустойчивый cтек управления (management plane) без использования централизованных баз данных	нет	да	нет
Не требуются выделенные сервера управления	нет	да	нет
Автоматические апгрейды аппаратных прошивок (биос, прошивки дисков и флеш, контроллеры и тд)	нет	да	нет
Прозрачное обновление без перезапуска клиентских сервисов при смене основной версии ПО	нет	да	да
Поддержка гипервизоров	KVM (несертифицированные патчи), Virtuozzo (устарел, в новой версии перешли на KVM)	AHV (KVM совместим, сертифицирован Microsoft, SAP и другими), XenServer, vSphere, HyperV	KVM. Возможно использование vSphere и HyperV с подключением через iSCSI, не рекомендуется для продуктива ввиду отсуствия поддержки VAAI / ODX Не является HCI решением.
Поддержка основных стеков виртуализации рабочих мест (VDI) – Citrix, VMware	нет	Citrix, VMware, Workspot и другие	нет
Возможность запуска Microsoft Windows Server с полной поддержкой от Microsoft (SVVP — Server Virtualization Validation Program)	Нет, SVVP сертификация присутствует для старой версии американского продукта с другим гипервизором. Виртуализация Windows Server — на свой страх и риск	Полная SVVP сертификация	Есть для RedHat OpenStack и Canonical (Ubuntu) OpenStack, отсутствует для большинства других вариантов.
Контейнерная виртуализация	Virtuozzo	Docker	Docker, LXD
Встроенные бэкапы (без применения стороннего ПО) с пофайловым восстановлением и самообслуживанием	нет	да	нет
Метро кластер (распределённый кластер с синхронным реплицированием)	нет	да	нет
Встроенная поддержка аварийного мульти-цод восстановления (many to many DR)	нет	да	<нет
Поддержка кросс-гипервизорного DR	нет	да	нет
Автоматическая конвертация гипервизора и всех VM на кластере (например, ESXi->AHV/KVM)	нет	да	нет
Встроенный SDN стек с интеграцией в аппаратное сетевое обеспечение	нет	да	нет
Поддержка Affinity / Anti-Affinity, для оптимизации лицензирования ПО. При отсутствии поддержки необоснованные лицензионные затраты могут составлять миллионы долларов	нет	да	нет
Поддержка RESTful API (стандарт индустрии)	нет	да	нет
Бесплатный апгрейд ПО на новые версии (минорные и глобальные обновления версий) при наличии действующей базовой техподдержки	Скала-Р — платно Росплатформа — бесплатно Virtuozzo — платно	да	нет
Ценообразование (для РФ) на готовые коммерческие решения (ПАК — программно аппаратный комплекс)	Стартовая цена от 136000$ Кластер минимум из 4-х узлов	Стартовая цена от 35000$ Кластер минимум из 3-х узлов	Стартовая цена от 45000$ Необходимый минимум: 3 сервера ceph, 3 сервера виртуализации, ~5$k в год за каждый сервер виртуализации (поддержка OpenStack). Поддержка ceph не учтена.

https://habrahabr.ru/post/331306/