Стартап реанимирует старые видео

Технический прогресс приводит к повышению качества видеоизображения, и сделанные ранее записи перестают отвечать современным требованиям. Поэтому владельцы видеоконтента сталкиваются с необходимостью перевести старые записи в HD-формат. Основатель студии VIEN Иван Лисенков рассказал, как у него появилась идея заняться этим направлением, в чем сложность конвертации видео из SD в HD и у кого востребована такая услуга.

Спрос рождает предложение

Иван Лисенков начал заниматься анализом данных и машинным обучением задолго до того, как это стало популярным. Сейчас он совмещает преподавание в институтах (Высшая школа экономики и НИЯУ МИФИ) и собственный бизнес — финансовый консалтинг для банков.

«Вся моя деятельность находится на стыке информационных технологий, финансового анализа и анализа данных», — объясняет он.

В 2018 году от одного из клиентов — крупной медиакомпании — поступил запрос на улучшение качества видеоархива. Нужно было перевести записи из SD-формата в HD. Иван подробно обсудил с заказчиком требования к задаче и начал изучать проблему.

Основная сложность перевода одного формата видео в другой состоит в том, что они заметно отличаются количеством пикселей. SD (стандартное разрешение) имеет размеры 720 на 480 пикселей, HD(4K) — 1920 на 1080 пикселей. Если просто растянуть изображение классическими методами обработки изображений, то оно будет очень «зернистым» и будут видны пиксели на картинке. Другой способ — ручное добавление (прорисовка) новых деталей в увеличенное изображение. В этом случае конечная картинка будет качественной, но это достаточно сложная и кропотливая работа. Обычно студии привлекают к этой работе высококвалифицированных специалистов, как следствие, такой проект может стоить достаточно дорого. Поэтому для улучшения компании рассматривают прежде всего самый популярный контент, который сможет окупить расходы на ремастеринг.

Иван занимался этим направлением достаточно давно, опыт и идеи у него уже были. Для работы над задачей он привлек своих бывших студентов и некоторых специалистов из области анализа данных и компьютерного зрения. Для решения поставленной задачи они попробовали применить современные подходы глубинного обучения нейронных сетей. В рамках экспериментов использовались генеративно-состязательные (GAN) и конволюционные нейронные сети (CNN). Программа должна была выполнять конвертацию видео в автоматическом режиме, что существенно сокращало время обработки и требовало меньше трудозатрат со стороны квалифицированных специалистов. Необходимое оборудование — компьютеры и графические процессоры (GPU-карты) для ускорения проводимых вычислений — предоставил заказчик в рамках пилотного проекта.

Полученным результатом заказчик остался доволен. Тогда разработчики задумались над возможностью усовершенствовать пилотный проект и масштабировать полученные результаты. Начали изучать рынок, чтобы понять, есть ли спрос, и убедились — в подобной услуге заинтересованы многие студии и телеканалы.

«Можно сказать, что сначала проблема возникла у клиента. Мы помогли ее решить и поняли, что на подобный сервис есть спрос», — говорит Иван.

Из стандарта в высокое качество

В работу над проектом разработчики вложили собственные средства. Впоследствии команде удалось войти в программу компании NVIDIA, которая является флагманом в области программных и аппаратных решений для обработки видео и анализа данных.

«У них есть очень ценная программа для поддержки стартапов. Мы рассказали о своем продукте, им понравилась идея, и они включили нас в свою программу», — объясняет Иван.

NVIDIA предоставила экспертизу и сервисы, с помощью которых разработчики могут продолжить проводить эксперименты для дальнейшего развития платформы. Сейчас в команде VIEN четыре человека. Пока разработчики предлагают свои услуги в сфере B2B, основные заказчики — телеканалы, медиа, крупные владельцы видеоконтента, которые хотели бы адаптировать свои видеоархивы к цифровому вещанию в формате HD для показа зрителям.

У большинства заказчиков в HD-качество переведен лишь высокорейтинговый контент, например популярные фильмы. Большая часть контента, снятого до 2012–2013 года, хранится и транслируется в формате SD либо не показывается вовсе. При этом следует отметить, что зрители в эпоху быстрого интернета и 5G очень требовательно относятся к качеству предоставляемого контента.

«Сейчас на рынке существует несколько компаний, которые осуществляют ручной ремастеринг, — говорит Иван. — Это достаточно дорогая услуга: улучшение полуторачасового видео может стоить несколько миллионов рублей».

Поэтому если речь идет про старые сериалы или телепередачи, обработка такого контента вручную нецелесообразна — выручка от трансляции не покроет затрат заказчика на ручной ремастеринг.

Сервис VIEN переводит контент автоматически и будет выгоден владельцам контента большой продолжительности (например, архив регулярных передач или сериалов). Затраты на обработку видео в несколько раз ниже, чем в случае ручного ремастеринга, поэтому повторная трансляция вполне может окупить расходы. При этом студия не претендует на авторские права и права на распространение — они полностью остаются у заказчика.

Лучше вы к нам

Сначала с клиентом обсуждают заказ и примерный объем работы, после чего он подготавливает видеоархив.

«Дальнейшая схема работы зависит от пожеланий заказчика. Если он готов передать нам материалы, мы сделаем все на своем оборудовании в короткие сроки. Если клиент не хочет передавать контент сторонней организации и предпочитает произвести улучшение “на месте”, мы можем установить и настроить наше программное обеспечение в инфраструктуре заказчика. Но в этом случае заказчик должен предоставить оборудование и активно участвовать в проекте построения необходимой инфраструктуры», — объясняет Иван.

Моделям машинного обучения, на основе которых проводится улучшение, требуется большое количество примеров, как должно выглядеть улучшенное видео. Система обучается, что лист дерева в HD-разрешении может иметь прожилки, а у птицы на видео более четко прорисовываются перья. Студия собрала обобщенную обучающую выборку из открытых источников для обучения моделей, в качестве некоторых примеров использовались трейлеры HD-фильмов. Для повышения качества улучшения видео заказчик может предоставить дополнительные примеры для дополнительного обучения моделей. Часто бывает так, что у владельца контента есть последние эпизоды сериала в HD, а ранее созданные — в SD. В этом случае обучение на HD новых эпизодов может повысить качество улучшения старых эпизодов для конкретного сериала.

Изучение рынка показало, что ниша достаточно узкая. В ближайшее время Иван планирует наладить сотрудничество со всеми потенциальными клиентами и улучшить их контент. Также в планах — расширение за рубеж. Сейчас Иван сотрудничает с акселератором Winno и изучает запросы зарубежных компаний. Пока в планах — выйти на французский рынок и, возможно, в Восточную Европу.

Сравнивая российский и зарубежный рынок, Лисенков отмечает, что за границей больше разнообразия и выше конкуренция. По предварительному анализу, сейчас на Западе есть пять крупных игроков, которые предлагают похожий сервис.

Изменить и добавить

Кроме расширения географии, Иван планирует расширять функционал. Еще одним актуальным запросом владельцев контента является перевод картинки в другой формат кадровой развертки.

«Современные цифровые устройства, как правило, имеют развертку экрана 16:9, старая телевизионная развертка идет в формате 4:3. У многих медиакомпаний сейчас есть проблема с переводом одного кадра в другой. Когда вы переводите с 4:3 в 16:9, вы или обрезаете кадр, или оставляете черные полосы по вертикали (т.н. экранное каше). Эти полосы можно отрезать, но при этом обрезание должно быть интеллектуальным, чтобы не задеть ключевые объекты, например голову персонажу», — говорит Лисенков.

Для этого требуется разработать специальные интеллектуальные алгоритмы, которые могли бы идентифицировать объект и корректно трансформировать изображение без потери качества и смысловых элементов.

Еще одна потенциально востребованная услуга — быстрое внедрение в существующее видео элементов продакт-плейсмента. Например, по заказу крупной компании правообладатель видео добавляет на картинку со стаканчиками кофе название бренда рекламодателя. Пока разработчики думают, как это можно реализовать технически. В среднесрочных планах у Ивана — включить в число клиентов сегмент B2C.

«У каждого из нас есть семейный видеоархив, который может быть снят достаточно давно на устройства с низким видеоразрешением. Будет интересно улучшить качество картинки, сделать ее более яркой и четкой для просмотра на современных устройствах», — говорит Иван.

Поэтому в компании предполагают, что у конечных пользователей их сервис также окажется востребован.