«Кому-то больше понравится сцена со взрывом, кому-то — с поцелуем»: что такое хайлайты в онлайн-кинотеатрах и какие алгоритмы их создают

Евгений Россинский

Директор по технологии IVI

Что такое хайлайты?

Хайлайты — это самые интересные, продающие моменты из видеопотока, которые могут заставить зрителя посмотреть видео целиком. Они как витрина магазина: туда попадает всё самое яркое и красочное. Увидев их, пользователь может заранее понять, что находится внутри видео. И решить, хочет ли он это видео посмотреть. Например, в футбольном матче хайлайт — это момент перед голом. Или сам гол, но его обычно стараются не показывать, чтобы сохранять интригу.

Хайлайты из фильма выбирает специальный алгоритм или человек. Из большого видеофайла он вырезает набор маленьких видеофайлов, которые лучше всего презентуют содержание.

Зачем хайлайты видеосервисам и онлайн-кинотеатрам?

Часто покупать и показывать трейлеры слишком дорого, трудозатратно и долго. Также нередко правообладатель предоставляет онлайн-кинотеатру трейлер, но он не подходит под формат видеоплатформы. Например, требуется видео длительностью 15 секунд, а в оригинальном трейлере — 90. Тогда приходится за свой счёт менять формат и содержание видео.

Хайлайты спасают ситуацию и рассказывают зрителю о контенте до того, как он захотел посмотреть трейлер. И они более универсальны, чем трейлеры: их можно делать короче или длиннее, встраивать в разные места пользовательского интерфейса. Пользователь видит нарезку хайлайтов, как только попадает на страницу фильма или сериала, его внимание сразу привлекают самые запоминающиеся кадры.

Как создают хайлайты?

Происходящее в кадре — будь то взрыв, выстрел или поцелуй — по-разному влияет на конверсию. Это влияние можно измерить — существует статистика, которая позволяет заранее предположить, какие фрагменты фильма лучше всего подойдут на роль хайлайтов.

А дальше включаются специальные алгоритмы нарезки — часть большой системы подготовки контента к стримингу. В ней есть возможность создать хайлайт из любого видеофайла и в любой момент после того, как он попадет в систему. Оператор создает задание на генерацию хайлайта, и система обрабатывает его согласно установленным приоритетам.

У IVI алгоритмы собственные — писали их на Python методом проб и ошибок, потому что во всей литературе, хотя бы отдалённо описывающей подобную задачу, не нашлось ничего, что подходило бы практике онлайн-кинотеатра (но про алгоритмы мы поговорим в следующий раз).

Первый — алгоритм детекции сцен. Он должен определить начало и конец нужного куска фильма. В ходе обучения алгоритму сначала показали различные ракурсы съемки, научили его находить их, а потом из отобранных ракурсов научили выделять конкретные сцены. Также для определения подходящих отрезков фильма используется информация из видео и аудио потока. Это нужно, чтобы при создании хайлайтов не прерывались диалоги.

Второй — алгоритм выбора сцен для создания хайлайта. Мы обучили свою сетку на основании всего нашего каталога. Всего в нём более 80 тысяч фильмов, а для обучения подошли 30 тысяч. Мы взяли все фильмы, у которых были трейлеры, искали совпадения фрагментов из трейлеров и фрагментов из фильмов. Теперь, имея обученную сеть, мы можем ранжировать любую сцену нового видеофайла, рассчитывая вероятность того, насколько эта сцена подойдёт для создания хайлайта.

Когда набор сцен готов, алгоритм выбирает финальных кандидатов, из которых и получится хайлайт. На этом же этапе можно заняться обработкой изображения, цветокоррекцией и фильтрами. Результаты отсматривает человек на пост-модерации. Он всегда может забраковать готовый хайлайт, если увидит, что он получился плохо. Если хайлайт проходит проверку, он помещается на специальные сервера, откуда с помощью CDN доставляется пользователям.

Другие механизмы работы и перспективы

При этом алгоритмы нейросетей — это лишь один из способов отбора. Хотя сейчас заметен тренд на повсеместное применение технологий искусственного интеллекта и машинного обучения, гнаться за модой не всегда оправданно. Часто куда более простой и экономичный (в плане вычислительных ресурсов) алгоритм может справиться с задачей так же эффективно.

К тому же алгоритмы могут ошибаться, так что их необходимо проверять. Например, в подборку иногда попадает спойлер: часто алгоритм выбирает действительно интересный момент, который при этом раскрывает всю суть фильма. Поэтому до сих пор у нас есть модерация тех хайлайтов, которые нарезал алгоритм, поскольку есть вероятность рассеять интригу и испортить зрителю впечатление.

А иногда можно и вовсе обойтись без нейросетевых алгоритмов. Выбрать 10 фрагментов, показать их разным группам людей и определить, какие отрезки дают наибольшую конверсию. Или попробовать на группах разные комбинации хайлайтов и таким образом понять, какие из них эффективнее. Конечно, при таком подходе некоторым пользователям может попасться некачественный хайлайт, но применять его или нет, каждый сервис определяет сам.

Следующий шаг — это подбор определенных хайлайтов под конкретного человека или сегмент аудитории. Кому-то больше понравится сцена со взрывом, кому-то — с поцелуем. Персонализация всего и вся — очень важная тенденция последнего времени, и персонализация хайлайтов — её закономерное проявление.