Google создала ИИ, раскрашивающий чёрно-белые видео по одной фотографии

Компания Google разработала технологию, позволяющую конвертировать чёрно-белые видеозаписи в цветные с единственной фотографией в качестве примера. Этот инструмент также дает возможность обучить ИИ отслеживать на видео отдельные объекты.

Исследователи работали с коллекцией роликов Kinetics. Первые кадры конвертировали в чёрно-белый цвет, после чего нейросеть должна была восстановить первоначальный. Для выполнения задачи ИИ разбивает кадры на области, которые нужно будет окрасить в разные цвета, и отслеживает их перемещение.

Разметка данных

Обучение нейросетей отслеживанию объектов на видео — задача, требующая огромного количества входных данных. В каждом обучающем ролике требуется разметить объекты, и это трудоёмкая задача, если выполнять её вручную. Поручив разметку ИИ, можно значительно ускорить формирование входных пакетов данных.

В своей работе учёные описали ИИ, способный отслеживать многочисленные объекты на видео даже через помехи. Однако его главное преимущество состоит в том, что система не требует размеченных вручную данных. Исследователи также отметили, что две нейросети, работающие в паре, улучшают результаты работы друг друга.

В некоторых сферах одной из проблем машинного обучения является отсутствие большого количества данных для тренировки моделей. В марте 2018 года DeepMind представила алгоритм, который учится сам, на собственных ошибках, и это легло в основу новой парадигмы обучения — Scheduled Auxiliary Control или SAC-X (запланированное вспомогательное управление).