Нейросеть научилась распознавать зеркало на снимке

Автор: Андрей Карпов

Нейросеть научили видеть зеркала в кадре. Алгоритм справляется с обнаружением отражения на фото лучше, чем аналоги, — так говорят авторы.

Зеркальная поверхность — серьёзная проблема для компьютерного зрения. Нейросети воспринимают их как часть кадра и думают, что объекты в отражении присутствуют на снимке, просто находятся очень далеко. Китайские разработчики научили нейросеть различать отражение по текстуре, цвету и семантическим признакам.

Сначала фотографию отправляют свёрточной нейросети для выделения признаков — программа оставляет только ключевые данные, например, линии. Так изображение проще анализировать, а информация об объектах сохраняется. Обработанное фото принимает вторая нейросеть, которая анализирует контрастность разных параметров на снимке. Алгоритм определяет, где эти параметры сильно различаются, и понимает: тут зеркало.

Для обучения разработчики собрали датасет из 4018 пар снимков помещений с зеркалами: исходный кадр и кадр с выделенным зеркалом. На таких же данных алгоритм сравнили с аналогами и выяснили, что новая нейросеть точнее выделяет зеркальную гладь.

Source: N+1