Учёные из MIT показали систему pic2recipe, способную выдать рецепт блюда по его фотографии

Приложение для распознавания хот-догов, показанное в популярном сериале «Кремниевая долина», безусловно, является достижением в области машинного обучения. Однако учёные из лаборатории CSAIL Массачусетского технологического института решили пойти ещё дальше.

Система под названием pic2recipe использует нейронные сети для распознавания рецепта конкретного блюда. Она была создана с использованием созданного в 2014 году набора данных Food-101, состоящего из 101 тысячи изображений еды, и базы Recipe1M из миллиона рецептов, взятых с популярных кулинарных сайтов.

По данным исследователей, лучше всего pic2recipe справляется с печеньками и кексами, в отличие от суши и смузи. Также проблемы возникают, если в базе хранится несколько рецептов данного блюда.

Команда признаёт, что им предстоит ещё много работы (им удалось добиться 65-процентной точности), и пока не планирует выпускать приложение на рынок. Стоит отметить, что подобные технологии могут пригодиться, например, для проверки пищевой ценности блюд и упрощения соблюдения диеты.