Google использовала ваши наброски для того, чтобы научить ИИ рисовать

В прошлом году Google выпустила веб-приложение с ИИ, который угадывал, что вы рисуете. Теперь же те рисунки, которые вы нарисовали, используются в Google для обучения рисованию искусственного интеллекта. Получившаяся программа называется Sketch-RNN и, откровенно говоря, она рисует как ребенок. Но, как и все новые родители, исследователи ИИ в Google гордятся своим успехом.

Как это работает?

Для создания Sketch-RNN исследователи Google Brain Дэвид Ха и Дуглас Эк собрали более 5 миллионов сделанных пользователями рисунков из приложения Quick, Draw! Каждый раз, когда пользователь рисовал что-то в приложении, записывался не только конечный результат, но и порядок и направление кисти, используемые для его создания. Полученные данные дают более полную картину того, как рисуют люди.

В общей сложности Ха и Эк собрали 70 000 обучающих рисунков для 75 различных категорий, таких как «кот», «пожарная машина», «сад», «сова», «свинья», «лицо» и «русалка». Какова же цель? Создать машину, которая может «рисовать и обобщать абстрактные понятия в манере, подобной людям». И она может! Изучив эти данные, машина научилась сначала рисовать на основе человеческих данных, как показано ниже:

Наиболее четко в предпоследнем ряду показано, что ИИ не просто копирует человеческий рисунок. Слева нарисована кошка с тремя глазами, но ИИ копирует концепцию, а не сам эскиз. Он знает, что три глаза — это слишком много.

Затем Sketch-RNN научилась рисовать объекты, не копируя начальный эскиз:

Sketch-RNN также может завершить рисунки, начатые кем-то другим:

ИИ может комбинировать разные рисунки вместе. Итак, на изображении ниже вы можете увидеть результат эксперимента, в ходе которого нейронной сети было предложено нарисовать некоторую комбинацию категорий «кошка» и «стул». Результатом стали странные химеры:

Он также может создавать так называемые «скрытые интерполяции пространства», т.е. смотреть на любое количество предметов и комбинировать их в разных соотношениях для создания новых эскизов с несколькими характеристиками. Например, в группе изображений слева ИИ объединил четыре разных рисунка: свинью, кролика, краба и лицо.

Эти рисунки, конечно, довольно простые, но методы, используемые для их создания, интересны — и, следовательно, потенциально полезны. В будущем программы на основе ИИ, такие как Sketch-RNN, могут использоваться в качестве инструментов для дизайнеров, архитекторов и художников.

Подробнее о принципах работы инструмента можно почитать в блоге Google.