Нейросеть научилась превращать изображения в звук
Система сначала преобразует рисунок в музыку, потом эту мелодию преобразует обратно в изображение. Полученную картинку она сравнивает с исходником.
Автор: Андрей Карпов
Нейросеть обучили превращать картины в музыку. Система соотносит визуальные ощущения со звуками и выдаёт результат — мелодию.
Нейросеть состоит из двух частей. Одна кодирует изображение специальным кодировщиком для изображений, вторая декодирует его в музыку декодировщиком для аудиофайлов. Алгоритм использует метод обучения без учителя: ему не нужны пары картин и мелодий, чтобы понять, как их соотносить. Вместо этого разработчики применили двунаправленный автокодировщик. Система сначала преобразует рисунок в музыку, потом эту мелодию преобразует обратно в изображение. Полученную картинку она сравнивает с исходником и таким образом повышает точность работы.
Всё это, конечно, здорово, но возникает закономерный вопрос: зачем?
Художники, фотографы и дизайнеры создают крутые изображения, чтобы передавать информацию другим людям. Но воспринимать такой формат могут не все. Тут приходит на помощь алгоритм — он передаёт тот же посыл звуками.
Послушать, как звучит письменная «4», играющий в траве котёнок или картины Ван Гога, можно на сайте проекта.
4К открытий4К показов
AudioCraft позволяет преобразовывать текст в код, обучать ИИ-модели для генерации музыки и получать вывод в виде звуковых дорожек.
Собрали новости Python с 15 по 31 мая. Узнайте, как сгенерировать голос человека на Python и во сколько раз Mojo быстрее Python на самом деле.
OpenAI выпустила Pandas AI — это помощник для библиотеки Pandas на Python на основе языковой модели LLM. Рассказываем, как его использовать.
Илон Маск написал в своём Твиттере, что основал компанию xAI, которая будет работать над искусственным интеллектом, чтобы понять реальность.