Ученые создали нейросеть, способную переводить текст в видео
Новости
Американские ученые разработали нейронную сеть, позволяющую переводить короткий текст в видео, например, «игра в гольф на траве» или «кайтсерфинг на море». Длина видео — 32 кадра (около 1 секунды), разрешение — 64х64 пикселя.
5К открытий5К показов
Американские ученые разработали нейронную сеть, позволяющую генерировать видеоряд по короткому отрывку текста, например, «игра в гольф на траве» или «кайтсерфинг на море». Длина видео — 32 кадра (около 1 секунды), разрешение — 64×64 пикселя.
Текст в видео
Генерация происходит в два этапа. На первой стадии нейросеть улавливает суть текста и переводит его в мутное изображение с пятном в том месте, где должно происходить основное действие. Следующий шаг — генерация самого действия.
Авторы научили вторую нейросеть критиковать работу первой и с повышением качества видео поднимать требования. Если задача состоит в том, чтобы проиллюстрировать существующий «парусный спорт на море», второй алгоритм будет ожидать видеоролика, сопоставимого с реальным. Но рамками физического мира нейросеть не ограничена и способна генерировать видео абсурдных действий, к примеру, «парусный спорт на снегу» и «игра в гольф в бассейне».
Исследователи тренировали нейросети на десяти видах сцен. Простой алгоритм классификации правильно определял действие из предложенных вариантов в половине случаев.
Подробнее о работе алгоритма можно узнать из исходной статьи «Video Generation from Text».
5К открытий5К показов
Если бы у вас была машина времени и можно было вернуться в прошлое, чтобы дать совет двадцатилетнему себе, о чем бы сказали? Что бы посоветовали не упустить на старте карьеры? Мы решили не дожидаться изобретения путешествий во времени и в рамках Восточного экономического форума провели сессию «Знать бы в 20».
Что такое сети Колмогорова-Арнольда. Показываем, как KAN улучшают обучение Graph. Рассматриваем возможные варианты реализации ✔ Tproger
Опытный разработчик с более чем 10-летним стажем проанализировал плюсы и минусы ИИ-помощников, таких как GitHub Copilot и Codeium.
Прокомментировала появление новой нейросети от OpenAI и оценила потенциальное увеличение фейковых новостей в связи с этим событием.