Нейросеть генерирует весь видеоряд для уроков на YouTube

Нашли интересный репозиторий на GitHub: разработчики выложили модель, которая самостоятельно генерирует видеоуроки по готовому сценарию. Нейросеть генерирует весь видеоряд, включая лектора, помещение и слайд-видео с информацией.

При этом пользователь может самостоятельно настроить персонажа, который будет использоваться в роли лектора.

Установка зависимостей

Откройте терминал и перейдите в бэкэнд-каталог.

Для Windows:

			python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
		

Для Linux и Mac:

			python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
		

Также установите sadtalker, каталог которого должен находиться в бэкенд-каталоге. Запустите sadtalker один раз, чтобы создать среду venv.

Добавьте свой ключ API Cohere в файл backend/apikeys.json.

Как запустить нейросеть

Откройте терминал и перейдите в раздел frontend/topic2explanation.

			npm run dev
		

Откройте другой терминал и перейдите в каталог бэкенда.

			uvicorn main:app
		

Как сгенерировать урок

Также можно настроить тему ролика, уровень объяснения — от поверхностного до  глубокого —, возраст целевой аудитории, уровень креативности лектора и чувство его юмора.

Сценарий ролика будет исправлен с учётом этих параметров.

После того, как сценарий полностью готов, он разбивается на мелкие кусочки и озвучивается Text-to-Speech (TTS) моделью.

В это же время модели Cohere и Langchain формируют запрос по ключевым словам из сценария, чтобы найти в Google слайды с информацией для видео.

Затем формируется анимация персонажа и слайд-видео из найденных в Google картинок. Готовое видео объединяет видео с персонажем и слайд-видео.

Вот видео с процессом генерации видеоурока:

Если вам понравился этот инструмент, вы можете поддержать разработчиков и подписаться на их соцсети:

•  Github: https://github.com/AkshitIreddy
•  LinkedIn: https://www.linkedin.com/in/akshit-ireddy
•  Medium: https://medium.com/@akshit.r.ireddy
•  Twitter: https://twitter.com/akshit_ireddy

И пишите в комментариях, какие нейросети ускользнули от нашего глаза, но про которые срочно стоит рассказать. ; )