ИИ от NVIDIA помогает подглядывать в шпаргалки на онлайн-собеседованиях

NVIDIA выпустила искусственный интеллект, который перерисовывает ваши глаза на видео так, чтобы они всегда смотрели в камеру. В действительности ваши глаза могут бегать по экрану, читать нужный ответ со шпаргалки во время экзамена или собеседования в IT-компанию мечты.

Или, к примеру, вы можете сидеть на созвоне с коллегами, но заниматься своими делами, пока виртуальный вы будете смотреть в камеру с очень заинтересованным взглядом.

ИИ получил название NVIDIA MAXINE. Исходный код уже выложили на GitHib вместе с подробной инструкцией.

Алгоритм работы NVIDIA MAXINE

1. Искусственный интеллект определяет, где находится лицо спикера на статических изображениях или видео, определяет его границы в кадре с помощью ограничительных рамок.%save-sc0%
2. Предсказывает, как повернётся ваше лицо по 68 или 126 ориентирам. 68 точек — это основные точки, а в 126 ориентиров входят точки на щеках, глазах и мышцах улыбки — они помогают определять эмоции говорящего.
3. Определяет положение головы в пространстве по осям X, Y, Z. Это нужно, чтобы выравнивать голову в кадре: тогда не только глаза, но и голова спикера будет смотреть прямо. Согласитесь, было бы странно, если бы ваша голова была повёрнута вбок, но вы смотрели в камеру?%save-sc1%
4. Использует сетку лица, чтобы так же выравнивать его в кадре.
5. Определяет и корректирует положение тела в кадре по 34 ориентирам. Оценка позы производится как в трехмерном, так и в 2D-пространстве.
6. Имитирует зрительный контакт, конечно же.%save-sc2%

Системные требования

• 64-битная Windows 10 и выше;
• Microsoft Visual Studio: 2017 (MSVC15.0) и выше;
• CMake: v3.12 и выше;
• Графические драйверы NVIDIA для Windows от 511.65 версии.

Разворачиваем NVIDIA MAXINE на своём ПК

1. Установите SDK

Скачайте папку с исходным кодом. В корневой папке найдите и запустите установщик графического интерфейса CMake. Укажите исходную папку и папку сборки для двоичных файлов.

• Для исходной папки убедитесь, что путь заканчивается на OSS.
• Для папки сборки убедитесь, что путь заканчивается на OSS/build.

2. Настройте Visual Studio в CMake

Нажмите кнопку «Настроить» в CMake GUI. В окошке подтверждения нажмите «ОК». Выберите Visual Studio в качестве генератора и x64 как разряд ОС. Процесс запущен, осталось только подождать и нажать «Готово».

Убедитесь, что в папке сборки есть файл NvAR_SDK.sln.

3. Создайте трекеры лица

Теперь, чтобы сгенерировать файлы Visual Studio, нажмите «Создать». Нам нужно добавить файлы FaceTrack.exe, BodyTrack.exe, GazeRedirect.exe и ExpressionApp.exe. Они как раз находятся в файле NvAR_SDK.sln.

Запустите CMake и нажмите «Открыть проект» для запуска Visual Studio. В Visual Studio выберите «Сборка» — «Собрать решение».

Как это выглядит

Телеграм-канал Not Boring Tech опубликовал видео, на котором показано, как работает искусственный интеллект. Во второй половине видео есть ещё и наглядный туториал, который поможет развернуть NVIDIA MAXINE, если текстовый гайд кажется непонятным.

Ура, теперь можно отвечать по шпаргалкам на собеседованиях! Только работать вам придётся по-настоящему. ?