40 нейросетей, 2500 человек и видеостена: как мы визуализировали фестиваль в реальном времени

⭐ Участник Продуктовой Премии Tproger 2025

Дашборды — это обычно скучные таблицы с цифрами. На фестивале «Ночь инноваций» мы решили показать, что визуализация данных может быть интерактивным шоу: 40 моделей YOLO v8 отслеживали посетителей в реальном времени, а видеостена из 9 экранов превращала их в живой дата-арт.

За 1,5 месяца команда из 18 человек создала инсталляцию, которая собрала 48 миллионов охвата в СМИ.

Задача: сделать дашборд, который не скучно смотреть

AkademiaDev — направление студии интерактивного дизайна Akademia по визуализации данных. Основная цель проекта была двойной: заявить о студии на рынке и изменить представление о дашбордах как об обычных таблицах с цифрами. Инсталляция должна была показать, насколько интересной и эстетически выразительной может быть визуализация данных.​

• Бизнес-задача — создать имидж студии как лидера в сфере визуализации данных для бизнеса и государственных структур. 
• Техническая задача: собрать и визуализировать данные о посетителях фестиваля в режиме реального времени на видеостене, используя нейросети для детекции людей, базу данных для хранения и фильтрации, и генеративную графику для визуализации.

Архитектура: от камер до визуализации за секунды

Система состояла из пяти основных компонентов, работающих в реальном времени:

			Камеры наблюдения (40 точек по залу)
         ↓
   YOLO v8 (детект людей, определение позиций)
         ↓
   TouchDesigner (обработка + парсинг JSON)
         ↓
   PostgreSQL (фильтрация дубликатов по схожести)
         ↓
   Ventuz (визуализация на видеостене 3×3)

		

Технологический стек

Захват данных:

• Камеры видеонаблюдения по всему залу фестиваля для сбора видеопотока в реальном времени.​
• Azure Kinect — камера с эффектом глубины для отслеживания людей у экрана.

Azure Kinect — камера Microsoft с датчиком глубины и технологией отслеживания скелета человека

Анализ и обработка:

• 40 нейросетевых моделей YOLO v8 для анализа и фильтрации данных.​
• TouchDesigner — обработка, агрегация и передача данных в БД.

Хранение:

• PostgreSQL — хранение, обновление и парсинг данных для последующей визуализации.

Визуализация:

• Ventuz — визуализация результатов анализа в виде интерактивного широкоформатного дашборда.​
• Видеостена из 9 ЖК-панелей 55", на которой отображались виджеты дашборда.

Три главных фичи инсталляции

1. Подсчёт уникальных посетителей через YOLO v8

Проблема: Как посчитать 2500 человек, если каждый попадает в кадр десятки раз, перемещаясь по залу?​

Решение: Мы подключили 40 моделей нейрозрения YOLO v8. С помощью этих моделей на основе открытых данных заполнялась единая база в PostgreSQL, а затем фильтрацией по схожести формировались уникальные данные — то есть удалялась информация, собранная несколько раз об одном человеке.

Как это работает:

• Данные с камер попадали в TouchDesigner и обрабатывались по заранее прописанным запросам​
• Обработанные данные загружались в PostgreSQL​
• Алгоритмы фильтрации формировали уникальные данные за счёт удаления схожих записей​
• На выходе — точное количество уникальных посетителей для визуализации

С помощью камер и нейросетей были определены 2500 уникальных посетителей — практически все, кто был на мероприятии.

2. Генеративный цифровой двойник

Что это: Интерактивный виджет, который создавал цифровую копию посетителя и визуально «разбирал» его на данные.​

Как работает: Когда человек подходил к экрану, камера выводила его изображение, делая цифровую накладку и визуально «разбирая» его на данные. В зависимости от количества посетителей, попавших в зону фокусировки камеры Azure Kinect, добавлялось или уменьшалось количество уникальных звуковых дорожек.

Эффект создавал ощущение, что посетитель сам становится частью дашборда — его движения и присутствие влияли на то, что происходило на экране.

3. Тепловая карта плотности посетителей

Технология: Использовали новую для студии технологию и собрали сетап, позволяющий анализировать количество людей в определенных точках.​

Как работает: Используя общедоступные модели на YOLO v8, такие как определение позиции головы, на основе этих координат мы определяли плотность людей в помещении. Эти показатели отображались на виджете красным цветом, показывая наиболее загруженные зоны — чем больше людей в конкретной точке, тем ярче цвет.

Тепловая карта показывала организаторам, где скапливаются люди, и помогала оптимизировать расстановку стендов и управлять потоками посетителей.

Что пошло не так (и как мы это исправили)

🔴 Модульный экран: стыки между мониторами

Проблема: Экран состоял из 9 равных по размеру мониторов, и нужно было на старте продумать, чтобы в какой бы части дашборда ни появлялся виджет, он адаптировался под конкретные размеры и не попадал на стык между мониторами.​

✅ Решение: Продумали расположение виджетов заранее, чтобы ключевые элементы визуализации не попадали на границы мониторов и адаптировались под конкретные размеры зон.​

🔴 Смена локации: с 4×4 на 3×3 перед стартом

Проблема: Перед мероприятием пришлось сменить локацию: изначально визуализация разрабатывалась под макет 4×4, а в момент начала сборки визуала его пришлось пересобирать под 3×3.​

✅ Решение: Благодаря тому, что изначальная визуализация состояла из адаптивных модульных блоков, дизайн получилось пересобрать под новый экран. Модульная архитектура позволила адаптировать виджеты без переписывания всего кода.

🔴 Формат данных от нейросетей

Проблема: На фестивале в реальном времени данные с камер попадали в TouchDesigner, обрабатывались по заранее прописанным запросам и загружались в базу данных. Самая большая техническая сложность была в том, чтобы данные от нейросетей попадали в базу в нужном формате: изначально они приходили в формате JSON, который приходилось парсить.​

✅ Решение: Настроили парсинг JSON в TouchDesigner для преобразования данных в структуру, подходящую для PostgreSQL.

🔴 Фильтрация данных в реальном времени

Проблема: Собрать данные несложно, а вот выделить информацию по каждому пользователю, рассортировать и выводить в реальном времени — гораздо сложнее.​

✅ Решение: Мы подключили алгоритмы фильтрации и формирования уникальных данных за счёт удаления схожих. Это позволило обрабатывать данные о тысячах посетителей без потери производительности визуализации.

Результаты: цифры и влияние на рынок

• Уникальных посетителей (детект): 2500 человек
• Взаимодействий с инсталляцией: 600+ человек
• Публикаций в СМИ: 1450
• Общий охват: 48 миллионов человек
• Онлайн-зрителей трансляции: 20 000
• Освещение в крупных СМИ: ТАСС, Известия, КП, РИА Новости, Сноб, Москва 24
• Отраслевые медиа: Хайтек, IT-world

Фестиваль посетило более 2,5 тысяч человек, ещё 20 000 пользователей подключились к онлайн-трансляции. В день фестиваля с инсталляцией взаимодействовали более 600 уникальных посетителей.

Главный плюс этого проекта – в том, что нас заметили. Посетители фестиваля узнали о возможностях AkademiaDev в визуализации данных и активно переходили на сайт студии. У нас появился классный кейс, который мы можем использовать в презентациях клиентам. Большинство проектов AkademiaDev под NDA, их нельзя показывать – а этот проект на 100% наш, и отлично показывает сильные стороны студии.

Катерина УндаловаPR-директор студии AkademiaDev

От лица команды Агентства инноваций Москвы и фестиваля «Ночь инноваций», хочу выразить огромную благодарность команде Akademia. Потрясающие профессионалы и креативные ребята. С ними было легко работать, они предлагали разные варианты инсталляции и выбрали наилучший для нашего фестиваля. Все прошло гладко и очень стильно, спасибо!

Гульшат Тагировна Муллануроваменеджер стратегических проектов Агентства инноваций Москвы

Планы развития

Для AkademiaDev это был PR-проект для представления студии в профессиональном сообществе. Наработки с инсталляции — детект по камерам, фильтрация уникальных пользователей, генеративная визуализация и тепловые карты — уже используются в коммерческих проектах студии для бизнеса и государственных структур.