Python для этого подходит идеально: на нем пишут и быстрые прототипы с MVP, и промышленные серверные и высоконагруженные системы. Значит, распознавание можно встроить прямо в то приложение, где данные уже обрабатываются, без отдельного сервиса между ними.

Smart ID Engine распознает удостоверяющие личность документы и отдает структурированные данные и изображения отдельных полей: фото владельца, подпись, штамп. Полный код доступен на GitHub.

Пошаговое встраивание в Python-приложение

1. Подключение библиотеки

Для подключения библиотеки в проект необходимо скопировать в ваш проект файлы обертки (папка bindings), саму библиотеку (папка bin) и конфиг распознавания (папка data-zip с файлом bundle_…se). Обертку и библиотеку нужно подключить в проект:

и импортировать библиотеку:

2. Создание движка распознавания

Движок распознавания создается из конфига распознавания (data-zip/bundle_…se). В параметрах необходимо указать путь к нему и параметр ленивой инициализации (True/False). При значении False все внутренние объекты будут инициализированы сразу не дожидаясь, когда они понадобятся для какой-то конкретной сессии.

3. Настройка распознавания

Настройка распознавания (settings) включает в себя выбор режима распознавания (mode), маски документа (document type masks), а также при желании указание дополнительных опций. Для распознавания документа по одному изображению используется режим singleshot (если документ распознается по нескольким картинкам — default). Для внутреннего паспорта РФ требуется специфицировать маску документа, указав rus.passport.national в доступных к распознаванию документах.

4. Распознавание документа

Сессия распознавания паспорта РФ подразумевает распознавание одного документа (по одному или нескольким кадрам). Для распознавания другого документа создайте новую сессию, настройки можно оставить те же. Создание сессии осуществляется путем указания ранее созданных настроек (settings) и персонализированной подписи (personalized_signature).

Загрузка изображения паспорта РФ по пути (path_to_image):

Распознавание паспорта:

Получение результата:

5. Извлечение информации из результата распознавания

Тип документа

Вывод:

Описание документа

Вывод:

Текстовые поля

Включают все текстовые строки, которые были извлечены с документа

Вывод:

Полный вывод содержит более 30 полей, включая информацию об органе выдачи и MRZ-строку.

Поля изображений

Включают в себя вырезанные из исходного документа зоны интереса при их наличии. Для паспорта РФ — это подпись владельца, подпись органа выдачи, фото владельца, штамп.

Вывод:

Заключение

Как можно убедиться, распознавание паспорта можно легко встроить на Python. На выходе система Smart Engines возвращает структурированный результат, включая текстовые данные, подписи, печати и другие реквизиты и атрибуты документа.

При этом распознавание паспорта на Python – не единственный вариант интеграции Smart ID Engine. Та же библиотека может работать и как часть мобильного или десктоп-приложения, а также прямо в браузерах или мессенджерах. Выбор конкретного варианта зависит от того, какие документы нужно распознавать и откуда поступает изображение – подробнее об этом можно прочитать на сайте Smart Engines.

Реклама. Рекламодатель: ООО «Смарт Энджинс Сервис» ИНН 7728328449, erid: 2W5zFJof1MB

Ниже рассмотрим два кейса: распознавание паспорта в видеопотоке и распознавание свидетельства о рождении по фотографии.

Оценка качества изображения

Ограничения на дистрибуцию нативных приложений в сторах подталкивают бизнес переносить основные клиентские процессы, включая идентификацию по документам, в браузер. В этом сценарии пользователь сам подносит документ к камере смартфона, планшета или ноутбука, без установки отдельного приложения.

Самостоятельное распознавание на стороне клиента имеет свои особенности: палец, посторонний предмет, блик или голограмма могут перекрыть значимые реквизиты или признаки подлинности документа, а часть кадра может оказаться не в фокусе или за границей снимка. Неважно, произошло это случайно или намеренно: в обоих случаях системе важно вовремя распознать проблему, определить её тип и в реальном времени проинструктировать пользователя, что именно мешает пройти KYC.

Законодательство РФ (включая 115-ФЗ) устанавливает конкретные требования к идентификации личности. Поэтому в случае с распознаванием недостаточно извлечь отдельные поля документа – нужно убедиться, что в кадре присутствуют все данные и элементы, необходимые для проверки. Контроль качества изображения в процессе распознавания документов решает эту задачу вместе с ещё одной: защищает от мошеннических атак.

При этом документы, используемые для подтверждения личности, отличаются форматом, шаблоном и набором защитных элементов, поэтому оценка качества должна учитывать особенности конкретного типа. К этому добавляется разница во входных данных: происходит ли распознавание в видеопотоке или по одному изображению. Дальше разберём два сценария, где эти различия проявляются особенно наглядно – распознавание паспорта в видеопотоке и распознавание свидетельства о рождении по фотографии.

Распознавание в браузере с помощью WebAssembly

Smart ID Engine может работать в браузере в виде WebAssembly-модуля. Это позволяет выполнять распознавание непосредственно на стороне клиента, не отправляя изображение документа на сервер.

Браузеры предоставляют следующие фичи в зависимости от возможностей устройства:

• Single Instruction Multiple Data (SIMD) – использование векторных инструкций процессора, которые позволяют значительно увеличить скорость вычислений.
• Threads – выполнение вычислений параллельно.

Проверить поддержку SIMD-инструкций и многопоточности в браузере можно с помощью библиотеки wasm-feature-detect.

Smart Engines предоставляет набор библиотек для всех комбинаций этих фич:

• nosimd.nothreads – базовая сборка, поддерживаемая везде.
• simd.nothreads – самая быстрая однопоточная сборка, поддерживается почти на всех современных устройствах (Safari 17.1+, Chrome 91+, Firefox 89+); часто является оптимальным выбором.
• simd.threads – сборка с поддержкой многопоточности; требует дополнительных настроек на сервере, но позволяет добиться максимальной производительности.
• nosimd.threads – редкая комбинация, она здесь на всякий случай.

Настройка веб-сервера

До подключения библиотеки к веб-приложению необходимо подготовить сервер, с которого браузер будет получать WASM-модули.

Первые два пункта являются строго обязательными для нормального функционирования библиотеки в браузере.

• Content-Type. Веб-сервер должен возвращать Content-Type: application/wasm для файлов с расширением *.wasm.
• Сжатие. Веб-сервер должен поддерживать компрессию файлов c расширением .wasm. WASM-файлы хорошо сжимаются и это значительно позволит сократить время доставки файлов до клиента. Убедитесь в наличии заголовка content-encoding у файла *.wasm при отдаче сервером. Рекомендуется отдавать wasm-файлы уже сжатыми, чтобы не нагружать сервер сжатием файлов на лету на каждый запрос.
• Поддержка CSP. Если у вас настроена строгая политика безопасности контента (CSP), она заблокирует JIT-компиляцию WebAssembly для защиты от XSS-атак. Для того, чтобы ее включить, необходимо добавить директиву wasm-unsafe-eval. Она разрешает выполнение только WebAssembly и в отличие от unsafe-eval по-прежнему блокирует вызовы JavaScript eval() и new Function(). Без этой директивы загрузка или инстанцирование (создание экземпляра) WASM-модуля будет невозможно.
• Многопоточность. Для использования многопоточной сборки браузеру дополнительно требуется обеспечить изоляцию контекста (Cross-Origin Isolation), настроив на сервере заголовки Cross-Origin-Opener-Policy и Cross-Origin-Embedder-Policy.

Например, в nginx это можно сделать, дописав в конфигурацию:

Камера

Широкоугольная камера

В большинстве современных мобильных устройств размещается несколько камер. По умолчанию браузер использует основной модуль, однако именно на трехкамерных iPhone эти модули не способны фокусироваться на объектах, располагаемых ближе 20 см. Поэтому для съемки документов на iPhone лучше выбирать широкоугольную камеру, если она доступна на устройстве.

При этом на Android широкоугольные камеры могут давать изображение очень низкого качества, поэтому для Android-устройств наиболее универсальным решением будет использовать главный модуль камеры.

Разрешение

Существует распространенное представление о том, что для качественного распознавания изображение необходимо подавать в максимально возможном разрешении. Этот подход был оправдан для алгоритмов предыдущего поколения. Современные системы распознавания зависят от исходного разрешения гораздо меньше. По возможности лучше всегда избегать работы с большим объемом данных, поскольку это так или иначе добавляет накладные расходы на пересылку UI-> Worker->VM WASM.

Оценим необходимое разрешение для случая оценки качества. Для уверенного распознавания и проверки подлинности документа необходимо обеспечить не менее 120 DPI. Физический размер страницы паспорта составляет 88 × 125 мм. Будем считать, что разворот паспорта предъявляется наиболее естественным образом – вертикально. Это означает, что изображение паспорта должно иметь разрешение не менее 591 на 832 пикселей. Паспорт занимает не весь кадр; если он занимает 0.8 по ширине и высоте (около 65% от площади кадра), то необходимое разрешение получится 739 на 1040. Разумеется, лучше обеспечить некоторый запас по DPI и предусмотреть погрешности предъявления. При этом для съемки паспорта РФ лучше подходит формат кадра с соотношением сторон 4:3.

У свидетельства о рождении в формате А4 физический размер 210 × 297 мм или 8,27 × 11,69 дюйма. Если считать, что оно занимает по 0.9 кадра по каждой из сторон, необходимо разрешение 1102 на 1559. Тут также лучше подходит формат кадра 4:3.

В результате, оптимальным будет разрешение кадра 1600 на 1200 в вертикальной ориентации.

Отметим, что как правило у веб-камер даже сравнительно современных ноутбуков разрешение ограничено 720 на 1280 px, что ограничивает распознавание документов А4, таких как свидетельство о рождении. Дополнительно ситуацию может ухудшить отсутствие автофокуса.

Поскольку для качественного распознавания важно как именно пользователь предъявляет документ, хорошей идеей будет дать ему подсказку: отрисовать достаточно крупную рамочку или маску документа.

Пример работы с камерой

Открываем камеру для съемки видео:

На Android и iOS, при одинаковых настройках, камера может инициализироваться в различной ориентации. Чтобы всегда инициализировать камеру в портретной или ландшафтной ориентации согласно положению телефона, можно использовать следующий подход:

Базовые понятия библиотеки распознавания

После настройки веб-сервера можно переходить к интеграции распознавания. Ниже приведены базовые понятия библиотеки распознавания Smart Engines.

• Движок распознавания: создается один раз при старте приложения. От него создаются следующие элементы интерфейса:
• Сессия распознавания: процесс распознавания конкретного документа (паспорта РФ, ВУ, СТС и других – всего библиотека поддерживает более 3000 типов). В сессию можно передать одно изображение или серию кадров из видеопотока: с каждым новым кадром результат уточняется; система автоматически определяет оптимальный момент остановки сессии распознавания.
• Настройки сессии: хранят список доступных для распознавания типов документов (определяется конфигурационным бандлом), дополнительную информацию о каждом документе, а также позволяют настроить процесс распознавания: задать список ожидаемых типов документов для сессии распознавания, включить\выключить проверки признаков подлинности, задать таймаут для сессии распознавания и пр. Настройки создаются перед созданием самой сессии и не могут редактироваться в процессе распознавания.
• Результат распознавания: объект со структурированными текстовыми полями, изображениями (например, фото владельца), координатами документа на кадре и данными проверок подлинности.

Общая логика работы одинакова для любой платформы и любого продукта линейки Smart Engines: движок → настройки сессии → создание сессии → передача изображения / последовательности изображений → разбор результата.

Инициализация движка распознавания

Необходимо создать и инициализировать один экземпляр движка распознавания. Инициализация является достаточно «тяжелой» операцией, поэтому ее следует выполнять вне потока пользовательского интерфейса. Для этого используется Web Worker.

При распознавании в браузере полезно учитывать следующую опцию инициализации:

• bool lazy: ленивая и неленивая инициализация. При ленивой инициализации все необходимые ресурсы конфигурируются во время первого обращения к ним (как правило, при обработке первого кадра). Это позволяет эффективно использовать память при использовании библиотеки с большим набором поддерживаемых документов, но немного замедляет распознавание первого кадра. В неленивом режиме все ресурсы конфигурируются во время инициализации движка.

В случае наличия 1-2 документов в движке оптимальным будет использование не ленивой инициализации для ускорения обработки первого кадра, а в случае большого количества документов предпочтительнее использовать ленивый режим.

Конфигурирование сессии распознавания

Маска и режим

Сессия должна быть сконфигурирована для обнаружения конкретного типа документа или группы документов. Это осуществляется благодаря двум параметрам: маска (docTypes) и режим (mode):

Возможные значения маски и режима можно посмотреть в README конкретного WASM-модуля. Для примера с паспортом и свидетельством о рождении выберем режим anyrus (все российские документы) и любой тип (*).

Индивидуальная подпись (signature) привязана к конкретной сборке и необходима для инициализации сессии распознавания. Подпись представляет собой строку в 256 символов. activationUrl – адрес сервера активации, про который речь пойдет в следующем разделе.

Терминальность

В случае видеопотока необходимо определить момент, когда закончить передавать кадры в сессию и решить, что результат распознавания является финальным. Сессия может завершиться в следующих случаях:

• Stoppers. Когда все поля уверенно распознались, движок выставляет результату флаг "терминальности". В этом случае подача дополнительных кадров не улучшит результаты.
• Timeout. Когда истек заданный таймаут, чтобы ограничить возможное ожидание пользователя. Для режима Quality Gate характерное значение таймаута составляет около 15 секунд, чтобы пользователь успел скорректировать найденные проблемы.

Для такой настройки сессии необходимо поставить опции:

Quality Gate

Для включения Quality Gate необходимо указать следующие опции:

Последняя опция добавит вывод проективно исправленного и обрезанного изображения с лучшего кадра: как будто паспорт отсканировали и вырезали по границам.

Активация сессии распознавания

Поскольку WASM-модуль загружается с сервера на устройство пользователя, его достаточно легко скопировать. Для защиты от несанкционированного использования Smart ID Engine предусматривает привязку к инфраструктуре заказчика с помощью механизма активаций.

Перед каждой передачей изображения в сессию необходимо проверить, активирована ли она. Для активации сессия генерирует динамический ключ, который необходимо передать на сервер и вернуть ключ активации обратно в сессию. Только после успешной активации сессия готова принимать изображения.

Рассмотрим пример. Создадим сессию:

Активируем сессию:

Теперь сессию можно использовать для распознавания.

Изображение и процесс распознавания

Создание объекта изображения документа Image

В браузере библиотека Smart Engines работает только с сырыми пикселями RGBA/RGB/YUV. Работа со сжатыми форматами jpg/gif/png/heic переложена на canvas браузера. Это позволяет читать изображения как с камеры, так и получить поддержку всех нативных форматов платформы и даже работу с PDF.

Так или иначе необходимо создать изображение в виде объекта и получить переменную со ссылкой на него.

Процесс распознавания

В идеальном сценарии документ сразу оказывается перед камерой: занимает большую часть кадра, находится в фокусе и хорошо освещен. В реальности между открытием камеры и появлением подходящего кадра проходит некоторое время, поэтому часть входного потока неизбежно оказывается непригодной для распознавания.

Сократить объем таких кадров можно уже на этапе построения пользовательского сценария. Если открытие камеры одновременно запускает распознавание, имеет смысл предусмотреть небольшую задержку перед началом анализа. Пользователю в любом случае требуется время, чтобы достать документ и правильно расположить его в кадре. Длительность задержки лучше подобрать эмпирически для конкретного сценария.

Разбор результата распознавания с оценкой качества

В качестве результата система Smart Engines возвращает набор распознанных полей с текстом или изображениями (например, поле фотографии). При включении проверки качества в результат добавляется поле image_quality_score, которое содержит численную оценку качества изображения от 0 до 1, а также атрибут reason, который содержит список проблем изображения. Возможные проблемы:

• finger_is_found (Найден палец)
• zone_is_invalid (Зона обрезана)
• hlt_is_found (Найден блик)
• optic_is_found (Найдена голограмма)
• «low DPI» (Низкое разрешение)
• focus (Кадр не в фокусе)
• luminosity (Слишком темно / слишком ярко)

При включении опции common.extractRectifiedDocumentImage добавляется поле-изображение rectified_document_image, содержащее проективно исправленное изображение.

Кроме того, движок возвращает координаты документа, найденных полей и проблемных точек в рамках структуры TemplateSegmentationResult в виде координат точек и радиуса проблемной зоны. Если пользователь закрыл часть контента пальцами, то там окажутся координаты пальцев, которые не позволяют движку прочитать информацию.

После распознавания очередного кадра можно дать пользователю подсказку: нарисовать положение проблемных точек или вывести сообщение о проблеме с фокусировкой камеры, освещением и т.п.

Интеграция распознавания в веб-приложение

Рассмотрим интеграцию распознавания паспорта РФ в видеопотоке в веб-приложение. Чтобы распознавать изображения с камеры в реальном времени, понадобятся элементы video и canvas для вывода изображения с камеры.

Кнопка для начала распознавания изображения:

Блок для вывода результатов распознавания:

Клиентский JavaScript-код

Работа с камерой

В JavaScript-файле запрашиваем видеопоток с камеры:

И направляем его в элемент video на странице:

Теперь на странице отображается видео с камеры.

Передаём видео в canvas.

Чтобы захватывать и передавать кадры на распознавание, необходимо предварительно отрисовать их на canvas.

Подключение движка

В процессе подключения движка определяются возможности среды исполнения (поддержка SIMD и многопоточности), и подключается соответствующий Wasm-модуль.

Подключение веб-воркера

Подключим веб-воркер и передадим ему тип документа, который собираемся распознать:

По нажатию на кнопку, отправляем воркеру кадр из видео на распознавание:

Результат распознавания содержит текст и изображения отдельных элементов документа, выведем их:

Выведем результаты оценки качества:

При обнаружении пальца на кадре, движок возвращает координаты проблемных точек в виде кругов. Их можно использовать для визуализации на канвасе, чтобы пользователь заметил что загораживает документ.

В приведенном коде выход из цикла обработки кадров осуществляется с учетом результатов распознавания и таймаута сессии. Можно дополнительно учесть результаты проверки качества и не останавливаться, пока пользователь не добьется качественного изображения. Финальное условие выхода, учитывающее качество распознавания, качество изображения и таймаут, будет иметь вид:

Веб-приложение с возможностью распознавания изображений готово. Для распознавания фотографии свидетельства о рождении отпадает необходимость ожидать терминальности сессии, а в остальном работа с распознающим движком или обработка результатов не будут отличаться.

Управление памятью

В интеграции С++ библиотеки в другие языковые среды есть свои особенности, одна из них — ручной контроль за освобождением памяти.

Библиотека никак не может знать, когда созданные ресурсы перестают использоваться, а сборщик мусора никак не может повлиять на память, выделяемую в нативной части. Поэтому обязательно необходимо удалять за собой сессии, изображения и результат распознавания когда в них уже нет нужды.

Пример освобождения памяти в finally, после получения данных о распознанном кадре:

Заключение

Распознавание документов в браузере требует не только переноса OCR на веб-страницу, но и построения полноценного пользовательского сценария предъявления документа. Контроль качества изображения играет в нем определяющую роль, позволяя одновременно решать две задачи:

• оценивать читаемость данных и при необходимости помогать пользователю;
• защищаться от атак на предъявление в случае намеренного перекрытия реквизитов или значимых признаков подлинности документов.

Такой механизм позволяет минимизировать число неудачных попыток и сделать процесс идентификации прозрачным и максимально удобным для пользователя. А выполнение обработки непосредственно в браузере с помощью WebAssembly дает возможность реализовать этот сценарий непосредственно на пользовательском устройстве – без передачи изображений документов на внешний сервер.

Браузерное распознавание документов – не единственный вариант интеграции SDK Smart Engines. Та же библиотека может работать и на сервере, как часть десктоп-приложения (например, для работы с планшетными сканерами и веб-камерами) или мобильные приложения. Выбор конкретного варианта зависит от того, какие документы нужно распознавать и откуда поступает изображение – подробнее об этом можно прочитать на сайте Smart Engines.

Реклама. Рекламодатель: ООО «Смарт Энджинс Сервис» ИНН 7728328449, erid: 2W5zFK8Vyh3

Потом проект вырос, в команду пришли ещё люди, и стало понятно: этот красивый монолит пора разделять.

Это было взвешенное решение. В какой-то момент общий фреймворк превратился в поле мерж-конфликтов, где ты уже не тесты пишешь, а разбираешься, кто чей page object сломал и почему Android отвалился после правки для iOS.

Appium тут ни при чём, как и скорость тестов. Проблема была в архитектуре: один общий слой для двух разных платформ начал мешать сильнее, чем помогать.

Как говорил один мой коллега, перефразируя классическое “вам шашечки или ехать”:

Ты сюда страдать пришёл или тесты писать?

После этого решение разделить Android и iOS на два проекта стало очевидным.

Сейчас у меня два отдельных проекта: mb-android-tests и mb-ios-tests. И знаете что? Это лучшее архитектурное решение за всё время на этом проекте. Серьёзно.

Контекст: что за проект и почему это важно

Финтех. Нативное приложение. Отдельные кодовые базы, Kotlin на Android, Swift на iOS. И UI там не «три кнопки и список», формы с десятками полей, кастомные контролы, WebView-вставки, платежи, валютные операции, бюджетные переводы. Ну вы поняли.

Стек: Java 21, TestNG, Appium 2.x, Selenide, Allure, Maven. CI на GitLab, крутится на Mac Mini. 5 Android-эмуляторов, 4 iOS-симулятора, 9 Appium-серверов — по одному на устройство.

Но это сейчас. А начиналось всё с одного жирного монолита.

Старый проект: 8 модулей и конструктор-монстр

Идея была «как в книжке»: один репозиторий, модульная структура, переиспользование. DRY во все поля. Ну а чё, красиво же.

8 модулей. Один mvn clean install. Все зависят от mobile-automation-framework, в котором живут DriverFactory, BaseTest, общие Page Objects и слой Steps.

А DriverFactory принимал 11 параметров. Одиннадцать, Карл.

Половина нужна только Android, другая только iOS. Но метод один. Потому что так более по программистцки, как написано в каждой второй статье про архитектуру автотестов.

Когда я работал один, было норм. Ты сам знаешь, от куда что идет.

А потом пришли люди.

Почему с людьми всё навернулось

Мерж-конфликты каждый божий день

Вот конкретная ситуация. Один человек правит LoginPage в общем фреймворке, добавляет метод для iOS, меняет локатор. Второй в тот же момент рефакторит этот же LoginPage под новую версию Android-приложения.

Мерж. Конфликт.

И тут начинается самое весёлое: какой локатор правильный? Для Android? Для iOS? Для обоих? Кто будет разбираться? Тот, кто мёрджит? А он вообще контекст понимает?

Это не единичный случай. Это было каждый день. Потому что mobile-automation-framework получился общим модулем, от которого зависят все. И все туда лезут. Постоянно.

Обновление одной библиотеки = блокировка всех

Решил обновить java-client с 7.x на 8.x. Нормальное желание — API поменялся, MobileElement удалили, capabilities переехали на типизированные Options.

Вот что произошло в реальности:

1. Меняю версию в parent pom.xml
2. MobileElement удалён → compilation error в DriverFactory, во всех DriverManager’ах
3. DesiredCapabilities → UiAutomator2Options / XCUITestOptions → переписываю все менеджеры
4. selenide-appium 1.x несовместим с java-client 8.x → обновляю до 2.x
5. selenide-appium 2.x требует Selenide 6.x → обновляю Selenide
6. Selenide 6.x ломает API page objects → переписываю page objects во всех модулях
7. А Selenide 6.x ещё и Java 8 не поддерживает → обновляю Java

Одна библиотека.

Задача «обновить одну библиотеку» превратилась в 50+ файлов, 4-5 каскадных обновлений, 2-3 недели работы. И всё это время develop нестабилен. Все заблокированы. Тесты не запускаются.

Две недели.

Из-за одной строчки в pom.xml.

Page Objects с if/else — это два page object в одном файле

Общие Page Objects звучат красиво на бумаге: пишем один раз, используем для обеих платформ. А на практике…

Это не page object. Это два page objects, запиханных в один файл через if/else. И так в каждом методе.

А сверху ещё слой Steps. Обёртки над page objects «для читаемости». И в steps тоже if (platform), потому что логика взаимодействия разная. На Android ты скроллишь через UiScrollable семантически, «прокрути до элемента с текстом X». На iOS координатами, «двигай палец из точки A в точку B». Один метод в steps, а внутри два разных мира.

В какой-то момент ловишь себя на мысли: я же не тесты пишу. Я подгоняю pages и steps под две платформы, чтобы фреймворк не развалился. Это уже не автоматизация тестирования, это поддержка фреймворка ради поддержки фреймворка.

Каждый работает в своём темпе и все друг другу мешают

У одного задача покрыть тестами новый экран на Android. У второго пофиксить падающие тесты на iOS. У третьего добавить тестовые данные.

Все трое лезут в mobile-automation-framework. Все трое меняют pom.xml, BaseTest, page objects. Каждый в своей ветке.

А потом мёрдж.

Технические причины, которые добили окончательно

Ладно, человеческий фактор. Но были и чисто технические штуки, которые окончательно убедили меня, что кроссплатформа тут бессмысленна.

Локаторы: работай с тем, что дают

Сразу скажу то, о чём мало кто пишет в статьях: в мобильной автоматизации ты работаешь с тем, что дают, а не с тем, что хотелось бы.

В теории есть AccessibilityID единый локатор для обеих платформ. Звучит хорошо. А на практике? Попробуй попросить мобильных разработчиков расставить одинаковые accessibility-идентификаторы на сотнях экранов. На Kotlin и Swift. Одновременно. Они тебя вежливо пошлют, но скорее всего не вежливо. И будут правы, у них свои спринты, свои дедлайны, и твои автотесты в их приоритетах где-то между «поправить тень у кнопки» и «никогда».

Так что реальный выбор:

XPath - работает, но на iOS может быть тормозным. На Android через UiSelector быстро, нативно, надёжно. На iOS через NSPredicate тоже ок. А «универсальные» XPath типа //*[@text='Войти' or @label='Войти'] это путь к боли, потому что Page Source на двух платформах два совершенно разных XML-дерева.

Координаты - костыль? Да. Но иногда единственный вариант. Когда у тебя кастомный контрол без accessibility-свойств, а разработчик говорит «это декоративный элемент», ты либо тыкаешь по координатам, либо не тестируешь.

OpenCV - есть ещё вариант с распознаванием элементов по картинке. Для некоторых кейсов реально выручает. Но это отдельная тема на целую статью, может напишу потом.

Суть в том, что «напиши один локатор и работай на двух платформах» это миф. Page Source на Android это android.widget.Button с resource-id. На iOS XCUIElementTypeButton с name и label. Разные типы элементов, разные атрибуты, разная глубина вложенности. Разные миры.

StaleElementReferenceException — «подарок» от iOS

Android рендерит UI через Choreographer синхронно с VSYNC. Элемент появился → стабилен → кликаем.

iOS рендерит через CoreAnimation с неявными анимациями. Элемент есть в дереве, но ещё анимируется. Формально кликабелен, фактически хрен.

Стандартный WebDriverWait с elementToBeClickable это не ловит. Элемент «кликабелен» по мнению Appium wait завершается. А потом click() падает, потому что DOM изменился между вызовами.

На Android этой проблемы нет вообще. Тот же тест, тот же wait, тот же код зелёный на Android, красный на iOS. Один и тот же метод, два разных результата. И это не баг это фундаментальное различие платформ.

Кастомные wait-стратегии для iOS отличаются от Android принципиально. Пихать их в один фреймворк строить leaky abstraction, которая протекает на каждом шаге.

Жесты — два разных мира

Свайп вниз на Android:

Свайп вниз на iOS:

Чувствуете разницу? И даже длительность свайпа важна: на Android 200мс это нормальный скролл. На iOS 200мс это fling, и элемент улетает за экран.

«Кроссплатформенная» обёртка для скролла функция на 40 строк с двумя ветками if (platform), внутри каждой и ещё if для performSwipeDown() vs performSwipeUp(). На 50+ экранах таких обёрток, которых десятки.

И каждая место для бага.

Решение: разделяй и властвуй

Решение было болезненным. Я реально откладывал, потому что казалось, что это шаг назад. Дублирование кода, нарушение DRY, всё такое. Мозг сопротивлялся.

А потом я просто сел и разделил.

Никаких общих page objects. Никаких общих steps. Никакого общего DriverFactory с 11 параметрами. Каждый проект со своим pom.xml, свои зависимости, свой BaseTest, свои локаторы.

Что осталось общего: подход к структуре (Maven + TestNG + Allure), CI-шаблоны, принципы организации. Но не код. Код полностью раздельный.

Что поменялось на практике

В Android-проекте DriverManager типизирован под AndroidDriver. В iOS под IOSDriver. Не AppiumDriver<MobileElement> с кастами и проверками, а конкретный тип для конкретной платформы. IDE подсказывает только релевантные методы. Компилятор ловит ошибки на этапе сборки, а не в рантайме.

BaseTest принимает ровно те параметры, которые нужны. Android: deviceName, platformVersion, udid, appPackage, appActivity, systemPort, serverUrl, appPath — 8 штук, все релевантные. iOS: deviceName, platformVersion, udid, appPath, serverUrl, wdaLocalPort — 6. Никаких @Optional("systemPort") со строкой “systemPort” в качестве дефолта.

А мерж-конфликты?

Когда один человек работает в mb-android-tests, а второй в mb-ios-tests то они вообще не пересекаются. Разные репозитории. Конфликт невозможен физически.

Обновление java-client в Android-проекте не затрагивает iOS. Хочешь обновить, обновляй. iOS продолжает работать на старой версии.

Добавить новый параметр для iOS? Меняешь BaseTest и testng.xml в iOS-проекте. Android даже не узнает.

Это прям кайф.

А как же дублирование кода?!

Конечно, конечно. Первый вопрос, который задают: «Но ведь ты пишешь тесты дважды!»

Нет.

Я пишу каждый тест один раз и без костылей. Без if (platform) в каждом методе. Да, для одного и того же экрана есть два теста, один для Android, один для iOS. Но каждый из них чистый, понятный, заточенный под свою платформу.

В старом варианте я тоже «писал один раз», а потом тратил столько же времени на поддержку if/else, мерж-конфликты и каскадные обновления. «Экономия» на создании оборачивалась переплатой на поддержке. С процентами.

Когда кроссплатформа всё-таки ок

Я не топлю за то, что кроссплатформенный фреймворк абсолютное зло. Есть ситуации, где он работает:

Приложение простое, пара экранов, стандартные контролы, минимум кастомного UI.

UI реально идентичен на обеих платформах. Бывает, наверное.

Команда из одиного человека. Сам пишешь, сам мёрджишь, сам разруливаешь. Голова справляется.

Минимум жестов. Нет сложных свайпов, drag-and-drop, pinch-to-zoom.

Если у тебя финтех, банк, enterprise-приложение с сотнями экранов, кастомными контролами и тремя+ QA, то два проекта дешевле. Не в строках кода, а во времени. В нервах. В часах, потраченных на мерж-конфликты вместо написания тестов.

Итого

Два проекта это не шаг назад и не двойная работа. Со стороны может выглядеть именно так, но на практике ты пишешь каждый тест один раз, под конкретную платформу, без лишних компромиссов. Потом поддерживаешь его без постоянных мерж конфликтов, каскадных обновлений и if/else в каждом втором методе.

Кроссплатформенный фреймворк на Appium для сложного нативного приложения часто оказывается иллюзией экономии.

В следующей статье покажу, как у нас устроена инфраструктура для 9 параллельных устройств на одном Mac Mini: порты, bash скрипты, Appium серверы и workaround’ы, которых нет в документации. Спойлер: там тоже всё не совсем как в гайдах.

Почему ручной ввод паспорта – скрытая статья расходов

Паспорт требуется практически для каждой операции РКО: открытие счета, подтверждение личности клиента, обмен валют, оформление услуг. На первый взгляд несколько минут, потраченных сотрудником на перенос данных из паспорта, кажутся незначительными. Но в масштабах банка именно эти минуты становятся одним из главных факторов оттока клиентов и финансовых убытков.

Пока оператор вручную перепечатывает реквизиты документа, банк теряет не только время клиента. Он снижает пропускную способность отделений, увеличивает стоимость каждой операции, повышает нагрузку на персонал и создает дополнительные риски ошибок. Кроме того, от задержек растут очереди и падает лояльность – видя толпу в отделении, новые клиенты с большой вероятностью будут просто разворачиваться и уходить.

Если обобщить все издержки от ручного ввода паспорта в РКО, можно выделить следующие направления:

• Снижается производительность отделений. Пока сотрудник перепечатывает паспортные данные, он не обслуживает следующего клиента. В часы пиковых посещений это приводит к очередям в отделении и оттоку клиентов.
• Растут расходы на персонал. Чем больше документов обрабатывается вручную, тем больше сотрудников требуется банку. Зарплата, налоговые отчисление и техническое обеспечение рабочих мест для новых операторов увеличивают соответствующие статьи расходов банка.
• Увеличивается количество ошибок. Даже опытный оператор может пропустить символ, неверно указать дату или допустить опечатку. Такие ошибки приводят к повторным проверкам, необходимости переоформлять документы, задержкам обслуживания и дополнительной нагрузке на сотрудников. Кроме того, человеческий фактор сказывается и на уровне сервиса – к вечеру рабочего дня риски ошибок из-за усталости оператора значительно возрастают.
• Страдает клиентский опыт. Современному клиенту не важно, по какой причине оформление занимает двадцать минут вместо пяти. Если обслуживание затягивается, вероятность ухода клиентов к организации-конкуренту существенно возрастает.

В результате ручной ввод документов становится не просто неудобством, а фактором, который напрямую влияет на всю экономику банковского бизнеса.

Как автоматизация помогает в обслуживании клиентов и управлении рисками

При расчетно-кассовом обслуживании банк обязан не только совершить операцию, но и корректно подтвердить личность клиента. Требования законодательства – прежде всего 115-ФЗ и 152-ФЗ – делают качество обработки документов критически важным параметром.

В рамках процедур KYC и AML банк обрабатывает данные из паспорта, проверяет их корректность и принимает решение о возможности обслуживания клиента. Любая ошибка при ручном вводе увеличивает риск повторных проверок, задержек или некорректной верификации личности. Если банк пропустил мошенника с поддельными документам, ему придется не только терпеть финансовые потери от оформленных кредитов, но и отвечать перед регулятором.

Не менее важен вопрос обработки персональных данных. Передавая изображения документов на ручную обработку оператором или внешнему подрядчику – за пределы собственной инфраструктуры – финансовая организация расширяет зону ответственности за безопасность данных клиентов. Утечка или неправомерное раскрытие персональных данных, даже если они произошли по вине подрядчика, не снимают ответственности с банка.

По этим причинам для большинства банков принципиально важно, чтобы обработка документов была не только максимально качественной, но и происходила внутри защищенного контура организации. Автоматическое распознавание паспорта для РКО позволяет решить обе задачи одновременно: ускорить подтверждение личности клиента и минимизировать влияние человеческого фактора.

Какие технологии позволяют автоматизировать РКО

Автоматизировать ввод документов для расчетно-кассового обслуживания сегодня позволяют технологии OCR, однако далеко не каждое ПО соответствует требованиям банковской отрасли. Простые технологии OCR с низким качеством распознавания и невозможностью работы в реальных сценариях не решают главной проблемы – убрать ручной труд в части проверки и корректировки неверно распознанных данных.

Если заниматься этим по-прежнему приходится сотрудникам банка – экономического эффекта от такой “автоматизации” РКО не будет. Если эта задача перекладывается на сторонних операторов – как часто происходит при использовании облачных сервисов OCR – банк разрывает свой контур безопасности и вынужден брать на себя риски, связанные с передачей персональных данных своих клиентов третьим лицам. Сегодня штрафы за утечку ПДн достигают 500 млн руб.

Поэтому финансовые организации выбирают промышленные платформы для высокоточного распознавания, работающие по модели on-premise. Такой подход позволяет автоматизировать обработку документов внутри собственной инфраструктуры, обеспечивая одновременно высокую скорость, качество распознавания и соответствие требованиям информационной безопасности.

Именно по такому принципу построена система распознавания Smart Engines, которая позволяет автоматически извлекать данные из документов как в отделениях, так и во всех цифровых каналах обслуживания.

Как устроена технология распознавания документов от Smart Engines

Промышленная платформа Smart Engines убирает ручной ввод данных из документов на всех ключевых этапах РКО – от первого визита клиента в отделение банка до последующих взаимодействий в физических и цифровых каналах.

При обслуживании в офисе сотруднику достаточно отсканировать паспорт или навести на документ камеру рабочего устройства. Система Smart Engines менее чем за секунду автоматически извлекает реквизиты документа и заполняет необходимые поля без ручной перепечатки. Алгоритмы искусственного интеллекта обеспечивают высокую точность даже при бликах, тенях, расфокусе и съемке под углом. Платформа распознает не только печатные данные, но и рукописные поля, включая штампы о регистрации.

Система Smart Engines поддерживает распознавание паспортов РФ, документов граждан стран СНГ, водительских удостоверений и других документов, удостоверяющих личность. Поддержка 103 языков позволяет банкам одинаково эффективно обслуживать иностранных клиентов, предъявляющих национальные паспорта и другие удостоверения личности.

При этом задача банка не ограничивается извлечением данных. Не менее важно убедиться в подлинности документа. Для этого в платформу Smart Engines интегрирована антифрод-система «Шерлок», которая анализирует более 600 признаков подделки. Она сверяет данные визуальной и машиночитаемой зон документа, сравнивает их с информацией на NFC-чипе (если он есть в документе), выявляет признаки переклейки фотографии, цифровой обработки изображения и дипфейки. В результате банк за одно действие одновременно получает корректные реквизиты документа и проводит KYC.

On-premise и распознавание в браузере, Telegram и MAX

Особое значение для финансовых организаций в 2026 году имеет возможность использовать единую технологию во всех каналах обслуживания. Решение Smart Engines подходит для распознавания документов не только в отделениях, но и в цифровых сервисах банков.

Благодаря технологии WebAssembly распознавание документов выполняется непосредственно в браузере без установки мобильного приложения. Решение легко интегрируется в интернет-банк, сайты, а также мини-приложения Telegram и MAX, позволяя банку выстроить единый сценарий обслуживания независимо от точки взаимодействия с клиентом.

Еще одно принципиальное преимущество платформы – архитектура on-premise. Все документы обрабатываются внутри защищенного контура банка и не передаются на внешние серверы. Это позволяет не только соблюдать требования информационной безопасности и законодательства о персональных данных, но и исключить зависимость от внешней инфраструктуры. Производительность системы достигает 125 разворотов паспорта в секунду на одном сервере без использования GPU, а качество распознавания достигает 99,9%.

Практика внедрения: как банки получают измеримый эффект в РКО

Преимущества промышленного распознавания хорошо видны на реальных проектах.

Например, Банк «Санкт-Петербург» благодаря системе Smart Engines выстроил единый стандарт обслуживания для всей сети офисов. До внедрения Smart Engines время оформления документов во многом зависело от загруженности конкретного офиса и опыта сотрудника. Сегодня технология автоматического распознавания используется во всех отделениях банка для быстро открытия счета и других операций. Достаточно навести камеру на основной разворот паспорта и страницу с регистрацией перед камерой – ИИ автоматически извлекает необходимые данные менее чем за секунду.

Главный результат проекта – не просто ускорение отдельных операций. Банк получил единый высокий стандарт клиентского сервиса сразу во всей сети. Скорость оформления перестала зависеть от операциониста, выросла пропускная способность отделений, а качество клиентского сервиса стало одинаково высоким даже в часы максимальной нагрузки.

Другой кейс – внедрение в РНКО «Металлург» – показывает, что автоматизация обработки документов дает ощутимый экономический эффект. Рост клиентского потока привел к тому, что сотрудники физически перестали успевать вручную обрабатывать паспорта клиентов. После внедрения системы Smart Engines объем ручного ввода сократился как минимум в четыре раза, а среднее время обслуживания клиента – от входа в отделение до завершения операции – стабильно составляет около восьми минут.

Важным показателем стала не только скорость распознавания, но и финансовый результат. По оценке руководства РНКО «Металлург», экономический эффект от внедрения оказался настолько высоким, что банк заработал на использовании технологии распознавания паспорта в тысячи раз больше, чем потратил на ее внедрение.

Итоги: зачем внедрять ИИ для распознавания документов в РКО

Сегодня ручной ввод документов становится одним из последних факторов, ограничивающих скорость РКО. Он увеличивает стоимость операций, снижает пропускную способность отделений, создает дополнительную нагрузку на сотрудников и повышает риск ошибок. По этим причинами банки активно переводят обработку документов на ИИ. Кто делает это раньше, тот быстрее открывает счета и удерживает клиентов.

Решения Smart Engines автоматизируют обработку документов во всех каналах обслуживания, объединяя высокоточное распознавание, проверку подлинности и безопасную обработку данных внутри контура банка. В результате финансовые организации не просто ускоряют открытие счетов и оформление услуг, а получают масштабируемую инфраструктуру, которая снижает операционные расходы, повышает качество клиентского сервиса и обеспечивает единый стандарт обслуживания независимо от канала взаимодействия с клиентом.

По совокупности всех этих факторов внедрение промышленных технологий распознавания документов в 2026 году рассматривается уже не как ИТ-инициатива, а как инвестиция в повышение производительности и снижение расходов.

Реклама. Рекламодатель: ООО «Смарт Энджинс Сервис» ИНН 7728328449, erid: 2W5zFJLbM1K

Откуда вообще берутся ошибки у ИИ

Когда говорят про ИИ, чаще всего имеют в виду большие языковые модели — те, что лежат в основе чат-ботов для генерации текста и изображений. Такие модели устроены как вероятностные системы. Они предсказывают наиболее вероятную последовательность слов на основе обучающих данных, а не знают правильный ответ в строгом смысле слова. Поэтому ошибки для них остаются естественным поведением.

В декабре 2025 года исследователи из Университета штата Пенсильвания и Comcast AI Technologies протестировали поведение языковых моделей при одинаковых настройках и запросах. При многократном повторении одних и тех же задач разрыв между лучшим и худшим результатом доходил до 70%.

Что касается практических задач — современные языковые модели решают финансовые задачи с точностью около 67,3%, заметно ниже человеческого уровня. К этому добавляются галлюцинации: модель формирует несуществующую информацию, сохраняя уверенный тон ответа. Попытки повысить достоверность через дообучение пока работают только частично.

С генерацией связного текста языковые модели справляются хорошо. Для задач, где требуется точность данных, например распознавание документов и проверка личности, применяется другой класс систем.

Open-source против специализированных систем

Распознаванием документов занимаются OCR-системы — технологии оптического распознавания символов. OCR появился ещё в XX веке и развивался задолго до генеративного ИИ. Сегодня такие решения работают в банках, страховании, телекоме и госуслугах — везде, где нужно проверить личность по документу или ввести данные из потока сканов. Качество здесь измеряют точностью распознавания, а её можно посчитать.

Базовые OCR-технологии доступны практически любому разработчику. Есть открытые движки — Tesseract, PaddleOCR, EasyOCR. Они распространяются бесплатно и позволяют быстро собрать собственную систему распознавания документов.

Открытые тесты показывают разброс качества в зависимости от типа документа и условий съёмки. На типовых задачах Tesseract показывал точность 70–85%, PaddleOCR — 90–95%. При работе с финансовыми документами и реальными сканами цифры были скромнее: около 84% у Tesseract и 91% у PaddleOCR.

Доступность инструмента ещё не означает готовности к промышленной нагрузке. Для задач, где цена ошибки измеряется юридической ответственностью, разница между 85% и 99% становится риском для бизнеса. Дальше разберём, что именно идёт не так на уровне 90% и почему этот порог уже считается низким.

Почему 90% точности — слабый результат

Возьмём систему, которая ошибается с вероятностью 1% и на подлинных документах, и на поддельных. Доля подделок в потоке тоже составляет 1%. Если система пометила документ как подозрительный, какова вероятность, что он действительно поддельный? Интуитивно кажется, что почти 99%, однако на практике все иначе. Расчёт по формуле Байеса даёт ответ:

Вероятность того, что «подозрительный» документ действительно поддельный:

0,99 × 0,01 / (0,01 × 0,99 + 0,99 × 0,01) = 0,5

Половина отказов придётся на настоящих клиентов. У крупного банка такие отказы исчисляются сотнями в день, и за каждым стоит человек, которому отказали в обслуживании и который, скорее всего, уйдёт к конкуренту.

Но если представить, что ИИ ошибается на подлинных документах только в 0,1% случаев, картина меняется и вероятность выявления подделки резко возрастает:

0,999 × 0,01 / (0,01 × 0,999 + 0,99 × 0,001) ≈ 0,91

Вероятность того, что помеченный документ действительно поддельный, вырастает почти до 91%.

Ошибка ИИ при проверке документов ведёт к двум типам потерь: можно пропустить мошенника и понести прямые убытки, можно отказать добросовестному клиенту и потерять выручку. Точность на уровне 99,9% и выше работает как порог, после которого автоматизация антифрод-проверок начинает приносить эффект — реально заменять людей и ускорять процесс. Пока система до него не дотягивает, большая часть документов всё равно уходит на ручную перепроверку, и бизнес платит дважды: за систему и за людей, которые её проверяют.

Что стоит за цифрой 984 из 1000

Вернёмся к кейсу «Росагролизинга». Компания использует технологию Smart Engines для автоматического ввода данных из документов лизингополучателей. По словам компании, из 1000 паспортов 984 обрабатываются без единой ошибки — это касается основного разворота, который в среднем содержит около 200 символов.

Чтобы корректно распознать весь разворот, системе нужно правильно считать каждый из этих 200 символов по очереди. Отсюда можно вывести точность распознавания одного символа. Если X — посимвольная точность, а X в степени 200 — вероятность того, что все символы разворота распознаны верно, уравнение выглядит так:

X²⁰⁰ = 984 / 1000

Чтобы найти X, нужно взять корень 200-й степени из обеих частей уравнения:

X = 0,984^(1/200) ≈ 0,99992

Получается, что точность распознавания одного символа оценивается на уровне 99,99%. Для бизнеса это значит, что 984 из 1000 клиентов проходят онбординг без единого сбоя, участия оператора и ошибок.

Такой результат не выводится сам по себе из общей модели ИИ. Под распознавание удостоверений личности нужна отдельная инженерная работа по трём направлениям:

1. Специализированные датасеты. Обычный набор фотографий печатного текста для этого не подходит. Паспорта изготавливают из специальной бумаги, на них есть защитные элементы, ламинация и голограммы, которые усложняют извлечение данных. Для обучения нужны десятки тысяч размеченных изображений, синтезированных так, чтобы не нарушать 152-ФЗ «О персональных данных» и не содержать информацию о реальных людях.
2. Оптимизация под реальные условия съёмки. На практике паспорт редко снимают идеальным сканом в высоком разрешении. При выездном обслуживании и самообслуживании документ часто фотографируют на весу, под углом или сложенным «книжкой», а на изображении появляются шумы, размытия, тени и блики. Алгоритмы должны выдавать результат и в таких условиях.
3. Понимание структуры документа. Системе мало просто извлечь текст с картинки. Ей нужно находить паспорт на фотографии или в видеопотоке и знать, из каких полей он состоит: где подпись, где строки с именем и фамилией, где машиночитаемая зона.

Что это значит для бизнеса

Чем выше точность, тем меньше работы остаётся людям. На уровне 90% компания заваливает отказами нормальных клиентов и держит отдельных сотрудников, которые перепроверяют документы вручную. На уровне 99,9% и выше вручную проверять приходится в разы меньше: падают расходы на этот штат и снижается риск штрафов за пропущенные подделки.

Бизнес сейчас пытается добиться главных целей:

• меньше ручных проверок — операционный отдел тратит меньше времени на пересмотр документов, помеченных как подозрительные;
• меньше отказов настоящим клиентам — выше конверсия в онбординге и меньше потерянной выручки;
• ниже риск штрафов и судебных разбирательств, особенно в сценариях KYC и антифрод-проверок, где цена пропущенной подделки измеряется конкретными суммами.

Технологии, которые обеспечивают такую точность, разрабатывают компании, специализирующиеся именно на распознавании документов. Лучшие инженеры работают со специализированными обучающими данными, которые подходят именно под реальные условия съёмки и понимание структуры документов. Именно поэтому промышленные OCR-системы и Tesseract, собранный за выходные, — это разные истории.

Итого

Для генерации текста или поиска идей хватает точности в районе 80–90%, и языковые модели справляются с этим хорошо. Для распознавания документов планка выше: 99,9% и больше — минимальное условие, при котором автоматизация вообще начинает работать. Кейс с 984 паспортами из 1000 показывает, как эта цифра считается на практике и какая инженерия за ней стоит. Прежде чем доверять ИИ задачи с высокой ценой ошибки, спросите разработчика, как именно посчитали точность системы.

Но в повседневной жизни люди пользуются не одним паспортом, у каждого на руках целая стопка: СНИЛС, ИНН, трудовая книжка, водительское удостоверение, свидетельства о рождении, браке, полисы и другие документы. И каждый из этих документов в какой-то момент нужно предъявить, загрузить или верифицировать, поэтому мы обучили наш ИИ распознавать более 5000 шаблонов документов.

Рассказываем, в каких сценариях сегодня применяется наша технология.

Банки: выдача карт и кредитный скоринг

Открытие счета и выдача банковской карточки — один из распространенных сценариев, в котором необходимы технологии распознавания. Для оформления продукта и подключения услуги банку нужно подтвердить личность клиента, провести онбординг и KYC. Сейчас это можно сделать по одному селфи с паспортом: наш ИИ сам сравнивает лицо предъявителя паспорта с данными документа на изображении — и закрывает задачу верификации без сбора биометрии и привлечения оператора.

В случае с кредитованием банку нужно не только провести KYC, но и проверить платёжеспособность клиента. Для этого требуются новые документы: справка о доходе, СНИЛС, водительское удостоверение, свидетельство о постановке на налоговый учёт, загранпаспорт, трудовая книжка.

СНИЛС, кстати, в формате зелёной карточки больше не выдают — теперь он существует только в цифре, но документы старого образца ещё в обороте, а значит запросы на их распознавание никуда не делись. Сегодня наша технология легко справляется с распознаванием данных СНИЛС — блики от ламинированной поверхности не помеха для ИИ.

Ещё один сценарий из банковской сферы — детский банкинг. Для оформления карты на ребёнка нужно свидетельство о рождении. Содержимое этого документа также необходимо автоматически извлекать — имена, даты, место рождения, данные родителей. Наш ИИ безошибочно справляется с этим: моментально распознает всю информацию и представляет в структурированном виде, готовом для добавления в корпоративную систему — можете проверить каждую строчку.

Трудоустройство: как ИИ устраняет узкое место в HR

Если вы когда‑либо заключали договор или оформляли на работу сотрудника, вы знаете: в этом процессе необходим ИНН. Свидетельство о постановке на налоговый учёт — еще один важный документ, который часто требуется в реальной жизни. Наш ИИ точно распознает все ключевые поля из документа, включая ФИО, дату рождения, серию и номер.

Отдельная история — бумажные трудовые книжки и справки СТД-Р. В бумажной трудовой легко можно встретить выцветшую бумагу, штампы поверх текста, рукописные записи и другие особенности, затрудняющие распознавание. Чтобы система могла надежно прочитать всё это, мы собрали специальный датасет и обучили нейросеть, которая умеет находить рукописные строки в трудовой и разбирать их.

Вместо того чтобы фотографировать каждый документ по одному, можно разместить их рядом и сделать один снимок. Для этого мы добавили возможность мультиобъектного распознавания. Показываем, как это работает:

ИИ сам находит на изображении все документы, автоматически классифицирует их а затем извлекает необходимые поля.

Найм и обслуживание мигрантов

В РФ работает больше 6 млн мигрантов из разных регионов мира, в том числе из стран СНГ, а также Индии, Китая, Пакистана и других государств. У многих из них на руках не только национальные паспорта и ID-документы, но и заграничные удостоверения личности, миграционные карты, патенты на работу, временная регистрация. В итоге операторам в банках и HR-специалистам нужно работать с документами самых разных форматов и на десятках языков.

Чтобы закрыть этот кейс, мы научили наши ИИ-системы работать с удостоверениями личностей стран СНГ и других регионов мира. Наш ИИ распознает арабский, армянский, греческий, грузинский, иврит, китайский, корейский и японский. В сумме решение поддерживает документы более 230 стран и юрисдикций мира на 103 языках.

От покупки авто до продажи авто

Еще один тип документов, который часто требуется в ежедневных сценариях, – это водительские права и документы на транспортное средство. Для автоматического ввода данных этих документов мы добавили возможность распознавания ВУ, СТС и ПТС. Высокое качество распознавания сохраняется вне зависимости от документа и условий съемки.

Сегодня наш ИИ может распознавать даже специфические удостоверения – например, права трактористов.

Бухгалтерия

Для бухгалтерии и распознавания первички мы представили эталонную ИИ-модель, которая специализируется на финансовых, юридических, учётных и других деловых документах. Технология поддерживает более 80 шаблонов, включая УПД, акты, счета, счета-фактуры, формы ТОРГ-12 и другие документы. При этом ИИ-агент работает полностью локально, не требует интернет-соединения и GPU, а еще не сохраняет и никуда не передает данные для распознавания.

На базе этого ИИ-агента любой банк или аутсорсинговая компания может запустить онлайн-сервис бухгалтерского сопровождения для малого бизнеса и ИП. Решение позволяет автоматически извлекать данные из ЕГРЮЛ и ЕГРИП, приказов, уставов организаций, финансовой отчетности и других документов – полностью без ручного ввода.

Вывод: паспорт — это только малая часть

В повседневной жизни человеку требуются десятки самых разных документов: заграничный паспорт, свидетельство о рождении, СНИЛС, трудовая книжка, водительские права, справки и масса других. Без них не обходится банковский онбординг, трудоустройство, финансы, бухучет и многие другие привычные процессы – а значит данные из них регулярно требуется вводить.

Для решения этой задачи мы настроили автоматическое распознавание всех упомянутых в этом тексте документов – и даже больше. Сегодня наш ИИ быстро и точно распознает свыше 3 000 типов и 5 000 уникальных шаблонов документов, позволяя автоматизировать ввод данных в ключевых повседневных сценариях и исключить ошибки, задержки и раздражение.

Что спасает нас сегодня от мошенников с поддельными документами? В этой статье мы разобрались, как работают промышленные системы проверки подлинности и как правильно выбирать технологию антифрода.

Как изменились подделки

Раньше мошенники делали физическую подделку — кривые шрифты, неправильное ламинирование оператор в банке почти всегда замечал. Сейчас схема другая: мошенники создают цифровые подделки на базе утекших данных из реальных паспортов и предъявляют их как в онлайн-каналах обслуживания, так и в физических.

Мошенники активно применяют генеративный ИИ. Распространение популярных ИИ-сервисов для генерации изображений сделало фальсификацию документов намного доступнее для мошенников. Без специализированных инструментов сгенерированный паспорт почти нельзя отличить от настоящего. Это позволяет злоумышленникам проходить проверки и получать услуги от лица жертв.

Часть мошенников теперь не тратит время на качество. Они генерируют тысячи подделок и заваливают ими системы банков. Если система недостаточно качественная и пропускает хотя бы 0,1% из них — при тысячах попыток это уже несколько успешных атак. Дальше — кредиты, обнал, SIM-swap для мошенников, для банков — многомиллионные убытки и минус репутация.

Почему разработчикам стало сложнее

1. Всё ушло в онлайн. К концу 2025 года 88,5% финансовых услуг в России оформлялись в цифровом виде. Это означает, что чаще всего клиент предъявляет не физический документ, а его изображение. Система антифрода должна уметь надежно проверять паспорт по одной фотографии, сделанной на телефон.
2. Фото приходят плохие. В отделении паспорт клали на сканер, а при удалённом обслуживании пользователь снимает телефоном: блик от лампы, тень, наклон, смазанность. Если система не справляется с распознаванием и выдает ошибку — пользователь уходит к конкуренту, а бизнес теряет клиента.
3. Добавьте сюда рост трудовой миграции. Рабочие приезжают не только из СНГ, но и из Индии, Китая, Бангладеш и стран Африки. У иностранных паспортов часто другая структура полей и может отсутствовать MRZ. Современная система должна поддерживать более 100 языков и понимать логику документов любого государства.

Какие тренды антифрода в 2026

Тренд 1 — точное сканирование при любых условиях

Мошенники специально загружают снимки низкого качества — чтобы замаскировать следы правки, поэтому система должна правильно обрабатывать документ при любом ракурсе. Антифрод должен проверять документ по 600+ параметрам: искать вставки полей из других документов, склейки фрагментов, проверять голограммы, выявлять следы графических редакторов, признаки дипфейков.

Тренд 2 — работать с разными типами входных данных

Мультимодальные модели, которые одновременно анализируют несколько источников информации, сейчас считаются одним из самых прогрессивных классов нейросетевых моделей, а их рынок в 2025 году оценивали примерно в 2,35 млрд долларов. В прошлом году российские учёные совершили прорыв в мультимодальной форензике. Они представили систему, обученную параллельно работать с изображениями документов в оптическом, ультрафиолетовом и инфракрасном диапазонах, с видеопотоком, текстовыми полями, штрих‑кодами, метаданными, подписями и данными с бесконтактной RFID‑метки, которая есть в загранпаспортах нового образца.

Тренд 3 — защищать от спуфинг-атак

В удалённых каналах антифрод-системы должны защищать от спуфинг-атак — попыток пройти проверку от лица жертвы. Для этого применяются технологии сверки лиц – на селфи пользователя и на фото в документе. Некоторые решения обходятся без сбора и сохранения биометрических дескрипторов и внешних баз — данные клиента остаются защищёнными.

Чеклист для разработчика в 2026 году

Вы интегрируете антифрод в код или настраиваете пайплайн верификации? Смотрите на обработку персональных данных — фото и сканов паспортов. OCR уже запускается локально на устройстве пользователя или вашем сервере. Вам не нужны вендоры, которые тянут трафик в свои облака, внешние серверы или краудсорсинг — будут дыры в безопасности данных.

Проверяйте совместимость с отечественным стеком ОС. Если проект идёт под госкомпании или критическую инфраструктуру, вам понадобятся Astra Linux, ALT Linux, РЕД ОС, Эльбрус или ОС Аврора. Требуйте сертификаты совместимости и результаты реальных тестов.

Соберите все критерии — точность распознавания в любых условиях, 600+ проверок, мультимодальность, локальную обработку, совместимость со стеком — и ваш бизнес выдержит реальность 2026 года, а мошенники останутся не у дел.

Российский рынок распознавания документов перевалил за 3 миллиарда рублей, а выручка отечественных разработчиков таких систем растёт кратно каждый год. Почти каждый из нас сталкивается с этими технологиями ежедневно и почти не замечает их.

За этим стоит больше 20 лет разработок: от первых OCR-программ, которые только справлялись с книжными сканами, до нейросетей, читающих паспорт в полной темноте с произвольного угла съёмки. Как прошёл этот путь — разбираем по всем этапам истории.

OCR умел читать книги. С паспортом всё сломалось

OCR-программы появились ещё в 60-х, тогда первые решения использовались для оцифровки книг: система получала качественный скан с планшетного сканера и забирала текст. Для своего времени — хороший результат: одна страница обрабатывалась за десять секунд, на листе формата А5 в среднем оставалось одна-две ошибки.

Но паспорт — совершенно другая задача. В паспорте текстовые поля не существуют отдельно от фона: они пересекаются с защитными элементами — тонкими сетчатыми узорами фона, голограммами и другими слоями, которые специально усложняют подделку документа. Первые OCR-системы с таким просто не справлялись — корректное распознавание паспорта оставалось для них нерешенной задачей.

Чтобы добраться до паспортных данных, нужны были другие алгоритмы и другой подход.

2005: кто-то наконец сделал это правильно

В 2005 году компания Cognitive Technologies, основанная Владимиром Львовичем Арлазаровым (советский и российский учёный, член-корреспондент РАН, доктор технических наук), представила первый программный продукт для распознавания паспорта РФ — Cognitive Passport. В основе лежала собственная технология компании Scanify для автоматической обработки документов на государственных бланках и сбора из них текстовых и графических данных.

Система работала на любых сканерах и закрывала реальные сценарии:

1. корректно обрабатывала документы с линиями сгиба или корешком, которые неплотно прилегали к стеклу сканера
2. распознавала текст, пересекающийся с подписями, штампами и печатями
3. считывала символы с близкой контрастностью к цветному фону гербовой бумаги
4. распознавала строку MRZ — машиночитаемую зону идентификационных документов

Отдельно расскажем про программный интерфейс API: разработчики могли встраивать систему в другие решения, в том числе СКУДы и пропускные системы. Позже возможностей ещё больше: помимо российского паспорта, система научилась работать с загранпаспортом, водительским удостоверением, военным билетом, свидетельством о регистрации транспортного средства и свидетельством обязательного пенсионного страхования.

В 2010 году Cognitive Technologies подписала соглашение о стратегическом сотрудничестве с NVIDIA. Итогом стала версия Cognitive Passport API 2.0, где часть вычислений переложили с процессора на видеокарту — это стандартный приём, когда нужно ускорить массовую обработку изображений

2013: рынок перестал быть монополией одного игрока

Вслед за Cognitive Technologies на рынок распознавания документов вышла компания ABBYY, основанная выпускником МФТИ Давидом Яном. В 2013 году она сделала ABBYY PassportReader SDK — «коробочное» решение для распознавания идентификационных документов. Система умела обрабатывать и сканировать данные из паспорта РФ, водительского удостоверения и загранпаспорта.

К началу 2010-х годов извлечение данных паспорта на базе сканера занимало всего несколько секунд. Технологии вышли за рамки лабораторий и начали работать в реальном бизнесе — логистических компаниях, гостиничных сетях, нотариальных конторах. Но именно в это время стало очевидно, что сканер как аппаратная база — тупиковая ветка для роста. Удалённые сервисы развивались быстро, привычные операции уходили в онлайн, и OCR-системы, намертво привязанные к стационарному оборудованию, этому запросу уже не отвечали.

Рынку нужно было распознавание на смартфоне.

2015: паспорт научились читать прямо со смартфона — и всё изменилось

Перенести распознавание паспорта на мобильный телефон долго не получалось — и дело было не только в ограниченных ресурсах устройства. Фотография, которую сделали на смартфон, отличается от планшетного скана: поверх защитных элементов документа накладываются блики и тени, а съёмка происходит в произвольных условиях — без фиксированного положения, освещения и расстояния.

Первой задачу решила компания Smart Engines, основанная Владимиром Викторовичем Арлазаровым — внуком Владимира Львовича Арлазарова, создателя Cognitive Technologies. В 2015 году они сделали Smart PassportReader (сегодня — Smart ID Engine): система распознавала третью страницу паспорта РФ с основными данными держателя на фотографиях и в видеопотоке. Точность распознавания серии и номера в первой версии — больше 99%, ФИО — выше 95%.

Главное техническое решение, которое сразу сделало продукт лучшим на рынке: всё работало локально — на телефоне, компьютере или сервере без GPU. Никакой отправки изображений в облако, никаких краудсорсинговых платформ, никакого сохранения фотографий документов, никакого интернет-соединения. Это напрямую отвечало закону «О персональных данных» (152-ФЗ).

В 2016 году решение уже использовали: Тинькофф Банк (ныне Т-Банк), Почта Банк, Альфа Банк, Газпромбанк, вся большая тройка сотовых операторов — МТС, МегаФон, Билайн — и аэропорт Шереметьево. Фактически именно с этого момента началась эпоха массовых OCR-технологий в российском бизнесе.

Углы, рукопись, все страницы и браузер: что добавили за следующие шесть лет

После 2016 года развитие ускорилось, как двигались разработчики:

Распознавание под любым углом. Нейросеть научили определять, где именно находится паспорт в кадре — даже если он лежит под углом или частично согнут. Для этого использовали математический метод, который умеет находить прямые линии и геометрические формы на сложном изображении.

Рукописный текст. У большей части населения до сих пор встречаются паспорта с рукописными пометками — чаще всего внутри регистрационных штампов, иногда и на основном развороте. Для решения этой задачи разработчики собрали обучающую выборку — несколько тысяч примеров рукописного текста из реальных паспортов — и натренировали на ней отдельную нейросеть.

Все страницы паспорта. Со временем OCR-системы научились работать с абсолютно всеми страницами российского паспорта: ИИ находит номера страниц и читает любые штампы.

Распознавание в браузере. В 2021 году распознавание паспорта впервые запустили прямо в браузере — без установки приложения, сделали это с помощью технологии WebAssembly. Банки, страховые и другие компании получили возможность перенести OCR-функциональность сразу на сайт.

Читать паспорт умеют все. Теперь нужно понять, настоящий ли он

Число подделок растёт, и для бизнеса это меняет приоритеты: уже недостаточно просто считать данные из паспорта — нужно ещё понять, не фальшивка ли это. Порог в 95%, который считался нормой ещё пять-десять лет назад, сегодня не подходит, теперь минимальный уровень — 99% и выше.

Любые ошибки обходятся дорого в обе стороны. Пропущенный мошенник — это прямые финансовые потери и удар по репутации, но отказ легитимному клиенту — тоже критичная проблема: потеря доверия, деградация пользовательского опыта и отток аудитории.

При тысячах таких случаев недополученная выручка становится огромной.

Следующий уровень: антифрод и мультимодальность

Сейчас хакеры используют всё доступное: графические редакторы, генеративный ИИ, технологии морфинга — для создания качественных подделок. Антифрод должен закрывать все каналы банковского обслуживания, включая сценарий, когда клиент отправляет всего одну фотографию паспорта.

Задача системы — не просто читать документ, но и понимать, как выглядит подлинный образец, поэтому OCR-системы должны проверять документ сразу по нескольким каналам одновременно: читать текст, считывать данные с чипа внутри паспорта при наличии, проверять штрихкоды, анализировать метаданные файла — и сверять всё это между собой.

Параллельно должна расти доступность этих систем. Мобильные приложения и браузер разработчики уже освоили, а недавно смогли перенести распознавание в мини-приложения мессенджеров. Именно развитие антифрод-инструментов и экспансия в новые каналы определят, о какой из компаний мы напишем в следующей части этой истории.

Разбираемся, чем учебный прототип отличается от промышленной системы, почему банкам важны точность и безопасность, и что происходит, когда распознавание работает плохо.

Уровень 1: учебный прототип на открытых моделях

Технологии компьютерного зрения стали доступными. То, что десять лет назад требовало опытной команды разработчиков, сегодня может сделать группа студентов за выходные.

Стандартный подход выглядит так: берут открытую модель (Llama, Qwen, Mistral, Gemma или DeepSeek), обучают на небольшом наборе фотографий паспортов и получают систему, которая распознает печатный текст с точностью около 70%. Для учебного проекта или демонстрации на конференции этого хватает. Для реального бизнеса — нет.

Что не работает в таком прототипе:

• Не распознает текст, написанный от руки
• Не обрабатывает документы с бликами или при плохом освещении
• Не проверяет, настоящий паспорт или поддельный
• Требует хороших условий для съемки
• Точность 70% значит, что каждый третий документ распознается неправильно

Для учебы подходит. Для банка, который обрабатывает миллионы паспортов, — недопустимо.

Уровень 2: сервис на готовых API

Следующий уровень — решения от разработчиков. Они используют готовые инструменты: подключают API от Google или Microsoft, комбинируют несколько открытых моделей, добавляют словари и правила проверки. В зависимости от бюджета проводят дополнительное обучение моделей. Результат — точность распознавания около 80%, как у стандартных облачных сервисов.

Многие сервисы повышают точность вручную. Они используют метод HITL (Human-in-the-Loop): отправляют фотографии документов людям на краудсорсинговые платформы, где те вручную перепечатывают данные. Это позволяет в рекламе показывать высокие цифры точности.

Три серьезные проблемы такого подхода

Зависимость от иностранных технологий

Если система работает через API зарубежной компании, банк не контролирует свою инфраструктуру. При санкциях или политических решениях сервис могут отключить. Лицензии могут заблокировать. Доступ могут ограничить без предупреждения.

Риск утечки данных

Когда фотографии паспортов или данные из них отправляют третьим лицам (особенно на краудсорсинговые платформы с неизвестными исполнителями), возникает риск утечки. По закону 152-ФЗ штраф за утечку персональных данных может достигать 500 миллионов рублей. В особо тяжких случаях возможна уголовная ответственность до 10 лет лишения свободы. Персональные данные не должны выходить за пределы защищенного контура банка.

Ограниченные возможности

Облачный сервис работает в простых ситуациях, но не может заменить систему, созданную под требования крупного банка. Зависимость от интернета добавляет задержки. Невозможно настроить систему под специфику конкретного банка. Нельзя обрабатывать данные внутри защищенного контура организации.

Уровень 3: распознавание как задача бизнеса

Банки оценивают технологию с точки зрения бизнеса. Распознавание паспорта — это первый шаг в обслуживании клиента. От него зависит, насколько быстро человек откроет счет и начнет пользоваться услугами банка. Любая задержка или ошибка влияет на решение клиента остаться или уйти к конкуренту.

Что нужно банку

Высокая скорость

Система должна обработать документ за секунды. Если клиент ждет или вынужден несколько раз переснимать паспорт, он может закрыть приложение и открыть приложение другого банка. Если ИИ работает медленнее или ошибается чаще, чем человек, его внедрение не имеет смысла.

Работа внутри инфраструктуры банка

Данные не должны уходить на внешние серверы. Это важно для безопасности и скорости: зависимость от интернета создает задержки и точки, где система может отказать.

Независимость от иностранных технологий

Система не должна зависеть от API зарубежных компаний, политических решений или возможных отключений. Она должна работать на российских операционных системах, мобильных устройствах и в браузере. Работу в браузере обеспечивают технологии WebAssembly — их внедряют только ведущие разработчики в этой области.

Точность в любых условиях

Паспорт должен распознаваться при плохом освещении, если документ наклонен, есть блики, съемка сделана на недорогом телефоне. Система должна обрабатывать текст, написанный от руки — в паспортах часто встречается ручное заполнение. Нужно распознавать не только основной разворот, но и страницу с пропиской, включая рукописные штампы.

Проверка подлинности документа

Это самая сложная задача. Ошибка здесь дорого обходится банку. Если система неправильно отклоняет 10% настоящих клиентов, банк теряет огромные деньги. Когда конкуренция высокая и борьба идет за каждого клиента, нужны технологии с минимальным процентом ошибок.

Уровень 4: распознавание как научная задача

Создание промышленных систем распознавания и проверки подлинности — это не задача для студентов или разработчиков на готовых API. Этим занимаются команды мирового уровня. Они годами проводят исследования, создают новые архитектуры нейросетей, публикуют научные работы, получают патенты. На это уходят миллиарды рублей.

Таких компаний в мире мало: Jumio, Onfido, Apple, SumSub. Обычно в одной стране есть максимум одна команда такого уровня, а в большинстве стран их нет совсем. У этих компаний есть общее: серьезная научная база, признание в мире и огромные вложения в исследования.

Ситуация в России

Первой компанией, создавшей промышленные системы компьютерного зрения для распознавания документов в России, была Cognitive Technologies. Позже компания переключилась на автоматизацию в сельском хозяйстве. Затем была ABBYY, но в 2022 году компания полностью ушла из России.

Сейчас лидер российского рынка систем распознавания паспортов — Smart Engines. Компания работает с 2016 года. Ее основали ученые с большим опытом в анализе изображений. Компания создает технологии для точного распознавания паспортов РФ, других документов и объектов на фотографиях и видео.

Почему банкам не подходят простые системы

Создавать системы распознавания стало проще

Студенты делают учебные проекты, разработчики создают сервисы на готовых инструментах. Но банкам нужен другой уровень: очень высокая точность, работа на любых устройствах, независимость от иностранных технологий, защита от мошенников и удобство для клиентов.

Разница видна в жизни

В одном банке клиент ждет, система медленно работает, выдает ошибки, просит переснять паспорт. В другом банке всё происходит за несколько секунд без лишних действий — независимо от того, как сделана фотография. Клиенты выбирают банк, где всё работает быстро и без проблем.

Цена ошибки

Для банка ошибка в распознавании или задержка даже на несколько секунд приводит к потере клиентов, снижению процента успешных регистраций, проблемам с репутацией, прямым финансовым потерям, претензиям от регулятора и проигрышу конкурентам. Даже необходимость покупать дорогие видеокарты (GPU) может стать причиной отказа от системы.

Все эти требования делают выбор системы распознавания важным стратегическим решением. Лучше один раз заплатить за качество и надежность, чем потом постоянно нести убытки из-за ошибок системы.

Пользователь может транслировать презентацию через "AI Кликер", а сервис будет записывать и транскрибировать речь спикера и аудитории. Спикер может переключать слайды простыми голосовыми командами или ключевыми словами, привязанными к конкретным слайдам.

Интеграция LLM позволяет реализовать интеллектуальные функции - переключение слайдов по описанию, контексту, генерация нового контента в реальном времени. Целевая аудитория — учителя, преподаватели и спикеры, на постоянной основе работащие с презентациями.

Архитектура решения

Наша команда использует JavaScript с React на фронтенде и Python c FastAPI на бэкенде. Мы используем PosgtreSQL как базу данных и S3 как объектное хранилище для хранения презентаций. Мы строим микросервисную архитектуру в нашем приложении.

Первый сервис - REST API для авторизации, управления личным кабинетом и контентом пользователя. Развернут на отдельном дешевом сервере за прокси NGINX, запросы шифруются HTTP

Второй сервис - API трансляции презентации. Двустороннее взаимодействие браузера и этого сервиса (передача звука и отдача команд по переключению слайдов) идет по протоколу WebSocket Secure. Отдельный сервис для трансляции позволяет нам динамически управлять дорогими серверами с GPU, уничтожать их, поднимать, экспериментировать с конфигурациями, не переживая о сохранности основного приложения. Модель OpenAI Whisper используется для транскрибации речи и GigaChat от Сбера как LLM для анализа контекста выступления и генерации команд и контента.

Работа Whisper

В AI-кликере распознавание речи - фундамент всей системы. Пока человек говорит, система должна получить текст, проверить команды, сопоставить с ключевыми словами, передать в LLM. Для этого обычного Whisper недостаточно — он отлично работает с файлами, но плохо подходит для живого потока.

Поэтому в проекте используется связка Whisper + WhisperLiveKit — библиотека, которая позволяет кормить модель аудио чанками в реальном времени, а не загружать готовые записи.

Байпас: ручное управление голосом

Одна из ключевых фич — байпас-режим. Это механизм, который позволяет управлять презентацией жёсткими голосовыми командами, в обход всей нейросетевой логики.

Когда Whisper отдаёт текст, он сначала проверяется не через LLM, а через механизм сопоставления фраз:

Дальше всё работает просто:

• если пользователь сказал фразу, похожую на “кликер вперёд” → слайд листается вперёд;
• если “кликер назад” → слайд листается назад.

Данная реализация позволяет пользователю в любой момент перебить автоматику и принудительно перелистнуть слайд. Это критично для надёжности: если LLM вдруг “поплыла”, у спикера всегда есть жёсткий голосовой руль.

Ключевые слова: автоматический переход на нужный слайд

Вторая важная часть — режим ключевых слов. Это уже не просто “вперёд/назад”, а сопоставление речи с конкретными слайдами.

Логика такая:

1. Для презентации загружается набор ключевых фраз, который группируется по номеру слайда.
2. Когда приходит новый фрагмент речи — он сравнивается с ключевыми словами и в случае успеха отправляет команду на переключение:

То есть фактически система работает как голосовой навигатор по презентации:

• сказал фразу, связанную со слайдом 5 → система предлагает перейти на 5;
• сказал фразу из блока 10 → прыжок сразу туда

При этом переход отправляется в очередь и дополнительно проверяется по порогу уверенности:

Слайд переключается только если вероятность достаточная. Это защищает от случайных совпадений и шумов.

Работа с LLM (Гигачат) - промпты, контексты, очереди

Если Whisper в AI-кликере отвечает за то, чтобы услышать, то GigaChat отвечает за то, чтобы понять, о чём сейчас говорит спикер и какой слайд этому соответствует. Вся работа с LLM построена асинхронно: распознанная речь не блокирует систему, а складывается в очередь и обрабатывается в фоне. Каждый фрагмент речи:

• попадает в очередь,
• добавляется в историю пользователя,
• отправляется в GigaChat,
• а результат в виде вероятностей по слайдам уходит дальше в очередь переключения.

Такой подход позволяет не тормозить распознавание речи, не зависеть от времени ответа нейросети, обрабатывать несколько фрагментов параллельно.

В чём возникла основная проблема?

Текущая концепция работы LLM строится на предугадывании номера слайда по смыслу речи. И именно здесь в реальных условиях всплыла главная боль проекта. На живых выступлениях выяснилось, что GigaChat может путаться между похожими слайдами и менять своё решение от фразы к фразе. В итоге презентация иногда начинала хаотично перелистываться, даже если спикер говорил последовательно и спокойно. Для пользователя это выглядит как будто “нейросеть сошла с ума и живёт своей жизнью”.

Пока проблема не решена полностью, в системе есть страховочный механизм — временное отключение GigaChat при ручном управлении. Если пользователь даёт жёсткую голосовую команду (байпас), то нейросеть временно игнорируется, а управление полностью возвращается человеку. Через несколько секунд автоматика включается обратно, что позволяет не ломать выступление даже в моменты, когда LLM начинает вести себя нестабильно

Практика показала, что угадывать слайд по смыслу — слишком нестабильная стратегия для живого продукта. Поэтому сейчас происходит переход к новой модели:

• было - нейросеть угадывает номер следующего слайда.
• станет - нейросеть находит слайд по его описанию. После определенной команды, система слушает пользователя, пока он не закончит предложение (как умная колонка) и тогда один раз выбирает и переключает слайд. Это снижает вероятность случайных переключений и делает поведение системы более предсказуемым.

Итоги

Мы продолжаем реализацию проекта и планируем скорый выход на рынок. Реализация местами еще сырая, но мы стараемся тестировать решение с фокус-группой профессионалов, работающих с презентациями, чтобы выработать лучшие решения, удобные для них. У нас получилось выиграть небольшой студенческий грант на реализацию, это поможет нам оплатить сервера и работу разработчиков.

Мы тоже решили разобраться в этом и взяли интервью у экспертов MCN Telecom, изучили архитектуру их решения, посмотрели на метрики и реальные кейсы. Дальше покажем, чем AI-агент отличается от сценарного бота, посчитаем стоимость тикета (оператор vs AI), разберем два кейса с цифрами и дадим чеклист для техлидов по запуску и мониторингу.

Почему AI-агент не ломается на нестандартных фразах

В классическом боте вы прописываете дерево сценариев: если клиент сказал А, отвечаем Б, если В — переходим к ветке Г. Когда клиент формулирует вопрос иначе или уходит в сторону, бот ломается и начинает переспрашивать. В AI-агенте такой жесткой привязки к фразам нет.

ИИ-агент, в отличие от шаблонного бота, понимает смысл фразы, даже если она сказана нестандартно. Агент работает как оператор: анализирует намерение, эмоцию, задачу, ведет живой, многовариантный диалог, адаптируется под абонента в ходе диалога, помнит весь разговор, внешние данные и историю клиента.

Под капотом это выглядит так:

1. Система распознает речь;
2. Определяет намерение через NLU-модуль
3. Подтягивает контекст из CRM или внешних API
4. Генерирует ответ и выполняет действия.

Агент может не только отвечать на вопросы, но и оформлять заявки, менять параметры в системах заказчика, фиксировать обращения, отправлять SMS или email. По сути это оркестратор, который связывает голосовой интерфейс с бизнес-логикой компании через интеграции.

Вместо того чтобы прописывать сотни фраз и строить дерево сценариев вручную, вы даете системе базу знаний, несколько примеров диалогов и промпты с инструкциями.

Основная информация о компании. Разбор основных кейсов, с которыми обращаются клиенты — ответы на вопросы, статьи, на основе которых можно ответить. Скрипт со стилем, характером и подходом ИИ к решению проблем. Очертить границы — что ИИ не должен говорить, специфицировать на какие вопросы он не отвечает, когда говорит, что не знает. Чем уже границы, тем меньше вероятность галлюцинаций и ошибок. Интеграция с CRM и другими сервисами, куда через функции ИИ может обращаться за ответами и информацией о клиенте.

Заказчику не нужно нанимать команду дата-сайентистов или ML-инженеров. Если нужна интеграция с внешними системами, команда MCN Telecom занимается этим самостоятельно. Базового агента для обработки входящих обращений можно настроить за 1-2 дня, полноценного голосового помощника с интеграциями — за 2-3 недели.

Четыре метрики: от AHT до обработки 5000 запросов в час

Первая — среднее время обработки обращения, AHT в терминологии контакт-центров. У AI-агента это от 1 до 5 секунд на типовой запрос. Живой оператор тратит на то же самое от нескольких минут, потому что ему нужно найти информацию в базе и переключиться между окнами CRM.

Вторая метрика — процент обращений, которые система закрывает без эскалации к человеку. Эксперт MCN Telecom оценивает в среднем 90%, но у некоторых клиентов агент отвечает на все вопросы, живые операторы в принципе не участвуют в диалоге, поэтому здесь нужно понимать структуру обращений.

Практически каждый второй заказчик говорит, что бот не поймет специфику их бизнеса. Конечно, все отрасли считают себя уникальными, будь то ритейл, финансы или медицина. Но главное: 70-90% входящих обращений в любой сфере — типовые. Мы берём пару часов их реальных звонков, пропускаем через ИИ, показываем распознавание намерений и ответы. Обычно выясняется, что 90% звонков — это статус, оплата, доставка, продление, тариф, график. И только 10% звонков — действительно сложные, нестандартные.

Третья метрика — поведение системы под нагрузкой. Об этом будет кейс дальше, там как раз на примере ситуации, когда упала главная система на 5000 запросов в час.

Четвертая метрика — отработка в нерабочее время, по данным MCN Telecom, до 15% обращений поступает ночью или в выходные.

Конечно все зависит от специфики бизнеса заказчика. В среднем, до 15% обращений поступает в нерабочее время. При правильно настроенном голосовом агенте все, т.е. 100% типовых обращений будут обработаны. Статусы, записи, заявки, проверка данных, маршрутизация- все это агент обработает сам. Какие-то сложные вопросы агент запишет и передаст специалисту.

Считаем стоимость тикета: 270₽ у оператора против 60₽ у AI-агента

Теперь считаем деньги: узнаем, как формируется стоимость обработки одного обращения у живого оператора и у AI-агента.

Сколько бизнесу стоит человек-менеджер

Зарплата менеджера — 75,000 руб/мес, налог 35,000 руб/мес, расходы на рабочее место, оборудование (включая софт), условно 20,000 руб/мес. Среднее обращение — 10 мин, 50% рабочего времени тратится эффективно. Итого: 130,000 руб / 480 обращений = 270 руб на обращение.

Сколько бизнесу стоит AI-агент

Оператор обходится в 130,000 руб/мес, обрабатывает 480 обращений в месяц. ИИ-агент стоит 1990 руб/мес, добавим еще 1010 руб/мес за номер, ВАТС. Обработка стоит 6 руб/мин, при среднем времени обработки обращения получаем 60 руб/обращение. Количество обрабатываемых обращений в месяц не ограничено.

Возьмем реальный кейс

Было 100 операторов. Обращений в месяц — 48,000. Общая стоимость 13,000,000 руб затраты на всех операторов. После внедрения ИИ-агента: 48,000 * 60.3 = 2,894,400. Экономия практически 10,000,000 руб/мес.

Как считается окупаемость

Первый месяц уходит на тестирование и отладку, во второй месяц агент работает уже в полном объеме. С этого момента каждое обращение экономит бизнесу 210 рублей — разницу между стоимостью обработки оператором и агентом. Формально система окупается уже в первый месяц, но реальное внедрение с полной эффективностью начинается со второго.

Два кейса с цифрами: медклиники и телеком-провайдер

Федеральная сеть медклиник: от скепсиса к росту выручки

Федеральная сеть медицинских клиник пришла в MCN Telecom с большими сомнениями в качестве и скорости обработки обращений пациентов. У руководства был негативный опыт использования сценарного бота, который мог отвечать только на заранее прописанные вопросы шаблонными фразами. Был сильный страх финансовых и репутационных потерь.​

MCN Telecom оперативно настроили AI-агента, предварительно обучив его на реальных диалогах контакт-центра заказчика, и подключили пилот на одну клинику. Результаты работы агента фиксировали на дашборде с ежедневным отслеживанием динамики.​

Оказывается, пациенты не боятся общаться с ботом, если ответы звучат естественно и по-человечески. Агент понимает суть вопросов, а не ищет правильные слова, можно свободно формулировать свои запросы. Бот не читает шаблон, а ведёт живой диалог. Агент оперативно решает конкретные задачи: запись/отмену/перенос приёма, уточнение времени приема, озвучивание вопросов о стоимости или наличии процедур/врачей, подсказки как проехать/пройти к клинике, как подготовиться к исследованию и многое другое. А главное, агент всегда доступен и обрабатывает 100% обращений.

Результаты за первый месяц:​

• Выручка пилотной клиники выросла на 20%
• Среднее время решения вопросов сократилось на 50%
• Агент обрабатывал 100% обращений без очередей

После пилота приняли решение внедрить агента на остальных клиниках сети.​

Интернет-провайдер: 5000 обращений за час

AI-агент для технической поддержки регионального интернет-провайдера справился с повышенной нагрузкой в период аварийного сбоя. В течение часа агент обработал более 5000 обращений, оформил трабл-тикеты и озвучил всем абонентам примерные сроки решения и текущий статус.​

Это типичный сценарий для телеком-компаний, когда массовый инцидент генерирует лавину однотипных запросов. Живые операторы в таких условиях либо не справляются, либо компании приходится держать огромный резерв людей на случай пиков.

Задачи, которые AI закрывает лучше всего

По данным технического аналитика MCN Telecom, 90% от всех обращений — типовые. Агент обрабатывает без участия операторов:​

• Маршрутизацию вызова к нужному специалисту
• Ответы на частые вопросы

Handoff к оператору с передачей контекста: как не заставить клиента повторяться

ИИ берет рутину и освобождает операторов для сложных задач. Ключевая задача при внедрении — правильно организовать передачу диалога от бота к человеку:​

Необходимо, чтобы при переводе диалога к оператору он получал уведомление с ссылкой на диалог, который содержал бы историю общения клиента с роботом, в том числе диалоги за прошлые периоды, чтобы они были легко доступны.

Это решает ситуацию, когда клиент всё рассказал боту, а оператор заставляет повторять с начала. Оператор получает полный контекст и продолжает разговор с той точки, где остановился агент.​

Минимальный набор для запуска: база знаний, промпты и границы для галлюцинаций

Минимальный набор данных:​

• Основная информация о компании
• Разбор основных кейсов с которыми обращаются клиенты — ответы на вопросы и статьи
• Скрипт со стилем и подходом ИИ к решению проблем
• Границы работы ИИ — что не должен говорить, на какие вопросы не отвечает
• Интеграция с CRM и другими сервисами для доступа к данным клиента

Чем уже границы, тем меньше вероятность галлюцинаций и ошибок.

От настройки до пилота: 1-2 дня на базу, 2-3 недели на продакшн

Реальные цифры от MCN Telecom:​

• Базовый агент для входящих обращений: 1-2 дня
• Полноценный голосовой помощник с интеграциями: 2-3 недели до пилота

От заказчика не требуется нанимать команду дата-сайентистов или ML-инженеров. Платформа MCN Telecom берет на себя распознавание речи, определение намерений, логику диалога и подключение телефонии. Если нужна интеграция с внешними системами, команда MCN Telecom делает это сама.​

Главная ошибка: запустил и забыл вместо постоянного дообучения

Отношение к ИИ как к волшебному черному ящику, который все идеально будет делать сам, если один раз настроить.​

На самом деле необходимо постоянно изучать с помощью речевой аналитики и обратной связи качество обработки обращений и в зависимости от обратной связи корректировать настройки ИИ, дополнять промпты и базу знаний, постоянно совершенствовать логику обработки, добавлять новые установки ИИ с учетом практических задач.

Три метрики для мониторинга: решаемость, CSAT и динамика AHT

Что отслеживать после запуска:​

• Решена ли проблема клиента
• Насколько клиент доволен обработкой запроса
• Среднее время обработки обращения в динамике

Оценивать двумя способами:​

• Через оценку клиентом диалога
• Через оценку ИИ диалогов с помощью речевой аналитики

Речевая аналитика для дообучения: учимся на успешных и провальных диалогах

1. Необходимо постоянно проводить анализ с помощью речевой аналитики и находить аномалии:​
2. Успешные диалоги (максимально высокие метрики) → служат примерами для закрепления положительных элементов сценария и промптов​
3. Провальные диалоги (минимальные метрики) → служат сигналами для улучшения промптов и сценариев, чтобы не допускать таких проблем​
4. При любых изменениях в работе компании — новых продуктах, новых расписаниях, новой информации — нужно очень точно проверять, что в сценарии AI-агента есть о них информацию.​

Где можно потратить меньше денег и реально ли это

Эксперт MCN перечисляет дополнительные преимущества:​

• AI-агент не устает, работает 24/7 с одинаковым качеством
• Если правильно настроить промпты, отвечает точнее операторов
• Масштабирование проводится легко — добавляете агентов при росте нагрузки
• При спаде пика нагрузки легко уменьшить затраты, не нужно платить за простои
• Не нужно постоянно нанимать новых операторов из-за текучки

Оптимизировать бизнес-процессы, чтобы максимально устранить сложную логику, которая может приводить к путанице. Это значительно снизит возможные ошибки при обработке обращений ИИ и как следствие уменьшит необходимость затем разбирать такие кейсы и исправлять неправильный результат их обработки. Также уменьшит необходимость работы реальных операторов с этими кейсами и увеличит потенциал оптимизируемости процессов.

Реклама. Рекламодатель ООО «МСН Телеком», ИНН 772775208, erid: 2W5zFH3GrH6

Начнём с инструментов от российских разработчиков ⬇️

FollowUP: Анализ митингов для корпоративного сегмента

FollowUP — это голосовой ассистент для встреч, который автоматизирует протоколирование, расшифровку и аналитику корпоративных коммуникаций. Он подключается к звонкам и онлайн-митингам, фиксирует задачи, договорённости, сроки и ответственных, а затем рассылает участникам готовое резюме.

В отличие от обычных сервисов транскрибации, FollowUP делает акцент на аналитике: руководители получают доступ к единому кабинету, где собраны записи, конспекты и оценки качества встреч. Это позволяет не только вести документацию, но и контролировать эффективность коммуникаций внутри компании.

FollowUP работает Google Meet, Zoom, SaluteJazz (ex. SberJazz), MS Teams, Яндекс.Телемост, КонтурТолк и JitsiMeet. Поддержка ТруКонф пока в разработке. Бот сам присоединяется к запланированным встречам по ссылкам из приглашений. Протокол встречи приходит в течение 15 минут после ее окончания.

Результат можно получить в удобном канале: WhatsApp, Telegram, Email или в личном кабинете.

Сценарии использования

Разработчики получают краткие выжимки из часовых встреч без необходимости переслушивать записи. QA фиксируют баги и договорённости во время обсуждений, а проджект-менеджеры используют готовые протоколы и отчёты для автоматической постановки задач. Студенты и стажёры превращают записи лекций в конспекты.

Для корпоративных клиентов доступны расширенные сценарии: стандартные протоколы для фиксации договорённостей, задачи с экспортом в трекеры, а также инструменты оценки качества встреч для руководителей. В маркетинге и продажах FollowUP помогает анализировать конкурентов, фиксировать настроение собеседников и давать рекомендации РОПам, а рекрутинг получает аналитику собеседований и кандидатов.

Кастомизация и детализация протокола

Пользователь может гибко настраивать содержание итогового отчета и выбрать формат кастомизации:

• Тональность и настроение участников на встрече.
• Задачи, ответственные и сроки.
• Сводка ключевых тем с конкретными выводами.
• Вопросы, которые остались без ответа и требуют дальнейшего обсуждения.

Сервис не только протоколирует, а анализирует ход встречи, собирает рекомендации для улучшения коммуникаций. Это позволяет оценить, насколько эффективно команда тратит время на совещаниях.

Технические детали и управление

Ассистент подключается к встречам в Google Meet, Яндекс.Телемост, Zoom и других ВКС через ссылку из календаря.

В ЛК также можно настроить связь с корпоративными системами: календари, мессенджеры (Telegram), CRM (amoCRM, Битрикс24) и таск-трекеры, включая BPMSoft и LANSOFT. Доступен API для интеграции в корпоративные экосистемы.

Тарифная политика

Оплата происходит за минуты обработки. Сервис предлагает пакеты от 3 часов (180 минут) до более 80 часов (5000 минут), с возможностью получения корпоративных скидок до 50%.

Вся работа проходит через веб-интерфейс, личный кабинет и Telegram-бота. Поддержка организована в чате и по системе тикетов, для корпоративных клиентов доступны SLA и база знаний.

Чем он отличается от других?

FollowUP фокусируется на анализе эффективности общения, а не только на записи. В то время как другие сервисы просто дают вам текст, FollowUP оценивает качество самой встречи, включая тональность разговора, и предлагает рекомендации руководителям.

Труконф: Защищенные коммуникации с ИИ-протоколированием

Труконф — это защищенная система видеоконференцсвязи (ВКС) и корпоративный мессенджер, которая разворачивается на оборудовании компании-заказчика. Основной акцент сделан на полном контроле над коммуникациями, безопасности и импортонезависимости.

Сценарии использования

Труконф подходит для компаний, которым нужна автономность, безопасность данных и интеграция в существующую IT-инфраструктуру, особенно в крупном бизнесе и госструктурах.

• Для ИТ-директоров и специалистов по безопасности: Развертывание сервера на собственном оборудовании гарантирует полную безопасность и контроль над всеми коммуникациями. Поддержка единого входа (SSO), интеграция с Active Directory и возможность настройки групповых политик упрощает управление доступом и правами пользователей.
• Для разработчиков и команд, работающих с конфиденциальными данными: Система предлагает автопротоколирование встреч — преобразование записей конференций в подробные стенограммы.
• Для PM и менеджеров: Возможности совместной работы: демонстрация экрана, аннотации, удаленное управление рабочим столом.
• Для внутренних коммуникаций (Корпоративный мессенджер): Помимо ВКС, система включает мессенджер с каналами, папками для чатов и функцией комплексных опросов с детальной аналитикой.

Особенности

Здесь есть фокус на безопасности, масштабировании и унифицированных коммуникациях.Интеллектуальные возможности ИИФункции ИИ направлены на повышение качества встречи и автоматизацию рутины:

1. Автопротоколирование встреч: Преобразование аудиозаписей в подробные текстовые стенограммы.
2. Интеллектуальное шумоподавление: Улучшает качество звука, позволяя проводить встречи даже при внешних шумах.
3. Управление фоном: Размытие, замена и брендирование фона.

Технические детали и управление

• Платформа: Передовой сервер ВКС и мессенджер.
• Аутентификация: Поддержка технологии SSO и интеграция с провайдерами аутентификации, включая AD FS.
• Клиентские приложения: Доступны для Windows, macOS, Linux, а также в виде WebRTC и мобильных приложений для RuStore, App Store, Google Play, AppGallery.
• API: Предоставляются программные API для управления сервером и создания чат-ботов.
• Программное и аппаратное обеспечение для переговорных: В линейке есть решения для переговорных комнат, включая ПО TrueConf Room и аппаратный терминал TrueConf Group.

Чем он отличается от других?

Это решение для тех, кто ищет отечественную, масштабируемую систему ВКС с интегрированным ИИ-протоколированием.

Таймлист AI: Протоколирование и база знаний для экосистемы 1С

Таймлист AI, в частности его расширение Таймлист Бот Встреч, представляет собой инструмент, нацеленный на автоматическое протоколирование совещаний и создание базы знаний внутри корпоративной экосистемы. Основной фокус — на глубокой интеграции с 1С и работе с русскоязычным контентом.

Сценарии использования

Инструмент ориентирован на проектные команды, компании с развитой системой 1С и организации, которым важна работа с русскоязычными техническими терминами и локальный хостинг.

• Для руководителей и менеджеров, использующих 1С: Бот-помощник интегрируется непосредственно в 1С, что позволяет автоматически архивировать записи встреч и получать текстовые расшифровки с именами выступающих прямо из привычного интерфейса.
• Для аналитиков и инженеров: Точность распознавания, способность справиться с аббревиатурами, терминами и англицизмами на русском языке обеспечивает высокое качество исходного текста.
• Для компаний с высокими требованиями к безопасности: Есть возможность локальной установки (On-premise) на сервера компании и хранение данных на защищенных российских серверах.

Особенности

Таймлист Бот Встреч поставляется как расширение для 1С (совместим с УНФ и другими конфигурациями), что обеспечивает бесшовное подключение без необходимости доработки основной системы. Бот подключается как гость к конференциям (Zoom, Яндекс.Телемост, Труконф и др.) и автоматически запускает запись при наличии двух и более участников.

Качество транскрипции на русском языке

Сервис заявляет о точности расшифровки до ~97%. ИИ специально обучен для:

• Распознавания англицизмов и терминологии в русской речи.
• Грамотной расстановки знаков препинания и деления текста на абзацы.
• Пометки говорящего с таймкодами.

Технические детали и управление

• Формат поставки: Расширение для 1С или On-premise установка.
• Протоколирование: Автоматическая запись, расшифровка и автопротокол (резюме, задачи, решения).
• Архив: Записи доступны для скачивания в течение 3 дней, а расшифровки хранятся в базе знаний.
• Поддерживаемые ВКС: 1С:Система взаимодействия, Zoom, Яндекс.Телемост, Труконф, ИВА, Экспресс и другие.

Чем он отличается от других?

Таймлист AI имеет четко выраженную специализацию: глубокая интеграция в корпоративную экосистему 1С и фокус на высококачественном протоколировании русскоязычных и технических переговоров.

Дальше копайлоты — самостоятельные инструменты, совместимые с различными сервисами видеосвязи ⬇️

tl;dv: Too Long, Didn’t View

tl;dv — это ИИ-помощник, который записывает, расшифровывает и резюмирует онлайн-встречи. В основе работы — технологии распознавания речи и обработки естественного языка (NLP). Сервис нацелен не столько на протоколирование, сколько на извлечение из разговоров ключевых идей, что позволяет сфокусироваться на взаимодействии, а не на конспектах.

Сценарии использования

Инструмент предлагает разные сценарии, в зависимости от роли в команде:

• Для разработчиков и QA: вместо того чтобы смотреть полуторачасовую запись демо, можно получить краткую сводку с ключевыми моментами.
• Для PM: сервис помогает автоматизировать рутину после митинга. Он может извлечь задачи, принятые решения и вопросы, которые требуют внимания, а также обновить статусы в CRM или других инструментах управления проектами.
• Для отдела продаж: tl;dv анализирует звонки с клиентами, помогает выявлять стандартные возражения, отслеживать упоминания конкурентов и запросы на функции.

Особенности

Ключевые особенности tl;dv сосредоточены на трёх аспектах: точности, многоязычности и интеграциях.

Распознавание речи. Заявленная точность сервиса — свыше 90%. Он работает с 30+ языками, включая русский, английский (с разными диалектами), немецкий, китайский и японский.

Интеграции. tl;dv синхронизируется с более чем 5000 инструментов, включая популярные CRM и системы управления проектами.

Технические детали и управление

• Как работает: tl;dv интегрируется с популярными платформами для видеоконференций — Google Meet, Zoom, Microsoft Teams. Он подключается к звонку как дополнительный участник и автоматически начинает запись и расшифровку.
• Формат вывода: на выходе пользователь получает видеозапись, текстовую расшифровку с временными метками и краткую сводку, сгенерированную ИИ.
• Поддержка: у сервиса нет отдельного мобильного приложения, но он может автоматически записывать и расшифровывать звонки, проходящие на мобильных устройствах с iOS и Android через Google Meet, Zoom и Microsoft Teams.
• Доступ: у tl;dv есть бесплатный тариф, который включает неограниченное количество записей и расшифровок, а также ИИ-сводки.

Чем он отличается от других?

В отличие от многих инструментов, которые фокусируются исключительно на записи и транскрипции, tl;dv уделяет особое внимание автоматизации рутинных процессов после встречи. Он пытается превратить его в готовые данные для CRM, черновики писем или аналитические отчеты.

Otter.ai: Агент, который всегда на связи

Otter.ai позиционируется как интеллектуальный помощник для совещаний, задача которого — сделать встречи более продуктивными, автоматизировав запись, конспектирование и последующие действия. Сервис ориентирован на предоставление ответов и автоматическое извлечение ключевой информации из разговора.

Сценарии использования

Инструмент предлагает специализированных помощников (агентов), которые адаптируют его функции под конкретные задачи и роли:

• Для руководителей проектов и разработчиков: ИИ-помощник автоматически фиксирует пункты действий и может интегрировать их напрямую в системы управления проектами, такие как Jira или Asana.
• Для рекрутеров: Помощник может предоставлять ответы в режиме реального времени во время собеседований, извлекать ключевые сведения о кандидате и синхронизировать заметки с системами управления кандидатами.
• Для отделов продаж: Автоматическое фиксирование заметок, планирование последующих контактов и интеграция с системами управления клиентами (Salesforce, HubSpot).
• Для специалистов по медиа: Помощник помогает в организации неструктурированных мыслей, извлекая ключевые цитаты и важные тезисы для подготовки черновиков и структурированных планов.

Особенности

Ключевое отличие Otter.ai заключается в его чате с ИИ и специализации помощников под бизнес-задачи.

Чат с ИИ и голосовая активация. Сервис позволяет задавать вопросы (используя фразу "Привет, Otter") о прошлых разговорах, чтобы быстро получить необходимую информацию или сгенерировать черновики писем и планов.

Точность и сводки. Otter заявляет о точности распознавания речи до 95% и способен сжать длинные совещания в короткие, читабельные резюме.

Интеграции

Otter.ai глубоко интегрирован в рабочие процессы:

1. С платформами для конференций: Автоматический помощник может присоединяться к совещаниям в Zoom, Google Meet и Microsoft Teams для стенограммы в реальном времени.
2. С системами управления задачами: Преобразование ключевых тезисов и пунктов действий в рабочие задачи в системах вроде Jira и Asana.
3. С системами управления клиентами (CRM): Автоматический перенос стенограмм и данных о клиентах в Salesforce и HubSpot.
4. С инструментами для совместной работы: Slack для мгновенного обмена сводками, Google Docs для редактирования заметок, Dropbox для загрузки и расшифровки аудио- или видеофайлов.

Чем он отличается от других?

Основное отличие Otter.ai заключается в его интерактивности и ориентации на действие. В то время как другие могут концентрироваться на точности репортов и сводках, Otter добавляет Чат с ИИ, который позволяет пользователю запрашивать информацию и создавать контент из записей.

MeetGeek: Персональный компаньон с акцентом на аналитику

MeetGeek позиционируется как персонализированный помощник для совещаний, который автоматически записывает, транскрибирует и резюмирует встречи, превращая их в аналитические выводы, задачи и автоматизированные рабочие процессы.

Сценарии использования

MeetGeek предлагает инструменты для разных уровней и отделов, что позволяет повысить эффективность совещаний по всей организации:

• Для команд продаж: Помощник для продаж фокусируется на качественных разговорах с потенциальными клиентами, автоматически фиксирует заметки и синхронизирует их с системами управления клиентами (CRM). Менеджеры могут использовать записи и аналитику для своевременного обучения команды.
• Для специалистов по кадрам: Помощник полезен для интервью, он позволяет сосредоточиться на кандидате, пока заметки фиксируются автоматически.
• Для разработчиков и PM: MeetGeek помогает сократить количество встреч и время на ручной ввод данных. Итоговые пункты действий (задачи) могут быть автоматически синхронизированы с системами управления задачами, такими как Asana, Monday, ClickUp.

Особенности

Ключевые особенности MeetGeek сосредоточены на гибкости записи, глубокой аналитике разговора и безопасности данных.

Гибкость записи. В отличие от некоторых аналогов, MeetGeek предлагает расширение для браузера Chrome, которое позволяет записывать разговоры на множестве платформ (Zoom, Google Meet, Teams, Webex, Discord и др.) без необходимости приглашать бота на встречу. Это также позволяет ставить запись на паузу и возобновлять ее. Сервис поддерживает более 50 языков.

Контекстный интеллект разговора. ИИ-помощник автоматически определяет тип совещания (продажи, интервью, командная встреча) и применяет подходящий шаблон резюме.

Управление знаниями и совместная работа. Сервис создает единую, защищенную и доступную для поиска библиотеку прошлых совещаний, которая может быть организована по типам встреч или командам.

Технические детали и управление

• Работа с платформами: MeetGeek автоматически присоединяется к встречам, запланированным в Google Calendar или Microsoft Calendar, а также работает через браузерное расширение.
• Локализация и хостинг: Сервис поддерживает более 50 языков. Данные хранятся на облачной платформе Amazon AWS с возможностью выбора между хостингом в ЕС или США.
• Интеграции: Сервис интегрируется с календарями, репозиториями документов (Google Drive, Notion), чатами (Slack, Teams), системами управления клиентами (HubSpot, Salesforce) и задачами (Asana, Monday, ClickUp). Дополнительно поддерживается интеграция с более чем 10 000 приложений через Zapier, Make, n8n, а также предоставлен Публичный API.

Чем он отличается от других?

Ключевое отличие MeetGeek — это фокус на аналитике эффективности совещаний и гибкость сбора данных. MeetGeek добавляет более 100 KPI и анализ настроения спикеров.

Какой вывод делаем

Автоматизация совещаний перестала быть просто трендом и стала рабочим инструментом для повышения эффективности. Современные ИИ-помощники берут на себя рутину: от записи и транскрипции до обновления статусов в CRM и создания задач в трекерах.

Выбор подходящего инструмента во многом зависит от приоритетов компании — от требований к безопасности и локализации до глубины интеграции в проектные или продажные процессы.

• CISA официально относит их к уязвимым факторам,
• Microsoft описывает, как их обходят AiTM, SIM‑swap и кража токенов.

Почти половина компаний пережила взлом в 2024 году — в 9 из 10 случаев атакующие сначала пробивались в корпоративные аккаунты. Вместе с экспертами рассказываем, как правильно внедрить многофакторную аутентификацию, чтобы не пополнить список взломанных компаний.

Что такое двухфакторная аутентификация и чем она отличается от многофакторной

Двухфакторная аутентификация (2FA) встречает на входе в банковские приложения. Сначала вводите пароль, потом указываете код из СМС.

При обычном входе вы используете только пароль. При 2FA добавляется второй шаг проверки:

• код из СМС или приложения,
• отпечаток пальца,
• USB-ключ,
• пуш-уведомление на телефон.

Многофакторная аутентификация (MFA) работает также, но проверок может быть больше двух. Например, банк запросит пароль, потом код из СМС, затем ответ на секретный вопрос.

Анна Храмцова, старший руководитель направления разработки продукта Dion, соавтор тг-канала Диагноз:Аналитик:

2FA — это частный, самый распространённый случай MFA. Когда говорят «MFA», часто подразумевают именно 2FA. А когда говорят о «более чем двух факторах» (3FA+), то имеют в виду системы с экстремально высоким уровнем риска. Для большинства сценариев, включая банковские приложения, 2FA выступает «золотым стандартом» и достаточной мерой.

Почему СМС-коды больше не гарантируют безопасность

В 2025 году мошенники чаще обходят 2FA, где используются коды из СМС.

Самый распространённый способ — подмена SIM-карты. Злоумышленник приходит в салон связи с поддельными документами и восстанавливает вашу SIM-карту. Оператор блокирует симку, выдаёт новую мошеннику, и все СМС приходят ему. В России такие случаи происходят регулярно.

Второй способ — перехват СМС через уязвимости в протоколе SS7, который используют операторы связи для маршрутизации звонков и сообщений между сетями.

SMS-коды — ненадежный 2-ой фактор аутентификации. Сегодня операции с копированием номеров и перехватом сообщений не столько редки и невозможны, как, скажем, 5 лет назад.

Третий — социальная инженерия. Мошенники звонят от имени техподдержки с просьбой продиктовать код из СМС для «проверки безопасности» или «отмены подозрительной операции».

Какие методы защиты работают

Приложения-аутентификаторы генерируют временные коды. Google Authenticator, Яндекс.Ключ обновляют комбинации каждые 30 секунд. Перечисленные сервисы работает по TOTP — код синхронизирован между телефоном и сервером через общий секретный ключ. Перехватить код невозможно, потому что он не передаётся по сети.

Физические ключи безопасности — это USB-устройства размером с флешку. YubiKey, Google Titan Key подключаются к компьютеру или телефону и подтверждают личность. Взломать такую защиту практически невозможно. Ключ проверяет подлинность сайта, поэтому не сработает на фишинговой копии.

Пуш-уведомления отправляют запрос на подтверждение входа в мобильное приложение.

Биометрия — отпечатки пальцев, распознавание лица. Смартфоны хранят эти данные в защищённом чипе.

Александр Шибаловский, CTO:

В исключительных случаях используется 4 фактора: например, логин + динамический код + физический носитель ЭП + биометрия. Только ключ в замке провернуть не хватает для верности 🙂

Делать самим или купить готовое решение

Разработка системы 2FA с нуля займёт минимум полгода работы команды из 3-4 человек. Это зарплаты, тестирование, исправление ошибок и постоянные обновления. Ответственность за каждую уязвимость ляжет на вас.

Анна Храмцова комментирует:

Моя рекомендация для большинства организаций: начать с оценки готовых решений на рынке. Фокус следует сместить с вопроса «разрабатывать или подключать?» на вопросы:
1. Какой сторонний сервис лучше всего соответствует нашим техническим требованиям и бюджету?
2. Как правильно интегрировать его в нашу ИТ-инфраструктуру?
3. Как его плавно внедрить для пользователей, чтобы повысить безопасность, а не создать барьеры?

Интеграция 2FA/MFA — это в подавляющем большинстве случаев использование стороннего сервиса, а не разработка с нуля. Создание собственной защиты требует огромных ресурсов, глубокой экспертизы в безопасности и постоянного сопровождения. Также в России есть риски, связанные с возможным отключением облачных сервисов, поэтому преимущество на стороне on-premise решений.
Разрабатывать своё решение имеет смысл только в очень специфических случаях. Например, если работаете в закрытой инфраструктуре, где запрещено подключение к внешним сервисам, или у вас уникальные требования, которые ни один вендор не покрывает. Но даже тогда лучше брать open-source библиотеки вроде privacyIDEA или Keycloak и дорабатывать их, чем писать всё с нуля.

Готовые решения делятся на три типа:

• SaaS (Software as a Service — программа как услуга) работает через интернет на серверах разработчика. Вы платите за подписку, подключаете сервис за пару дней и забываете про технические вопросы.
• On-premise (на вашей территории) устанавливается на серверы компании. Вы полностью контролируете данные, но нужны свои администраторы для поддержки системы.
• Open-source (открытый код) можно скачать бесплатно и доработать под свои нужды.

Большинству компаний подходят SaaS-решения: быстрый старт, предсказуемые расходы и команда профессионалов, которая следит за безопасностью 24/7. On-premise имеет смысл при жёстких требованиях регуляторов или работе с гостайной.

Александр Шибаловский считает:

Для крупных систем с высокими требованиями к безопасности целесообразнее не отдавать данные пользователей за контур компании, соответственно возможные варианты — разработать свой модуль или установить стороннее решение on-premises. Для быстрого запуска и небольших систем удобнее использовать SaaS.

Типичные ошибки при внедрении MFA и как их не допустить

Проблемы чаще возникают у компаний, которые подключают 2FA только потому, что так требуют регуляторы или партнёры. Ставят галочку в отчёте и успокаиваются.

Распространённые ошибки:

• Нет запасных вариантов входа. Сотрудник разбил телефон с приложением-аутентификатором, и всё — он не может войти в рабочие системы.
• Один метод для всех. Директору и стажёру предлагают одинаковую защиту. Хотя у директора доступ к финансам, а у стажёра — только к корпоративному чату.
• Сложность вместо удобства. Сотрудники вводят три разных пароля и ждут СМС по пять минут.
• Забыли про гостевые аккаунты. Подрядчики заходят в систему по старинке через логин-пароль, пока постоянный персонал мучается с токенами.

Про ошибки можно отдельную статью написать. Из очевидных: использование СМС, недостаточная энтропия при генерации секретов, неограниченное число попыток входа, игнорирование защиты сессии, слабые или однотипные резервные коды, отсутствие резервных способов восстановления доступа.

Когда два фактора достаточно, а когда нужно больше

Двухфакторной защиты достаточно для личной почты и соцсетей. Уперевшись в 2FA, взломщики пойдут искать жертву попроще. Добавьте к паролю код из приложения — и спите спокойно.

Выбор 2FA или MFA зависит от нескольких факторов:
Первый — стандарты и регуляторные требования (ГОСТы по идентификации и авторизации, финансовому сектору + требования ФСТЭК РФ + стандарты NIST SP 800 и др.). Второй — решение компании-поставщика услуги. Третий — решение пользователя (если компания-поставщик решила предоставить ему возможность выбора).
Для массовых пользователей (Госуслуги, банки, почта, соцсети) стандартом остаётся 2FA. Защита 3+ факторами встречаются преимущественно в сфере критичной инфраструктуры и крупных корпоративных решений.

Компании часто перегибают палку с безопасностью. Например, бухгалтер заходит в систему раз в день посмотреть остатки и каждый раз проходит три проверки. В итоге сотрудники начинают искать обходные пути.

Самая частая ошибка — внедрять 2FA как формальность, не продумывая пользовательский опыт, из-за чего пользователи саботируют систему. Часто забывают про резервные методы аутентификации, и когда пользователь теряет телефон или токен, компания теряет доступ к критичным системам на часы или дни.

Что делать, если пользователи саботируют защиту

Сотрудники обходят двухфакторную защиту через общие аккаунты, записывают резервные коды на стикерах или просят коллег войти под их учёткой. Люди саботируют MFA не из вредности — им просто неудобно.

Анна Храмцова комментирует:

Внедрение второго фактора ради второго фактора — это частая ошибка. Приступая к интеграции 2FA-решения, необходимо озадачиться вопросами потребностей бизнеса, требований ИБ и распространённых векторов атаки.

Как сделать безопасность удобной

1. Начните с малого.

Включите 2FA сначала для критичных систем — почты руководства, доступа к финансам, админки сайта. Когда сотрудники привыкнут, расширяйте охват.

2. Дайте выбор

Кто-то предпочитает приложения-аутентификаторы, кому-то проще с пуш-уведомлениями. Предложите 2-3 варианта — люди охотнее используют то, что выбрали сами.

3. Упростите вход для доверенных устройств

Настройте систему так, чтобы с рабочего компьютера в офисе второй фактор запрашивался раз в неделю, а не при каждом входе.

4. Объясните выгоду

Вместо «компания требует» скажите «ваш аккаунт защищён от взлома, даже если пароль украдут».

5. Решите технические проблемы заранее.

Выдайте резервные способы входа, настройте синхронизацию времени для кодов, подготовьте инструкции с картинками.

Чем меньше человек тратит времени на борьбу с системой, тем охотнее её использует.

При выборе важно смотреть не только на функционал, но и на соответствие требованиям вашей отрасли — например, наличие сертификата SOC2, ISO 27001, поддержка GDPR. Также стоит учитывать удобство для конечных пользователей: если система слишком сложная, её будут обходить или отключать. Не забудьте проверить, как сервис ведёт себя при масштабировании и какие есть варианты восстановления доступа — это критично при сбоях.

Чек-лист для успешного внедрения 2FA и MFA

Подготовка:

• Составьте список всех систем, где нужна защита (почта, CRM, админка сайта).
• Проверьте, какие методы 2FA поддерживает каждая система.
• Определите критичность доступа: где хватит СМС, где нужен аппаратный ключ.

Тестирование:

• Настройте 2FA сначала для одного отдела.
• Проверьте работу резервных кодов — распечатайте и сохраните в сейфе.
• Убедитесь, что служба поддержки умеет сбрасывать 2FA.

Запуск:

• Начните с добровольного подключения — дайте бонусы первым пользователям.
• Настройте автоматическое напоминание тем, кто не включил защиту через месяц.

После запуска отслеживайте процент подключивших 2FA, фиксируйте проблемы пользователей и дорабатывайте инструкции. Через 1-2 месяца сделайте 2FA обязательной.

Если раньше разбирать час митинга вручную — это 4–5 часов скучной работы, то теперь ИИ справляется за 10–15 минут. Точность — до 95%, и этого чаще всего достаточно, чтобы не переслушивать вручную.

Это удобно: для разработчиков, чтобы вернуться к обсуждению с командой. Для преподавателей — чтобы превратить лекции в тексты. Для юристов, журналистов и всех, кому важно быстро добраться до сути.

Собрали подборку ИИ-сервисов, которые реально экономят время и помогают сосредоточиться на работе, а не на рутине.

1. Teamlogs

Teamlogs — это онлайн-сервис для преобразования аудио и видео в текст с точностью до 97% и поддержкой более 70 языков. Разработан в 2022 году и предназначен для российской и зарубежной аудитории. Сервис востребован, в первую очередь, среди маркетологов и продакт-менеджеров, а также журналистов, студентов, преподавателей и команд, которым нужно быстро и удобно получать расшифровки.

Технические возможности

Teamlogs поддерживает все популярные форматы аудио и видео: MP3, M4A, OGG, WAV, FLAC, WMA, AAC, MP4, MKV, FLV, AVI, MOV, WMV, WEBM. Телеграм-бот принимает голосовые сообщения и видеокружки — достаточно переслать сообщение в чат.

Можно загружать до 10 файлов одновременно, максимальный размер одного файла — 1,5 ГБ или 300 минут. Часовой файл обрабатывается менее чем за 3 минуты.

Нейросеть автоматически:

• из разговорной речи делает читаемый текст: расставляет пунктуацию, заглавные буквы; корректно отображает числительные и заглавные буквы у имен, брендов и географических наименований;
• разделяет текст по спикерам;
• добавляет тайм-коды.

Встроенный редактор позволяет синхронно прослушивать аудио и править текст, выделять главное, а также кликать по слову для проигрывания нужного фрагмента. Дополнительно доступен «умный чат» (аналог ChatGPT для расшифровок), который помогает составить краткое резюме, выделить ключевые мысли или подготовить текст для соцсетей.

Условия использования и безопасность

Есть два способа использования сервиса:

1. через сайт без установки программ;
2. через телеграм-бота @teamlogs_bot.

Доступна открытая документация по API для интеграции с другими сервисами и автоматического получения расшифровок. Для пользователей, которым важна обработка во внутренней сети, доступна On-premise версия.

Каждый пользователь получает 15 бесплатных минут при регистрации. Цена начинается от 6 ₽ за минуту при пакетной оплате, купленные минуты не сгорают и доступны до полного использования. Оплатить можно с карты РФ, зарубежной карты или со счета ООО/ИП.

Для командной работы предусмотрены корпоративные аккаунты с совместным доступом к расшифровкам.

2. Speech2Text

Speech2Text — недорогое и качественное решение для любых задач транскрибации: от деловых встреч до телефонных звонков. В 2025 году сервис значительно расширил функциональность: теперь поддерживается более 90 языков и улучшена интеграция с корпоративными системами.

Широкие возможности обработки контента

Платформа легко справляется с различными форматами аудио и видео:

• онлайн-встречи из Zoom, Google Meet и Microsoft Teams;
• видеоролики с YouTube, RuTube и VK Веб;
• аудиофайлы всех популярных форматов (MP3, WAV, FLAC и другие);
• телефонные разговоры и голосовые сообщения;
• файлы из облачных хранилищ (Google Диск, Яндекс.Диск, Dropbox).

Особенность сервиса — нет ограничений по длительности записей. Вы можете обрабатывать как короткие голосовые сообщения, так и многочасовые конференции. Точность распознавания достигает 96%, система автоматически разделяет спикеров и расставляет таймкоды.

Варианты использования

Speech2Text предлагает несколько способов работы:

• Официальный сайт для разовых задач.
• Telegram и WhatsApp боты для быстрой обработки сообщений.
• REST API для интеграции в корпоративные системы.
• Готовые решения для автоматизации расшифровки звонков.

Безопасность и конфиденциальность

Все данные надежно шифруются. Пользователи могут в любой момент удалить свои файлы с серверов.

Тарифы

• Бесплатный. 180 минут при регистрации + 15 мин/день, 4 ₽/мин сверх лимита.
• Старт (430–480 ₽/мес). Распознавание 6 часов в месяц, 2 ₽/мин сверх лимита.
• Начальный (700–780 ₽/мес). Распознавание 12 часов в месяц, 1 ₽/мин сверх лимита.
• Стандартный (2,000–2,200 ₽/мес). Распознавание 3 часа в день, 1 ₽/мин сверх лимита.
• Премиум (3,900–4,400 ₽/мес). Распознавание 6 часов в день, 1 ₽/мин сверх лимита

Для корпоративных клиентов доступны отдельные тарифы (от 23,400 ₽/полгода).

3. Шöпот

Шöпот — российский сервис транскрибации с фокусом на B2B-решениях. Он обрабатывает аудио и видео длиной до 12 часов и поддерживает более 20 форматов файлов, включая MP3, WAV, MP4 и MOV. Для загрузки доступны не только локальные файлы, но и ссылки на облачные хранилища (Яндекс.Диск, Google Drive) и видеохостинги (YouTube, VK).

Технические особенности

Сервис распознает речь на 60+ языках с автоматическим разделением спикеров. Алгоритмы оптимизированы для работы с записями низкого качества — система корректно обрабатывает фоновые шумы и тихую речь. Для бизнес-клиентов доступна интеграция с CRM (Битрикс24, amoCRM) и IP-телефонией.

Шöпот предлагает несколько вариантов работы:

• Веб-версия: загрузка файлов и работа с транскриптами.
• API для разработчиков: документация на api.shopot.ai.
• Интеграция с CRM и IP-телефонией: транскрибация и нейроаналитика.
• Индивидуальная автоматизация: обработка голоса, отчеты и интеграция с системами клиента.

В 2025 году разработчики анонсировали запуск Telegram-бота для удобной загрузки файлов прямо из мессенджера и AI-чат.

Тарифная политика

Для частных пользователей:

• 30 бесплатных минут ежемесячно;
• подписки от 390 ₽/мес с экономией 20% при годовой оплате.

Для бизнеса:

• интеграции от 100 000 ₽ (включая 10 000 минут обработки);
• дополнительно — от 3 ₽/минута.

Функции

Платформа предоставляет корпоративным клиентам сервис «Шöпот Аналитика» — систему оценки качества звонков с автоматическими рекомендациями для менеджеров. Формирует отчеты по более чем 25 параметрам, включая эффективность работы, анализ продаж и рекомендации по их оптимизации.

Для всех пользователей:

• генерация AI-резюме длинных записей;
• экспорт в TXT, DOCX, SRT и VTT;
• поиск по файлам и текстам;
• уведомление и отчет об обработке
  на email;
• общий доступ к транскриптам по
  ссылке.

Шöпот продолжает развиваться. Добавят AI-чат с поддержкой файлов, аналитику для HR и работу в закрытом контуре компании. Сервис используют более 50 российских компаний из торговли, транспорта, сервиса, call-центров, ИТ и образовательных платформ.

4. «Войси»

«Войси» — многофункциональный сервис для работы с речью. В 2024 году получил поддержку «Сколково» благодаря своей системе самопроверки, где несколько нейросетей контролируют качество распознавания. Так, для русского языка точность достигает до 98% и до 95% для других языков.

Как это работает

Сервис экономит часы рутинной работы. С его помощью можно преобразовать речь в текст, анализировать эмоции спикеров, создавать контент и улучшать качество коммуникаций в компании.

Основной язык — русский, но бот также поддерживает 53 других языка, включая редкие диалекты. Для русской речи используется специально обученная модель, которая корректно обрабатывает технические термины, сленг и разговорные выражения.

Технические параметры

Сервис принимает практически все форматы:

• Видео: .mp4, .mov, .webm, .flv,
  .m4v, .mxf, .mts, .m2ts, .ts.
• Аудио: .mp3, .aac, .flac, .wav,
  .ogg, .m4a и многие другие.

Максимальная длина файла — 15 часов, но для корпоративных клиентов доступна обработка любых записей. Если файл превышает 2 ГБ (4 ГБ для Telegram Premium), его можно загрузить на облачный диск — бот скачает по ссылке.

Сервис распознает до 20 спикеров в одном файле и автоматически очищает аудио от фоновых шумов. Это особенно полезно для расшифровки совещаний в Zoom или записи интервью в шумных условиях.

Дополнительные функции после обработки:

• Подсветка эмоций: можно быстро найти моменты,
  где спикер говорил радостно, злился или выражал другие эмоции.
• Саммаризация: автоматически создается краткое
  резюме встречи.
• Перевод и субтитры: перевод текста на другие
  языки и генерация субтитров.
• Пост-редактура: подготовка постов для
  соцсетей, викторин и даже текстов песен в LRC-формате.

Для разработчиков доступно API, которое можно подключить к CRM-системам. Готовые решения уже есть для amoCRM и Битрикс24 — они автоматически расшифровывают звонки и анализируют работу операторов. Также есть телеграм-бот для быстрой обработки аудио.

Тарифы:

• 1,5 часа бесплатно (по промокоду tproger).
• Подписка с безлимитом — от 990 ₽/месяц (без подсветки эмоций и разделения спикеров).
• Скидки для студентов (50%) и корпоративных клиентов (неделя бесплатного тестирования).

Чтобы оценить качество расшифровки, можно отправить боту команду /examples и посмотреть реальные примеры обработки аудио.

5. Digital Protocol

Digital Protocol — телеграм-бот для автоматической транскрибации аудио и видео, составления протоколов встреч и подготовки стенограмм. Поддерживает практически все форматы файлов (mp3, ogg, m4a, wav, mp4, mkv и др.) и работает с любыми сервисами видеосвязи — от Zoom и Teams до SberJazz и Яндекс Телемоста.

Технические возможности

Бот распознаёт речь на любом языке и разделяет участников встречи (до 50 спикеров). Алгоритмы игнорируют фоновые шумы и посторонние разговоры, обеспечивая высокую точность транскрибации. Используются модели на базе SaluteSpeech и GigaChat с поддержкой шумоподавления.

Digital Protocol не просто делает расшифровку — он формирует структурированный протокол встречи: указывает тему, повестку, принятые решения, исполнителей и поручения. Бот может анализировать длинные записи без ограничений по длительности и выдавать краткое резюме по каждому обсуждению.

Условия использования и тарифы

Бот работает прямо в Telegram. Бесплатно доступны 500 минут и неограниченное число запросов — без дополнительных ограничений.

Тарифы следующие:

Для Физических лиц:

• 990 руб: 600 мин видео / аудио + 500 тыс знаков стенограммы (около 10 совещаний).
• 2790 руб: 1800 мин видео / аудио + 1,5 млн знаков стенограммы (около 30 совещаний).
• 10 900 руб: 7200 мин видео / аудио + 6 млн знаков стенограммы (около 120 совещаний).

Для ЮЛ: от 10 900 руб, зависит от количества и продолжительности совещаний в день.

Дополнительные особенности

Бот можно кастомизировать под корпоративные задачи и ограничить доступ только нужным сотрудникам. Поддерживается установка на сервер — в том числе в закрытый контур. Возможны две версии: на базе отечественных решений (SaluteSpeech, GigaChat) и open-source моделей.

6. Silero Audio Bot

Silero Audio Bot — разработка российской команды Silero, специализирующейся на речевых технологиях. Бот использует собственные алгоритмы распознавания речи, а не сторонние API вроде Google Speech-to-Text или OpenAI Whisper. Это дает полный контроль над качеством обработки и независимость от зарубежных сервисов.

Сервис ориентирован на приватность. Все аудио обрабатывается локально — файлы не отправляются на сторонние серверы. Это критически важно для юристов, журналистов и бизнес-пользователей, работающих с конфиденциальными записями.

Технические возможности

Бот поддерживает аудиофайлы до 20 МБ в форматах MP3, WAV, OGG и FLAC. Максимальная длина записи — 30 минут, что покрывает потребности в расшифровке интервью, лекций или рабочих встреч.

Точность распознавания русского языка достигает 90% для чистого аудио без фоновых шумов. Алгоритм автоматически разделяет текст на абзацы, расставляет пунктуацию на основе пауз, форматирует вывод (не «стена текста»).

Интеграции и сценарии использования

Бот работает в Telegram как обычный пользователь. Его можно добавить в групповые чаты без прав администратора — он будет автоматически расшифровывать голосовые сообщения.

Разработчики предлагают API для корпоративных систем. Например, интеграция с CRM позволяет автоматически фиксировать звонки клиентов.

Условия использования

Бот бесплатный, но имеет ограничения;

• не более 10 запросов в сутки;
• нет разделения спикеров;
• поддержка только русского и
  английского языков.

Для профессионального использования команда Silero предлагает коммерческую версию движка с увеличенными лимитами и дополнительными функциями.

7. Any to Text

Any to Text — это современный онлайн-сервис для автоматической расшифровки аудио и видеозаписей. Разработчики создали инструмент на базе ИИ, который справляется с файлами любой продолжительности. Вы можете загрузить двухчасовую лекцию или подкаст и получить текстовую версию за несколько минут.

Как работает сервис

Процесс транскрибации состоит из трех простых шагов. Сначала пользователь загружает файл или указывает ссылку на видео. Сервис поддерживает более 100 форматов, включая MP3, WAV, MP4, MOV и другие популярные расширения. Затем ИИ анализирует аудиодорожку и преобразует речь в текст. На завершающем этапе можно скачать результат в удобном формате: DOCX, TXT, XLSX или SRT для субтитров.

Особенности:

• поддержка 50+ языков, которые определяются автоматически;
• точность распознавания русской речи — 95%;
• возможность обработки файлов без ограничения по длительности;
• экспорт результатов в четырех форматах;
• интеграция с облачными хранилищами.

Также разработчики утверждают, что система корректно распознает профессиональную терминологию и адаптируется к различным акцентам.

Тарифы и доступность

Any to Text предлагает гибкую систему оплаты. Новые пользователи получают 15 бесплатных минут для тестирования сервиса. Далее можно приобретать пакеты минут: 100 мин. за 320 руб. или 500 мин. за 1200 руб. Для корпоративных клиентов доступны специальные условия с неограниченной транскрибацией.

8. Vid2Text

Vid2Text — это бот и веб-сервис для преобразования видео в текст с дополнительной функцией распознавания текста на изображениях. Разработанный российским инженером Дмитрием Петровым в 2024 году, проект использует комбинацию Whisper (для аудио) и Tesseract OCR (для изображений). Сервис работает через Telegram-бота и веб-интерфейс, поддерживая обработку файлов до 2 ГБ.

Технические особенности

Система автоматически извлекает аудиодорожку из видео (MP4, MOV, AVI) и преобразует речь в текст с точностью до 92% для русского языка. Для изображений (JPG, PNG) применяется оптическое распознавание символов с поддержкой 15 языков, включая кириллицу и латиницу.

Возможности:

• расшифровка видео/аудио с тайм-кодами;
• распознавание текста на скриншотах и сканах;
• экспорт в TXT, DOCX и SRT (субтитры);
• локальная обработка данных без отправки на сервер.

Условия использования

Бесплатно для файлов до 15 минут, для большего объема требуется подписка (от 299 ₽/мес). Точность падает при фоновом шуме или плохом качестве изображения (менее 300 DPI).

Vid2Text особенно полезен журналистам (расшифровка интервью), студентам (конспекты лекций) и маркетологам (анализ видеоконтента). В 2025 году добавлена интеграция с Google Docs и функция автоматического рерайта текста.

9. Zvukogram

Zvukogram — это сервис для синтеза речи, который превращает текст в озвучку на 150 языках с гибкой настройкой скорости, тона и интонации. Подходит для блогеров, продюсеров подкастов, SMM-специалистов и всех, кто создает аудиоконтент или хочет автоматизировать озвучку текстов.

Что умеет сервис

Сервис умеет озвучивать диалоги, вставлять звуки в речь (например, сигнал объявления перед текстом), изменять паузы между предложениями и параграфами с точностью до миллисекунд. Поддерживается SSML-разметка для более естественного звучания. Можно озвучивать субтитры из SRT, документы PDF и DOCX, а также сразу получать озвучку в формате ogg opus, чтобы загружать файлы в Telegram как войсы.

Условия использования

Zvukogram доступен через удобный веб-интерфейс и по API, включает возможность интеграции в n8n для автоматизации рабочих процессов. Пользователям доступна подробная документация и видео-гайды, которые помогают быстро запустить синтез речи под свои задачи.

При регистрации и активации почты предоставляются 10 бесплатных токенов, после чего стоимость начинается от 1 до 12₽ за 1000 символов текста. Озвучка доступна в высоком качестве с возможностью интеграции в любые проекты — от видеороликов до автоматических уведомлений в системах.

Советы по выбору

Ориентируйтесь на конкретные задачи. Для расшифровки аудио и видео важны точность распознавания и поддержка длинных файлов — здесь хорошо показали себя Teamlogs, «Войси», Speech2Text и Vid2Text. Если нужна качественная озвучка любого текста, Zvukogram — ваш помощник. Шöпот подойдет тем, у кого звуковые файлы низкого качества, а Digital Protocol — для тех, кому важна работа с ИИ.

Всегда тестируйте сервисы на небольших запросах перед полноценным использованием. Проверяйте, как они справляются с вашей спецификой — техническими терминами, разговорной речью или нестандартными просьбами. Обращайте внимание на тарифы: многим хватает бесплатных возможностей, а бизнесу часто выгоднее корпоративные подписки. Главное — найти инструмент, который экономит время без потери качества.

Мы в Smart Engines занимаемся разработкой интеллектуальных систем для распознавания документов. Мы уже рассказывали вам, как просто и быстро интегрировать наши решения для распознавания паспорта, а также распознавания жестких и гибких форм в Android.

Сегодня речь пойдет про браузерное распознавание. Оно в последние несколько лет пользуется колоссальным спросом со стороны рынка – прежде всего у финтеха. Кроме того, развертывание PWA-приложений понадобится компаниям при интеграции функциональности в новый отечественный мессенджер MAX.

Поговорим о том, в чем плюсы распознавания в вебе и главное – как его развернуть на примере банковской карты.

Исторический экскурс

Технология WebAssembly (WASM) появилась в 2015 году и два года спустя была реализована во всех основных браузерах. Тогда же ученые Smart Engines начали проводить с WASM первые эксперименты.

Немного похвастаемся: в 2021 году мы первыми в стране представили промышленные технологии для распознавания документов в вебе. Это оказалось очень кстати, поскольку на фоне удаления мобильных приложений из магазинов к интерес к технологиям распознавания QR и банковских карт в браузере вырос.

Банки и финтех стали искать способы, как перенести привычную для пользователя функциональность – платежи по QR, распознавание номера телефона, распознавание банковской карты – из мобильного приложения в веб.

Ответ нашелся быстро – WASM и Smart Engines.

В чем плюсы?

Браузерное распознавание имеет очень много преимуществ. Во-первых, это все преимущества веб приложения:

• Кроссплатформенность;
• Возможность доступа к приложению из любой точки с интернет-соединением
• Мгновенное развертывание и обновление приложения, что позволяет пользователям всегда работать с актуальной версией.

Во-вторых, предусматривает совершенно иной уровень защиты персональных данных. Пользователь не выгружает свои данные на сервер для распознавания, а, напротив, загружает модуль для распознавания изображений с персональными данными себе.

И, в-третьих, позволяет в сжатые сроки реализовать фронтэнд-интеграцию силами web-разработчиков.

Все преимущества браузерного распознавания уже оценили наши партнёры, нацеленные на развитие своих интернет-сервисов. Среди них – Альфа-Банк, Газпромбанк и другие.

Распознавание кодифицированных объектов

Одним из самых востребованных направлений в OCR сейчас является распознавание кодифицированных объектов, таких как баркоды, номера телефонов, банковских карт и прочие машиночитаемые зоны.

В своё время мы выделили распознавание таких объектов в отдельный продукт Smart Code Engine для того, чтобы иметь возможность гибче работать с различными сценариями распознавания, а также иметь возможность пойти дальше в деле оптимизации скорости и размера библиотеки. В результате появился Smart Code Engine 2.0 – продукт получил новый интерфейс и возможность максимально гибко настраивать поведение для получения лучшего качества распознавания.

Библиотека Smart Code Engine написана на С++ и портировалась в веб с помощью инструмента Emscripten. Поскольку вся кодовая база, от низкоуровневых вычисления над изображениями до архитектуры поисковой сети, поддерживается нашим научным отделом, качественное портирование не составляло особых проблем.

Js-интерфейс библиотеки представляет собой практически зеркальный С++ интерфейс и с его помощью распознавание банковской карты реализуется вот так:

Этот код необходимо поместить в веб-воркер, чтобы не нагружать UI поток браузера лишними вычислениями.

Передача изображений в библиотеку осуществляется прямо с чтения пикселей элемента canvas, где вы выводите изображения с камеры устройства или прикрепленного файла PDF.

В процессе работы распознавания у вас есть возможность нарисовать поверх изображения найденные элементы документа за мгновение до распознавания.

Вот как это выглядит на выходе:

Как вы можете заметить, интеграция Smart Code Engine SDK не вызывает сложностей – внедрение происходит практически мгновенно, а скорость распознавания сопоставима с нативными библиотеками.

Российские нейросети — достойная альтернатива ChatGPT и другим западным ИИ-сервисам.

С появлением ChatGPT, Midjourney, Gemini и других мощных ИИ-инструментов работа с текстами, изображениями, кодом и данными стала проще и быстрее. Однако с учётом ограничений доступа к ряду зарубежных сервисов, особенно из России, на первый план вышли отечественные разработки. И сейчас российские нейросети уже могут успешно заменить западные аналоги — по функционалу, качеству генерации и удобству использования.

Современные русскоязычные ИИ-сервисы умеют вести диалог, писать статьи, решать задачи, генерировать изображения и даже программировать — полностью на русском и с учётом локального контекста. Многие из них активно развиваются, интегрируются в бизнес-процессы и становятся всё более популярными среди пользователей.

Как пользоваться ChatGPT, Midjourney, DALL·E и другими нейросетями в России: подборка сервисов с доступом к ИИ без ограничений

Сегодня нейросети вроде ChatGPT, GPT-4, Midjourney, Gemini, Claude и других — незаменимые инструменты для работы с текстами, изображениями, кодом и данными. Но из-за ограничений многие из этих сервисов официально недоступны в России. Несмотря на это, существуют альтернативные способы получить к ним доступ — через российские платформы и интеграции, которые открывают полный функционал популярных западных ИИ.

Эти сервисы позволяют использовать возможности ведущих нейросетей без VPN, смены региона и сложных настроек. Достаточно просто зарегистрироваться — и можно генерировать тексты в GPT-4, создавать изображения в Midjourney, работать с ИИ-помощниками вроде Gemini и Claude, использовать перевод, анализ данных, автоматизацию задач и многое другое.

Мы собрали ТОП-8 сервисов, которые дают российским пользователям удобный и стабильный доступ к лучшим зарубежным нейросетям. В обзоре расскажем, как работает каждый из них, какие ИИ-модели поддерживаются, чем они удобны и кому подойдут больше всего.

ТОП-8 сервисов, которые дают российским пользователям удобный и стабильный доступ к лучшим зарубежным нейросетям:

1. Study.AI - лучший агрегатор нейросетей предоставляющий возможности всех самых популярных генераторов (текст, картинки, фото, видео и т.д.) Есть фримиум возможности — доступ к чату GPT и др.

2. ApiHost - универсальный сервис без необходимости VPN. Быстро генерирует изображения по промптам и голосовым командам.

3. GoGPT -Удобное мобильное приложение с мгновенной генерацией картинок по тексту. Отличается высокой скоростью работы.

4. Chad AI - специалист по логотипам и аватаркам. Подходит для брендинга и быстрого создания фирменного стиля.

5. Ай Серч - комбинирует текст и изображение.

6. AI-Писатель. - создаёт изображения, тексты и описания товаров по фото.

7. НейроТекстер - дорисовывает изображение, продолжая идею автора.

8. НейроХолст - превращает фото в иллюстрации в заданном стиле — от реализма до 3D.

Российские нейросети и сервисы, где можно сгенерировать текст, изображение, видео, картинку или просто получить доступ к нейросетям: GPT o4, Midjorney, Gemini, Dalle, Deepseek и др.:

1. Study.AI

Study.AI — это сборник различных нейросетей для генерации изображений, фотографий, презентаций, по текстовым и голосовым запросам. Она предназначена для создания уникального визуального контента, включая иллюстрации, концепт-арты, рекламные баннеры и другие изображения. (лучшая нейросеть на данный момент по мнению пользователей). Внутри платформы предоставляется функционал всех известных нейросетей в России (GPT o4, Midjorney, Gemini, Dalle, Deepseek и др.)

Study.AI — это универсальная платформа, объединяющая 6 передовых AI-моделей (для генерации креатива, создания иллюстраций, изображений и картинок, презентаций, текста, анализа данных, и т. д.) в одном удобном сервисе. Точный и безопасный доступ к нейросетям без необходимости покупать десяток отдельных подписок или использовать VPN является огромный плюсом данного сервиса

• Стоимость: от 199 рублей
• Пробный период: доступен ограниченный бесплатный режим для тестирования
• Доступ: онлайн через браузер

Преимущества:

• Все AI-модели в одном месте
• Единая подписка (Freemium + Premium)
• Глубокие интеграции (улучшенное распознавание изображений, генерация изображений, картинок, презентаций, генерация рефератов)
• Интуитивный интерфейс (минимум лишних кнопок, гости могут протестировать сразу)
• Экономия времени и сил (автоматизация рутины, быстрое переключение между моделями)
• Поддержка русского языка и доступ без VPN
• Есть версия в Telegram
• Универсальное решение (студенты, специалисты, творчество, личные дела)
• Масштабируемость (сервис постоянно добавляет новые модели нейросетей)

Недостатки:

• пока что не обнаружены

САЙТ СЕРВИСА

2. ApiHost

ApiHost — это многофункциональный онлайн-сервис на русском языке, который позволяет создавать изображения по текстовому описанию, рисункам и фотографиям. Помимо визуального контента, ApiHost поддерживает функции озвучки, преобразования голоса в текст и обратной конвертации. Идеально подходит для генерации изображений для сайтов, презентаций, баннеров и другого контента.

Сервис работает по платной модели: 9 рублей за генерацию изображения и 6 рублей за описание к фото. Бесплатного тестового периода нет, но лимиты отсутствуют в платной версии.

Преимущества ApiHost:

• Полностью адаптирован для мобильных устройств.
• ИИ создаёт до 4 вариантов изображения по одному промпту — на русском и английском.
• Поддержка загрузки фото, рисунков и текстовых файлов для генерации.
• Дополнительные функции: озвучка, голос в текст, сохранение, анализ текста, подсчёт слов, изменение тона и темпа голоса.
• Возможность самостоятельного выбора ИИ-модели для генерации.
• Интеграция с YouTube и AI-подсказки.

Недостатки и ограничения:

• Нет возможности править мелкие детали на изображении — результат можно только принять или отклонить.
• Исходные изображения не сохраняются — используются только как базовая информация для генерации.
• Не поддерживает генерацию графиков и медицинских изображений.
• Регистрация обязательна, даже для первого использования.
• Отсутствие бесплатного пробного периода — сразу требуется оплата.

CАЙТ СЕРВИСА

3. GoGPT

GoGPT — это мощный ИИ-сервис с полностью русскоязычным интерфейсом, который сочетает функции генерации изображений, распознавания объектов и интеллектуального анализа визуального контента. Сервис работает на базе DALL·E 3 и Midjourney, поэтому для корректной работы с изображениями может потребоваться VPN. Основной упор сделан на генерацию и обработку изображений по промтам, коррекцию визуалов и работу с композициями.

Сервис поддерживает загрузку фото с описанием, запоминает контекст, предлагает прогнозирование расходов, анализирует данные из интернета и помогает создавать или редактировать визуальный стиль. Подключение возможно через браузер или чат-бот с поддержкой GPT-4v.

Условия использования:

• Бесплатный пробный период — 7 дней
• 10 бесплатных запросов в день в рамках теста
• Полный доступ к функциям с тарифа «Стандарт» — от 699 ₽ в месяц
• Регистрация обязательна

Преимущества GoGPT:

• Большая библиотека готовых шаблонов (промтов) для генерации изображений.
• Гибкий контроль контекста и запоминание истории запросов.
• Обучающая система и интеллектуальная обработка текстов.
• Накопительные токены — можно переносить на следующий месяц.
• Выделение отдельных участков изображения для точечной доработки.
• Поддержка распознавания и обработки сразу нескольких изображений.

САЙТ СЕРВИСА

4. Chad AI

ChadAI — это многофункциональный сервис, сочетающий генерацию изображений, создание текстов, визуального контента и даже прототипов простых игр. Сервис работает на русском языке и не требует подключения VPN, что делает его удобным для пользователей из России.

ChadAI поддерживает работу с популярными генераторами изображений — DALL·E и Midjourney. В зависимости от подключённого инструмента и тарифа, пользователю доступны разные лимиты на количество запросов. Сервис способен создавать изображения по промтам, а также превращать загруженные фото в арты или стилизованные картинки. Есть функция голосового ввода, встроенный поиск через Яндекс-бот и генерация изображений прямо в чате.

Условия использования:

• Бесплатный тариф: 3 запроса в сутки
• Тарифы: Мини — 290 ₽/мес, Оптимум — 590 ₽/мес, Плюс — 1690 ₽/мес
• Первый месяц: 50 изображений DALL·E, 25 — Midjourney
• Далее — 15 изображений в месяц бесплатно или переход на платный тариф
• Обязательная регистрация

Преимущества ChadAI:

• Поддержка голосовых запросов и текстовых описаний
• Возможность создавать арты из фото и изображения прямо в чате
• Высокое разрешение сгенерированных изображений
• Обработка длинных текстов до 14 000 знаков
• Доступ к встроенной библиотеке промтов
• Быстрая техподдержка через Telegram
• Гибкая система тарифов с возможностью докупить запросы при необходимости

Недостатки ChadAI:

• Русская версия периодически выдаёт ошибки и нестабильно работает
• В периоды высокой нагрузки возможны временные ограничения для пользователей из России
• Количество бесплатных изображений ограничено, особенно после первого месяца

САЙТ СЕРВИСА

5. Ай Серч

AI Search — универсальный искусственный интеллект, предназначенный для генерации изображений и текстов, обработки аналитических данных и помощи в программировании. Несмотря на наличие русской версии интерфейса, в полной мере работать с инструментом можно только через англоязычный режим. Сервис подходит для создания логотипов, аватаров и анимаций по текстовому описанию, но уровень визуализации часто оставляет желать лучшего.

AI Search

Сервис также предлагает функции для написания статей, описаний товаров, блогов, рефератов и даже кода для более чем 20 языков программирования. В зависимости от тарифа доступны разные объёмы задач, символов или временных ограничений. Регистрация обязательна, а тестировать визуальные функции без оплаты невозможно — пробный доступ ограничен лишь базовым функционалом.

Условия использования:

• Язык интерфейса: русский (ограниченный), английский (полноценный)
• Тестовый период: 7 дней с ограничениями
• Стоимость: от 999 ₽ до 2999 ₽/мес в зависимости от тарифа
• Форма запроса: текстовое описание (лучше — на английском)
• Регистрация обязательна

Преимущества AI Search:

• Гибкая система тарифов — можно выбрать подходящий план под конкретные задачи
• После первой оплаты начисляется 100% бонус на баланс
• Поддерживает создание анимаций и статичных изображений по описанию
• Многофункциональность: от генерации текстов до написания кода и анализа данных

Недостатки AI Search:

• Полноценный функционал доступен только после оплаты — даже тестовые изображения не сгенерировать бесплатно
• Интерфейс на русском языке работает нестабильно, ограничен по возможностям
• Качество изображений часто не соответствует ожиданиям — результат может отличаться от заданного описания

САЙТ СЕРВИСА

6. AI-Писатель.

AI-Писатель — сервис с русскоязычным интерфейсом, ориентированный на создание и корректуру разнообразных текстов, включая SEO-контент, отзывы, рерайтинг, копирайтинг, рекламные материалы и сценарии. Также предлагает функции генерации изображений и фотографий, но с ограничениями в базовых тарифах.

Условия использования:

• Язык интерфейса: русский
• Тестовый период: 1 сутки для текста
• Стоимость: от 150 до 6500 ₽ в месяц в зависимости от пакета
• Форма запроса: текстовая подсказка
• Регистрация: обязательна для генерации изображений

Преимущества AI-Писателя:

• Поддержка разных моделей ИИ, включая GPT-4o Turbo и Claude 3.5 Sonnet на дорогих тарифах
• Генерация и корректура текстов разного уровня сложности
• Создание SEO-оптимизированных текстов для сайтов и рекламных материалов
• Возможность создавать изображения с разным разрешением через Dall-E 3 (в зависимости от тарифа)
• Гибкие лимиты на символы и изображения в зависимости от выбранной модели

Недостатки AI-Писателя:

• Ограниченный доступ к продвинутым ИИ и созданию изображений в дешевых тарифах
• Короткий бесплатный тестовый период — всего один день для текстов
• Требуется обязательная регистрация для генерации картинок
• Ограничения по количеству и размеру изображений в зависимости от тарифа

САЙТ СЕРВИСА

7. НейроТекстер

НейроТекстер — русскоязычный сервис, позволяющий создавать и обрабатывать тексты с разной стилистикой и тоном, а также генерировать изображения в стиле аниме, аватарки, фото, логотипы и превью для статей. При работе не требуется VPN, однако возможны сложности с оплатой через нейротокены — внутренняя валюта для приобретения изображений.

Основные характеристики:

• Язык интерфейса: русский
• Тестовый период: 7 дней
• Стоимость: от 299 до 1999 рублей в месяц (зависит от тарифа)
• Форма запроса: текстовая подсказка
• Регистрация: обязательна

Преимущества НейроТекстера:

• Обработка сразу нескольких изображений — до 9 за один запрос
• Возможность задавать запросы на русском и английском языках
• Многофункциональность: рерайтинг, генерация текстов, проверка грамматики, оптимизация, настройка стиля и тона
• Специализированная служба поддержки с чат-ботами, разделёнными по сферам деятельности, что ускоряет получение помощи
• Управление параметрами изображений — размер, количество шагов прорисовки для детализации

Недостатки НейроТекстера:

• Без подписки сервис не работает
• При большой нагрузке возникают задержки и затруднения с генерацией изображений
• Возможны периодические проблемы с оплатой через нейротокены

САЙТ СЕРВИСА

8. НейроХолст

НейроХолст — русскоязычная нейросеть, ориентированная на перерисовку, коррекцию фото и генерацию картинок по текстовому описанию. Пользователю доступна возможность создавать эскизы, наброски, полноценные картины и фотографии в различных стилях. Для качественного результата важно сразу задавать точные параметры, например, убрать мультяшность или ограничить размытость.

Основные характеристики:

• Язык интерфейса: русский
• Тестовый период: бесплатный (до 25 «красок» — запросов на изображения)
• Стоимость: от 100 рублей («Мини») до 5000 рублей («Океан красок»)
• Форма запроса: текстовое описание
• Регистрация: обязательна

Преимущества НейроХолста

• Простота использования — не требует установки и сложных настроек
• Интуитивно понятный и удобный интерфейс
• Можно создавать до 50 изображений в бесплатном периоде (по краскам)
• Поддержка различных художественных стилей, гибкая адаптация под запросы пользователя
• Работает на базе популярных мощных ИИ-моделей (Dall-E 3, Midjourney v6)

Недостатки НейроХолста

• Длительное время генерации изображений, даже после оплаты
• Ограничение по количеству запросов в бесплатном тарифе (25 красок)

САЙТ СЕРВИСА

Несмотря на ограничения, доступ к лучшим мировым нейросетям в России по-прежнему возможен — благодаря отечественным платформам, которые берут на себя интеграцию с зарубежными ИИ-сервисами. ChatGPT, Midjourney, DALL·E, Gemini, Claude, DeepSeek и другие инструменты становятся ближе и проще в использовании, когда есть удобный интерфейс, поддержка русского языка и прозрачные условия доступа.

Выбор конкретного сервиса зависит от задач: где-то важен максимально мощный текстовый ИИ, где-то — генерация изображений или креативных концепций, а кому-то нужен универсальный помощник на каждый день. К счастью, рынок развивается, и российские пользователи уже не ограничены в инструментах — главное, понимать, какие возможности предоставляет каждый из них.

Попробуйте несколько платформ из списка — и найдите ту, которая будет максимально комфортной и эффективной именно для вас. Если же вам не хочется искать несколько платформ, то лучше всего выбрать Study.AI на котором есть все, что может понадобиться пользователю из России, есть бесплатный фримиум период, платформа постоянно обновляется и есть хорошая поддержка, которая может оперативно решить любой вопрос.

Как это работает

Если система сочтёт происходящее на видео потенциально интимным, звонок будет автоматически прерван, а на экран выведется предупреждение:

Аудио и видео приостановлены, потому что вы можете показывать что-то чувствительное. Если вам некомфортно, завершите звонок.

Пользователю предложат два варианта:

1. Возобновить аудио и видео
2. Завершить звонок

Функция работает на устройстве, без отправки видео в облако — Apple подчёркивает, что распознавание чувствительного контента происходит локально, с использованием моделей машинного обучения.

Зачем это нужно

Apple продвигает функцию как инструмент защиты приватности. Она может пригодиться:

• при случайном демонстрировании интимного контекста;
• при видеозвонках с детьми;
• в ситуациях, когда собеседник пытается записать звонок без согласия.

Контекст

Подобные функции уже появлялись ранее: iOS умеет распознавать интимные изображения в AirDrop и «Сообщениях», предупреждая пользователей. FaceTime — следующий шаг в этой стратегии.

Пока новинка доступна лишь участникам бета-программы iOS 26. По данным инсайдеров, настройка будет опциональной — отключить ее можно будет через раздел «Экранное время» или «Конфиденциальность».

Мы в Smart Engines занимаемся разработкой софта для распознавания самых разных документов — начиная от паспорта РФ, свидетельства о рождении и заканчивая первичкой вроде УПД или ТОРГ-12, а также банковских карт, номеров телефона и баркодов. Наши библиотеки написаны полностью с нуля (на плюсах), мы уделяем огромное внимание скорости алгоритмов, нейросетям (новым архитектурам, размеру и правильному применению) и оптимизации, за счет чего наш софт портируется на любые архитектуры и может быть использован на любой платформе.

Сегодня продолжим знакомиться через рассказ о нашем софте, на очереди вторая библиотека — Smart Document Engine и ее возможности работы с жесткими и гибкими формами.

Гибкие и жесткие формы

Вначале про сами формы: они могут быть «жесткими» и «гибкими». Жёсткие формы подразумевают, что положение всех объектов на форме может быть задано прямо в виде координат на шаблоне. Самое простое определение для жестких форм — они совпадают «на просвет». Возьмите пару листов А4 с распечатанной жёсткой формой, наложите друг на друга, и места расположения полей точно совпадут. Гибкие формы устроены гораздо сложнее, но все равно имеют свою характерную структуру и топологию.

Распознавание жестких форм можно свести к детекции формы на изображении и распознавании определенных областей, где должны быть искомые поля. Гибкие формы требуют гораздо более сложных систем поиска (к тому же, завязанных на результате предыдущих действий, например, OCR, что только увеличивает возможность ошибки).

Кстати, иногда вместо распознавания текста целиком достаточно просто ответить на вопрос «есть ли текст в выбранной области, и, если есть, то где»

Но не надо думать, что жёсткие формы совсем просты — большие белые поля без каких-либо символов (или одинаковый узор по краям, как это бывает с бланками гособразца), малый объём статического текста и некоторая вариативность бланков тоже заставляют потрудиться над детекцией и классификацией шаблонов.

Также существуют общие для подобных форм проблемы. Правильно интерпретировать галочки в чекбоксах, найти штрихкоды, правильно разметить табличные данные — есть куча проблем, каждая из которых имеет своё state-of-the-art решение и набор алгоритмов, над которыми нужно ломать голову.

Почему не LLM, хотя казалось бы

Сейчас мы переживаем бум развития нейросетей — генеративные и классифицирующие сети появляются как грибы после дождя. Количество задач, которые они могут решить, тоже кажется неисчислимым: казалось бы — дайте обучающую выборку побольше, и всё получится! Тем более, что примеры использования нейросетей для автоматизации рутины уже можно встретить на каждом шагу: об этом пишут заметки и обзорные статьи на научно-популярных ресурсах, а интеграторы и стартапы предлагают решения по созданию чат-ботов и помощников на основе ИИ, обученного на внутренней документации больших компаний.

Однако чем сложнее нейросеть, чем глубже степень обучения — тем выше шанс, что она начнёт бредить. Мы все какое-то время назад смеялись над шести-семипалыми героями очередных сгенерированных изображений, сейчас посмеиваемся над сгенерированными сетями текстами с описанием несуществующих фильмов и книг, но смешно ли будет нам (а особенно бухгалтерии), если нейросеть начнет галлюцинировать при распознавании платёжных реквизитов или суммы НДС? И чем выше степень развития сетей — тем менее заметными будут становиться такие ошибки.

В прошлом году на одной из ключевых конференций в области анализа и распознавания документов — ICDAR — учёные традиционно задались вопросом о будущем OCR. И сошлись во мнении, что OCR нисколько не устарела, благополучно развивается и остается наиболее надежным инструментом распознавания. Обеспечить требования консистентности (и ещё всякого такого) информации, извлекаемой из изображения, все равно сможет только старый добрый OCR и прочие детерминированные алгоритмы. И именно их разработкой (и доведением до совершенства) мы и занимаемся.

Вернёмся к библиотеке Smart Document Engine. Как уже говорилось выше, гибкие формы на то и гибкие, что исключительно геометрией на них не обойдёшься — вопрос местонахождения полей решается «на лету». На процесс взаимодействия с библиотекой это влияет в самом конце, на моменте работы с результатом. Перейдем к знакомству с интерфейсом на примере всё того же встраивания в андроид.

Встраивание

В целом, сценарий работы с библиотекой распознавания документов такой же, как и в прошлой статье про распознавание паспорта: создаём движок, формируем настройки сессии, заводим саму сессию и кормим её картинками, после чего работаем с результатом распознавания. В отличие от документов, удостоверяющих личность, гибкие и жесткие формы могут быть многостраничными, с одинаковыми «по смыслу» полями на каждой странице. Помимо этого, часто документы загружают «пакетом», и в этом случае на одном изображении могут быть несколько разных документов. Поэтому результат распознавания устроен сложнее, чем в прошлом примере. Есть «результат распознавания», внутри него лежит набор найденных документов, каждый документ разбивается на «логический» и «физический» набор полей:

Логическая и физическая части документа разбираются отдельно, так как в некоторых случаях геометрия вообще не нужна (если результат распознавания документа дальше идёт в базу данных):

Как правило, результат распознавания представляют в виде json-объекта, но для наглядности лучше всего пользоваться html — особенно в случае, когда логические и физические поля имеют больше одного соответствия. Вот простенький генератор html на основе документа:

В результате получается удобная для взаимодействия html-страничка. Если добавить немного фантазии, то можно сразу сделать форму, в которой можно будет проверять и дополнять неуверенно распознанные поля — очень удобно в случае, если качество изображения плохое или документ плохо пропечатан.

Конечно, помимо андроида встроить распознавание и организовать удобные представление документа (при необходимости) можно и на любой другой платформе, однако с трендом на создание банковских офисов нового поколения и развития курьерской сети автоматизация ввода документов с помощью средненьких мобильных устройств на Андроиде становятся актуальной задачей.

На этом мы не заканчиваем, ждите новых статей!

Мы в Smart Engines занимаемся разработкой софта для распознавания самых разных документов – начиная от паспорта РФ, свидетельства о рождении и заканчивая первичкой вроде УПД или ТОРГ-12, а также банковских карт, номеров телефона и баркодов.

Наши библиотеки написаны полностью с нуля (на плюсах), мы уделяем огромное внимание скорости алгоритмов, нейросетям (новым архитектурам, размеру и правильному применению) и оптимизации, за счет чего наш софт портируется на любые архитектуры и может быть использован на любой платформе.

Объяснять (и хвастаться) проще всего на примере – покажем, как развернуть распознавание паспорта РФ прямо на устройстве на Android.

Зачем это всё?

Кстати, распознавание паспорта РФ на мобильном телефоне – ключевой элемент процесса удостоверения личности в цифровых каналах. Функциональность дает возможность удаленно открывать счета в банковских приложениях, регистрироваться в шеринговых сервисах, покупать билеты на самолеты и поезда и многое другое.

Кроме того, распознавание на мобильнике открывает возможность к ещё одной функциональности — распознаванию в видеопотоке. При таком сценарии пользователь наводит камеру на документ, а система анализирует входящие кадры до тех пор, пока не будет обеспечено достаточное для распознавания документа качества. Таким образом клиенту не нужно несколько раз переснимать документ, если вдруг кадр не удался — получился размазанным, засвеченным и так далее.

Немного вводных

SDK Smart ID Engine – это библиотека, собранная под нативную платформу, конфигурационный бандл и обёртка для вызова функций библиотеки с помощью других языков программирования (в этой статье нам понадобится java).

Сперва коротко об интерфейсе библиотеки, без этого мы не сможем написать адекватное работающее приложение. Система распознавания включает:

• Движок распознавания. Он создаётся с указанием конфигурационного бандла и представляет собой что-то вроде “склада инструментов” для распознавания различных документов. Движок создаётся в самом начале, существует на всём протяжении жизни (приложения или хотя бы сценария, в котором используется распознавание). От него создаются следующие элементы интерфейса:

• Сессия распознавания. Это сам процесс распознавания конкретного физического объекта – паспорта, ВУ, СТС, загранпаспорта и других. Всего по состоянию на сегодняшний день мы поддерживаем более 3 тысяч типов документов. В сессию можно передать всего одно изображение, а можно - серию изображений последовательно (видеопоток), при этом после каждого нового распознавания результат будет уточняться, а так же на основе уверенности в результате будет приниматься решение, нужно ли распознавать дальше или лучше уже не будет.

Важная оговорка: Вообще сессии бывают разных типов - помимо распознавания документов также существуют сессия сравнения лиц (сравнить два изображения на степень “похожести” или провести проверку определения живости лица. Кстати, это происходит без выявления биометрических дескрипторов). А также сессия файловой форензики (поиск признаков вмешательства в исходное изображение) и другие.

• Настройки сессии. Они хранят список доступных для распознавания типов документов (сам по себе этот список определяется конфигурационным бандлом), дополнительную информацию о каждом документе, а также позволяют настроить процесс распознавания: задать список ожидаемых типов документов для сессии распознавания (кстати, если поставить *, то система сама определит тип документа из всех преднастроенных шаблонов), включить\выключить проверки признаков подлинности, задать таймаут для сессии распознавания и так далее. Настройки создаются перед созданием самой сессии и не могут редактироваться в процессе распознавания.

• Результат распознавания. Это объект, в котором хранится множество различной информации: координаты шаблонов документов (допустим, вторая и третья страницы паспорта ищутся отдельно) и всех полей на этих шаблонах, текстовые поля (вплоть до разбиения на варианты каждого символа с их весами), поля с изображениями, поля с проверками признаков подлинности документа. Как этим всем богатством пользоваться, расскажем чуть ниже.

Беглого взгляда на этот интерфейс достаточно, чтобы понять, как его правильно встроить в приложение. При старте приложения (или сценария) создаем экземпляр движка, перед непосредственно распознаванием создаем настройки сессии и заполняем их, после чего при переходе на экран с превью камеры создаем саму сессию распознавания и “кормим” её кадрами до тех пор, пока сессия не затерминалится (= не решит, что “ей хватит”). После чего можно переходить к разбору результата распознавания.

Как это встраивается и работает

А теперь немного кода - покажем, как делается распознавание документа с помощью камеры устройства на Android. Полный код можно найти, перейдя по ссылке на GitHub, а ниже – наиболее интересные моменты.

Начнём с создания движка:

Объявим класс:

И приведём его имплементацию:

Теперь нам нужно создать и подготовить настройки сессии, чтобы библиотека знала, какие именно инструменты использовать при распознавании:

С имплементацией:

Дальше, наконец, само распознавание. Поскольку для распознавания нужно откуда-то брать кадры (мы всё же не волшебники), логично завести контроллер, который будет хранить сессию, иметь доступ к камере и кормить сессию кадрами, пока та не попросит остановиться. Реализуем свой ImageProcessor, который будет кормить кадры из превью сессии распознавания:

Когда в процессе распознавания достигается терминальность, можно переходить к разбору результата распознавания. Результат распознавания хранит в себе множество информации - помимо собственно текстовых полей и фото владельца, там лежит геометрия (координаты документа на изображении), данные проверок признаков подлинности и различные атрибуты.

Теперь вы знаете, что встроить распознавание паспорта РФ в приложение для Android — намного проще, чем может показаться на первый взгляд.

Это далеко не единственный вариант использования нашего софта. Как минимум, помимо распознавания документов также можно сверять лица, проверять лицо на “живость”, организовывать распознавание двусторонних документов и еще много чего.

Но схема работы останется той же: движок – настройки сессии – сессия – разбор результата. Такая схема позволяет как сделать сервер с распознаванием тысяч документов одновременно, так и встроить распознавание хоть в браузер.

Если заинтересовались – добро пожаловать на наш сайт. И не расходимся, скоро расскажем еще много чего интересного!

NPU (Neural Processing Unit — нейронный процессор) — отдельный «мозг» смартфонов с ИИ. Он не рисует графику (это работа GPU) и не занимается тяжёлой логикой приложений (это делает CPU). Его стихия — нейросети и машинное обучение.

Обычно NPU — часть большого чипа SoC (System on a Chip). Там он работает в связке с CPU и GPU, что позволяет устройству выполнять задачи, требующие вычислений локально, без подключения к облаку. Не нужно ждать ответа с сервера, не нужно передавать личные данные куда-то в облако. Это быстрее, безопаснее и экономнее.

Наши телефоны каждый день делают кучу «умных» штук. Пока вы фоткаете кота, CPU запускает камеру, GPU рисует интерфейс, а NPU в это время распознаёт морду кота, автофокусится на глазах и апскейлит фото. NPU отвечает за следующие программные возможности:

• генеративный ии — on-device LLM пишет и редактирует тексты;
• улучшение фото и видео — шумоподавление, увеличение разрешения, удаление лишних объектов;
• распознавание лиц и объектов — люди и животные, QR-коды, текст на фото;
• обработка голоса — шумоподавление, распознавание голоса;
• AR и фильтры: 3D-маски, эффекты, допреальность;
• защита данных — всё, что можно, делается локально. Данные остаются у вас, а не уходят в облака к AI-гигантам

NPU — это один из лучших способов ускорить ИИ прямо на вашем смартфоне, не перегружая батарею и не жертвуя конфиденциальностью. Но не все задачи решаются локально — ИИ-приложения могут использовать мощь вашего устройства для быстрых задач и отправлять ресурсоёмкие операции в облако. Для этого используется ИИ-ускоритель — машинное обучение анализирует ваши привычки и прогнозирует, какие ресурсы понадобятся, сокращая время отклика устройства. А перераспределение памяти делает работу с многозадачностью более плавной: если приложение неожиданно потребует больше ОЗУ, система выделит дополнительные ресурсы без замедлений.

Какие бренды и модели первыми внедряют ИИ

Samsung Galaxy AI (S24, S25 и новее)

Если вы мечтали, чтобы голосовые одним махом превращались в структурированные заметки, а сторис монтировались сами собой — Samsung вас услышал. В начале 2024 года компания представила Galaxy AI, который использует гибридный ИИ, сочетая собственные модели Samsung и Google Gemini Nano. ИИ-десант высадился не только на флагманах: известно, что часть ИИ-функций постепенно появится в старых моделях серии Galaxy A, заменив ассистента Bixby. По информации Bloomberg, Samsung обсуждает партнёрство с Perplexity — их ИИ может стать дефолтным ассистентом на новых устройствах компании.

Чтобы активировать Galaxy AI, войдите в Samsung Account, а затем перейдите в Настройки → дополнительные функции → AI-функции или Galaxy AI.

В первую очередь, Galaxy AI позиционируют как ассистента для продуктивности:

• Мой день — встроенный мини-дайджест, который утром покажет прогноз погоды и напомнит покормить кота. Вечером — подведёт итоги дня, покажет лучшие фотографии и напомнит, сколько шагов вы прошли.
• Обведи и найди — функция для тех, кто не любит тратить время на поиски: увидели в тиктоке крутую дрель — обведите её и Google найдёт её в интернет-магазине. Работает с любыми объектами на экране: от одежды до песен;
• Синхронный перевод звонков — ИИ помогает перевести разговоры в реальном времени. Вы говорите на русском, собеседник слышит ваш голос на английском (или любом другом языке). Параллельно на экране будет текстовая трансляция. Если нужно, можно записать и расшифровать разговор, так что вы не забудете важные моменты.

Что умеет ИИ для текста. ИИ-редактор в One UI можно вызвать из любого текстового поля. Там всё без особых сюрпризов:

• генерация текста («напиши за меня письмо начальству, но так, чтобы не уволили»);
• изменение стиля письма (формально? дружелюбно? по-деловому?);
• проверка орфографии и грамматики (чтобы не было стыдно перед коллегами);
• перевод текста с экрана;
• саммари веб-страниц в браузере Samsung Internet;
• расшифровка голосовых заметов.

Как ИИ помогает создавать контент:

• Удаление лишнего: если в кадр случайно попал турист в шортах — алгоритм смартфонов с генеративным ИИ вырежет всё ненужное в один тап;
• Перемещение объектов: засняли машину на фоне заката, а она оказалась в углу кадра? Не беда: берёте тачку, тащите туда, где она смотрится лучше — нейросеть всё дорисует;
• Автоулучшение: ИИ сам определит, что на фото пересвет, мыльный фон или белый баланс живёт своей жизнью. Поправит, размоет, усилит;
• Монтаж без монтажа: наснимали кучу видео на даче или на шашлыках? ИИ сам нарежет ролик: сцены, ритм, сюжет — Auto Trim работает так, будто вы просидели в монтажке весь вечер (а вы не сидели);
• Очистка звука: решили записать интервью или подкаст, а за стеной соседи взялись за ремонт? Audio Eraser очистит нежелательный шум: можно отдельно подкрутить громкость голоса, или полностью заглушить перфоратор.

Не всё так радужно с Galaxy AI — многие пользователи уже начали высказывать недовольство насчет проблем с доступностью функций. У одних пользователей работает, у других — нет. Зависит от модели телефона, страны и даже языка. Многим вообще не ясно, где искать ИИ-фишки и как их включать. А те, кто попробовал, разочарованы: они называют функции ненадежными, медленными, плохо реализованными, не доработанными, навязчивыми и неудобными. На каждом шагу всплывают предупреждения от Samsung — мол, за точность работы ИИ они не отвечают.

Galaxy AI можно запускать локально, прямо на смартфоне. Но часть фишек всё равно требуют подключения к сети, а результаты при работе прямо на телефоне оказываются хуже. Samsung заявляет, что для ИИ нужен новейший чип, но пользователи подозревают, что это маркетинговый ход, чтобы подтолкнуть к покупке новых моделей.

Пока ИИ-фичи бесплатны, но только до конца 2025. Пока Samsung уверяют, что конкретных планов нет, но на сайте компании указано, что это может измениться. Потом, вероятно, ИИ переведут на подписку. Некоторые владельцы Galaxy S24 Ultra были не в восторге, узнав об этом после покупки. Ходят слухи, что появятся дополнительные функции, которые будут оправдывать стоимость. По данным опроса TechRadar 87% владельцев Samsung Galaxy считают умные функции бесполезными, а 94,5% не готовы платить за них.

«ИИ на моем телефоне не дает никаких преимуществ. На самом деле, я считаю его навязчивым! Всякий раз, когда я пытаюсь что-то найти, вместо обычного поиска появляется ИИ. Я достаточно умён, чтобы знать, что я ищу... Мне не нужен ИИ, чтобы делать это за меня!»

Apple (iPhone с iOS 18 и Apple Intelligence)

На WWDC 2024 Apple наконец-то показала свою версию ИИ — Apple Intelligence. Они обещают многое: генерация текста, суммирование заметок, личный помощник с интеграцией ChatGPT. Но есть нюанс: пока яблочный интеллект не поддерживает русский язык.

Какие смартфоны от Apple получили Apple Intelligence? Чудеса машинного разума завезли только на устройства с процессором A17 Pro: iPhone 16, iPhone 15 Pro и iPhone 15 Pro Max c iOS 18.1 или новее. Приготовьте 7 ГБ свободного места, ведь моделька подгружается отдельно.

Если Apple Intelligence у вас не активна, включить её можно в пару кликов: настройки → Apple Intelligence и Siri → включить

Apple тоже раскатила инструменты для письма прямо в текстовых полях — можно быстро сгенерировать, переписать, проверить грамматику и изменить стиль. Для тех, кто не хочет тратить время, встроенная функция конспектирования вытянет главное из статьи или голосового сообщения. ИИ интегрирован в смартфоны от Apple, чтобы быстро нагенерить что-то необычное: в Image Playground можно создать картинку по описанию, есть «волшебная палочка» для генерации изображений в Заметках, а ещё доступна генерация эмодзи на заказ — Genmoji. Фотоплёнка тоже прокачалась — теперь можно не просто искать объекты или людей, но и стирать лишнее с фото. С выходом iOS 19 Apple добавит в систему умное управление питанием на базе Apple Intelligence. А еще к управлению зрением добавится управление выражением лица.

А вот с «умной» сводкой уведомлений что-то пошло не так. Пользователи жалуются, что сводка часто теряет контекст — неросети всё ещё плохо улавливают нюансы языка, иронию и эмоции. Пользователь поделился, что получил от мамы сообщение о походе, который «чуть не убил её». Но Apple Intelligence решила, что это сообщение о попытке суицида.

Apple решила не ограничиваться умной Siri, поэтому подружила её с ChatGPT прямо в системе. Если Siri поймёт, что задачка ей не по зубам, она делегирует её нейросети от OpenAI. Плюс, если у вас есть учётка ChatGPT (бесплатная или с подпиской), её можно подключить, чтобы разблокировать все фишки продвинутого ИИ. Машинное обучение также улучшило то, как ассистент понимает контекст и поддерживает разговор: теперь Siri можно задавать вопросы о функционале продуктов Apple. ChatGPT встроен не только в Siri — наведите камеру на здание, растение или другой объект, а ИИ подскажет, что это и чем может быть полезно.

Интересно, что регуляторы США запретили Apple говорить, что Apple Intelligence «уже доступен». Причина — на практике ИИ не работает в полном объёме и многие функции находятся либо в тестировании, либо недоступны большинству пользователей.

Apple утверждает, что они делают упор на приватность и обработку задач на устройстве. Если мощностей не хватает — задействуются приватные облака, которые хранят данные только во время процессинга. При использовании ChatGPT без учётки — ваш IP скрывается, отправляется только запрос и вложения, а данные не используются для обучения моделей. Если войдёте в аккаунт ChatGPT — вся обработка будет идти по правилам OpenAI.

Google Pixel с встроенными ИИ-моделями Gemini

Gemini, ИИ-помощник от Google, работает по умолчанию на Pixel 9 и новее. Ассистент помогает писать письма, планировать события, работать с сервисами вроде Gmail и YouTube и даже получать информацию через текст, голос и изображения. Благодаря голосовым командам и анализу фото, Gemini помогает быстро разобраться в контенте и исправлять ошибки в тексте.

Как сообщает Android Autority, Google готовит новый шаг в эволюции мобильных помощников — Pixel Sense для Pixel 10. В отличие от Gemini, предполагается, что Pixel Sense будет работать локально, без интернета и будет интегрирован с набором приложений от Google.

Другие игроки: Xiaomi, OnePlus, Honor

Xiaomi HyperAI — ИИ-платформа Xiaomi, встроенная в HyperOS и смартфоны 15-й серии. Эта технология использует оболочку Google Gemini и основана на мультимодальной обработке текста, речи и изображений. HyperAI работает в гибридном формате: часть задач выполняется прямо на устройстве, а остальное — в облаке. Правда, без интернета ИИ превращается в тыкву — почти все генеративные фишки завязаны на облачных мощностях, что ограничивает сценарии применения в офлайне. Также известно, что Xiaomi тестирует интеграцию DeepSeek-R1 для своего голосового ассистента Super XiaoAI на базе ИИ, который планируют поддерживать на множестве устройств, включая модели 15 и 14 серий, флагманские смартфоны Redmi, а также складные MIX Fold 4 и MIX Flip.

OxygenOS 15 от OnePlus на базе Android 15 получила ИИ-функции и интеграцию Gemini. Для фото завезли апскейлер — поднимает разрешение до 4K, Unblur, который улучшает «мыльные» изображения и AI Reflection Eraser, удаляющий лишние блики и отражения. В боковой панели живут уже стандартные ИИ-инструменты для текста с автоподсказками и ИИ-поиском по устройству. Пользователи Reddit переживают о конфиденциальности на своих ИИ смартфонах и говорят, что не могут полностью отключить умные функции: даже работа с текстами на устройствах OnePlus происходит в облаке, а для некоторых функций нужно активировать распознавание экрана. Тут уж каждый сам решает, что важнее: удобство или защита личных данных.

ИИ в смартфонах от Honor фокусируется на умном распределении нагрузки. ИИ сам решает, когда устройству нужно больше ресурсов, и заранее готовит процессор и видеочип. Magic Portal сам подцепит адрес из сообщения и покажет маршрут на карте или предложит добавить событие в календарь, а ИИ-подсказки напомнят открыть посадочный на выходе к самолёту. Нейросетевые функции помогают распознавать текст на картинке, транскрибировать голосовые заметки, улучшать качество изображений и портретов, удалять объекты с фото. Но вот что действительно выделяет Honor среди конкурентов, так это встроенный детектор дипфейков. Если вам вдруг позвонит друг с поддельным видео или синтезированным голосом, Honor Magic 7 Pro вычислит подмену и даст понять, что на том конце линии не тот, за кого себя выдают.

Что нас ждёт дальше?

Если раньше всё сводилось к генеративным фоторедакторам и голосовым помощникам, то теперь на горизонте появляются устройства, которые могут переосмыслить само понятие «смартфона».

На Всемирном мобильном конгрессе самым обсуждаемым трендом стали устройства, которые предлагают новый способ взаимодействия. Deutsche Telekom в паре с Perplexity AI показали концепт Perplexity AI Phone. Вместо экранных кнопок — управление через голосовые команды, которые решают задачи прямо на устройстве. Планируется, что смартфон будет работать на Magenta AI, предоставляя доступ набору ИИ-инструментов: Perplexity Assistant, Google Cloud AI, ElevenLabs и Picsart.

Если ИИ-телефон от Perplexity — это аккуратный шаг к постсмартфонам, то OpenAI и Джони Айв (бывший лид-дизайнер Apple) решили сжечь все мосты. Их проект — гаджет, который полностью отказывается от привычного экрана в пользу голосового взаимодействия. И хотя стартап утверждает, что не работает над «телефоном без экрана», если верить источникам, речь идет о принципиально новом устройстве, которое может полностью изменить наш взгляд на мобильные технологии. Пока что подробности остаются в тайне, но известно, что стартап уже привлёк инвестиции, включая поддержку Лорен Пауэлл Джобс, вдовы Стива Джобса.

Нужен ли вам смартфон с встроенным ИИ?

Смартфоны с ИИ-чипами — это новый стандарт. От обработки фотографий и переводов до улучшенной безопасности — технологии уже делают наши устройства умнее. Но, как и у любой крутой технологии, у этого есть свои плюсы и минусы. Давайте разберёмся, что вас ждёт, что вас ждёт, если вы решите влиться в мир умных устройств.

Плюсы:

1. Быстрая обработка данных — нейрочип оптимизирует ресурсы смартфона и позволяет выполнять сложные задачи в разы быстрее;
2. Креативность на максималках — если вы контент-креатор или просто любите играться с фото, ИИ поможет креативить на ходу;
3. Повышение продуктивности: если вы постоянно записываете голосовые заметки или переводите текст – не нужно больше открывать отдельные приложения, всё встроено в систему;
4. Автономность — многие ИИ-функции работают в режиме офлайн.

Минусы:

1. Зависимость от модели устройства — Множество фич доступны только на флагманских моделях;
2. Геоблокировки: большинство функций от Google Gemini и Apple Intelligence пока не поддерживаются на русском языке;
3. Энергопотребление — ИИ-сиcтемам нужны мощные чипы, а значит, скорее всего, устройства станут дороже. Кроме того, нейропроцессоры довольно прожорливы: чем больше вы играете с ИИ-функциями, тем быстрее телефон просится к зарядке;
4. Стоимость и подписки: чипы — дорогое удовольствие. Такие смартфоны находятся в премиум-сегменте, а некоторые компании могут в будущем ввести платные подписки на ИИ-услуги;
5. Все еще нужен интернет и облако — некоторые нейрозадачи всё ещё требуют подключения к сети.

Если вы хотите идти в ногу с прогрессом и не боитесь несовершенств, новые ИИ-функции откроют перед вами массу возможностей. Но если вам важнее стабильность и долговечность устройства, возможно, стоит подождать пару лет.

Больше новостей — в нашем тг-канале «Представляешь»

Улучшенная технология уже встроена в стандартную лицензию сервиса. Алгоритм создан на основе внутренних разработок в области обработки естественного языка (NLP) и прошёл обучение на большом массиве машинно-сгенерированных текстов. В приоритете — высокая точность и минимизация ложных срабатываний.

Мы надеемся, что данное обновление простимулирует авторов сосредоточиться на развитии собственных навыков письма и анализа, что, в свою очередь, поможет двигаться в рамках академической этики и обеспечит высокие стандарты российского образования. Мы уверены, в долгосрочной перспективе новый алгоритм детекции принесет гораздо больше пользы, чем быстрые, но неэтичные решения с помощью ИИ

Главный фокус — на научные и студенческие работы

Обновлённый детектор нацелен прежде всего на академическую сферу. Он обучен на текстах из обширной базы работ, собранной компанией за 20 лет сотрудничества с университетами. Это даёт системе преимущество при анализе дипломов, курсовых и научных публикаций, где требуется высокая точность и строгость.

Именно в этих типах текстов ИИ используется особенно активно. Согласно исследованию «Я — профессионал», 85% российских студентов регулярно прибегают к нейросетям. Среди них:

• 77% используют ИИ для поиска информации,

• 43% — для написания курсовых, эссе и дипломов,

• 24% — для подготовки презентаций.

Ранее уже фиксировались случаи защиты дипломов, полностью написанных с помощью нейросетей.

ИИ на взлёте — а детекторы не дремлют

В январе 2025 года на российский рынок вышла китайская бесплатная нейросеть deepseekV3. За короткий срок она стала самой популярной ИИ-платформой в стране, увеличив мобильный трафик в 5 раз. Параллельно OpenAI представила GPT-4o — мультимодальную модель нового поколения.

На этом фоне «Антиплагиат» усиливает позиции: его решения уже используют 92% вузов, участвующих в программе «Приоритет 2030», включая МГУ, СПбГУ, НИУ ВШЭ, МГТУ им. Баумана, РЭУ им. Плеханова и другие топ-университеты.

ИИ становится повседневным инструментом студентов, но академическая среда требует новых стандартов проверки. Алгоритмы ИИ развиваются — но и их распознавание тоже. Обновление от «Антиплагиата» — не просто технологическое улучшение, а очередной этап в борьбе за академическую добросовестность.

В этом материале мы собрали ТОП-7 нейросетей, которые специализируются на распознавании задач с фото и помогают студентам справляться с контрольными и домашними заданиями. Эти умные инструменты не только выдают ответ, но и показывают пошаговое объяснение — идеальный вариант, если хочешь не просто списать, а понять материал. Попробуйте сами, как ИИ может избавить от бессонных ночей над учебниками и сделать учёбу заметно проще.

Лучшие сервисы для решения задач и контрольных по фото в 2025 году:

1. Kampus.ai — лучшая нейросеть для решения задач и контрольных по фото, а также генерации рефератов, курсовых, докладов и других.

2. Neirotext — отличный генератор текстов и изображений для студентов

3. Generator-AI — мощный генератор академических текстов с автоформатированием.

4. AI-WordyBot — сервис для заказа учебных работ у нейросети.

5. Chatgpt-gen —универсальный набор инструментов на базе ChatGPT

6. AI-texter — бесплатный ИИ-помощник для студентов и школьников

7. A24+ — сборник нейросетей от генерации реферата до генерации картинок и решения задач по фото

Топ-7 нейросетей для решения задач и контрольных по фото в 2025 году:

1. Kampus.ai

Почему нужно пользоваться сервисом Кампус для решению задач:

• Это безлимитно — по подписке ты можешь решать сколько угодно задач по любым предметам без ограничений: математика, физика, право и многое другое 24/7

• Это не очередная обертка для ChatGPT — у Кампуса свои специализированные ИИ, заточенные под учебные задачи и программы.

• AI по праву знает российские кодексы и обновляется по изменениям в законах. Ни одна общая модель вроде ChatGPT и DeepSeek не может точно ссылаться на РФ кодексы, а мы можем и поэтому наши решения задач точнее и акутальнее.

• Ты не обязан разбираться, какая модель лучше — GPT-4o, DeepSeek R1 или Claude. Мы уже выбрали всё за тебя, связали в пайплайн, оптимизировали под предметы и продолжаем улучшать.

• Просто загрузи задачу или фото — и получи точное, понятное решение.

Стоимость подписки всего лишь – 399 руб./мес. За эти деньги ты получишь БЕЗЛИМИТНЫЙ доступ к нейросети Kampus AI решающей задачи и базе в 2 000 000+ задач со всех ВУЗов страны уже прорешанных, а также генерация любых текстовых работ

• Доступен пробный период и несколько бесплатных генераций
• Регистрация: ВК/почта/телефон
• Возможности: помощь в написании различных текстов и помощь в решение задач

Без преувеличений — это самая лучшая нейросеть для создания текстовых работ на русском языке на сегодняшний день.

Если вы ещё не пробовали, не теряйте время — переходите и генерируйте качественные работы прямо сейчас!

—>САЙТ СЕРВИСА<—

2. AI-WordyBot

AI-Wordybot — это ваш персональный помощник для создания высококачественных академических работ с помощью современных технологий искусственного интеллекта. Этот сервис позволяет легко и быстро подготовить рефераты, курсовые, доклады и другие студенческие задания, соответствующие всем необходимым стандартам. AI-Wordybot использует мощные нейросети, чтобы помочь вам не только сгенерировать идеи и структурировать текст, но и значительно улучшить его качество, повысив уникальность и логичность.

Получите профессионально выполненную работу в кратчайшие сроки и забудьте о стрессах — с AI-Wordybot ваш учебный процесс станет намного проще и эффективнее!

AI-Wordybot

Не тратьте время на беспокойства — AI-Wordybot готов помочь вам с написанием любых академических работ быстро и качественно. Убедитесь сами, как легко можно достичь отличных результатов с помощью нашего сервиса.

Начните прямо сейчас и получите свою работу без стресса и лишних усилий!

—>САЙТ СЕРВИСА<—

3. Generator-AI

Generator-ai — это продвинутый сервис, который поможет вам легко и быстро создавать качественные академические работы. Используя передовые технологии искусственного интеллекта, Generator-ai позволяет генерировать рефераты, курсовые, доклады и другие задания, соответствующие всем стандартам и требованиям. С помощью этого сервиса вы сможете сэкономить время, повысить качество работы и избежать стресса. Generator-ai обеспечит вас уникальными и логично структурированными текстами, которые помогут вам добиться отличных результатов в учебе. Упростите процесс написания и получите качественную работу всего за несколько кликов!

Больше не нужно тратить часы на поиск информации и оформление текста — с Generator-ai создание рефератов и других учебных работ становится действительно простым и быстрым процессом. Интуитивно понятный интерфейс, умные алгоритмы и гибкие настройки позволяют получить именно тот результат, который нужен для успешной сдачи работы.

Попробуйте Generator-ai уже сегодня и убедитесь, как легко можно справляться с любыми академическими задачами!

—>САЙТ СЕРВИСА<—

4. Neirotext

Neirotext — это современный онлайн-сервис, созданный для быстрого и качественного написания академических работ. Благодаря использованию мощных нейросетевых технологий, Neirotext легко справляется с генерацией рефератов, докладов, курсовых и сочинений. Сервис автоматически подбирает актуальную информацию, помогает структурировать текст и оформляет его в соответствии с академическими требованиями. Независимо от сложности задания, Neirotext поможет вам получить грамотную, логичную и уникальную работу за минимальное время. Идеальный помощник для студентов, стремящихся учиться эффективно и без лишнего стресса!

С Neirotext написание рефератов и других студенческих работ превращается в быстрый и понятный процесс. Вам больше не нужно переживать о дедлайнах или оформлении — сервис всё сделает за вас, помогая сэкономить время и силы.

Доверьте свои академические задачи Neirotext и убедитесь, как легко можно добиться отличных результатов!

—>САЙТ СЕРВИСА<—

5. Chatgpt-gen

Chatgpt-gen — это интеллектуальный сервис нового поколения для автоматической генерации рефератов, докладов, курсовых и сочинений. Построенный на базе мощных языковых моделей, Chatgpt-gen помогает студентам быстро создавать содержательные и грамотно оформленные тексты. Умные алгоритмы учитывают академические стандарты, подбирают актуальные источники и помогают выстроить логичную структуру работы. Chatgpt-gen — отличный выбор для тех, кто ценит своё время и стремится сдавать качественные задания без лишней нагрузки.

Если вы ищете быстрый и надёжный способ справиться с рефератом или курсовой, Chatgpt-gen станет вашим идеальным помощником. Забудьте о бессонных ночах и спешке перед дедлайнами — просто доверьте написание работы Chatgpt-gen и получите отличный результат в кратчайшие сроки!

—>САЙТ СЕРВИСА<—

6. AI-texter

AI-texter — это современный инструмент для автоматического создания рефератов, докладов, курсовых и других учебных текстов. Благодаря продвинутым алгоритмам обработки языка, AI-texter быстро формирует логичные, структурированные и уникальные работы, соответствующие требованиям преподавателей. Сервис идеально подходит для студентов, которые хотят сэкономить время, избежать ошибок в оформлении и получить качественный текст без лишних усилий.

С AI-texter подготовка реферата или доклада превращается в простой и удобный процесс. Не теряйте время на долгие поиски информации и оформление — доверьте работу интеллектуальному помощнику и получите готовый текст быстро и без стресса!

—>САЙТ СЕРВИСА<—

7. A24+

Сервис использует самые известные ИИ-модели — для работы с текстами, изображениями и аналитикой, что избавляет от необходимости переключаться между множеством разных платформ. Платформа берет на себя все рутинные процессы для создания академических работ: поиск информации, обработку данных, составление текстов и создание черновиков. Она подходит для самых разных задач — от учебных и рабочих до творческих и бытовых. Одним из главных преимуществ является интеграция с Google Docs, веб-поиском и другими популярными инструментами.

А24+

• Универсальный доступ к целому набору мощных нейросетей в одном месте
• Возможность любые задачи без переключения между разными сервисами
• Экономия времени и ресурсов благодаря автоматизации рутины
• Без VPN, на русском языке — судя по вордстату, людям это явно нужно

Преимущества:

• Очень удобный и понятный интерфейс
• содержит 8 нейросетей внутри одного сервиса: ChatGPT 4o, ChatGPT 4o mini, ChatGPT o1, ChatGPT o1 mini, Claude 3.5, Claude 3.7, Midjourney, DALL-E
• Сервис подойдет для разных целей, как для учебы, работа, так и для личных проектов
• На данный момент нет аналогов на рынке

Недостатки:

• Бесплатных токенов хватает на 3 генерации ответа

—>САЙТ СЕРВИСА<—

Как нейросети помогают в решение задач по фото:

1. Распознавание текста и формул с фото

ИИ-технологии, особенно OCR (оптическое распознавание символов), легко считывают задачи с фотографий — будь то рукописный текст или напечатанный. Нейросеть определяет числа, символы, знаки и даже сложные математические формулы.

2. Моментальный поиск решения

После распознавания система отправляет запрос в обученную базу решений или модель ИИ, которая находит оптимальный метод — будь то алгебра, геометрия, физика, химия или даже программирование.

3. Пошаговое объяснение

Многие сервисы не просто дают ответ, а показывают каждый этап решения. Это удобно, если нужно разобраться и повторить самому на контрольной или экзамене.

4. Поддержка разных предметов

Современные ИИ-сервисы справляются не только с математикой, но и с задачами по физике, экономике, химии, статистике и даже логике. Один инструмент может охватить сразу несколько дисциплин.

5. Удобство и скорость

Нейросети работают мгновенно: достаточно сфотографировать задание на смартфон, загрузить в приложение — и уже через секунду получить решение. Это особенно выручает перед сдачей домашки или если нужно срочно разобраться в теме.

Благодарим вас за внимание к нашей статье. Эта статья носит исключительно информационный характер и не является рекламой. Все представленные мнения и рекомендации основаны на личном опыте и анализе доступных данных

Узнаем, на каких принципах работает Edge AI, каковы преимущества работы ИИ на устройствах с ограниченными ресурсами, как Edge AI используются прямо сейчас и что будет с этой технологией в будущем.

Основные принципы работы Edge AI

Технология Edge AI — это развертывание моделей ИИ на основе нейросетей непосредственно на устройствах: смартфонах, камерах, датчиках и другом оборудовании. Для вычислений и анализа данных не не нужно обращаться к удаленным или облачным серверам. Устройства принимают решения на месте получения сигнала, что упрощает процесс.

Почему технология считается революционной? Вместо того чтобы гонять данные в облако и обратно, алгоритмы работают прямо на устройстве — будь то смартфон, камера наблюдения или беспилотный автомобиль. Процессор принимает решения мгновенно, не спрашивая разрешения у главного сервера.

Традиционные системы ИИ работают через сеть — данные уходят в дата-центр, там обрабатываются, а результат возвращается обратно. Проблема в том, что даже при быстром интернете такая схема создает задержки. Устройства с Edge AI реагируют на сигнал мгновенно.

Поэтому основное преимущество такого способа работы с данными — скорость. Беспилотному автомобилю нужно распознать пешехода за миллисекунды — ждать ответа из облака смертельно опасно. Другой аспект — автономность. Промышленные датчики и устройства, к которым они подключены, в удаленных локациях могут работать без стабильного интернета.

Есть и экономическая выгода. Зачем отправлять терабайты сырых данных, если можно обработать их на месте и передать только результат?

Наглядный пример: современные смартфоны используют Edge AI для обработки фото. Когда вы делаете портрет в размытом режиме «боке», нейросеть на устройстве сразу отделяет фон от объекта — без загрузки снимка в облако.

Обычные нейросети требуют огромных вычислительных ресурсов — например, чат GPT-4 вряд ли получится запустить на умных часах. Но Edge AI-модели — это «лайт-версии» своих облачных собратьев: они компактные, быстрые и энергоэффективные.

При этом данные никуда не отправляются, что обеспечивает их конфиденциальность: если нет постоянной передачи данных, хакерам сложнее перехватить информацию.

Пример: Apple использует Edge AI в Siri — голосовые команды распознаются прямо на iPhone, а не в облаке. Так компания гарантирует, что ваши разговоры с ассистентом не прослушает даже она сама.

Периферийный ИИ можно установить на любые устройства, работа которых требует быстродействия и определенной степени автономности. Это промышленные станки с умным зрением, беспилотные дроны для доставки товаров, камеры наблюдения. Такие системы не имеют ограничений в виде пропускной способности при передаче данных и задержек, связанных с серверами. Обработка происходит в режиме реального времени.

Технологии и инструменты для Edge AI

Для реализации Edge AI используются специальные инструменты и технологии. Их условно можно разделить на две категории: компактные модели нейросетей и аппаратные ускорители для мобильных устройств. Кроме того, созданы специальные фреймворки, значительно ускоряющие разработку ПО для Edge AI.

Компактные нейросети

Представьте, что вам нужно упаковать суперкомпьютер в бокс размером со спичечный коробок. Именно такую задачу решают разработчики компактных моделей для Edge AI.

Так, MobileNet использует хитрый трюк с разделяемыми свертками, что позволяет уменьшить модель в 10 раз без катастрофической потери точности. Ваш смартфон распознает лица на фото именно благодаря таким оптимизациям.

TinyML — это вообще магия микроуровня. Методика машинного обучения разработана специально для компактных нейросетей. Такие модели могут работать на устройствах с памятью меньше, чем занимает одна фотография в соцсетях. Датчик вибрации на заводском оборудовании с TinyML способен предсказывать поломки, потребляя энергии меньше, чем светодиодная лампочка.

Аппаратные ускорители

Даже самая оптимизированная модель нейросети будет тормозить без специализированного «железа». Так называемые нейроморфные процессоры обладают специальной архитектурой, имитирующей принцип работы человеческого мозга. Такие компоненты повышают производительность устройств и снижают стоимость внедрения Edge AI технологий.

Эти продукты делают автономные сети быстрыми и энергоэффективными:

• NPU (Neural Processing Unit) — процессоры, заточенные под нейросети. В iPhone и флагманских смартфонах Android стоят NPU от Apple и Qualcomm, которые ускоряют распознавание лиц и обработку фото в 5–10 раз быстрее CPU. Специализированные чипы запускают миниатюрные копии нейросетей на устройствах.
• TPU (Tensor Processing Unit) — разработка Google, созданная для ускорения TensorFlow-моделей. Edge TPU на компьютерах с одной платой Coral Dev Board позволяют запускать до 4 трлн (!!!) операций в секунду при потреблении всего 2 Вт.
• VPU (Vision Processing Unit) — чипы, оптимизированные под компьютерное зрение. Так, Intel Movidius используется в дронах и камерах видеонаблюдения анализа видео в реальном времени без облака. Они потребляют в 10 раз меньше энергии, чем обычные GPU, выполняя те же задачи. Камера ноутбука, которая размывает фон во время видеозвонков, использует именно такие процессоры.

Фреймворки для Edge AI

В числе самых популярных инструментов:

• TensorFlow Lite — идеален для Android и встраиваемых систем. Он поддерживает квантизацию (преобразование и сжатие) и аппаратное ускорение через NPU. Например, с его помощью можно развернуть модель распознавания жестов на одноплатном мини-компьютере Raspberry Pi за пару часов.
• PyTorch Mobile — выбор тех, кто любит гибкость. Фреймворк позволяет динамически изменять архитектуру модели прямо во время работы, что полезно для задач вроде адаптивного компьютерного зрения.
• Edge Impulse — самый дружелюбный инструмент для новичков. Он предлагает готовые шаблоны для TinyML и даже автоматически оптимизирует модели под конкретное железо. Например, с его помощью можно собрать систему мониторинга вибрации промышленного оборудования без написания кода.

Это лишь несколько наиболее популярных примеров. Есть и другие инструменты для работы с локальными нейросетями в зависимости от назначения устройств и степени их сложности.

Оптимизация нейросетей для Edge AI

В периферийном AI используются оптимизированные нейросети. Рассмотрим подробнее

Квантизация

Это «сжатие» модели за счет снижения точности вычислений. Например, переход с 32-битных чисел на 8-битные уменьшает размер нейросети в 4 раза, а скорость работы повышает вдвое или втрое. Точность слегка падает, но для многих задач (распознавание объектов, голоса) это незаметно. TensorFlow Lite и PyTorch поддерживают квантизацию «из коробки» — достаточно пары строк кода.

Distillation (дистилляция данных)

Действенный способ ускорения нейросетей. Большая, точная модель («учитель») передает знания компактной модели («ученику»). В итоге маленькая нейросеть сохраняет до 90% эффективности оригинала, но требует в 10 раз меньше ресурсов.

Специальные свертки

Стандартные свертки потребляют слишком много ресурсов — они перемножают все входные данные. Depthwise (глубинные) свертки работают точечно: обрабатывают каждый канал изображения отдельно, сокращая вычисления в 5–10 раз. Sparse (разреженные) методы еще радикальнее — они просто «выключают» лишние нейроны. Вместе эти подходы позволяют запускать ИИ даже на устройствах с 1 МБ памяти.

Преимущества Edge AI

Модели Edge AI обеспечивают быстродействие и эффективную работу устройств, используемых в самых разных сферах. Вместо централизованных систем, где вся инфа стекается для анализа в облако, каждое устройство работает автономно.

Подробно разберем основные преимущества моделей Edge AI.

Скорость

Главное преимущество Edge AI — это сверхнизкая задержка. В традиционных облачных системах данные сначала отправляются на сервер, обрабатываются и только потом возвращаются обратно — на это уходят драгоценные секунды. В Edge AI все происходит на самом устройстве, без потерь времени на передачу.

Пример. Беспилотный автомобиль видит пешехода, выскакивающего на дорогу. Если он начнет отправлять данные в облако и ждать ответа — столкновения не избежать. Edge AI решает эту проблему радикально: реакция происходит быстрее, чем моргание глаза (буквально — за 10-50 мс).

Устройства реагируют в реальном времени независимо от скорости интернета или загруженности облачных серверов. При этом вычисления происходят непрерывно, даже в условиях нестабильного соединения, а нагрузка на сеть снижается — данные не нужно постоянно пересылать туда-обратно.

Именно поэтому Edge AI становится стандартом для задач, где время реакции — ключевой фактор. Будь то интерактивные приложения, промышленная автоматизация или системы безопасности — локальная обработка обеспечивает тот самый мгновенный отклик, который раньше был невозможен.

Конфиденциальность

Облачные сервисы — всегда риск: утечки через взломанные серверы, слежка, случайные потери данных.

Edge AI действует иначе:

• лица для разблокировки телефона обрабатываются в защищенном контуре процессора;
• медицинские показатели анализируются непосредственно в умных часах;
• распознавание лиц камерами наблюдения происходит локально — в облако уходит только метка «подозрительный объект».

Потеря данных — серьезная проблема интернета. По данным IBM, утечки через облачные сервисы обходятся бизнесу в 1-5 миллионов долларов в среднем за инцидент. Edge AI сокращает эти риски в разы.

Снижение затрат

Передача данных в облако — это затраты. Если информацию отправляют тысячи устройств, суммы наберутся внушительные.

Автономные нейросети обеспечивают радикальную экономию средства:

• В системах видеонаблюдения вместо потокового видео на сервер отправляются только события («человек в запрещенной зоне»).
• IoT-устройства передают не сырые биометрические данные, а готовые метки (например: «пульс 120 ударов в мин.»).
• В промышленности модели на Edge работают годами без апгрейда железа.

Надежность

Завод в глубинке, шахта, обсерватория в горах, морское судно — во многих местах стабильный интернет затруднителен или невозможен .

Но с Edge AI проблема легко решается:

• датчики прогнозируют поломки оборудования без облачной аналитики;
• дроны обследуют трубы нефтепроводов в офлайн-режиме;
• умные счетчики годами работают от батареек, экономя до 90% энергии на передаче данных.

Раньше при обрывах данных производство просто останавливалось. Но станки с Edge AI сами применяют до 80% решений. Они ведут себя как надежные сотрудники, которым можно доверять.

Примеры Edge AI в действии

Edge AI — не абстрактная концепция, а конкретная технология, которая уже меняют нашу повседневную жизнь. Изучим несколько показательных примеров использования периферийного ИИ в реальном мире.

Распознавание лиц

Технологии вроде Apple Face ID и Android Face Unlock — это не просто селфи для разблокировки. Под капотом работает сложная система: инфракрасные камеры сканируют 30 000 точек на лице, строят 3D-карту и превращают вашу внешность в математический вектор, который невозможно подделать даже фотографией. Edge AI делает это мгновенно — прямо на устройстве, без отправки данных в облако.

Современные Android-смартфоны (например, Huawei и Xiaomi) догоняют Apple, используя нейропроцессоры (NPU) для ускорения распознавания. Но если iPhone работает даже в полной темноте, то многим Android-устройствам нужно хотя бы тусклое освещение — их камеры не видят в инфракрасном спектре

Безопасность

Камеры в аэропортах и офисах теперь могут искать подозрительных персон, не отправляя ваше фото в облако. Все обрабатывается локально: система сравнивает изображение с базой и только при совпадении передает сигнал. Это не только быстрее, но и этичнее — ваши данные никуда не утекают.

Беспилотники и автомобили

Представьте дрон, который доставляет лекарства в отдаленные районы. Если он будет ждать ответа из облака, чтобы облететь дерево, посылка разобьется вместе с ним. Edge AI позволяет таким устройствам мгновенно анализировать окружение и принимать решения прямо на борту. То же самое с беспилотными автомобилями: их камеры и лидары обрабатывают данные в 100 раз быстрее, чем если бы они отправляли их на сервер.

Цифровые помощники

Современные голосовые ассистенты на Edge AI понимают команды без интернета, будь то разблокировка двери или поиск рецепта. Никакой слежки — только мгновенный результат.

Производственное оборудование

Раньше станки ломались неожиданно, останавливая производство на дни. Теперь датчики с Edge AI замечают аномалии в вибрации или температуре за часы до аварии.

Медицина

Портативные ЭКГ с Edge AI не просто записывают кардиограмму — они мгновенно обнаруживают предынфарктное состояние и сразу сигнализируют врачу. В реанимациях такие системы сокращают время реакции с минут до секунд. А умные инсулиновые помпы сами корректируют дозу, анализируя уровень сахара в крови 24/7.

Городская инфраструктура

Светофоры, которые адаптируются к потоку машин, камеры, отслеживающие аварии, датчики протечки воды в трубах — все это работает на Edge AI. Городская инфраструктура становится умнее, но без тотальной слежки и уязвимых облачных серверов.

Ограничения Edge AI

Edge AI — это не волшебная таблетка. Да, он быстр, автономен и бережет ваши данные, но у этой медали есть обратная сторона.

Ограниченные ресурсы

Главное ограничение Edge AI — железо. Современные смартфоны в сотни раз слабее облачных серверов, а микроконтроллеры в датчиках — в тысячи.

Пример: Нейросеть для распознавания лиц на iPhone занимает всего 5 МБ, но это потребовало нескольких лет оптимизаций. GPT-4 с ее 1 трлн параметров в таком формате — пока фантастика.

Потребление энергии

Локальная обработка данных экономит интернет-трафик, но сжирает заряд. NPU в современных чипах оптимизируют этот показатель (например, Qualcomm Hexagon снижает энергопотребление в 10 раз), но физику не обманешь — Face ID на iPhone тратит в 3 раза больше энергии, чем Touch ID. Датчики IoT с TinyML работают годами на батарейке, но только если спят 99% времени.

Защита данных

Безопасность Edge AI — это обоюдоострое орудие:

• Плюс: Ваше лицо для разблокировки телефона не уходит в облако (в отличие от Google Photos).
• Минус: Взломать один умный замок с уязвимым Bluetooth проще, чем серверы Apple.

Хакеры могут взломать камеры наблюдения с Edge AI и другие инструменты непосредственно на месте. И при этом неважно, отправляют ли они данные в сеть и работают ли с ними локально.

Обновления

В облаке обновить нейросеть — пара кликов. На миллионе разрозненных устройств — квест и головная боль. Поэтому значительная часть медицинских и промышленных датчиков с Edge AI никогда не получает обновлений.

Машинное обучение

Чтобы обучить сложное устройство с Edge AI хотя бы базовым вещам, нужны терабайты данных. Например, роботизированным автомобилям, в том числе такси, нужно проехать тысячи километров, чтобы собрать нужные данные. Аналогично обстоят дела с другими устройствами.

Когда данных нет, их генерируют. Но ИИ, обученный на «муляжах», часто путается в реальном мире (вспомните Tesla, которая принимала луну за желтый светофор или видела призраков).

Будущее Edge AI

Сферы применения нейросетей Edge AI со временем расширяются — этот процесс неизбежен. Они активно внедряются в промышленность, городскую дорожную инфраструктуру, даже в сельское хозяйство (в виде беспилотников и датчиков для отслеживания состояния урожая).

Ближайшее направление эволюции периферийного ИИ — создание специализированных процессоров. Современные нейропроцессоры эффективные, но чрезвычайно затратные.

Ведущие ИТ-корпорации уже экспериментируют с архитектурой, в которой ИИ-блоки встроены прямо в ячейки памяти. Qualcomm, Apple и NVIDIA тестируют процессоры, которые смогут запускать генеративные нейросети на вашем телефоне, не превращая его в раскаленную сковородку.

Методы оптимизации нейросетей будут совершенствоваться. Уже сейчас прунинг (удаление лишних связей без потери точности) и адаптивное квантование (разная точность для разных слоев модели), позволяют ужимать ИИ до микроскопических размеров. Сейчас TinyML-модели работают на устройствах с памятью меньше 1 МБ — и это только начало.

Кстати! Забрать все самые топовые нейронки для айтишников можно в нашем большом гайде с 70+ ИИ-инструментами

Примеры использования ИИ в играх

Генерация контента

Один из наиболее ярких примеров использования технологий ИИ в игровой индустрии — процедурная генерация контента. Нейросети уже умеют создавать уровни, карты, текстуры и даже целые миры. Хотя традиционная процедурная генерация основывается на алгоритмах, не использующих машинное обучение, с развитием нейросетей границы между генерацией и ИИ в играх становятся размытыми.

Oasis

В 2024 году компания Decart показала Oasis — нейросеть, генерирующую целые игры в стиле Minecraft. Модель обучалась на видео реального геймплея, использовались архитектура трансформера и диффузионные методы. Технология упрощает разработку, динамически воспроизводя физику, механики и визуальный стиль, присущие оригинальной игре. Причем окружение меняется в реальном времени в ответ на действия игрока. AI Minecraft Online также использует ИИ для преобразования изображения в игровой мир.

inZOI

Фишкой симулятора жизни inZOI от Krafton, уже вошедшего в число топ-10 самых ожидаемых игр на Steam, станет встроенная нейросеть, позволяющая кастомизировать текстуры. Так, загружаете пикчу с любимым принтом или задаёте текстовый промпт для нейросети, а ИИ в игре сам преобразует его в текстуру для шмота. Кроме того, можно создавать 3D-модели: загружаете фото реального предмета, а нейросети превращают его в in-game объект.

Реалистичное поведение NPC (неигровых персонажей)

Ещё один тренд в разработке кооперативных игр — алгоритмы обучения с подкреплением, которые помогают неигровым персонажам менять свое поведение в зависимости от того, как действует игрок. И это круто, потому что мы больше не знаем, что от них ожидать (ведь часто NPC — просто набор скриптов бесцельного существования).

inZOI

В inZOI, благодаря NVIDIA ACE, в игру врываются умные NPC — Smart ZOI и Co-Playable Characters. Эти чуваки больше не просто статисты, они реально живут своей жизнью: принимают решения, исходя из своих целей, могут влиять на события и генерировать неожиданные повороты в геймплее. Всё это возможно благодаря языковым моделям.

Minecraft

Хотите, чтобы в вашем Minecraft-мире были не только мобы, но и умные NPC, которые сами добывают ресурсы, строят города и выполняют команды? Есть целая куча нейросетевых модов для популярной песочницы. Например, AI Player добавляет бота, который может чатиться через локальную языковую модель прямо на вашем ПК. AI NPCs — аналогичная технология, но использует OpenAI API. Если хотите чего-то масштабного, то Minecolonies — мод для создания целых городов, где AI-NPC-работники (строители, фермеры, охранники и другие) будут развивать вашу колонию.

Динамическая адаптация сложности

Если вы опытный игрок и уже забрали все ачивки, игра не должна становиться скучной. Тут в помощь приходит динамическая настройка сложности, добавляющая новые испытания. Придётся адаптироваться, а не просто повторять заученные тактики атак.

MIR5

Например, в MIR5 боссы учатся на действиях игрока, оценивая их экипировку и настройки. Если убили один раз — следующий бой будет другим, потому что ИИ уже знает, как персонажа «загасили». Когда сложность не меняется с прогрессом, игроку становится скучно, а так — всегда появляется новый челлендж.

Civilization VI

В Civilization VI ИИ прокачивает свои скиллы с уровнями сложности. На хардкоре он получает кучу бонусов, типа дополнительных ресурсов и улучшений. Это добавляет хаоса и заставляет юзать новые тактики, чтобы победить. Чем выше уровень — тем сложнее и интереснее! Такой подход часто критикуют за нечестность, потому что ИИ-противник получает неравные преимущества, типа идеальной точности или знания позиций игрока.

Распознавание речи и текстового ввода для взаимодействия

Современные нейросети для преобразования речи в текст способны мгновенно транскрибировать произнесенные игроком слова. В разработке игр это можно подкрутить под любую специфическую терминологию, чтобы система точно понимала контекст и уникальные фразы, характерные для игр такого жанра.

Технология SDK от Nvidia прокачивает диалоги с неигровыми персонажами: NPC слушает игрока через автораспознавание речи, превращает её в текст. Затем модель генерирует ответ с учетом контекста, а потом с помощью синтеза речи превращает его в реальный голос персонажа.

Starship Commander:Arcade

В Starship Commander нет никаких заготовленных диалогов — просто говорите в микрофон, а NPC отвечают вам в реальном времени. Можете быть строгим и серьезным капитаном или, наоборот, устраивать трэш и спорить — разницы нет. Всё это благодаря Microsoft Cognitive Services, которые используют ИИ для понимания речи и намерений игроков.

Топовые технологии ИИ в разработке игр

Machine Learning (ML): создание моделей поведения NPC и оптимизация игровых механик

Машинное обучение внедряется в разработку игр, чтобы научить NPC вести себя по-настоящему умно, а не просто бегать туда-сюда. ML помогает создавать адаптивное поведение персонажей, которое меняется в зависимости от действий игрока. Плюс оптимизация механик, чтобы игра работала быстро и плавно.

Neural Networks: применение для процедурной генерации текстур, анимаций и уровней

Технология нейронных сетей уже создает текстуры, анимации и уровни без участия художников и дизайнеров. Она способна генерировать артефакты или даже целые уровни, экономя время и усилия, но при этом выдавая что-то крутое. Но помните, что нейросетки используют огромное количество данных для обучения. Поэтому иногда сгенерированный контент может быть похожим на уже существующий. Об этом стоит помнить, чтобы не нарваться на проблемы с авторскими правами.

Pathfinding Algorithms: классические подходы (A*, Dijkstra) и их улучшение с ИИ

Одна из распространенных проблем в разработке игр — поиск пути для NPC. Сейчас всё больше заморачиваются над тем, чтобы натренировать эвристики (правила принятия решений) для A* через ML, чтобы можно было адаптироваться к разным ситуациям и быстрее находить путь. Рисерчеры также используют большие языковые модели (LLM) с A*, чтобы улучшить планирование пути в сложных и изменяющихся условиях, так как способности LLM делают поиск быстрее и умнее. Для Dijkstra внедрение ИИ оптимизирует скорость работы, что привычно для алгоритма, который может страдать от высокой вычислительной нагрузки.

Natural Language Processing (NLP): диалоги, чат-боты, взаимодействие с игроками

AI-NPC от NVIDIA ACE скоро появятся в PUBG: Battlegrounds и Naraka: Bladepoint. Используя технологии ИИ, натренированного на триллионах данных о человеческих реакциях на мир, они смогут имитировать процесс принятия решений. Так, планируется использовать машинное обучение для создания агентов, которые думают, чувствуют и действуют, как настоящие люди.

Для восприятия мира же используются технологии обработки аудио, изображений и состояний игры. Нейросети помогают NPC принимать микро-решения в реальном времени; text-to-speech переводит результат в диалоги, а затем всё фиксируется в систему стратегического планирования, которая хранит контекст. Короче, все как у людей, только в играх!

Моддеры в Skyrim и Stardew Valley тоже не отстают — они используют нейросети, чтобы NPC стали полноценными собеседниками, которые могут вести нормальные диалоги и реагировать на ваши действия.

Reinforcement Learning (RL): обучение агентов для сложных игровых сценариев

Обучение с подкреплением — технология ML, при которой агенты обучаются через взаимодействие с окружающей средой, получая награды или штрафы за свои действия. В контексте сложных игровых сценариев RL позволяет создавать агентов, способных адаптироваться к динамичным условиям игры, разрабатывать стратегии и принимать решения, которые невозможно заранее запрограммировать. Недавнее исследование показало, что с использованием определённых архитектур RL можно добиваться крутых результатов как в микро-, так и в макроуправлении в RTS-играх, где нужно адаптироваться к реальному времени.

Инструменты и платформы для внедрения ИИ в игры

Для интеграции ИИ в игровую разработку можно использовать следующие фичи:

• Unity ML-Agents Toolkit — open-source проект для тех, кто хочет обучать умных агентов в играх (от 2D до VR/AR). Есть всё: обучение с подкреплением, имитация поведения и даже мультиагентные сражения. Можно делать сложные сценарии и рандомизировать среду, тестировать алгоритмы в реальных условиях и интегрировать всё в Unity.
• Unreal Engine AI Framework — Unreal Engine даёт кучу крутых фич для использования ИИ в разработке игр. Среди них — Behavior Trees для сложного поведения NPC, а также MassEntity для управления массой объектов.
• Neural Network Engine (NNE) — удобный API для работы с нейросетями: шумоподавление для улучшения рендеринга, нейронная постобработка для красоты и т.д.. Ещё можно обучать модели для деформации персонажей и симуляции ткани.
• PyTorch и TensorFlow — два самых популярных фреймворка для обучения моделей искусственного интеллекта, которые активно используются в разработке игр. В сочетании с игровыми движками и технологиями (например, Unity или Unreal Engine), они станут мощными инструментами для разработки умных агентов.
• IBM Watson или OpenAI API для работы с NLP — позволяют прокачивать NPC, чтобы они не просто повторяли заскриптованные фразы, а реально понимали, что говорит игрок. Разработка диалогов становится проще, а персонажи — умнее. OpenAI API поможет генерить уникальные реплики на лету, а IBM Watson шарит в анализе текста и умеет распознавать голос.

Примеры игр с продвинутым использованием ИИ

The Last of Us: поведение NPC и адаптация под стиль игрока

Изначально разработчики использовали конус видимости, который часто применялся в других играх (Uncharted и Alien: Isolation), для отображения поля зрения вражеского NPC. Эта система хорошо показывала себя на дистанции, но не срабатывала, если игрок был слишком близко к вражескому NPC. Чтобы исправить это, разработчики создали более сложную систему, где угол обзора врага зависел от того, как далеко игрок от него.

Чтобы проверить, замечает ли противник героя, используется система ИИ-рейкастов: из головы NPC проецируется невидимый луч, направленный на игрока. Если на пути луча нет препятствий, у противника постепенно заполняется индикатор обнаружения. Так что ещё один важный элемент — ИИ-сопровождение, особенно с Элли, которая должна всегда быть рядом с игроком, не привлекая внимания врагов. Для этого была разработана система следования, которая генерирует несколько возможных позиций для Элли и оценивает их с помощью рейкастов. Это позволяет следовать за героем, оставаясь достаточно близко, чтобы избежать обнаружения, но не настолько, чтобы создать проблемы.

Minecraft: генерация контента с использованием ИИ

Существуют даже целые соревнования по генеративным технологиям. Одно из них — Generative Design in Minecraft, где участники создают ИИ-алгоритмы для постройки поселений. Организаторы — не просто энтузиасты, а люди из науки и геймдева, оценивают работы по функциональности, адаптивности и эстетике.

Нейросеть World-GAN — проект, который использует генеративные состязательные сети (GAN) для создания чанков мира из небольших образцов. World-GAN применяет технику block2vec, вдохновлённую word2vec. В тестах нейросеть легко меняет визуальный стиль биомов, так что если не повезло со спавном, скоро можно будет просто сказать: «переделай в джунгли» — и вуаля.

Dota 2: обучение ИИ-агентов

Сейчас мы знаем OpenAI из-за популярнейшей нейросети ChatGPT, но вот в 2017 году они создавали ИИ-бота для соревнований с профессиональными игроками в Dota 2 — OpenAI Five. В 2018 он уже обыгрывал полупрофессионалов, а в 2019 — победил команду OG, чемпионов мира по Dota 2, став первым ИИ, который смог одержать победу над профессиональными игроками в такой сложной игре. Для этого использовались методы подкрепляющего обучения с миллионами кадров, что помогло ИИ достичь человеческого уровня в сложной задаче с неполной информацией и долгосрочными целями.

Преимущества и ограничения использования ИИ в разработке игр

Преимущества:

• Автоматизация и генерация контента на лету. Можно генерить уровни и миры, и это реально круто ускоряет процесс разработки.
• Более реалистичный и захватывающий игровой опыт. ИИ может помочь создать персонализированных NPC с уникальными реакциями и диалогами, адаптированными к действиям игрока.
• Чем дольше играешь, тем более сложными становятся противники и задачи. ИИ настраивает сложность так, чтобы интерес поддерживался на протяжении всей игры.
• Умные боты. Они учатся на действиях игрока, улучшая свои тактики и внося элемент неожиданности.

Ограничения:

• Сложные алгоритмы потребуют не только кучи вычислительных мощностей, но и времени на настройку. На старте разработки это может быть дороговато.
• Данные — всё! ИИ обучается на данных, но их нужно где-то брать. Если это делать с нуля — появятся проблемы.
• Этика и закон. ИИ в играх — не только круто, но и немного страшно. Авторские права, данные игроков, ответственность, если NPC ляпнет что-нибудь не то. Тут могут быть вопросики.
• ИИ может круто улучшить геймплей, но он не заменит креативный подход, который привносят разработчики. Большинство решений всё равно требуют человеческого вмешательства.
• Настройка ИИ-систем и обучение моделей — совсем не дешёвая вещь. Сложные ИИ-алгоритмы требуют значительных вложений на стадии разработки и даже на пост-продакшене.

Как начать использовать ИИ в игровой разработке?

Вот, что может вам понадобиться, чтобы начать использовать ИИ в игровой разработке:

1. Основы ML и алгоритмов ИИ. сначала надо разобраться с основами машинного обучения, нейронок, и всяких таких штуковин.
2. Онлайн-курсы, которые помогают разобраться в ИИ и его применении в играх. Artificial Intelligence for Simple Games на Udemy — курс по ИИ для простых игр, Generative AI Mastery: Revolutionizing Game Development — бесплатный курс по генеративному ИИ от Карлоса Ботта, который в индустрии уже 35+ лет.
3. Полезные туториалы. Например, видео, где человек разрабатывает игру с нуля только с помощью ИИ. Также есть вводные ролики по ИИ в Unity. Не менее интересен TED-talk от инженера по поддержке разработчиков игр в Hugging Face. Таких видео море на YouTube, и они реально полезные.
4. Книга «Artificial Intelligence for Games» от Ian Millington и John Funge. Это уже классика, да и вообще фундаментальный источник для геймдева.
5. Документация от ИИ-геймдев-фреймворков (например, Unity ML-Agents). Там точно всё по полочкам.
6. Рассылки от экспертов в геймдеве. Например, Thomas Simonini. Так вы будете в курсе крутых инсайтов.
7. Актуальные материалы конференций. Например, IEEE Conference on Games. Это даст вам взгляд на будущее трендовых технологий в играх.
8. Практика. Найдите репозитории на GitHub с открытым исходным кодом и попробуйте Reinforcement Learning для умных NPC, например, чтобы улучшить их поведение в open-world играх.

Будущее в игровой ИИ индустрии

ИИ в игровой индустрии уже начинает менять правила игры. Мы на пороге того, чтобы увидеть, как улучшаются устаревшие алгоритмы, но и создаются игры с нуля: от геймплейных механик до сложных сюжетных линий. С метавселенными, интегрированными с ИИ, мы получим совершенно новые, адаптирующиеся пространства, где каждый игрок будет переживать свой персонализированный опыт. Всё это — шаги в будущее, которое не заставит себя долго ждать.

Как все начиналось?

Идея голосового управления исполнительными устройствами появилась отнюдь не в эпоху научно-технического прогресса — напротив, желание отдавать голосовые команды неодушевленным предметам испытывали уже дальние предки, что находит свое отражение в сказках народов мира: «Сим-сим, откройся», «Горшочек, не вари!», «Свет мой, зеркальце, скажи…». Знакомые с детства фразы демонстрируют не только наличие самой идеи голосового управления, но и существование концепции протокола взаимодействия с исполнительными устройствами. Это случилось задолго до появления первых гальванических элементов, не говоря уже об электронике.

Одними из первых устройств, реализующих звуковое управление, были акустические выключатели (акустические реле). Наиболее известным их бытовым применением выступают системы управления освещением, реагирующие на характерные звуки (как правило — на хлопки). Конечно, подобные системы не управляются голосовыми командами, но в их основе лежат все те же физические принципы: в конструкции присутствует микрофон, а разница заключается лишь в способе обработки регистрируемого звукового сигнала.

Что касается распознавания речи, то эксперименты в этой области велись как минимум с середины XX века. В 1952 году Bell Telephone Laboratories (Bell Labs), исследовательское подразделение American Telephone and Telegraph Company (AT&T), представило Audrey — машину, способную «понимать» человеческую речь (она могла распознавать цифры от 0 до 9). Это стало возможным благодаря успехам в решении смежной задачи — синтеза речи, достигнутом в первой половине XX века в стенах той же Bell Labs. Как синтез речи, так и ее распознавание в те времена основывались на представлении звуков в виде формант — набора резонансных частот, создаваемых голосовыми связками человека в процессе разговора. Распознавание производилось путем сравнения формант говорящего с предварительно записанными образцами. Ожидаемо, устройство работало точнее, когда буквы называл тот человек, чей голос использовался при записи образцов.

В 1986 году компанией International Business Machines (IBM) была разработана печатная машинка с голосовым управлением Tangora. В основу ее работы было положено использование cкрытой модели Маркова (Hidden Markov model): устройство рассчитывало вероятность того, может ли обрабатываемый звук являться частью какого-либо из известных ему слов. Изменение подхода к распознаванию речи позволило существенно увеличить словарный запас устройства, который составил 20 тысяч слов. Функционировала машинка на базе компьютера IBM PС/AT, а для работы с новым пользователем ей требовалось 20-минутное обучение.

В 1987 году компания Worlds of Wonder выпустила в продажу кукол Julie. Куклы понимали 16 слов и были способны вести диалог посредством встроенного синтезатора речи. У кукол также были датчики освещенности и температуры, показания которых использовались для формирования ответных реплик, что позволяло сделать диалоги более осмысленными. Julie нужно было обучать воспринимать голос конкретного человека, как и в случае с печатными машинками Tangora.

Следует отметить существенное различие между двумя устройствами и решаемыми ими задачами. Печатная машинка Tangora представляла собой стационарное устройство с приемлемым качеством распознавания большого количества слов, а кукла Julie — наоборот. При этом, если основной задачей Tangora было преобразование речи в текст, то для работоспособности Julie такой необходимости не было. К сожалению, техническая документация на Julie отсутствует, но можно сделать предположение, что принципы ее работы не сильно отличаются от более поздних систем, обеспечивающих распознавание небольшого количества голосовых команд.

Что происходит сегодня?

Принципы работы систем распознавания речи основаны на физике звука и практически не изменились с середины XX века. В современных исследованиях звуковой сигнал представляется как последовательность числовых значений звукового давления, измеренных через равные промежутки времени. Распознавание речи сводится к разбиению этого сигнала на фрагменты, преобразованию их из временной области в частотную и сравнение ее с эталонными образцами.

Методы обработки сигнала зависят от конкретной задачи. Например, при распознавании коротких голосовых команд можно обойтись без разбиения на отрезки, если подобрать подходящую корреляционную функцию и установить минимальный порог схожести. Однако такой подход не всегда дает точные результаты. Так, в мобильном телефоне Siemens C55 упрощенный алгоритм голосового управления мог путать похожие по звучанию слова, например, «свет» и «считать».

Несмотря на кажущуюся простоту, системы голосового управления широко применяются и сегодня. Более того, существует ряд решений, представляющих собой готовые модули, с помощью которых разработчики электроники могут реализовать голосовое управления своими устройствами без дополнительных трудозатрат. В качестве примеров подобных решений — Voice Recognition Module (аналогичные модули представлены у различных производителей) и Voice Interaction Module от Yahboom Tchnology.

В задачах преобразования речи в текст наиболее эффективен подход, при котором распознавание осуществляется не по целым словам, а по слогам, с последующей корректировкой в зависимости от результатов распознавания соседних слогов. Это происходит с учетом информации о существующих словах и их возможных сочетаниях. Теоретические и практические аспекты подобного рода преобразований мы рассмотрим во второй части статьи.

• Поиск преступника по записям с уличных камер;
• Сигнал о том, что на частную территорию зашёл незнакомый человек;
• Упрощение проверок на входе в организацию с пропускным режимом;
• Оплата услуг с помощью FaceID и многое другое.

Одной из проблем, возникающих при решении задачи face detection, является то, что лицо текущего человека нужно сравнивать со слишком большим количеством других лиц, что в случае неоптимальной реализации требует огромного количества машинных ресурсов.

Решению этой проблемы и посвящена статья.

Постановка задачи

Дана база фотографий, каждая из которых содержит лица одного или более человек (около 20 тысяч фотографий; пример приведён на рис. 1). На вход поступает новая фотография. Необходимо:

1. Определить, является ли эта новая фотография дубликатом одной из фотографий, находящихся в базе, и если является — вывести информацию о совпадающей фотографии;
2. Если не является, то вывести одну или несколько наиболее похожих на неё фотографий из базы, а затем добавить эту новую фотографию в базу.

Фотографии считаются похожими, если похожи лица изображённых на них людей. На обработку каждой новой фотографии должно тратиться не более нескольких секунд машинного времени.

Этапы решения поставленной задачи.

Оптимизация хранения фотографий в базе. Выбор метода распознавания лиц.

Выбор метода поиска наиболее похожих лиц. Построение общего пайплайна.

1. Оптимизация хранения фотографий в базе.

Поскольку фотография хорошего качества может иметь размер вплоть до 10 мегабайт, 20 тысяч подобных фотографий могут занять до 200 гигабайт, и тогда даже попиксельное сравнение новой фотографии со всеми имеющимися в базе с целью поиска дубликата будет занимать как минимум несколько минут (не говоря уже о поиске похожих). Кроме того, разные фотографии имеют разную длину и ширину, что неудобно для сравнения.

Таким образом, необходимо каждой фотографии (а точнее — каждому лицу на фотографии) поставить в соответствие вектор чисел фиксированной длины. Эта длина не должна быть слишком маленькой (иначе большая часть информации на фотографии будет потеряна), но и не должна быть слишком большой (иначе сравнивать будет по-прежнему долго).

2. Выбор метода распознавания лиц

К счастью, существует достаточно много алгоритмов face detection, которые делают в точности то, что нам нужно:

• Определяют, где именно на фотографии находятся лица;
• Для каждого из лиц возвращают вектор фичей, причём все эти векторы одинаковой длины.

Одной из лучших современных библиотек для распознавания лиц является InsightFace, которая получила много наград на соревнованиях по face detection. Поскольку эта библиотека является свободной и реализована на языке Python, было принято решение использовать именно её.

Реализация этой библиотеки по умолчанию возвращает 512 параметров для каждого лица, что полностью удовлетворяет требованиям, поставленным в предыдущем пункте: хранение такого количества параметров для 20 тысяч фотографий займёт около 200 мегабайт, что в тысячу раз меньше, чем при хранении самих фотографий. Файл такого размера легко помещается в оперативную память и может быть считан полностью за 1-2 секунды.

3. Выбор метода поиска наиболее похожих лиц

Тем не менее остаётся проблема с производительностью при поиске похожих, но не совпадающих лиц. Чтобы найти наиболее похожую фотографию (а тем более — несколько наиболее похожих), необходимо сравнить вектор фичей каждого из лиц на новой фотографии со всеми векторами из базы (на рис. 2 нужно сравнить каждый «зелёный» вектор с каждым «красным»):

При этом для каждой пары сравниваемых векторов необходимо посчитать метрику близости (например, евклидово или косинусное расстояние), что также является достаточно затратной операцией.

Таким образом, хотя при 20 тысячах фотографий, имея достаточно быстрый компьютер, мы сможем выполнить все сравнения за несколько секунд, такое решение будет плохо масштабируемым: при 200 тысячах фотографий нам придётся выполнять сравнение уже в 10 раз дольше, а при 1 миллионе — дольше в 50 раз, что уже неприемлемо.

Кроме того, нам нужно найти лишь одну или несколько наиболее похожих фотографий, а не отранжировать их все по убыванию похожести, поэтому бóльшая часть вычислений будет лишней, так что должен существовать способ делать это более оптимально.

И действительно — существуют библиотеки эффективного поиска похожих векторов. Одной из наиболее популярных и простых в использовании является библиотека FAISS (Facebook AI Similarity Search, принадлежит компании Meta, запрещенной на территории РФ). Её суть заключается в создании индекса (оптимизированной таблицы) из всех имеющихся векторов, а затем приближённого поиска в ней нового вектора.

Хотя библиотека scann от компании Google работает в 2-3 раза быстрее, она требует намного больше предварительных настроек, так что её использование станет оправданным лишь при существенном увеличении датасета. Поэтому в данном случае выбор был сделан в сторону FAISS.

4. Построение общего пайплайна

При постановке задачи нам была дана база с фотографиями, поэтому итоговая реализация алгоритма должна содержать следующие шаги:

1. Определение лиц на фотографиях и получение их фичей;
2. Конвертация фотографий из базы в таблицу с векторами фичей;
3. Построение индекса и нахождение похожих фотографий;
4. Добавление новой фотографии в базу.

Приведём примерную реализацию каждого из этих пунктов на языке Python с учётом того, что база фотографий представляет собой папку с файлами.

1) Определение лиц на фотографиях и получение их фичей. Этот шаг полностью основан на алгоритме FaceAnalysis библиотеки insightface, при этом все фотографии предварительно преобразуются в матрицы размера 640 * 640 *3 (то есть квадратные фотографии размера 640 * 640 пикселей в RGB-формате).

Подготовка алгоритма FaceAnalysis:

2) Конвертация фотографий из базы в таблицу с векторами фичей. Теперь нужно применить функцию, приведённую в шаге 1, ко всем фотографиям из заданной папки и записать её в таблицу (в данном случае это будет локальный csv-файл).

Функция получения таблицы с фичами из всех фотографий в папке:

Пример использования функции:

Если найденное минимальное расстояние по фичам оказалось равным нулю, то это значит, что мы нашли дубликат.

3) Добавление новой фотографии в базу. Мы можем выбирать, что делать с фотографией, которая оказалась дубликатом — добавлять в базу или игнорировать. Если же новая фотография не является дубликатом, то мы добавляем её в базу в любом случае.

Пример тестирования программы на новой фотографии, содержащей два лица:

Заключение.

Рассмотренное решение удовлетворяет всем требованиям поставленной задачи, однако его реализация имеет пространство для дальнейшей оптимизации, в частности:

• Стоит использовать графический процессор вместо CPU; тогда версию FAISS можно будет заменить на faiss-gpu для быстродействия;
• Локальные таблицы стоит заменить на распределённую базу данных; это значительно улучшит масштабируемость, а добавление новой фотографии не потребует считывания и затем сохранения всего файла;
• Извлечение фичей из фотографий стоит делать не по одной, а батчами по нескольку десятков фотографий - это существенно ускорит первый, самый долгий этап решения задачи.

Один из последних запросов — прикрутить к CRM автоматическое распознавание паспорта РФ.

Проблематика: стоматологическая клиника заметила, что ручное «перепечатывание» паспортов создает очереди при регистрации пациентов.

Вы отлично понимаете, о чем я, если когда-то ждали в клинике договор на обслуживание перед самым началом приема врача.

Для тех, кто сталкивается с похожими задачами по оптимизации процессов, я написал этот гайд.

Начало: как выбирали распознавание

Поскольку остановились совершенно на конкретном решении российской компании, на его примере и расскажу, что и как делать.

С чем сравнивали: с другим облачным сервисом и SDK-решением для распознавания паспортов. Тестировал сам на открытых демо-стендах и смотрел сравнения в других источниках. Например, здесь.

Что хотел от сервиса заказчик:

• соотношение цена/качество
• функционал без излишеств (нормальные скорость и качество распознавания)
• простая тарификация для небольших объёмов, минимум общения с поставщиком

Что в итоге понравилось мне:

• интегрировал быстро, буквально ночью за чашкой кофе, оплатили вообще с карты

• документация просто и понятно составлена, есть swagger.
• минимум общения с поставщиком

Начало работы

Чтобы начать работу с API, надо зарегистрироваться в личном кабинете сервиса.

При регистрации начисляют небольшой баланс для бесплатного тестирования – на 25 распознаваний. По запросу дали ещё 50 распознаваний.

В личном кабинете нас интересует раздел «Распознавание». Выбираем интересующий тип документа (в нашем случае – паспорт РФ, первый разворот и регистрация), прикрепляем PDF c двумя разворотами паспорта и начинаем распознавание.

Получаем заветные паспортные данные в формате JSON. Результаты вы можете наблюдать ниже:

Распознались все поля, включая сложные ключи, такие как машиночитаемые записи.

За расшифровкой всех ключей в ответе можно обратиться к документации: kyc.beorg.ru/reference_public/dev

Подключение к API

Для подключения к API нам понадобится:

• документация
• Python3
• библиотека base64
• библиотека requests

Чтобы начать отправлять запросы в API, получаем ключи доступа. Находятся они в разделе «Проекты»:

Нажимаем пиктограмму с глазом и наблюдаем все необходимые ключи доступа и примеры запросов:

Нам необходимо взять с этой страницы:

1. token: токен, по которому API может нас авторизовать
2. machine_uid: номер машины, с которой планируется посылать запрос для разделения отслеживания документов со стороны клиента

project_id: идентификатор проекта

Общение по API должно происходить в соответствии со схемой:

Пишем скрипт:

Тут все просто. Все обрабатывается на стороне Beorg. Также вы можете взять скрипт из репозитория на GitHub.

Вам нужно всего лишь посылать на API два вида запросов:

1. Отправить документ
2. Получить результат

В результате получаем подобный ответ:

Посмотреть виды запросов можно в документации или в разделе «Распознавание».

Выводы

Вот так просто мы написали небольшой скрипт, который позволяет получить данные из паспорта (и не только паспорта…) за несколько минут.

Разумеется существуют и другие платные и бесплатные сервисы распознавания документов (например от Google), но, увы, он практически ушел с российского рынка, а мы оперируем в этом вопросе персональными данными.

Резюме по избранному сервису распознавания:

1. Просто
2. Быстро (за кофе)
3. Без головной боли для меня, как разраба
4. Хорошее качество за свои деньги

На конференции МТС Платформа 2024 Инесса Галактионова, первый вице-президент МТС по телекоммуникационному бизнесу, рассказала о подготовке компанией виртуального ассистента, который станет полноценным участником телефонных звонков. Чем он будет отличаться от существующих голосовых ассистентов и почему его невозможно было сделать по принципу «как все», расскажу вам я, CTO стрима «Виртуальный ассистент» компании МТС, Иван Мясников.

Новые подходы нужны для уникальных продуктов

Наш ассистент рассчитан не только на стандартные для ИИ задачи. Да, он подскажет прогноз погоды или прочитает сказку, но основная его фишка не в этом. Мы первые решили внедрить ИИ-ассистента прямо в звонок: он будет реагировать на голосовую команду, записывать звонок, если это нужно абоненту, выделять из него главное и отправлять в SMS. Или даже собирать информацию по теме, пока вы говорите по телефону.

Как это работает: допустим, вы с друзьями планируете совместное путешествие. Вы созвонились обсудить поездку, позвали ассистента во время звонка. Он по команде запишет нужную часть разговора, чтобы никто не забыл о планах, узнает погоду, найдет доступные рейсы и отели в пункте назначения, соберет достопримечательности, которые можно посетить, и так далее. Все за счет распознавания речи и интеграции с другими сервисами экосистемы МТС.

При этом ассистент не будет влиять на качество связи. В звонок мы встраиваем только маленькую и легкую модельку, которая определяет, вызвал ли абонент голосового ассистента. Если имя ассистента названо, запускается распознавание голоса и общение на естественном языке, но оно происходит асинхронно, поэтому не влияет на качество связи.

Чтобы сделать такой продукт, аудиопоток должен передаваться быстрее, а речь — считываться и записыватьсякачественнее, чем у конкурентов. У любого такого продукта на старте мало данных для обучения моделей, а синтетически генерировать их дорого и неэффективно. Поэтому приходится «срезать углы», выбирая нестандартные решения, чтобы выиграть время и опередить конкурентов. Поэтому мы приняли несколько нестандартных решений.

Во-первых, отошли от обычной для нас работы через веб-сокет и выбрали gRPC-протокол. Исследование, проведенное нашей командой, показало, что gRPC позволяет выиграть в скорости получения голосового запроса и скорости доставки ответа абоненту. При нагрузочном тестировании мы обнаружили, что такой подход дает нам выигрыш по скорости в два-три раза. Пользователь получает ответ быстрее, а оборудование загружается меньше. Преимущество появилось за счет того, что веб-сокет передает данные в текстовом формате, а gPRC — в бинарном. Вместе с HTTP/2 протокол gPRC позволяет включать мультиплексирование, сжимать передаваемые данные и при необходимости приоритизировать запросы.

Во-вторых, для бэкенда мы выбрали язык Kotlin вместо применяемого обычно Java. У этого решения нашлось несколько важных преимуществ. Из главных — меньший объем кода и лучшая читаемость за счет корутин и более лаконичного синтаксиса. Концепция Null Safety в Kotlin помогает избежать ошибок неопределенности — одних из самых частых и очень трудно выявляемых в Java. В результате оказалось, что применение Kotlin повышает надежность и масштабируемость системы по сравнению с Java при сравнимых трудозатратах.

Бонусом мы получили неожиданный источник кандидатов. Если у вас уже набрано ядро команды, то можно хантить джавистов и быстро их переучивать. Оказалось, что многие разработчики на Java осознают вышеперечисленные преимущества и рассматривают переход на Kotlin как ступеньку в карьере или возможность найти для себя новые вызовы и задачи.

Дело не только в стеке

Иногда новые подходы не связаны с технологическим стеком. Чтобы собрать лучших, мы нанимали ребят по всей России, они живут в разных часовых поясах. Но это не мешает нам работать по спринтам, ревьюить код, тестировать, править баги, проводить ретро и демо.

После «ковидной» удаленки мы не стали возвращать всех сотрудников в офис, а перестроили процессы и перешли на асинхронный подход: когда мы пишем запрос в чат или комментарий в задаче, то не ждем мгновенного ответа. Для этой модели важна правильная декомпозиция — в компании должно быть достаточно независимых процессов и задач. Тогда даже если вы получите ответ не сразу, а через день-два, ничего страшного не произойдет: специалист просто переключается на другую часть задачи или меняет «таску». Главное, что в результате ему не приходится ждать или торопить коллег.

В результате повышается концентрация всех членов команды: не нужно постоянно мониторить чаты, задачи и почту, можно выделить на это, например, час после ежедневной планерки, а все остальное время кодить, тестировать, писать документацию. Сокращение количества созвонов (мы оставили только самые необходимые мероприятия — демо, ретро и т.п.) особенно важно для команды, которая работает в разных часовых поясах: от Москвы до Братска.

А как же встречи у кулера и командные обеды, без которых, кажется, невозможно выстроить взаимоотношения в команде? Мы нашли, чем их заменить. Иногда собираем всех в одном городе (чаще всего в Москве), работаем в офисе, а после идем толпой в бар или еще куда-нибудь. За счет этого ребята узнают друг друга лично и налаживают связи. Они сами организуются в клубы по интересам: в одном городе собираются поиграть в настолки, в другом — в футбол.

Мы начали работать по асинхронной схеме не сразу. Сперва договаривались с разработчиками, что нужно ответить в течение часа, потом – в течение двух; ребятам, которые всегда отвечали в течение двух минут, рассказывали, что отвлекаться от текущих задач не обязательно, ничего не сгорит. Параллельно работали с продактами, рассказывали, что нужен запас времени на выполнение задачи, чтобы мы могли работать эффективно, качественно, в срок, но не в спешке из-за того, что кто-то уже пообещал показать новую версию.

Свой подход к работе мы перенесли в наём: сразу рассказывали о процессах, о специфике нашей работы, искали подходящих ребят через вопросы и разбор кейсов на собеседовании. Например: «К вам в 9 утра прибежал коллега с задачей, которую обязательно надо сдать сегодня. Что вы будете делать?»

Наконец, в роли СТО я старался работать с коллегами, которые приходят с горящими задачами, например: «Через неделю демо продуктов, нам надо обязательно участвовать, и мы хотим показать фичи 1, 2 и 3, хотя мы понимаем, что фича 2 не будет готова вовремя, надо повышать приоритет, чтобы успеть». В таких случаях мы выясняем, откуда срочность — действительно ли надо реализовать функцию к ближайшей встрече или имеет смысл сделать ее несколько позже, зато более качественно.

Разбор с коллегами, когда задача действительно нужна срочно, а в каких случаях требует более глубокой проработки — это специфика продукта на старте, сейчас такая дилема возникает редко. Но в любом случае опыт инцидент-менеджмента, когда приходится выбирать между интересами разных команд и отделов, позволяет улучшить процесс и организацию действий. Получив достаточный опыт работы с новым продуктом, мы научились декомпозировать возникающие задачи так, чтобы выполнять их качественно и в срок.

Конечно, бывают случаи, когда надо сделать что-то максимально быстро. Тогда мы переходим в режим «синхронной коммуникации», но после решения всех проблем возвращаемся к более эффективному для нас «асинхронному» состоянию.

Что дают инновации разработчику?

Я и вне работы стараюсь следить за развитием технологий, чтобы не терять интерес к программированию. Иногда делаю пет-проекты.

Забавный пример: когда команда только-только формировалась, многие ребята делились друг с другом мемами в корпоративном чате, и это не нравилось части коллег. Чтобы их примирить, я сделал бота, который собирал мемы. А потом он отправлял их в отдельный канал, куда заходили только желающие.

Из недавнего и интересного: делаю сервис Personaj, в котором можно общаться с виртуальными личностями — от Эйнштейна до Пикачу. Сейчас аватаров уже больше 100, и база растет (к тому же можно добавить своего). Суть такая: каждый человек после регистрации может предоставить фото, текстовое описание и имя персонажа — допустим, Пушкин. Моделька на основе этих UGC-данных создаст аватара, который будет отвечать, как этот самый Пушкин (с учетом предоставленных данных, конечно). Другой вариант — поговорить с уже готовым Пушкиным, данные о котором мы подгрузили из открытых источников.

Бэкенд у нас на Python, фронт пока на low-code, но скоро переедем на React, который мне всегда нравился. Смотрел и другие варианты, например, порог входа в Angular по необходимым знаниям мне показался выше, и он скорее подходит для больших команд. Так что важно учитывать разные аспекты при выборе стека и подбирать его не только под задачу, но и под имеющуюся команду. Вот примеры работы проекта:

Всегда ли нужны новые технологии?

В заключение отмечу, что не обязательно в каждый проект внедрять новый фреймворк или модный язык программирования. Все зависит от конкретной задачи. Если вам нужно сделать что-то инновационное или догнать конкурентов, разумеется, лучше пробовать новое. Но если делаете стандартный продукт, который хорошо работает на старом стеке, не стоит изобретать велосипед.

В случае с ассистентом новый стек был необходим, но для системы авторизации МТС ID, которую мы делали для экосистемы, подобного не требовалось. Так что мы взяли многим известный Keycloack, интегрировали и получили качественный продукт (который к тому же оставляет возможности для кастомизации и написания собственных, нестандартных интеграций).

Чтобы понять, что нужно внедрять инновации, пробовать новые технологии в проекте, я советую отталкиваться от следующих критериев:

1. Есть ли у кого-то в команде опыт работы в этом направлении или все будут учиться вместе «с нуля».
2. Есть ли время и ресурсы на исследования и готовы ли вы к тому, что часть идей и гипотез не выстрелит.

Часто привычных для вас подходов хватает, чтобы сделать надежный, качественный продукт. Но не стоит забывать, что разработка — это постоянное обучение и рост над собой.

В статье, посвященной биометрическим возможностям чат-бота, изучалось, как большие языковые модели (LLM) могут справляться с распознаванием лиц, определением пола и оценкой возраста.

Вопросы конфиденциальности и обход защиты

Изначально ChatGPT настроен избегать ответов, связанных с конфиденциальными данными, включая биометрические характеристики.

Но исследователи смогли разработать особую тактику запросов, чтобы обойти эти ограничения. Что, в свою очередь, позволило им оценить, насколько эффективно ChatGPT выполняет биометрические задачи, включая сравнение фотографий для определения, одно ли лицо на них изображено.

Точность и результаты

Эксперименты показали, что ChatGPT успешно распознает лица и отличает их друг от друга. Модель хорошо определяет пол и достаточно точно оценивает возраст.

Для проверки использовались различные наборы данных, такие как LFW и AgeDB, что позволило оценить работу модели при разнице в возрасте и углах обзора. В некоторых случаях точность ChatGPT оказалась сравнимой с профессиональными системами.

Выводы исследования

Авторы исследования считают, что результаты показывают значительный потенциал ChatGPT и других LLM в области биометрии, даже несмотря на отсутствие специализированного обучения для таких задач.

Однако эксперты также подчеркивают, что для безопасного использования этих моделей в биометрии необходимо дальнейшее изучение их устойчивости к манипуляциям через запросы.

Способ 1. Google Speech-to-Text

Технология используется совместно с Chirp — основной моделью от Google Cloud, которая обучена на миллионах часов звуковых записей и миллиардах текстовых примеров. Это отличается от классических подходов к распознаванию речи, которые основаны на использовании обширных наборов контролируемых данных, характерных для конкретного языка.

При регистрации есть возможность получить до 60 минут бесплатной расшифровки и анализа аудио в месяц.

Также сервис удобно интегрировать с другими продуктами Google — Google Cloud Storage или Google Apps.

Как внедрить:

1. Получите ключ API в консоли Google Cloud.
2. Включите API Speech-to-Text и получите ваши учетные данные (API-ключ).
3. Используйте JavaScript и AJAX для отправки аудио на сервер и получения текстовых команд. Также можно использовать библиотеку @google-cloud/speech для Node.js, если хотите обрабатывать данные на серверной стороне.
4. Используйте MediaRecorder API для записи аудио с микрофона пользователя. Убедитесь, что ваш сайт имеет разрешение на использование микрофона.
5. После остановки записи отправьте аудиофайл на сервер, где будет происходить его обработка. На сервере используйте API Google Speech-to-Text для обработки аудио.
6. Получите распознанный текст и примените его как команды для управления вашим сайтом. Например, вы можете вызывать функции JavaScript на основе распознанных команд.

Вот простой пример кода на Node.js для добавления аудио:

Способ 2. IBM Watson Speech to Text

Предлагает возможность обучения нейросетей для специфических задач — разработчики могут настраивать API под свои нужды, например, обучение модели на собственных данных, чтобы улучшить точность распознавания для конкретной области.

Есть разные пакеты: минимальный тариф дает бесплатно расшифровку 500 минут записей в месяц.

Есть отлаженные инструменты для разработчиков: документированные SDK и библиотеки для ряда языков программирования упрощают интеграцию API.

Также можно интегрировать с другими сервисами IBM для создания комплексных решений.

Как внедрить:

1. Зарегистрируйтесь на платформе IBM Cloud и создайте сервис Watson Speech to Text, чтобы получить API ключ и URL.
2. Убедитесь, что у вас есть необходимые библиотеки для работы с API. Например, для JavaScript можно использовать библиотеку axios для выполнения HTTP-запросов.
3. Запишите голосовые команды пользователей. Это можно сделать с помощью встроенных возможностей браузера, например, Web Audio API или MediaStream API.
4. Отформатируйте аудио и отправьте его на API Watson.

Вот примерный код на JavaScript для отправки аудио на Watson Speech to Text:

Способ 3. Microsoft Azure AI Speech

Позволяет не только распознавать речь, но и синтезировать ее, что дает возможность создавать более интерактивные интерфейсы.

Для тестов можно подключить бесплатный пакет, который дает 5 часов в месяц.

А еще Microsoft отдельно выделяет работу над безопасностью и соответствием требований. У Azure один из крупнейших в отрасли портфель сертификатов соответствия — эти сертификаты подтверждают, что Azure соблюдает международные и отраслевые стандарты безопасности: ISO 27001, SOC 1, 2, 3 и GDPR.

Как внедрить:

1. Зарегистрируйтесь на портале Azure и создайте ресурс Cognitive Services для получения ключа API и конечной точки (endpoint).
2. Проверьте, что у вас установлены необходимые библиотеки: @azure/cognitiveservices-speech-sdk для JavaScript.
3. Используйте Web Audio API или MediaStream API для захвата аудиовхода от пользователя.

Пример кода на JavaScript для отправки аудио:

Способ 4. Web Speech API, встроенный в браузер

Это решение уменьшает задержку и не требует установки дополнительных библиотек, что делает его идеальным для быстрого прототипирования — нет никаких дополнительных зависимостей или серверной инфраструктуры.

Доступен бесплатно в большинстве современных браузеров, что снижает затраты на внедрение.

Пример, как вы можете использовать Web Speech API для голосового управления на сайте:

Способ 5. Amazon Transcribe

Это служба автоматического распознавания речи от Amazon Web Services. Она предлагает мощные функции для создания реалистичных разговорных интерфейсов, включая форматирование текста и поддержку специальных словарей для различных индустрий.

После регистрации можно бесплатно анализировать до 60 минут аудиоконтента ежемесячно в течение первых 12 месяцев.

Как внедрить:

1. Создайте учетную запись AWS и активируйте Amazon Transcribe, чтобы получить доступ к API и необходимым ключам.
2. Запишите аудио с помощью HTML5 MediaRecorder API или других доступных библиотек.
3. Загрузите запись на Amazon S3 — Amazon Transcribe работает с файлами, хранящимися в S3.
4. Используйте API Amazon Transcribe для инициирования процесса транскрипции, указав ссылку на загруженный аудиофайл и необходимые параметры.

Примерный код для отправки аудиофайла на Amazon S3 и запроса транскрипции:

Голосовое управление может улучшить пользовательский опыт, поэтому стоит внимательно подойти к выбору технологии и продумать ее интеграцию. Что важно учесть:

• Используйте хороший микрофон и минимизируйте фоновый шум, чтобы повысить точность распознавания речи. Выберите подходящий формат аудио: например, WAV или FLAC.
• Изучите, как обрабатываются и хранятся аудио данные и текстовые транскрипции. Ознакомьтесь с политиками конфиденциальности и убедитесь, что они соответствуют вашим требованиям.
• Убедитесь, что API поддерживается в браузерах, которые вы и пользователи планируете использовать.
• Разработайте механизм обработки ошибок. Речь может быть распознана некорректно, поэтому важно добавлять логику для восстановления или повторной попытки распознавания.
• Обязательно предупреждайте пользователей, зачем запрашиваете доступ к микрофону, и учитывайте доступность для людей с ограниченными возможностями.
• Реализуйте систему обратной связи для пользователей, чтобы они могли сообщать о проблемах с распознаванием или предлагать улучшения.

Аналитика звонков помогает оценить качество работы операторов контакт-центра и менеджеров по продажам, определить лучшие практики взаимодействия с клиентами, а также выявлять потенциальные риски и нарушения в коммуникациях. Традиционные методы анализа, выполненные вручную, часто оказываются малоэффективными. Однако существует способ автоматизировать эти процессы.

MTS Web Services совместно с компанией UKTECH LAB развернули облачный сервис речевой аналитики. Это решение позволяет распознавать и глубоко анализировать голосовые и текстовые диалоги с помощью технологий машинного обучения и искусственного интеллекта.

22 августа расскажем о возможностях сервиса на примере реального кейса сети клиник «Кремлёвская стоматология». Система на базе технологий ИИ помогла компании увеличить конверсию обращений в записи на 20% и уменьшить время постобработки звонков на 14%.

Программа мероприятия:

• Что под капотом ИТ-инфраструктуры «Кремлёвской стоматологии»
• Какую выгоду компании сегодня получают от речевой аналитики в облаке
• Возможности надёжного, безопасного, защищённого облачного сегмента для данных

Всем зарегистрировавшимся будет доступна запись.

Когда: 22 августа, 11:00 (мск)

Где: онлайн, регистрация по ссылке.

— Расскажите о вашем стартапе My Voice и идее, которая легла в его основу. Что вдохновило вас на создание этого продукта?

Все началось довольно спонтанно. Когда я училась в университете, нужно было придумать инновационную идею и защитить ее на дисциплине по технологическому предпринимательству. И вот однажды, когда ехала в автобусе, меня осенило.

Заметила человека, который общался жестами по видеосвязи на телефоне. Я поняла, что перед нами существует проблема, которую мы еще не решили в обществе. Ведь если этот человек вдруг запаникует или пропустит свою остановку, он не сможет попросить помощи у других пассажиров, потому что мы его не поймем, а он нас не услышит.

Поэтому я решила создать устройство, которое станет своеобразным «мостом» между глухими и слышащими людьми. Чтобы человек с нарушением слуха мог полноценно общаться с окружающими.

Дисциплину защитили, затем подали свою идею на грант «Умник» от Фонда содействия инновациям. Прошли заочный этап, а затем защитили проект очно в Ханты-Мансийске. Это был важный момент, который позволил нам в течение двух лет работать над проектом в рамках гранта.

Сейчас, спустя несколько лет, мы продолжаем разработку устройства, используя все чертежи, сделанные ранее.

— Каково назначение вашего устройства и как оно работает?

Это устройство не только переводит жестовый язык в обычную речь, но и обратно.

Изначально — это камера, которая в реальном времени распознает жесты. Когда неслышащий человек поднимает руку перед камерой, устройство понимает, что это определенный жест, соответствующий букве дактильного алфавита. Отдельные буквы объединяются в слова и формируются в целые фразы.

Затем синтезатор преобразует слова в звуковую речь. Таким образом, я, как собеседник, точно пойму, что мне показывают.

Но это не всё. Когда я отвечаю, устройство распознает произнесенные звуки, очищает их от шумов и отображает в виде текста на экране. Теперь собеседник может прочитать ответ, даже если не слышит его.

Интересно, что всё это происходит в реальном времени, обеспечивая комфортный диалог.

— Расскажите подробнее о вашем MVP. Какие ключевые функции и возможности устройство уже имеет?

Мы работаем над стартапом уже около 5 лет. Первые 2 года ушли на проектирование и проработку идеи, а последние 3 года мы занимались активной разработкой. И даже на самом раннем этапе смогли продемонстрировать, что можем распознавать жесты без использования сложных и громоздких устройств, только с помощью камеры.

Сейчас наша нейронная сеть, лежащая в основе распознавания, достигла впечатляющей точности в 99,5% для букв дактильного алфавита. Она не только распознает жесты, но и автоматически собирает их в слова, исправляя ошибки, и преобразует в синтезированную речь. Это ключевая функция нашего MVP.

Кроме того, мы собрали собственный датасет по русской дактильной азбуке, так как ранее подобного не существовало. Это важный шаг, который позволит нам в дальнейшем улучшать точность распознавания и расширять возможности продукта.

Сейчас же мы находимся в процессе патентования нашего решения, чтобы защитить разработку. Это только начало, и у нас большие планы. Будем добавлять новые функции, по типу распознавания более сложных жестов, возможности двустороннего перевода в реальном времени, интеграции с другими устройствами и приложениями. Наша цель — создать максимально удобное и функциональное решение для эффективного общения между глухими, слабослышащими и слышащими людьми.

— Каковы основные технические характеристики MVP, и каким образом продукт взаимодействует с пользователем? Какие сенсоры или датчики используются в устройстве?

Мы полностью полагаемся на нейронные сети и обычные камеры, без всяких дополнительных датчиков или микросхем. Достаточно даже пары мегапикселей, чтобы модель могла распознать, появилась ли в кадре рука.

Поэтому мы просим пользователя просто надеть наше маленькое устройство — своего рода «умные часы» для глухонемых людей. Внутри небольшой коробочки находится микрокомпьютер, который обрабатывает все входящие данные: видео с камеры, аудио с микрофона, и т.д.

Мы специально отказались от всех громоздких и неудобных решений, по типу перчаток с датчиками. Это было важно, потому что мы хотим, чтобы устройство было максимально легким, удобным и незаметным в повседневной жизни. Пользователь должен просто надеть его и забыть, а не постоянно ощущать и испытывать дискомфорт.

— Какие данные вы использовали для обучения нейросетевой модели? Была ли нехватка данных, и если да, то как вы решали проблему?

Для обучения нейросети использовали собранную нами базу данных. Видите ли, никто до нас не создавал датасеты по русской дактильной азбуке, поэтому пришлось самим перед камерой записывать каждый жест.

Но мы пошли дальше простого распознавания изображений. Вместо того, чтобы обучать модель на картинках жестов, мы решили использовать более простой и ресурсоэффективный подход. Представляем руку не как изображение, а как набор координат суставов. То есть, по сути, мы «нарисовали» руку точками в 2D пространстве.

Этот подход позволил значительно упростить архитектуру нейросети. Вместо сложных сверточных сетей мы используем обычные многослойные персептроны. Они гораздо легче и быстрее в вычислениях, но при этом показывают впечатляющую точность — более 99% правильного распознавания букв дактильного алфавита.

Кроме того, работа с координатами суставов дала нам дополнительное преимущество — мы смогли отказаться от гироскопов и других сложных датчиков. Теперь можем определять положение руки в пространстве, просто отслеживая изменение координат ключевых точек.

Конечно, это не значит, что мы больше не работаем над улучшением нашей модели. Постоянно пополняем и дорабатываем датасет, чтобы сделать распознавание еще более точным и надежным. Это непрерывный процесс, и мы будем продолжать совершенствовать наше решение, чтобы оно стало максимально удобным и эффективным для пользователей.

— Как вы тестировали и оценивали работу MVP? Какова точность и эффективность перевода с помощью вашей нейросети на данный момент?

Мы в первую очередь оценивали метрики самостоятельно в ходе разработки, поскольку как инженеры должны были убедиться, что все работает правильно. Наши показатели точности составили 99,5%.

Кроме того, мы сотрудничали с кафедрой сурдопедагогики Университета Герцена. Привлекали оттуда специалистов, которые работают с жестовым языком профессионально, в том числе общаются с детьми и взрослыми с нарушениями слуха. Эксперты протестировали нашу систему и подтвердили, что она распознает жесты качественно, с небольшими погрешностями — мы продолжаем их устранять. Например, внедрили дополнительную модель для очистки пропущенных или повторяющихся букв, что помогает повысить точность распознавания.

Таким образом, мы использовали как собственное тестирование, так и привлекали внешних экспертов, чтобы убедиться в высоком качестве технологии.

— Как вы производили тестирование MVP с участием пользователей из целевой аудитории? Какие важные инсайты или обратную связь вы получили в ходе тестирования?

Я могу сказать, что мы действительно столкнулись с серьезными техническими сложностями при разработке системы. Изначально ориентировались на классический жестовый язык (где задействованы две руки, наклоны и мимика), предполагая, что это будет проще распознать. Однако, как выяснилось в ходе работы с фокус-группой, жестовый язык оказался весьма диалектным: одни и те же жесты могут иметь разное значение в разных регионах или даже семьях. Это не позволяет нам собрать некий эталонный набор, а вынуждает либо переучивать пользователей, либо мириться с менее точным распознаванием.

Кроме того, отсутствие грамматических форм в жестовом языке создает дополнительные сложности при переводе в текстовые эквиваленты. Обработка коротких фраз без контекста и определение правильных форм слов, особенно с учетом сложной русской грамматики, оказывается весьма трудной задачей даже на современном уровне развития МО. Поэтому мы перешли на дактильную азбуку.

— Какие критерии вы использовали для оценки готовности MVP к тестированию и выходу на рынок? Как определили, что продукт достиг минимально необходимого функционала?

У нас было два MVP перед выходом на рынок. Первый — просто доказательство того, что такую технологию можно реализовать. А второй — то, что мы сейчас дорабатываем, но это еще не полноценное решение. Основная сложность именно в переводе жестового языка, так как остальное — распознавание речи и синтез — можно сделать через встраиваемые API, что достаточно простая задача.

Мы планируем до конца этого года полностью завершить разработку ПО, а затем начать подбирать подходящие микрокомпьютеры под требования нашего решения и тестировать аппаратную часть.

Мы определенно откроем предзаказы, но не раньше, чем протестируем первую партию устройств совместно с Всероссийским обществом глухих. Организация поможет найти добровольцев из числа неслышащих людей, чтобы мы могли получить реальную обратную связь в полевых условиях.

Очень надеемся, что удастся создать действительно востребованный продукт. Но даже если наше собственное решение не станет хитом продаж, мы точно сможем внести свой вклад в популяризацию темы перевода жестового языка и вдохновить другие команды на разработку действительно эффективных решений, которые изменят жизнь людей с нарушениями слуха.

— Расскажите о вашей команде разработчиков. Какие компетенции и экспертизу вы искали при формировании команды для создания MVP?

Как CEO проекта, я могу сказать, что формирование команды было во многом случайным. Мы с коллегами проходили курс по одной и той же дисциплине в университете, это был своего рода зачетный проект для заинтересованных ребят.

В команду вошли специалисты с разными компетенциями. Я — инженер машинного обучения, но больше выполняю роль проектировщика. Есть у нас и полноценный инженер МО, который занимается разработкой архитектуры нейросети. Также в команде присутствует человек, который отвечает за связи с общественностью, маркетинг и экономические вопросы — то есть все, что не связано напрямую с разработкой.

Сейчас мы открыли вакансию для инженера, который сможет работать с микрокомпьютерами и микросхемами, то есть того, кто соберет все воедино.

— Что вы видите в качестве основных преимуществ вашего продукта перед конкурентами?

Я очень горжусь тем, что нам удается решать проблему, с которой ранее не могли справиться другие разработки. На протяжении многих лет разные компании пытались создать устройства для перевода жестового языка, но так и не вышли на рынок.

Мы глубоко изучили все предыдущие разработки и выявили ключевые проблемы, которые мешали коллегам стать востребованными. Во-первых, большинство устройств слишком громоздкие, часто требуют использования тяжелых перчаток. Во-вторых, они ориентированы только на распознавание и перевод жестов, то есть позволяют глухому человеку высказывать свои мысли, но не дают возможности получить ответ от собеседника.

Наше устройство отличается тем, что реализует полноценный диалоговый цикл. Мы не только переводим жесты говорящего, но и отображаем ответы его собеседника, позволяя человеку с нарушением слуха свободно общаться и понимать реплики окружающих. Наш идеальный сценарий — два человека случайно встречаются на улице и легко общаются.

Так, мы создали решение, которое действительно помогает людям с нарушением слуха свободно коммуницировать в повседневной жизни, а не просто передавать отдельные фразы.

— Каковы ваши дальнейшие планы по развитию стартапа My Voice? Расскажите о вашем видении будущего этого проекта.

Наш проект — своего рода утопический план получить регистрацию устройства как медицинского оборудования. Это позволит продавать его не напрямую потребителям, а Министерству здравоохранения, которое сможет распределять его в поликлиниках. Таким образом, даже люди, находящиеся в тяжелом материальном положении, смогут получить его бесплатно.

Я считаю, что технологии, которые помогают минимизировать последствия заболеваний, должны быть доступны для всех без исключения. Поэтому наша стратегия максимум — добиться статуса медицинского устройства и работать по государственным тендерам, чтобы оно становилось доступно бесплатно по квоте. Я уверена, что это непростая, но важная цель, которую мы должны постараться достичь.

Как работает OCR

Оптическое распознавание символов (англ. optical character recognition, OCR) — технология распознавания текста, которая преобразует данные с печатных носителей в машинно-кодированный текст. Носителями могут быть разные предметы: документы, книги, счета, дорожные указатели и другие вещи, на которых есть текст. Разберем, как работает алгоритм:

• Оцифровка. Первым шагом система сканирует носитель, в результате получается растр — матрицу пикселей. На этом этапе формируется файл, который пока что и для пользователя, и для системы выглядит как привычный скан.

• Бинаризация. Растр может быть цветным или черно-белым, поэтому на втором шаге система приводит его обязательно к ч/б-формату, выравнивает угол наклона и размер. Во время обработки алгоритм будет проходить по тексту построчно, поэтому неправильно расположенные строки могут усложнить или остановить работу.

• Сегментация страницы. Третьим шагом алгоритм определяет в бинарном растре колонки и абзацы текста, слова и распознаваемые символы.

• Сохранение обработанной информации. Четвертый этап завершает подготовительную работу к распознаванию текста. Система сохраняет полученный файл в текстовом формате так, чтобы в нем отображались все распознанные символы и строки.
• Классификация символов. Анализируя сохраненный документ, классификатор выявляет, какой символ изображен. Чаще всего программа может предложить несколько подходящих вариантов, у каждого из которых будет оценка точности соответствия, или сообщить, что элемент не является символом. Это значит, что элемент либо не относится к распознаваемому алфавиту, либо в целом не является буквой или знаком препинания, а может быть, например, рисунком на полях тетради.

• Постобработка и аналитика. На финальном этапе система на основе оценок вероятностей символов и информации от постобработчиков формирует из символов распознанный текст, выявляет потенциальные орфографические и грамматические ошибки. На сегодняшний день доля подозрительных трудно распознаваемых символов очень мала — в среднем менее 0,2%.

С развитием технологии система менялась: повышалась скорость работы и точность предсказаний, качество сканирования. В западных странах OCR стала активно развиваться уже в 1930-х годах, но в Советском Союзе собственная технология появилась позже.

На сегодняшний день технологии OCR приобрели значительный размах: алгоритмы могут выявлять информацию в документах на паспортных контролях, распознавать номера машин при превышении скорости или оцифровывать счета. Современная OCR, разработанная с применением нейросетей, способна распознавать 15 страниц печатного текста за 1 секунду, причем делать это более чем на 100 языках.

Что можно сделать на основе распознанного текста

Программы с применением OCR используются повсеместно. Рассмотрим наиболее популярные сценарии:

• Оцифровка документов. Благодаря активным процессам цифровизации компании создают базы знаний, счетов, договоров.
• Анализ содержания, классификация и суммаризация текста. Современные сервисы на основе ИИ определяют тип документа. Они распознают суть и составляют небольшие выжимки с главной информацией. На основе этих данных сервисы могут классифицировать документ и направить его в нужную базу данных, а также маршрутизировать между сотрудниками.
• Перевод. Онлайн-переводчики позволяют по фото определить, что написано в меню в ресторанах, на дорожных знаках или документах на иностранном языке и сохранить текст для дальнейшего применения.
• Генерация нового контента на основе распознанного. Изучив распознанный текст, система может предложить дополнения или исправления, переписать его в нужном стиле и формате. Например, на основе полученного письма ИИ может составить вариант письма-ответа, а при анализе юридических документов подсветить неверно указанную информацию: сроки договоров или номера соглашений.
• Распознавание эмоциональной окраски текста. На сегодняшний день искусственный интеллект может определять тональность текста. В отзывах на картах или сервисах-отзовиках выявлять негативные и позитивные комментарии, а также анализировать посты в социальных сетях. На основе этих данных бренды могут адаптировать коммуникационную стратегию и улучшать клиентский сервис.

Это достаточно общие возможности сервисов с OCR, которые могут быть полезны и обычным пользователям. Для бизнеса у сервисов на основе ИИ и OCR есть очевидные преимущества в виде автоматизации и ускорения процессов в самых разных сферах.

Как распознавание текста может помочь бизнесу

1. Финансистам: обрабатывать финансовые документы, чеки и счета. Например, отечественный сервис Soica, резидент Сколково, помогает сканировать и анализировать счета-фактуры и акты. Сервис помогает ускорить процесс обработки данных в 2 раза и снизить его стоимость на 50%.
2. Грузоперевозчикам и логистам: анализировать информацию на грузах и в почте. Система «Солво» распознает данные на номерах грузовых машин, регистрирует приезд и отъезд транспортных средств в грузовых терминалах автомобильных и железных дорог и морских путей. Кроме того, алгоритм может выявлять повреждения контейнеров с грузами и составлять акты осмотров.
3. Сотрудникам магазинов и складов: распознавать данные о продуктах и складских запасах. Например, в Яндекс Лавке еще в прошлом году начали обновлять информацию о товарах с помощью нейросетей и OCR. Технология сканирует этикетку продукта, распознает текст, а нейросеть на основе этой информации заполняет карточку товара. Внедрение ИИ позволяет ускорить процесс и уменьшить количество ошибок из-за человеческого фактора. Кроме того, на складах Яндекс Маркета используются роботы, которые очень быстро сканируют палеты, что позволяет каждые два часа актуализировать данные о наличии товаров.
4. Юристам: распознавать, оцифровывать и обрабатывать документы, выявлять риски. Сервис Contract проверяет договора на соответствие юридическим нормам, выявляет риски и предлагает исправления. Более того, компании могут обратиться за внедрением решения в свою систему ЭДО. В этом случае готовый продукт будет адаптирован под конкретные требования бизнеса и логично встроен во всю цепочку работы с документами.

Перспективы развития OCR с внедрением ИИ

Технологии распознавания текста уже достаточно сильно интегрированы в жизнь обычных людей и работу бизнеса, а возможности искусственного интеллекта помогают сделать сервисы более понятными и автоматизировать рутинные процессы. Хотя технологии продвинулись достаточно далеко, все еще есть блокеры и направления, которые задают вектор будущих работ.

Увеличение точности распознавания за счет применения технологий ИИ. На сегодняшний день 99,9% точности обеспечивают сервисы с частичной верификацией человеком, поэтому применение LLM может увеличить точность распознавания за счет контекстного предсказания без участия человека.

Логическое продолжение OCR — ICR, интеллектуальное распознавание символов. Такие системы могут достаточно точно определять рукописный текст, анализировать информацию в старых, выцветших книгах и по контексту предлагать наиболее релевантный вариант оцифровки. Благодаря расширению возможностей интеллектуальной обработки текста растет спрос на распознавание информации из различных источников, например, библиотек, архивов, а также дипломов, паспортов и других документов.

Сообщается, что клиент приобрел автомобиль стоимостью 2.2 млн рублей.

Рост и развитие биометрии

На июнь 2024 года оплата с помощью улыбки доступна на более чем 600 тыс терминалов Сбера по всей стране. А к концу года это число планируется увеличить до 1 млн.

Сегодня около 30 млн клиентов банка подключены к услуге «Оплата улыбкой» и ежемесячно к ней присоединяются еще около 50 тыс человек.

Как это работает

Для использования сервиса клиентам Сбера нужно подключить «Оплату улыбкой» в приложении «СберБанк Онлайн».

Процесс занимает всего несколько секунд: достаточно выбрать оплату улыбкой на экране терминала и посмотреть в камеру. Отметим, что это крайне удобно и быстро, что делает процесс покупки приятным и легким.

Интересные факты

• Биометрические платежи становятся все более популярными по всему миру, с прогнозируемым ростом на 20% в год.
• В других странах также активно внедряют биометрические технологии. Например, в Китае уже давно используются платежи с помощью распознавания лиц.
  
• Оплата улыбкой не только удобна, но и безопасна: современные технологии распознавания лиц практически исключают возможность мошенничества.
  

Зачем полиции понадобился ИИ

В 1990 в Калифорнии полиция обнаружила тело Марии Джейн Вайдхофер. В деле не было надежных свидетелей, из улик — только образцы ДНК (которых притом не оказалось ни в одной базе данных). Выйти на след преступника не удавалось вплоть до 2017 года, пока полицейские Окленда не решили использовать нейросети. Офицеры обратились в компанию Parabon NanoLabs, которая утверждала, что может смоделировать лицо по образцу ДНК.

Parabon NanoLabs проанализировала ДНК и воссоздала внешность подозреваемого. Для этого использовали нейросеть, которая прогнозирует вид всех черт лица конкретного человека. Ее обучили на ДНК и трехмерных моделях лиц более чем тысячи добровольцев.

По словам представителей компании, ИИ может проанализировать 21 тысячу черт по образцам ДНК, включая цвет волос, глаз и кожи человека, количество веснушек и форму его лица. Но к последнему ученые относятся скептически.

На выходе офицеры получили так называемый «отчет о фенотипе» — 3D-изображение мужчины со светлой кожей, карими глазами и густыми бровями. Криминалист добавил «подозреваемому» короткую стрижку и усы — которые были у него по словам единственного свидетеля.

Это, кажется, первый известный случай, когда полиция ищет преступника таким образом. Но, возможно, не последний.

А вообще, можно ли раскрывать преступления с помощью нейросетей?

За последние годы лет технология распознавания лиц продвинулась. Еще в 2018 году, NIST протестировал алгоритмы на 12 миллионах фотографий, и в 99,9% случаев людей идентифицировали верно.

Важно отметить, что NIST тестировал алгоритмы только на снимках высокого качества, но правоохранительным органам часто приходится работать с размытыми снимками с камер наблюдения, поддельными фотографиями, рисунками и прочим.

В 2018 году специалисты отчитались, что пробовали запустить распознавание лиц по эскизам и выяснили, что это не работает. Был случай, когда модель спутала подозреваемого и похожего на него актера Вуди Харрельсона.

Мы просто точно не знаем, какие критерии используют нейросети для идентификации лица. И последовательное объединение ненадежных инструментов попросту приведет к ненадежным результатам.

Почему возникли споры

Уже в 2020 полицейские просили прогнать изображение через систему распознавания лиц. Это вызвало возмущение (ведь правоохранительные органы планировали искать человека на основе сомнительных доказательств). А еще нарушало условия предоставления услуг самой Parabon NanoLabs.

Пока неизвестно, удовлетворил ли Региональный разведывательный центр Северной Калифорнии запрос или нет.

Тем не менее некоторые клиенты Parabon NanoLabs не видят особых причин отказываться от использования технологии. WIRED приводит комментарии от представителей правоохранительных органов.

• Детектив Джейсон Макдональд считает, что поиск 3D-моделей через систему распознавания лиц «оправдан» и «вполне может быть полезен». 2016 году его отдел использовал ДНК, найденную на местах четырех убийств в 1984 году, чтобы воссоздать лицо подозреваемого.
• Детектив Эдвард Сильвер сказал, что «отчеты о фенотипах» достаточно точны для системы распознавания лиц. Его департамент обратился в Parabon NanoLabs, чтобы смоделировать лицо женщины, найденной сильно, обгоревшей в мусорном контейнере в 2003 году.
• Шериф Эндрю Салливан написал, что на месте полицейских, занимающихся делом Марии Джейн Вайдхофер, его отдел бы использовать любую зацепку.

Я знаю, что лицо, сделанное Parabon NanoLabs, неидеально, но разве не стоит использовать все доступные инструменты, чтобы попытаться поймать убийцу? Особенно если это дело десятилетней давности. <…> Семья заслуживает знать, что мы перепробовали все.

В свою очередь, правозащитники сказали WIRED, что, конечно, сочувствуют детективам, но моделирование лиц по ДНК и последующее их распознавание может привести к проблемам.

Нет никаких реальных доказательств того, что Parabon может точно воспроизвести лицо. <…> Это очень опасно, потому что людей могут обвинить в преступлениях, которые они не совершали, на основе сомнительных доказательств.

Также по мнению экспертов, тот факт, что следователи готовы использовать эти технологии, говорит об общем отсутствии необходимого надзора.

1. Нейросети для преобразования текста в голос
2. Нейросети для расшифровки аудиозаписей

Нейросети для преобразования текста в голос

Список нейросетей, которые озвучивают текст голосами людей и культовых персонажей.

Voicemaker

Один из лучших готовых сервисов для озвучки текста в голос. Дело в том, что у Voicemaker есть много настраиваемых параметров. Можно указать, на какие слова сделать ударение, где проставить паузы, а где ускориться. Также можно изменить скорость чтения текста и высоту голоса.

Кроме того, в сервисе есть около 300 предустановленных мужских и женских голосов в разном тембре.

Есть бесплатный тариф, но с ограничениями: до 250 символов для озвучки за один раз. Платные тарифы начинаются от $5, они же расширяют объем озвучиваемого текста до 10 000 cимволов.

• Можно проставить ударения, скорость речи, высоту и паузы.
• Бесплатный тариф — 250 символов.
• Платные тарифы от $5.

VoxWorker

Похожий на Viocemaker сервис, но с более простыми настройками и ограниченным набором голосов. В бесплатном тарифе можно выбрать 5 голосов, а на платном выбор расширяется до 21. Функционал ограничен расстановкой ударений и пауз, настройкой скорости и тембра голоса.

Зато бесплатный тариф щедрее: можно озвучить два текста в сутки с ограничением в 5000 символов, то есть в сутки доступно 10 000 символов.

В платном тарифе нужно оплачивать токены на использование дополнительных функций. Сумма начинается от 100 рублей.

• Можно проставить ударения, скорость речи, высоту и паузы.
• Бесплатный тариф — 10 000 символов.
• Платные тарифы от 100 рублей.

Zvukogram

В бесплатной версии сервиса доступно 9 голосов, а из настроек доступны только скорость речи и скорость пауз между параграфами, которые проставляются автоматически. Для выходной записи можно выбрать битрейт и расширение файла.

Платные функции включают в себя выбор из 60 голосов: среди них можно выбрать и голоса персонажей типа Деда Мороза и Ленина(!).

Приятный плюс — огромное количество языков для озвучки. В частности, есть русский, украинский, армянский, казахский, грузинский языки. Белорусского почему-то в списке нет.

Бесплатно предоставляются 5 токенов, где 1 токен равен 1000 знаков текста.

• Можно проставить скорость речи и паузы.
• Бесплатный тариф — 1000 символов.
• Платные тарифы от 150 рублей.

Uberduck

Нейросеть, которая работает в английским языком. Русского языка, увы, нет.

Здесь можно настроить голос под свой запрос: выбрать возраст персонажа, пол, акцент — американский, британский, ирландский, шотландский, австралийский или новозеландский.

Также можно выбрать стиль, в котором текст будет прочитан: его могут прочитать чопорный рассказчик, персонаж, конферансье или рэпер. Есть настройка настроения от весёлого до напуганного. В общей сложности доступно более 4000 голосов.

Сервис, правда, платный, а стоимость подписки начинается от $96.

• Можно выбрать возраст, пол, акцент и стиль чтения.
• Нет русского языка.
• Бесплатный тариф — нет.
• Платные тарифы от $96.

SaluteSpeech

Сервис от Сбера с щедрым бесплатным тарифом, который включает до 200 000 символов для озвучки и до 100 минут записи. На выбор предоставляются 7 голосов. Для тестирования в демо-версии предоставляются 200 символов, а настроек тембра, высоты голоса, скорости чтения и прочих нет вообще — они доступны только после регистрации.

SaluteSpeech поддерживает SSML (Speech Synthesis Markup Language) — язык разметки синтеза речи. Позволяет настраивать синтез и делает речь ассистентов более естественной.

Нейросеть сама расставляет правильные ударения, ставит букву “ё” там, где это нужно, и переводит сокращения: к примеру, вместо “Кутузовский пр-т” она озвучит текст как “Кутузовский проспект”.

• Можно проставить ударения, скорость речи, высоту и паузы, но после регистрации.
• Бесплатный тариф — 200 000 символов.
• Платные тарифы от 1200 рублей.

Нейросети для расшифровки аудиозаписей

Подборка из 5 нейросетей для транскрибации аудио в текст.

Транскрибация – это процесс преобразования речи из аудиоформата в текстовый формат. Когда вы слушаете аудиозапись и преобразуете высказывания в письменный вид, вы транскрибируете речь.

Voicee

AI-транскрибатор видео или звука в текст в виде Телеграм-бота. Использует распознавание речи (ASR), детекцию голоса (VAD) для определения пауз в речи, диаризация для вычисления характеристик голоса спикера и узнавания его в этой или других записях.

Также Voicee определяет смысл текста, чтобы разбивать текст на абзацы, определяет пол спикера по голову, использует языковые модели для литературного перевода на русский язык.

Бесплатно расшифровывает файлы длительностью до минуты.

Генерация субтитров, краткий пересказ аудио, перевод на русский, написание краткого поста для соцсетей по аудио стоят от 100 рублей за час. Транскрибация аудио или видео файлов, записей по ссылке YouTube, VK, Rutube, Google Drive или Яндекс Диска и голосовых сообщений — 500 рублей за час.

• Поддерживает русский язык.
• Бесплатный тариф расшифрует 1 минуту речи.
• Платные тарифы от 100 рублей.

Speechmatics

Сервис транскрибации, который поддерживает более 45 языков. На главной работает демо, которое в режиме прямого эфира расшифровывает радио и переводит на выбранный язык.

Есть бесплатный тариф, который позволяет расшифровать 8 часов записи в месяц. Платные тарифы начинаются от $0.30 и позволяют переводить речь в текст в реальном времени.

Использует глубокое обучение и рекуррентные нейронные сети для распознавания аудиоданных.

• Поддерживает русский язык.
• Бесплатный тариф расшифрует 8 часов речи.
• Платные тарифы от $0.30.

Yandex SpeechKit

Сервис транскрибации от Яндекса, который поддерживает 16 языков для озвучки для создания голосовых помощников и автоматизации колл-центров.

В Yandex SpeechKit тоже гибкие тарифы: здесь нужно платить за количество символов. На момент написания статья расшифровка 10 000 символов стоит 13.20 рублей.

Для транскрибации SpeechKit использует сверточные и рекуррентные нейронные сети.

• Поддерживает русский язык.
• Бесплатный тариф расшифрует 10 000 символов.
• Платные тарифы от 13 рублей.

Google Cloud Speech-to-Text

У транскрибатора от Google есть бесплатный тариф, который позволяет обработать до 60 минут аудио в месяц, при условии, что файлы не длиннее 1 минуты.

Количество символов и времени озвучки можно расширить в платных тарифах. Google поступила хитро: у сервиса есть калькулятор тарифов, в котором можно настроить и символы, и длительность выходного файла, поэтому предсказать стоимость сложно. Бесплатно предоставляются токены на $300.

В основе Google Cloud Speech-to-Text лежат глубокое обучение, рекуррентные и сверточные нейронные сети для распознавания и транскрибации речи.

• Поддерживает русский язык.
• Бесплатный тариф расшифрует до 60 минут речи.
• Платные тарифы настраиваются под задачу.

IBM Watson Speech to Text

В бесплатном тарифе предоставляются до 500 минут озвучки в месяц, а количество символов ограничено до 10000 символов на файл. За $0.01 за минуту озвучки IBM предлагает улучшенную транскрибацию.

IBM Watson Speech to Text использует рекуррентные нейронные сети и методы обработки естественного языка.

• Поддерживает русский язык.
• Бесплатный тариф расшифрует 500 минут речи.
• Платные тарифы от $0.01 за минуту.

Заключение

Если вы решитесь попробовать какой-либо из сервисов в подборке, оставьте отзыв в комментариях и расскажите о своём пользовательском опыте — он поможет другим читателям выбрать лучший из вариантов. :)

Зачем банку танцующие человечки

Data Science Dance создали в Департаменте анализа данных и моделирования, где происходит вся ML-магия. Для решения бизнес-задач команда применяет самые разные ML-модели и технологии искусственного интеллекта. Например, методы компьютерного зрения, которые специалисты Газпромбанка решили использовать, чтобы показать, где ещё оно может быть полезно и на что в принципе способно.

В Газпромбанке занимаются не только скорингом кредитов, но и развитием компьютерного зрения и речевых технологий, графами и гео. Data Science Dance — очередное доказательство этому. Запросы от бизнеса настолько амбициозны, что приходится быть на гребне волны новых библиотек и подходов. И мы с этим справляемся. Команда Data Science в Газпромбанке не самая большая по численности, но точно в лидерах по компетенциям и их применению к интересным задачам.

Специально для фестиваля ребята придумали необычный проект: человек рисует персонажа, танцует — и через пару минут в мессенджере получает через чат-бота видео, на котором нарисованный герой повторяет его движения. Реализация проекта потребовала целый набор ML-моделей и ряд сложных инженерных решений.

Как оживить картинку

Определившись с идеей, начали продумывать техническую составляющую.

«Чтобы человек мог получить готовое видео за несколько минут, нужно было пройти много стадий реализации проекта. И каждая из них предполагала своё решение: где-то это ML-модель, где-то — алгоритмы. Компьютерное зрение — очень обширная область. Это 2D, 3D, распознавание объектов, детекция, сегментация и многое другое. Мы понимали, что в нашем проекте придётся совместить несколько разнородных решений и заставить их работать вместе», — говорит управляющий директор Управления алгоритмов машинного обучения Газпромбанка Алексей Найденов.

Как выглядит алгоритм работы Data Science Dance

1. Анализ видео с танцем. На каждом кадре исходного видео модель ищет определённые элементы человеческого тела: голову, кисти рук, локти, колени и так далее. При этом сохраняется вся информация о том, как человек двигался на видео: махал руками и ногами, двигал головой, подпрыгивал, приседал или делал и то и другое одновременно. Следующая модель переносит обнаруженные точки из 2D-плоскости в 3D-пространство.
2. Анализ рисунка. Человек рисует персонажа, у которого тоже нужно найти скелет и определить местоположение частей тела. За это отвечает отдельная ML-модель.
3. Анимация. Здесь в дело вступают особые алгоритмы, которые соединяют скелеты нарисованного персонажа и танцующего человека, затем анимируют его, словно оживляя. Получается видео, на котором персонаж танцует точь-в-точь как автор рисунка.

В этом участвуют и вспомогательные алгоритмы. Например, когда на первом этапе модель выдаёт матрицу скелета человека с обозначением точек, её нужно преобразовать в скелетную структуру, которую понимают другие алгоритмы. За это отвечает отдельная модель.

Все модели в Data Science Dance опенсорсные, то есть их не пришлось писать с нуля.

«В компьютерном зрении много качественных опенсорсных решений. Чтобы сделать одну хорошую модель оценки местоположения скелета по видео, нужно снять кучу видео, вручную разметить их и обучить на этих данных модель. Это гигантская работа.Поэтому для широкого круга задач целесообразнее взять предобученную модель, адаптировать под конкретные нужды и быстро получить качественный результат», — объясняет Алексей.

Какие ML-модели мы использовали

Всего в продукте использовали три группы моделей:

1. AlphaPose. Получает представление о скелете человека в 2D-плоскости.
2. MotionBERT. Переносит 2D-точки в 3D-плоскость. Это помогает понять, как человек двигается в трёхмерном пространстве. Например, прыгает назад или вперёд.
3. Animated Drawings. Отвечает за оживление персонажа.

Сложнее всего было заставить всё это работать сообща, причём быстро и без сбоев. «Например, модель Animated Drawings появилась относительно недавно, в этом году. Многие в Data Science-сообществе заинтересовались ею, начали экспериментировать и анимировать свои рисунки. Но чтобы использовать произвольное видео с танцем, авторы модели предлагали использовать платное ПО для дизайнеров и аниматоров для захвата движения на видео. Это предполагало, что для каждой анимации необходимо проводить ряд ручных манипуляций, что точно не подходило для массового применения.

В комментариях к этой модели до сих пор много вопросов, как автоматизировать анимацию рисунков без стороннего ПО. Ведь при его использовании теряется вся прелесть технологий: процесс становится долгим и неудобным. А нам нужно было найти способ получать видео быстро. Мы нашли решение, но оно не стыковалось с другими моделями. У нас как будто было несколько частей пазла, которые нужно собрать в цельную картинку. Это сложная инженерная задача», — объясняет главный аналитик-исследователь Управления алгоритмов машинного обучения Газпромбанка Игорь Дьяченко.

Ещё одно ограничение было очевидным и легко решаемым — оно касалось ресурсов. ML-модели требуют больших вычислительных затрат, а в Data Science Dance был целый набор моделей и алгоритмов, которые желательно запускать на графическом ускорителе. Чтобы посетителям не приходилось ждать видео часами, решили использовать отдельные облачные мощности.

На разработку проекта — от идеи до работающего решения — ушло два месяца. И конечно, чтобы он получился именно таким, каким его задумывали, без соблюдения некоторых условий не обошлось.

Танцы по правилам

ML-модели, на которых работает Data Science Dance, могут быть весьма капризными. Например, чтобы модель корректно распознавала скелет танцующего человека, в кадре должен быть только он. Если в объектив случайно попадёт другой человек или часть его тела, например, нога или рука, это собьёт алгоритмы с толку.

«Мы много тестировали продукт в офисе, дома и на улице. Конечно, мы понимали, что в кадре не должно быть других объектов, но удивительно, что при съёмках на улице алгоритмы замечали даже людей, которые были очень далеко. Мы сами их не видели, а модель фиксировала чью-то голову вдалеке и сбивалась», — вспоминает Игорь.

Поэтому при подготовке площадки Газпромбанка организаторы проследили, чтобы на идеальном фоне для танцев было достаточно места и никто посторонний в кадр не попадал.

Своих персонажей тоже нужно было рисовать определённым образом, но правила были несложными. «Чтобы всё получилось, рисунок должен быть человекоподобным. Неважно, дерево вы рисуете или милое животное — главное, чтобы у него были голова, ноги и руки. Один из посетителей, например, нарисовал Микки-Мауса, — говорит Алексей. — Цвета могут быть любые: сложности возникли только с розовым, потому что он бледный, а все другие цвета модель считывала отлично».

С танцами всё было проще. Чтобы алгоритмы сработали хорошо, достаточно было не поворачиваться к камере спиной. В остальном можно танцевать как угодно и даже прыгать.

Вот таким необычным способом проект Data Science Dance показал, что с помощью компьютерного зрения можно решать разные задачи, в том числе совершенно, казалось бы, небанковские.

Как компания-работодатель мы хотим рассказывать, какие направления и задачи у нас есть. Одно из главных наших преимуществ — стремительное развитие Data Science в банке. Через научно-развлекательные активности мы демонстрируем экспертизу на широкую публику. Это помогает не только привлекать опытных специалистов, но и мотивировать юных участников VK Fest к выбору перспективной профессии.

При этом похожие решения можно внедрять и в финтехе. Например, эти же технологии в отделении банков помогают оценивать нагрузку на специалистов в разное время дня или определяют, в удачном ли месте стоит банкомат. Возможно, в будущем в банковских приложениях нас будут встречать не только милые аватарки, но и анимированные персонажи, которых мы сможем нарисовать сами.

Как это работает

Можно выбрать готовое видео или снять собственное, после чего нейросеть проанализирует запись и заменит лицо героя на лицо знаменитости. Выгрузить видео на смартфон нельзя, только добавить его в VK Видео или Клипы. В будущем дипфейки можно будет использовать во Звонках.

На момент публикации в приложении доступны лица Niletto, Егора Крида, Сергея Жукова, Ольги Бузовой, Клавы Коки, Дани Милохина и Кати Адушкиной.

Генерируем дипфейк с лицом Егора Крида

Большинство дипфейк-решений работают по принципу независимой обработки каждого кадра, поэтому даже минимальные изменения в положении и освещении лица на видео часто приводят к дрожанию и бликам. Мы же <…> решили обрабатывать видео как последовательность кадров с помощью рекуррентной нейронной сети — это позволило <…> использовать возможности нейронной сети более оптимальным образом, кратно ускорив генерацию дипфейков.

Я с нетерпением жду, когда в VK появятся Never Gonna Give You Up в исполнении Сергея Жукова или, к примеру, случай в казино и негодяем-крупье с участием Дани Милохина.

Тест приложения: мой дипфейк

Ещё вы можете посмотреть мой дипфейк: я заставил Егора Крида покинуть рэп-игру и заняться разработкой на Python. Приложение пока что работает нестабильно, и видео приходилось перезаписывать, а сам VK — перезапускать.

Ещё приложение сжимает запись, если записывать его инструментами VK. Видео становится мутным, а звук — шумным, хотя в оригинальной записи таких проблем нет.

Чтобы повысить качество дипфейка, пришлось сперва записать его на встроенную камеру, а уже потом — загружать в приложение.

Это исследование о проникновении технологии Facial Recognition в жизнь россиян. Вот главное из доклада.

Где используется распознавание лиц

«Сетевые Свободы» выделяют несколько сфер жизни, в которых используют Facial Recognition:

• в системах пропускного режима на предприятиях;
• в сфере торговли и услуг для оплаты «по лицу»;
• для создания профилей клиентов, оптимизации обслуживания, борьбы с кражами;
• для учёта рабочего времени;
• в новых цифровых развлечениях.

Что распознаёт технология

Системы видеонаблюдения распознают не только лица — ещё пол, возраст и даже эмоции.

«Сетевые Свободы» утверждают, что в сочетании с развитием искусственного интеллекта это создает условия для «нового уровня дискриминации и злоупотреблений».

Как точно и быстро работает распознавание лиц

Определение личности происходит с точностью 99% по базе из 1,5 млрд лиц и занимает менее 1 секунды.

Что предлагают «Сетевые Свободы»

Проект считает, что наличие разветвленной сети камер с Facial Recognition и хранение данных о результатах распознавания лиц создаёт угрозу приватности граждан.

«Сетевые Свободы» утверждают, что в российском праве практически никаких специальных положений, регулирующих эту технологию, нет.

Поэтому проект предлагает ряд мер:

• предупреждать граждан о применении видеонаблюдения и распознавания лиц и подробно объяснять, зачем это делается;
• создать перечень мест, где разрешено использовать Facial Recognition, и гарантированно «чистых» зон, где видеонаблюдение и FR запрещены;
• установить предельный срок хранения записей с камер видеонаблюдения с обязательным уничтожением собранных данных;
• создать эффективные процедуры рассмотрения жалоб на нарушения;
• запретить предоставления данных иностранным субъектам, в том числе органам власти.

В этом году Россия заняла 2 место по темпам роста количества камер видеонаблюдения.

Источник: Сетевые Свободы

В основу технологии ляжет нейронная сеть. Она будет следить за обстановкой в учебном заведении, контролировать состояние инфраструктуры, а также отслеживать питание детей и уровень оказываемой им медицинской помощи.

Ведомости пишут, что новая система установит «тотальный контроль» в школах — в том числе она будет относить к опасным ситуациям бег по коридору или катание по перилам.

В случае, если нейросеть решит, что создаётся угроза, она передаст информацию о ней учителям и администрации школы. Технология также будет учитывать и психоэмоциональное состояние учеников. Для этого в неё будут заложены различные эмоции, а также способность анализировать все сопутствующие факторы: от оценок на уроках до поведения.

Источник: Ведомости

Первое, что нам нужно, — это уже обученная модель. Да, мы не будем обучать и создавать собственную модель, а возьмём уже готовый docker-образ ctava/tfcgo.

Для запуска нашего проекта нам понадобится одновременно 4 терминала:

• В первом мы запустим сервер распознавания изображений.
• Во втором мы запустим бота.
• В третьем мы создадим туннель до нашего локального хоста из публичного адреса.
• В четвёртом мы выполним команду на регистрацию нашего бота.

Запуск сервера распознавания изображений

Чтобы запустить сервер распознавания, создайте файл Dockerfile:

Так мы запустим сервер распознавания. Внутри будет наш сервер: src/imgrecognize. Кроме того, мы распакуем модель в каталоге: /model.

Приступим к созданию сервера. Первое, что нам нужно — это установить значение константы:

os.Setenv("TF_CPP_MIN_LOG_LEVEL", "2").

Это необходимо, чтобы не получить ошибку:

I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2 FMA unable to make a tensor from image: Expected image (JPEG, PNG, or GIF), got empty file

Мы не будем оптимизировать наш сервер, а просто запустим его через ListenAndServe на порту 8080. Перед запуском сервера нам понадобится граф как основа для TensorFlow. Грубо говоря, граф можно рассматривать как контейнер для операций и переменных. Его мы сможем загрузить из файла в формате protobuf: /model/tensorflow_inception_graph. pb. Наполним его позже через сессии.

В modelGraph мы сохраняем структуру нашей модели и ключевые инструменты для работы с ней.  Labels содержат словарь для работы с нашей моделью. Важной частью по работе с моделью является нормализация. Мы нормализуем изображение внутри обработчика HTTP-запросов. В реальном проекте обязательно нужно выделить модуль по работе с распознаванием и нормализацией от HTTP-хендлера. Но в учебных целях мы оставим их вместе.

Чтобы нормализовать входные данные, мы преобразуем наше изображение из значения Go в тензор:

tensor, err := tensorflow.NewTensor(buf.String()).

После этого мы получаем три переменные:

graph, input, output, err := getNormalizedGraph().

Graph нам нужен, чтобы декодировать, изменять размер и нормализовать изображение. Input вместе с тензором будет входной точкой для связи между нашим приложением и TensorFlow. Output будет использоваться в качестве канала получения данных.

Через graph мы также откроем сессию, чтобы начать нормализацию.

Код нормализации:

После нормализации изображения мы создаём сессию для работы с нашим графом:

С помощью этой сессии мы начнём само распознавание. На вход подадим наше нормализованное изображение:

Результат вычисления (распознавания) будет сохранён в переменной outputRecognize. Из полученных данных мы получаем последние 3 результата (ResultCount = 3):

А для HTTP-ответа мы дадим только один наиболее вероятный результат:

Весь код нашего сервера для распознавания:

Теперь нам нужно построить этот образ (build it). Конечно, мы можем создать образ и запустить его в консоли с помощью соответствующих команд. Но удобнее создавать эти команды в файле Makefile. Итак, давайте создадим этот файл:

После этого откройте терминал и выполните команду:

Теперь в первом терминале у нас есть локальный HTTP-сервер, который может принимать изображения. В ответ он отправляет текстовое сообщение, содержащее информацию о том, что было распознано на изображении.

Это, так сказать, ядро нашего проекта.

Создание бота Telegram

Теперь нам нужно построить бота. Для этого необходимо написать второй HTTP-сервер. Первый сервер распознает наши изображения и использует порт 8080. Второй станет сервером бота и будет использовать порт 3000.

Для начала нужно создать бота через вашу учетную запись в Telegram через BotFather. После этой регистрации вы получите имя бота и его токен. Никому не говорите об этом токене.

Поместим токен в константу BotToken. Вы должны получить:

Обработчик нашего бота расшифрует тело ответа JSON.

Нас интересует фотография в отправленном сообщении webhookBody.Message.Photo. По уникальному идентификатору изображения photoSize.FileID соберём ссылку на само изображение: fmt.Sprintf(GetFileUrl, BotToken, photoSize.FileID)

И загрузим его:

Мы отправим изображение обработчику нашего первого сервера:

В ответ мы получаем определённое сообщение — текстовую строку. После этого мы просто отправляем эту строку пользователю как есть в боте Telegram.

Весь код бота:

Клиент, который отправляет изображение от бота на сервер распознавания:

Теперь нам нужно получить публичный HTTPS-адрес для нашего бота, который сейчас работает на localhost. В этом нам поможет ngrok:

Сразу после выполнения этой команды вы увидите список общедоступных адресов. Последним будет адрес с HTTPS. Например, это может быть https://9068b6869da7.ngrok.io.

Теперь зарегистрируем нашего бота — пробросим наш адрес в Telegram API, куда отправлять веб-хуки:

Поздравляю, теперь мы можем отправить файл с фотографией своему боту и в ответ получим информацию о том, что на нём изображено.

В собранный массив входит около 500 тыс портретов 395 человек. Все снимки были сделаны не только с разных ракурсов, но и в разных «ситуациях»: в видимом и ИК-диапазонах, при нормальном и слабом освещении.

С помощью всех этих данных, специалисты намерены натренировать новые нейросети. После этого полученные технологии планируется использовать для помощи силовым ведомствам США.

Согласно имеющимся данным, финансированием проекта занимается Агентство оборонной криминалистики и биометрии Соединённых Штатов. У него уже имеется огромная база данных лиц, отпечатков пальцев, ДНК и другой биометрии миллионов жителей Ирака, Афганистана и прочих стран.

Источник: IEEE Spectrum

Сумма госзаказа составит 932 млн рублей, на которые будет закуплено и установлено 316 мультимедийных экрана с камерами.

Сопутствующие тендеру документы указывают на то, что камеры устройств смогут снимать в FullHD-разрешении, будут иметь автофокус и интеллектуальные модули. Часть из них сможет распознавать лица и скопление людей, а также считать их количество.

Представители московского метрополитена прокомментировали находку Коммерсанта, заявив, что экраны носят исключительно информирующий пассажиров характер.

Видеокамеры в экранах не предназначены для распознавания лиц и поиска конкретных людей.

Победителя тендера определят уже 4 марта. Все работы по установке и подключению должны быть завершены к декабрю 2021 года.

Источник: Коммерсантъ

В чём суть технологии?

Она оценивает интонации задолжавших клиентов. На основе считанных эмоций, выстраивается дальнейший сценарий диалога. Так, технология может подсказать оператору, что нужно проявить больше эмпатии при разговоре с определённым абонентом.

Система в режиме реального времени на основе распознанных эмоций подсказывает оператору, надо ли следовать пользовательскому сценарию заказчика, или предлагает использовать специальный ситуационный скрипт.

Эффективно ли её использование?

Представители АБК заявляют, что внедрение разработки не повлияло на способность должников идти на контакт. Но зато технология позволила улучшить качество уже случившихся контактов. Также система оказалась способна предсказать направление разговора с коллектором с вероятностью около 80%.

Где ещё можно использовать новинку?

• продажи;
• техническая поддержка;
• проведение маркетинговых акций;
• консультационные услуги.

Источник: РБК

Реализовываться 2,917 млрд рублей будут вплоть до 2025 года. Подрядчик на эти деньги должен будет установить передачу данных с 1,7 тыс видеокамер во дворах и 292 камер в «местах массового скопления людей». Полученные видеоматериалы должны будут направляться в Единый центр хранения и обработки данных (ЕЦХД).

Контракт предусматривает только передачу в ЕЦХД видео с уже действующих камер, а не установку новых.

Ожидается, что новые камеры также будут интегрированы в городскую систему распознавания лиц и информационную систему МВД. Последнюю используют для анализа криминогенной обстановки. Исполнителя контракта выберут в начале февраля.

Издание отмечает, что прежний контракт, заключённый в 2019 году, предусматривал выделение денег в размере примерно 500 млн рублей за период с февраля 2019 по декабрь 2020 года.

Таким образом, в пересчете на месяц цена контракта выросла более чем в два раза.

Источник: Коммерсантъ

Некоторое время назад компания Paravision, используя приложение для хранения фото, разработала и обучила алгоритм распознавания лиц. И вот, согласно свежему постановлению Федеральной торговой комиссии США, она будет обязана уничтожить данную технологию, сообщает Код Дурова, ссылаясь на материал OneZero.

Основой для возбуждения дела стало расследование NBC News. Ещё в 2019 году новостное подразделение NBC выяснило, что для обучение модели использовались пользовательские изображения, хранящиеся в приложении Ever. И так как они не давали своего согласия на использование своих медиафайлов, Paravision будет обязана удалить искусственный интеллект, обученный незаконным методом.

Издание Wired отмечает, что технология ИИ являлась жизненно важной для компании. Всё дело в том, что Paravision заключила контракт с ВВС США на поставку технологии распознавания лиц. Что будет с ИТ-компанией теперь и её договорённостями с американскими военными — неизвестно.

Источник: Код Дурова

Системой уже пользуются в метрополитене для сравнения людей с лицами из списка наблюдения. Среди других клиентов — авиакомпании Lufthansa и Swiss International Airlines.

Согласно отчётам Национального института стандартов и технологий США, до начала пандемии алгоритмы распознавания не могли идентифицировать от 20 % до 50 % изображений людей в масках. Но уже к концу 2020 года системы стали показывать более высокую точность определения личности.

Медицина

Диагностика рака

Патологи применяют ИИ для более точной диагностики рака. Данные о различных видах рака применяют для создания предиктивной модели. Например, для этого используют технологию PathAI.

Создание медикаментов

Создание новых лекарств — трудоёмкий процесс, потому что нужно провести множество тестов, чтобы найти полезную формулу. В этом помогает ИИ. Atomwise — один из примеров технологии, которая позволяет обнаруживать новые молекулы. Она используется в создании новых лекарств от 27 болезней в сотрудничестве с Гарвардским и Стэнфордским университетами и фармацевтическими компаниями.

Оптимизированная обработка данных о пациентах

Число больных по всему миру ежедневно растёт. Для обработки данных об их заболеваниях требуются автоматизированные системы. ИИ позволяет медицинским учреждениям оптимизировать эту обработку. Например, OLIVE — платформа для автоматизации задач здравоохранения.

Финансы

Деньги становятся цифровыми. Общая сумма цифровых транзакций составляет 4,4 миллиона долларов, и может составить более 8 миллионов к 2024 году.

Данные об этих операциях, обработанные ИИ, могут помочь улучшить финансовую индустрию в 2021 году. Например Dataminr собирает информацию из различных текстовых источников и представляет пользователю график важных событий. Нейронные сети позволяют ему анализировать текстовые данные.

Трейдинг

Алгоритмы машинного обучения могут быть использованы для автоматизированного ведения торгов. Теоретически, имея информацию о ценах, объёмах, датах, общественных настроениях (или погоде) можно создать систему, которая обыграет рынок (но это не так легко). Алгоритм может обучаться и адаптироваться к изменениями в реальном времени, чтобы делать предсказания точнее. Например, Kayrros — компания, которая занимается анализом данных, чтобы помочь в инвестировании участникам рынка.

Обнаружение мошенников

Цифровые платежи имеют определенные риски. В 2018 году 24,26 миллиарда долларов были потеряны из-за мошенников. Машинное обучение идеально походит для борьбы с ними. Британская компания AimBrain, с помощью машинного обучения предотвращает кражу аккаунтов и обнаруживает аккаунты мошенников.

Модель может использовать тренировочные данные для маркировки каждой операции (подозрительная или нет). Затем, используя метрики точности и полноты, мы можем подкорректировать модель под наш профиль риска, анализируя затраты на ложно-положительные и ложно-отрицательные прогнозы.

Банкинг

Банки используют машинное обучение для обслуживания клиентов, предсказания рисков, предотвращения рисков и инвестирования. Допустим, можно предлагать персонализированные предложения, основываясь на финансовом поведении пользователя. Таким образом, если клиент ищет дом, ему можно сделать специальное предложение. Envestnet — это компания занимающаяся сбором и анализом финансовых данных, которая предоставляет услуги управления финансами.

GAN (генеративно-состязательные сети)

Генеративно-состязательные сети это подход к генеративному моделированию, использующий методы глубокого машинного обучения ИИ, такие как CNN (свёрточная нейронная сеть).

GAN использует модель для генерации новых данных, которые похожи на те, на которых она была натренирована (например изображения).

С помощью GAN можно получить датасеты изображений, лиц, персонажей мультфильмов, переводить изображения в текст и обратно, создавать 3D объекты и т. д. Областей применения GAN множество, но они могут принести не только пользу. Одно из последних применений GAN-приложений это дипфейки.

Терро Каррас, в своей статье «Прогрессивное развитие GAN для улучшения качества, стабильности и разнообразия» демонстрирует сгенерированные реалистичные изображения человеческих лиц. Модель натренирована на знаменитостях, поэтому она создаёт лица, похожие на существующие.

Но не стоит обманываться чудесами обработки данных. Мы скоро столкнемся с последствиями таких дипфейков. В наши дни репутация любого человека может быть уничтожена с помощью технологий из общедоступных репозиториев.

Reinforcement learning (обучение с подкреплением)

RL — это область машинного обучения ИИ в которой изучается, как испытуемая система (агент) взаимодействует с некоторой средой для получения максимального вознаграждения. Вознаграждением называется отклик этой среды.

Обучение с подкреплением это одна из трёх парадигм машинного обучения, наряду с обучением с учителем и обучением без учителя.

RL — это то, как мы учимся ежедневно. Представьте, что вы взяли щенка возрастом один месяц. Чтобы дресcировать его, вам нужно использовать систему вознаграждений. Если пёс слушается, вы даёте ему вкусняшку. Так вы используете позитивное подкрепление, для дрессировки собаки.

Программисты из OpenAI, компании, основанной Илоном Маском, показали, как агенты играют в прятки.

Им не давали явных инструкций о том, как играть. После миллионов симуляций агенты научились взаимодействовать со средой:

• тот, кто прячется, научился стоить маленькие форты и баррикады;
• тот, кто ищет, начал использовать пандусы чтобы забираться на стены и находить спрятавшихся.

AR и VR (Дополненная/Виртуальная реальность)

Дополненная реальность — это мост между виртуальной и физической реальностью. Визуальные данные, собранные AR приложениями, можно использовать для распознавания изображений. Дополненная реальность и ИИ — это разные, но дополняющие друг друга технологии. Используя обе можно создать что-нибудь прекрасное.

Маркировка изображений/сцен

Модель строится из кадров камеры, которые можно использовать для классификации местоположения. Вот отличная статья об этом.

Распознавание объектов

Кадры передаются модели, которая способна оценивать размер и расположение объектов на сцене. Эти данные можно использовать для создания рамки вокруг объекта. Например AnyVision может помочь идентифицировать человека или объект, даже в толпе.

Определение позы

Есть два типа определения позы:

• 2D — рассчитывает координаты каждого сустава (x, y) на RBG изображении;
• 3D — рассчитывает координаты (x, y, z) для каждого сустава на RGB изображении.

Определение позы — важная часть распознавания движений, анимации, создания игр и т. д.

Вот хороший блог об этом.

Издание «МБХ Медиа» опубликовало расследование о том, насколько защищена московская система уличного видеонаблюдения. По словам корреспондента, на чёрном рынке вовсю продают доступы к конкретным камерам, данным распознающей системы и даже к целым учётным записям. За тридцать тысяч рублей якобы можно получить логин и пароль, которые позволят подключиться к самой платформе.

Доступ к камерам продают в виде коротких ссылок. Их разработали, чтобы пользователи платформы — чиновники, полицейские — могли обмениваться ссылками с коллегами. Более того, по просьбе корреспондента, некий исполнитель прогнал его фото через камеры с распознаванием и выдал документ с сотней совпадений разной вероятности (правда, реальных совпадений там не оказалось, что объясняется малым количеством распознающих камер). Для этого, как оказалось, не требуется ни ордера, ни каких-то судебных разрешений, ничего. Захотел — пробил.

Видерепортаж:

+ Большой Брат оптом и в розницу, или Черный рынок «Безопасного города», текстовый репортаж на сайте «МБХ Медиа».

Этот сумасшедший мир

«Надо работать. О, сообщение в тележку пришло. А, приложение обновилось, ок. А что там в соседнем канале? Ух ты, какая статья интересная… Я одним глазком… Ой, ссылочка!»

Знакомо? Новость для вас.

Google выкатила для некоторых версий Android функцию фокусировки. В режиме Focus mode можно отключить все уведомления для наиболее отвлекающих приложений. Смартфон просто не пропустит их на экран. А если вы попробуете при включённом режиме зайти в какое-то из этих приложений, устройство напомнит, что вы вообще-то не хотели на него отвлекаться. Работать надо, помните?

Ха-ха?

Сейчас будет смешно и больно. Один Разработчик поделился на StackOverflow куском Java-кода. Это было в 2010 году. Прошло много лет, его копипастили и копипастили — в разных GitHub-репозиториях он встречается где-то 7 тысяч раз. В одном исследовании от 2018 года этот кусок возглавляет список самых популярных кусков кода на StackOverflow. На это исследование наткнулся наш Один Разработчик, хочу заметить, спустя почти десять лет с момента публикации кода. Он посмотрел на свой код и увидел там ошибку.

Код конвертирует размер файла в байтах в читаемый формат. Например, не 123456789 байтов, а 123,5 МБ. Как оказалось, в некоторых случаях он выдавал неверный результат. Почитать подробнее об ошибке можно в блоге этого Одного Разработчика (да простит он меня за это прозвище).

Вот ещё что интересно. Разработчик опубликовал код под лицензией, разрешающей его использовать с указанием авторства. Это требование мало кто соблюдал.

+ Аналитик HackerOne лоханулся и вместе с результатами рассмотрения заявки о потенциальной уязвимости отправил коллеге-исследователю содержимое сессионных cookie. Исследователь не растерялся и использовал эти данные. Он смог войти в привилегированную учётку на платформе HackerOne без аутентификации, а потом рассказал обо всём администрации.

Администрация его поблагодарила и решила выплатить 20 тысяч долларов. На платформе проведут аудит, чтобы такого больше не повторялось. The End.

Развернуть (на весь) экран

Много мы уже видели разных складных смартфонов, смартфонов-планшетов и смартфонов-планшетов с гибким экраном. Французские инженеры показали, что гибкие экраны — не предел. Они разработали прототип эластичного устройства, которое и сгибается, и растягивается в разные стороны.

У него модульная конструкция. В каждом модуле — несколько слоёв с перемычками, в том числе гибкими, которые позволяют устройству изгибаться в разные стороны под разными углами. В прототипе роль экрана выполняют наложенные друг на друга листы бумаги, а за изображение отвечает внешний проектор.

Сенсор работает за счёт радиолокационных волн: они отражаются от предметов и живых существ. Если ИИ замечает, что в отражённой картинке есть ребёнок или животное, а рядом с ним нет взрослого, система бьёт тревогу.

У такого сенсора есть одно важное преимущество перед камерами: он умеет «видеть» сквозь сиденья.

Изобретение придумали в Университете Ватерлоо, работу частично профинансировал производитель автомобильных деталей. Он рассчитывает вывести датчик на рынок к концу 2020 года. Эту же технологию можно в будущем применять для распознавания усталости водителя.