В Древнем Риме говорили: «Mens sana in corpore sano» - в здоровом теле здоровый дух. Два тысячелетия спустя мы, айтишники, превратили эту мудрость в её полную противоположность: здоровый дух, сидящий в нездоровом теле перед монитором. Наш позвоночник принимает форму вопросительного знака, а шея начинает напоминать ржавый механизм - повернуть голову можно только всем корпусом, издавая при этом характерный хруст.

Мы в «Биорг» знаем об этой проблеме не понаслышке. Но, в отличие от большинства офисных работников, у нас под рукой оказалась система видеоидентификации, способная видеть каждое микродвижение человеческого лица. И как-то раз, тестируя систему видеоидентификации, мы поймали себя на мысли:

- То, что мы создавали для идентификации личности, по сути готовый трекер движений. Дай ему только интерфейс и он превратится в игру. Осталось только придумать, во что играть…

Попробовать разминку с Джонни и Джулией

Бесплатно, без смс, без регистрации и без подвоха. Под музыку или без! Нам не жалко. Мы вообще-то хотим просто шею размять, а не бизнес на этом строить.

Обычный антифрод и его необычная судьба

Одна из основных наших задач в R&D - борьба с фродом. Мы разработали систему видеоидентификации, которая определяет живость человека по движениям головы, согласно командам. Корректность их выполнения подтверждает, что перед нами живой пользователь.

О том, как мы пришли к этому решению и почему оно эффективно, уже рассказано в статье Развенчан маскарад подделок: прорыв в проверке документов

В процессе работы мы научились детектировать ключевые точки лица с высокой точностью. Алгоритм в реальном времени вычисляет углы поворота головы, наклоны, моргания. И однажды мы заметили, что эти движения похожи на те, которые человек выполняет во время зарядки.

Тогда и родилась идея: а что, если мы сделаем не просто идентификацию, а полезную разминку для шеи, встроенную прямо в браузер?

Рождение Джонни и Джулии

Испытать искреннее удивление от собственных возможностей и окружающего мира - это прекрасные и глубокие ощущения. Получить их может человек, который вырвался из привычной рутины и столкнулся с тем, что выходит за рамки его повседневного опыта. Так на свет появились два персонажа: Джонни и Джулия.

Их история похожа на красивый роман. За плечами дипломы одного из лучших университетов мира и блестящие перспективы за рубежом. Они приехали в Россию как гости, желая увидеть страну. Россия встретила их искренним гостеприимством, новой культурой, непередаваемой атмосферой. Наша страна покорила их сердца навсегда. Очарованные увиденным, они приняли главное решение в своей жизни - остаться здесь, с нами.

Почему двое? Мы добавили в виджет определение пола пользователя на старте - система определяет, кто перед камерой, и предлагает тренера того же пола. Это мелочь, но она делает взаимодействие чуть более персонализированным. Для определения пола используется открытая библиотека face-api.js с лицензией MIT. По желанию, пол инструктора можно сменить. Для этого есть специальная кнопка на экране - справа вверху.

Персонажей мы нарисовали в мультяшном стиле - яркие, добрые, с улыбкой. Потому что разминка должна вызывать радость, а не напряжение. К тому же, мы подумали: если пользователь сейчас будет делать серьёзное лицо, разминая шею, это выглядит глупо. А если рядом весёлый инструктор - процесс идёт легче.

Есть один нехитрый приём, который делает картинку цельной. Мы убираем фон у окна с пользователем и заменяем его на белый. То же самое делаем с фоном инструктора. В результате их фоны сливаются с общим белым фоном страницы, и визуально окна перестают быть «окнами» - они превращаются в единую композицию. Пользователь видит себя и тренера в одном пространстве, а не в двух отдельных квадратах.

Как мы считаем синхронизацию

Разминка состоит из 30 движений, и они каждый раз генерируются случайным образом. Никаких заучиваний - каждый новый подход будет отличаться от предыдущего. Это не даёт скучать и не позволяет мозгу «засыпать» на автоматических движениях.

Разминка состоит из нескольких упражнений. У каждого есть ожидаемая длительность - t.time. Пока пользователь выполняет движение, мы замеряем его фактическую скорость и фиксируем задержку (тот самый delay) - насколько пользователь отстаёт от тренера.

Когда все упражнения завершены, мы суммируем две величины:

totalExp - общее ожидаемое время всех движений;

totalDelay - суммарное отставание пользователя.

Дальше простая формула:

То есть, если вы выполнили разминку идеально синхронно - твой скор стремится к 100. Но мы оставили люфт, потому что в реальном мире есть погрешности: камера может чуть дрожать, браузер - подвисать, а твоя шея - иметь свою точку зрения на то, как быстро надо поворачиваться.

И ещё один важный нюанс по геймплею. Мы заметили в тестах, что некоторые пользователи не могли с первого раза повторить то или иное движение. Может шея затекла, может не поняли траекторию. Зависать на одном движении бесконечно - плохая идея. Это раздражает и убивает смысл разминки.

Поэтому мы сделали так: после двух неудачных повторов инструктор переходит к следующему движению. Пользователь не чувствует себя неудачником, а просто продолжает разминку. А если он вообще не понял, что делать, - система не наказывает, а мягко ведёт дальше. В конце его ждёт честный результат, а не строгий экзамен.

Итоговый результат мы очеловечиваем:

98%, а не 100% специально обозначено как идеал. Потому что перфекционизм это хорошо в коде, но вредно для здоровья. Если ты получил 98%, то считай, что ты чемпион. А вот 30% это повод не расстраиваться, а попробовать ещё раз, просто поймав ритм.

Как мы подружили разминку с телефонами

Мы изначально проектировали разминку для больших мониторов лэптов и рабочих станций - удобно: сидишь перед камерой ноутбука, поворачиваешь голову, и Джонни с Джулией тебя понимают. Но когда мы решили затестить у коллег, то первым их вопросом было:

- А на телефоне это работать будет?

Первая мысль была определять устройство по размеру экрана. Но это оказалось ловушкой. Современные телефоны имеют диагональ почти как у небольших ноутбуков, а планшеты и вовсе размывают границы.

Я лично столкнулся с этой проблемой на своём Redmi Note 9. Экран у него, конечно, не как у ноутбука, но по ширине в пикселях он вполне сопоставим с некоторыми дешёвыми ноутбуками. Система считала, что раз экран достаточно широкий значит, это компьютер, и отказывалась переключаться в мобильный режим. Кнопки оставались мелкими, интерфейс не адаптировался, а инструктор с пользователем пытались уместиться в той же раскладке, что и на большом экране. Работать было невозможно.

Стало понятно, размер экрана это ненадёжный признак, и нужно искать что-то другое.

Тогда я пошёл другим путём: проверять наличие датчика ориентации, но не одним, а двумя признаками:

Первое условие - поддержка события ориентации (есть у телефонов и планшетов). Второе - поддержка касаний (отсекает компьютеры, даже если у них случайно затесался акселерометр). Вместе 2 условия дают почти 100% точность.

Если проверка проходит, то добавляем на страницу класс mobile:

И дальше уже через CSS управляем всем, что должно отличаться. Но самое главное это размер и положение окна с пользователем и инструктором.

На компьютере, как и на телефоне, в горизонтальном режиме, мы используем классическую раскладку: пользователь слева, инструктор справа. Это естественно для широкого экрана - взгляд скользит слева направо, и ты видишь одновременно и себя, и тренера.

На телефоне в вертикальном режиме всё иначе. Экран узкий, и раскладка «слева-направо» не работает. Поэтому пользователь занимает верхнюю половину экрана, а окно с инструктором нижнюю. Так пользователь видит и тренера, и себя одновременно.

И это не просто визуальная прихоть. Если окно с пользователем слишком маленькое - он не видит, правильно ли выполняет движения. Если слишком большое - перекрывает инструктора: теряется смысл «повторяй за мной». Поэтому мы потратили несколько итераций, чтобы найти идеальные пропорции для каждого типа устройства и каждой ориентации.

Сам полноэкранный режим мы, кстати, реализовали и для компа, и для телефона:

Справедливости ради: подсказка про выход из полноэкранного режима появляется и на компьютере, и на телефоне. Просто она разная. На компьютере - «Нажмите Esc для выхода из полноэкранного режима». На телефоне - «Проведите снизу вверх для выхода из полноэкранного режима». В обоих случаях она исчезает через 3 секунды, чтобы не мешать пользователю разминаться.

Трекинг лица: локальная сборка без сюрпризов

Для трекинга лица в разминке мы используем MediaPipe Face Mesh. Это открытая библиотека от Google, распространяемая под лицензией Apache 2.0. Мы взяли её в локальную сборку, поэтому всё работает стабильно и без внешних запросов к CDN. Никаких сюрпризов с недоступными серверами или обновлёнными API. Только предсказуемая логика в твоём браузере.

Инициализируем трекер так:

Обратите внимание на refineLandmarks: false - мы выключили его специально. Нам не нужна микро-детализация губ и глаз, только общий контур головы. Экономия ресурсов браузера это наше всё. И, кстати, именно благодаря локальной сборке мы можем настраивать параметры под свои задачи, не оглядываясь на внешние зависимости.

И ещё один бонус локального подхода: библиотека лежит в нашем проекте, а браузер кеширует её при первом запросе, так что при повторных запусках она не скачивается заново.

И главное, что MediaPipe работает независимо от того, как ты держишь телефон: вертикально или горизонтально. Главное, чтобы лицо было в кадре!

Какой режим выбрать?

В итоге оказалось, что в вертикальном режиме пользователь интуитивно держит телефон на уровне лица и это идеально для детекции. Плюс, интерфейс с Джонни и Джулией выглядит как видеозвонок с личным тренером.

А в горизонтальном режиме телефон можно поставить на подставку или положить на стол и выполнять упражнения, глядя на экран как на маленькое зеркало. Такой формат больше похож на классический фитнес-гаджет.

Так что теперь мы рекомендуем вертикальный режим для атмосферы, а горизонтальный для техничного прохождения с максимальным комфортом.

Музыка - двигатель прогресса (и шеи)

Когда прототип с Джонни и Джулией заработал, мы дали его потестить коллегам. Офис разделился на два лагеря.

Первые, хмуро глядя в монитор, синхронно поворачивали головы и напоминали роботов на конвейере. Вторые незаметно покачивались в такт и слегка пританцовывали, даже когда никто не смотрел. Разница была в одном: у вторых на фоне тихо играла музыка.

Мы решили, что пусть пользователь сам решает, хочет ли он разминаться в тишине или под ритмичный трек. Так появились две кнопки: «Под музыку» и «Без музыки».

И если с «тихим» режимом всё просто, то с музыкой пришлось повозиться. Мы перебрали десяток треков разного темпа, пока не нашли тот самый, который совпадает с комфортной скоростью поворота головы при разминке. Слишком быстро - пользователь не успевает, слишком медленно - скучно. Идеальный темп нашёлся где-то около 140 BPM, как у хорошего транс-хауса.

И вот теперь представь: ты сидишь после пяти часов дебаггинга, запускаешь разминку, выбираешь «Под музыку», и на экране появляется симпатичная Джулия, которая под ритмичный бит начинает поворачивать голову. Ты повторяешь и незаметно для себя перестаёшь думать о багах и просто двигаешься. Это работает как медитация.

Тайна, которую мы не раскроем (но вы всё равно узнаете)

Когда разминка заканчивается и на экране появляется твой результат что-то происходит.

Не будем раскрывать, что именно. Пусть это останется сюрпризом для тех, кто дойдёт до финала. Скажем одно: мы вложили туда частичку нашей души, и, судя по первым тестам, это вызывает чистую, детскую радость даже у самых суровых бэкенд-разработчиков.

Так что когда дойдёте до конца, поделитесь в комментариях, какой бонус увидели и понравилось ли вам.

Заключение

История этой разминки это отличное напоминание о том, что лучшие идеи рождаются не из строгих ТЗ. Мы не планировали делать разминку. Мы планировали делать антифрод. А заодно получили продукт, который одинаково полезен и для безопасности системы, и для шеи разработчика.

А вообще, Джонни и Джулии у нас нравится. Они уже члены нашей команды - с удовольствием ходят на парады и даже поздравляют нас с праздниками.

Почему ручной ввод паспорта – скрытая статья расходов

Паспорт требуется практически для каждой операции РКО: открытие счета, подтверждение личности клиента, обмен валют, оформление услуг. На первый взгляд несколько минут, потраченных сотрудником на перенос данных из паспорта, кажутся незначительными. Но в масштабах банка именно эти минуты становятся одним из главных факторов оттока клиентов и финансовых убытков.

Пока оператор вручную перепечатывает реквизиты документа, банк теряет не только время клиента. Он снижает пропускную способность отделений, увеличивает стоимость каждой операции, повышает нагрузку на персонал и создает дополнительные риски ошибок. Кроме того, от задержек растут очереди и падает лояльность – видя толпу в отделении, новые клиенты с большой вероятностью будут просто разворачиваться и уходить.

Если обобщить все издержки от ручного ввода паспорта в РКО, можно выделить следующие направления:

• Снижается производительность отделений. Пока сотрудник перепечатывает паспортные данные, он не обслуживает следующего клиента. В часы пиковых посещений это приводит к очередям в отделении и оттоку клиентов.
• Растут расходы на персонал. Чем больше документов обрабатывается вручную, тем больше сотрудников требуется банку. Зарплата, налоговые отчисление и техническое обеспечение рабочих мест для новых операторов увеличивают соответствующие статьи расходов банка.
• Увеличивается количество ошибок. Даже опытный оператор может пропустить символ, неверно указать дату или допустить опечатку. Такие ошибки приводят к повторным проверкам, необходимости переоформлять документы, задержкам обслуживания и дополнительной нагрузке на сотрудников. Кроме того, человеческий фактор сказывается и на уровне сервиса – к вечеру рабочего дня риски ошибок из-за усталости оператора значительно возрастают.
• Страдает клиентский опыт. Современному клиенту не важно, по какой причине оформление занимает двадцать минут вместо пяти. Если обслуживание затягивается, вероятность ухода клиентов к организации-конкуренту существенно возрастает.

В результате ручной ввод документов становится не просто неудобством, а фактором, который напрямую влияет на всю экономику банковского бизнеса.

Как автоматизация помогает в обслуживании клиентов и управлении рисками

При расчетно-кассовом обслуживании банк обязан не только совершить операцию, но и корректно подтвердить личность клиента. Требования законодательства – прежде всего 115-ФЗ и 152-ФЗ – делают качество обработки документов критически важным параметром.

В рамках процедур KYC и AML банк обрабатывает данные из паспорта, проверяет их корректность и принимает решение о возможности обслуживания клиента. Любая ошибка при ручном вводе увеличивает риск повторных проверок, задержек или некорректной верификации личности. Если банк пропустил мошенника с поддельными документам, ему придется не только терпеть финансовые потери от оформленных кредитов, но и отвечать перед регулятором.

Не менее важен вопрос обработки персональных данных. Передавая изображения документов на ручную обработку оператором или внешнему подрядчику – за пределы собственной инфраструктуры – финансовая организация расширяет зону ответственности за безопасность данных клиентов. Утечка или неправомерное раскрытие персональных данных, даже если они произошли по вине подрядчика, не снимают ответственности с банка.

По этим причинам для большинства банков принципиально важно, чтобы обработка документов была не только максимально качественной, но и происходила внутри защищенного контура организации. Автоматическое распознавание паспорта для РКО позволяет решить обе задачи одновременно: ускорить подтверждение личности клиента и минимизировать влияние человеческого фактора.

Какие технологии позволяют автоматизировать РКО

Автоматизировать ввод документов для расчетно-кассового обслуживания сегодня позволяют технологии OCR, однако далеко не каждое ПО соответствует требованиям банковской отрасли. Простые технологии OCR с низким качеством распознавания и невозможностью работы в реальных сценариях не решают главной проблемы – убрать ручной труд в части проверки и корректировки неверно распознанных данных.

Если заниматься этим по-прежнему приходится сотрудникам банка – экономического эффекта от такой “автоматизации” РКО не будет. Если эта задача перекладывается на сторонних операторов – как часто происходит при использовании облачных сервисов OCR – банк разрывает свой контур безопасности и вынужден брать на себя риски, связанные с передачей персональных данных своих клиентов третьим лицам. Сегодня штрафы за утечку ПДн достигают 500 млн руб.

Поэтому финансовые организации выбирают промышленные платформы для высокоточного распознавания, работающие по модели on-premise. Такой подход позволяет автоматизировать обработку документов внутри собственной инфраструктуры, обеспечивая одновременно высокую скорость, качество распознавания и соответствие требованиям информационной безопасности.

Именно по такому принципу построена система распознавания Smart Engines, которая позволяет автоматически извлекать данные из документов как в отделениях, так и во всех цифровых каналах обслуживания.

Как устроена технология распознавания документов от Smart Engines

Промышленная платформа Smart Engines убирает ручной ввод данных из документов на всех ключевых этапах РКО – от первого визита клиента в отделение банка до последующих взаимодействий в физических и цифровых каналах.

При обслуживании в офисе сотруднику достаточно отсканировать паспорт или навести на документ камеру рабочего устройства. Система Smart Engines менее чем за секунду автоматически извлекает реквизиты документа и заполняет необходимые поля без ручной перепечатки. Алгоритмы искусственного интеллекта обеспечивают высокую точность даже при бликах, тенях, расфокусе и съемке под углом. Платформа распознает не только печатные данные, но и рукописные поля, включая штампы о регистрации.

Система Smart Engines поддерживает распознавание паспортов РФ, документов граждан стран СНГ, водительских удостоверений и других документов, удостоверяющих личность. Поддержка 103 языков позволяет банкам одинаково эффективно обслуживать иностранных клиентов, предъявляющих национальные паспорта и другие удостоверения личности.

При этом задача банка не ограничивается извлечением данных. Не менее важно убедиться в подлинности документа. Для этого в платформу Smart Engines интегрирована антифрод-система «Шерлок», которая анализирует более 600 признаков подделки. Она сверяет данные визуальной и машиночитаемой зон документа, сравнивает их с информацией на NFC-чипе (если он есть в документе), выявляет признаки переклейки фотографии, цифровой обработки изображения и дипфейки. В результате банк за одно действие одновременно получает корректные реквизиты документа и проводит KYC.

On-premise и распознавание в браузере, Telegram и MAX

Особое значение для финансовых организаций в 2026 году имеет возможность использовать единую технологию во всех каналах обслуживания. Решение Smart Engines подходит для распознавания документов не только в отделениях, но и в цифровых сервисах банков.

Благодаря технологии WebAssembly распознавание документов выполняется непосредственно в браузере без установки мобильного приложения. Решение легко интегрируется в интернет-банк, сайты, а также мини-приложения Telegram и MAX, позволяя банку выстроить единый сценарий обслуживания независимо от точки взаимодействия с клиентом.

Еще одно принципиальное преимущество платформы – архитектура on-premise. Все документы обрабатываются внутри защищенного контура банка и не передаются на внешние серверы. Это позволяет не только соблюдать требования информационной безопасности и законодательства о персональных данных, но и исключить зависимость от внешней инфраструктуры. Производительность системы достигает 125 разворотов паспорта в секунду на одном сервере без использования GPU, а качество распознавания достигает 99,9%.

Практика внедрения: как банки получают измеримый эффект в РКО

Преимущества промышленного распознавания хорошо видны на реальных проектах.

Например, Банк «Санкт-Петербург» благодаря системе Smart Engines выстроил единый стандарт обслуживания для всей сети офисов. До внедрения Smart Engines время оформления документов во многом зависело от загруженности конкретного офиса и опыта сотрудника. Сегодня технология автоматического распознавания используется во всех отделениях банка для быстро открытия счета и других операций. Достаточно навести камеру на основной разворот паспорта и страницу с регистрацией перед камерой – ИИ автоматически извлекает необходимые данные менее чем за секунду.

Главный результат проекта – не просто ускорение отдельных операций. Банк получил единый высокий стандарт клиентского сервиса сразу во всей сети. Скорость оформления перестала зависеть от операциониста, выросла пропускная способность отделений, а качество клиентского сервиса стало одинаково высоким даже в часы максимальной нагрузки.

Другой кейс – внедрение в РНКО «Металлург» – показывает, что автоматизация обработки документов дает ощутимый экономический эффект. Рост клиентского потока привел к тому, что сотрудники физически перестали успевать вручную обрабатывать паспорта клиентов. После внедрения системы Smart Engines объем ручного ввода сократился как минимум в четыре раза, а среднее время обслуживания клиента – от входа в отделение до завершения операции – стабильно составляет около восьми минут.

Важным показателем стала не только скорость распознавания, но и финансовый результат. По оценке руководства РНКО «Металлург», экономический эффект от внедрения оказался настолько высоким, что банк заработал на использовании технологии распознавания паспорта в тысячи раз больше, чем потратил на ее внедрение.

Итоги: зачем внедрять ИИ для распознавания документов в РКО

Сегодня ручной ввод документов становится одним из последних факторов, ограничивающих скорость РКО. Он увеличивает стоимость операций, снижает пропускную способность отделений, создает дополнительную нагрузку на сотрудников и повышает риск ошибок. По этим причинами банки активно переводят обработку документов на ИИ. Кто делает это раньше, тот быстрее открывает счета и удерживает клиентов.

Решения Smart Engines автоматизируют обработку документов во всех каналах обслуживания, объединяя высокоточное распознавание, проверку подлинности и безопасную обработку данных внутри контура банка. В результате финансовые организации не просто ускоряют открытие счетов и оформление услуг, а получают масштабируемую инфраструктуру, которая снижает операционные расходы, повышает качество клиентского сервиса и обеспечивает единый стандарт обслуживания независимо от канала взаимодействия с клиентом.

По совокупности всех этих факторов внедрение промышленных технологий распознавания документов в 2026 году рассматривается уже не как ИТ-инициатива, а как инвестиция в повышение производительности и снижение расходов.

Реклама. Рекламодатель: ООО «Смарт Энджинс Сервис» ИНН 7728328449, erid: 2W5zFJLbM1K

При своём размере Reka Edge в ряде бенчмарков приближается к Gemini 3 Pro, а в видеопонимании и tool-use обходит все open-weight модели сопоставимого размера — Qwen 3.5 9B и Cosmos Reason2 8B.

Главное: Reka Edge — vision-language модель на 7B параметров: 6,4B языковая база + 660M ConvNeXt V2 vision-энкодер. Тратит всего 331 токен на изображение 1024×1024 (Qwen 3.5 9B — 1041). На RTX 3090 выдаёт 500+ токенов/с. Бесплатна для коммерческого использования при выручке до $1 млн/год.

Что под капотом

Архитектура Reka Edge состоит из двух компонентов:

• ConvNeXt V2 vision-энкодер (657M параметров) — свёрточная сеть для обработки изображений и потокового видео
• Transformer backbone (6,4B параметров) — обучен с нуля для рассуждений и генерации текста

Ключевая особенность — жёсткая экономия контекста. Модель генерирует всего 64 токена на один тайл изображения. Это значит, что на картинку 1024×1024 уходит 331 токен — втрое меньше, чем у конкурентов:

• Reka Edge — 331 токен
• Cosmos Reason2 8B — 1 063 токена
• Qwen 3.5 9B — 1 041 токен
• Gemini 3 Pro — 1 094 токена

Меньше токенов = быстрее инференс и ниже стоимость. Reka Edge обрабатывает 5,46 изображений в секунду — это в 2 раза быстрее, чем Qwen 3.5 9B и Cosmos Reason2 8B. Time to First Token — всего 0,52 секунды.

Бенчмарки: 7B против флагманов

Основные результаты:

• MLVU (видеопонимание): 74,3 — значительно опережает Qwen 3.5 9B (52,4) и Cosmos Reason2 8B (37,9). Для сравнения, у Gemini 3 Pro — 80,7
• VQA-v2: 88,4 — почти на уровне Gemini 3 Pro (89,8)
• RefCOCO (детекция объектов): 93,1 / 86,7 — на уровне Qwen 3.5 9B (93,6 / 88,8)
• Mobile Actions (tool-use): 88,4 — сопоставимо с Gemini 3 Pro (89,4)
• VideoHallucer (галлюцинации): 59,6 — лучший среди open-weight моделей своего размера

Где запускать

Модель запускается на удивительно скромном железе:

• Mac на Apple Silicon — от 24 ГБ памяти (рекомендуется 32 ГБ+)
• NVIDIA GPU — от RTX 3090 (24 ГБ VRAM), префил ~500 токенов/с
• NVIDIA Jetson — AGX Orin и Thor для edge-деплоя
• С 4-bit квантизацией — потребление памяти падает с 13 ГБ до 5 ГБ при сохранении 98% качества

Для серверного деплоя есть плагин для vLLM. Установка — три команды:

Лицензия и доступ

Reka Edge выпущена с открытыми весами. Модель можно использовать в коммерческих проектах бесплатно, если годовая выручка не превышает $1 млн. Для крупных компаний — корпоративная лицензия.

• Веса на Hugging Face
• Инструкция по деплою через vLLM
• Демо в Reka Playground

FAQ

Что умеет Reka Edge?

Распознавание изображений (VQA), анализ видео, детекция и локализация объектов по текстовому описанию, а также tool-use для автономных агентов. Модель принимает изображения, видео и текст на вход, генерирует текст на выходе.

Можно ли запустить на ноутбуке?

Да, если это Mac с Apple Silicon и минимум 24 ГБ RAM. На Windows/Linux нужна видеокарта с 24 ГБ VRAM. С 4-bit квантизацией модель занимает всего 5 ГБ — что открывает запуск на ещё более скромных конфигурациях, включая смартфоны.

Чем Reka Edge лучше Qwen 3.5 9B?

Reka Edge значительно быстрее (в 2 раза по throughput), экономнее по токенам (331 vs 1041 на изображение) и существенно превосходит Qwen в видеопонимании (MLVU 74,3 vs 52,4). При этом модель меньше — 7B против 9B параметров.

Источники: Reka AI Blog, Hugging Face, GitHub

Что спасает нас сегодня от мошенников с поддельными документами? В этой статье мы разобрались, как работают промышленные системы проверки подлинности и как правильно выбирать технологию антифрода.

Как изменились подделки

Раньше мошенники делали физическую подделку — кривые шрифты, неправильное ламинирование оператор в банке почти всегда замечал. Сейчас схема другая: мошенники создают цифровые подделки на базе утекших данных из реальных паспортов и предъявляют их как в онлайн-каналах обслуживания, так и в физических.

Мошенники активно применяют генеративный ИИ. Распространение популярных ИИ-сервисов для генерации изображений сделало фальсификацию документов намного доступнее для мошенников. Без специализированных инструментов сгенерированный паспорт почти нельзя отличить от настоящего. Это позволяет злоумышленникам проходить проверки и получать услуги от лица жертв.

Часть мошенников теперь не тратит время на качество. Они генерируют тысячи подделок и заваливают ими системы банков. Если система недостаточно качественная и пропускает хотя бы 0,1% из них — при тысячах попыток это уже несколько успешных атак. Дальше — кредиты, обнал, SIM-swap для мошенников, для банков — многомиллионные убытки и минус репутация.

Почему разработчикам стало сложнее

1. Всё ушло в онлайн. К концу 2025 года 88,5% финансовых услуг в России оформлялись в цифровом виде. Это означает, что чаще всего клиент предъявляет не физический документ, а его изображение. Система антифрода должна уметь надежно проверять паспорт по одной фотографии, сделанной на телефон.
2. Фото приходят плохие. В отделении паспорт клали на сканер, а при удалённом обслуживании пользователь снимает телефоном: блик от лампы, тень, наклон, смазанность. Если система не справляется с распознаванием и выдает ошибку — пользователь уходит к конкуренту, а бизнес теряет клиента.
3. Добавьте сюда рост трудовой миграции. Рабочие приезжают не только из СНГ, но и из Индии, Китая, Бангладеш и стран Африки. У иностранных паспортов часто другая структура полей и может отсутствовать MRZ. Современная система должна поддерживать более 100 языков и понимать логику документов любого государства.

Какие тренды антифрода в 2026

Тренд 1 — точное сканирование при любых условиях

Мошенники специально загружают снимки низкого качества — чтобы замаскировать следы правки, поэтому система должна правильно обрабатывать документ при любом ракурсе. Антифрод должен проверять документ по 600+ параметрам: искать вставки полей из других документов, склейки фрагментов, проверять голограммы, выявлять следы графических редакторов, признаки дипфейков.

Тренд 2 — работать с разными типами входных данных

Мультимодальные модели, которые одновременно анализируют несколько источников информации, сейчас считаются одним из самых прогрессивных классов нейросетевых моделей, а их рынок в 2025 году оценивали примерно в 2,35 млрд долларов. В прошлом году российские учёные совершили прорыв в мультимодальной форензике. Они представили систему, обученную параллельно работать с изображениями документов в оптическом, ультрафиолетовом и инфракрасном диапазонах, с видеопотоком, текстовыми полями, штрих‑кодами, метаданными, подписями и данными с бесконтактной RFID‑метки, которая есть в загранпаспортах нового образца.

Тренд 3 — защищать от спуфинг-атак

В удалённых каналах антифрод-системы должны защищать от спуфинг-атак — попыток пройти проверку от лица жертвы. Для этого применяются технологии сверки лиц – на селфи пользователя и на фото в документе. Некоторые решения обходятся без сбора и сохранения биометрических дескрипторов и внешних баз — данные клиента остаются защищёнными.

Чеклист для разработчика в 2026 году

Вы интегрируете антифрод в код или настраиваете пайплайн верификации? Смотрите на обработку персональных данных — фото и сканов паспортов. OCR уже запускается локально на устройстве пользователя или вашем сервере. Вам не нужны вендоры, которые тянут трафик в свои облака, внешние серверы или краудсорсинг — будут дыры в безопасности данных.

Проверяйте совместимость с отечественным стеком ОС. Если проект идёт под госкомпании или критическую инфраструктуру, вам понадобятся Astra Linux, ALT Linux, РЕД ОС, Эльбрус или ОС Аврора. Требуйте сертификаты совместимости и результаты реальных тестов.

Соберите все критерии — точность распознавания в любых условиях, 600+ проверок, мультимодальность, локальную обработку, совместимость со стеком — и ваш бизнес выдержит реальность 2026 года, а мошенники останутся не у дел.

Городские администрации вынуждены верить операторам кикшеринга на слово — данные о нарушениях контролирует только бизнес, и проверить их невозможно.

NetVision за 3-4 месяца создал платформу интеллектуального мониторинга, которая через компьютерное зрение фиксирует реальные нарушения: езду вдвоем, проезд переходов без спешивания, парковку в неположенных местах.

Команда из 7 человек собрала уникальный датасет, достигла точности распознавания 95% и дала городу инструмент для регулирования микромобильности на основе фактов.

Задача: дать городу объективный контроль над самокатами

Бизнес-задача — решить проблему «слепой зоны» в управлении городом, где операторы кикшеринга обладают монополией на данные о поездках. Городская администрация не имеет инструментов объективного контроля и вынуждена либо запрещать самокаты полностью, либо мириться с хаосом и нарушениями. Конфликт между городом и бизнесом строится на эмоциях, а не на фактах.

Техническая задача — создать систему мониторинга, которая через компьютерное зрение анализирует видеопоток с городских камер и фиксирует реальные нарушения правил использования средств индивидуальной мобильности. Система не должна полагаться на GPS-трекинг или датчики операторов, которые можно подкрутить. Только независимая детекция через видео. Результат — не просто штрафы, а аналитические дашборды для принятия управленческих решений в реальном времени.

Параметры проекта

Срок разработки: 3-4 месяца от идеи до работающего MVP с дашбордом в контуре потенциального клиента.

Команда: 7 человек (R&D-лид, ML-инженеры, стажёры, Backend-разработчики, Frontend-разработчик).

Точность детекции: 95% и выше на распознавании паттернов поведения.

Подход: гибридная разработка с разделением R&D для проверки гипотез с математиками и продакшн-доработки платформы Netvision.

Результат: собран огромный уникальный датасет городских инцидентов с СИМ.

Архитектура: компьютерное зрение вместо GPS

Платформа Netvision Micromobility Control построена на микросервисной архитектуре для гибкости и быстрого масштабирования:

→ Видеопоток с городских камер

→ Нейросетевые сервисы компьютерного зрения (кастомные модели + собственная топология)

→ Детекция паттернов нарушений (езда вдвоем, проезд перехода, парковка)

→ Backend на Rust, C#, Python для обработки данных

→ Аналитические модули на C++ для высокопроизводительных вычислений

→ Frontend с интерактивными дашбордами и геоаналитикой (карты, тепловые зоны)

Ключевое отличие — система не использует GPS и датчики операторов, которые можно манипулировать. Только независимый анализ видео через компьютерное зрение. Модели обучены на уникальном датасете реальных городских инцидентов, собранном командой.

Пять технических прорывов проекта

1. Детекция сложных паттернов в плотном потоке

Научить нейросеть распознавать «два человека на одном самокате» или «движение по переходу без спешивания» в плотном потоке людей — нетривиальная задача. Стандартные модели детекции объектов не справляются с перекрытиями, быстрыми движениями и специфическими углами камер.

Команда разработала кастомные модели компьютерного зрения, часть из которых имеют нестандартные реализации, а часть — полностью собственную топологию под конкретные городские сценарии.

2. Сбор датасета в условиях закрытого контура

В защищенном контуре городской безопасности практически невозможно получить данные с дорожных камер, перекрестков и других источников видео. На первом этапе команда собирала данные в открытых источниках. Когда их стало не хватать, использовали обзорные камеры с общим доступом через интернет. Для первичной обработки применяли тяжелые vision-модели, которые составляли сырой датасет для последующей разметки под узкоспециализированные модели.

Когда данных с реальными нарушителями не хватало, команда оборудовала полигон большим количеством камер и, поднимая командный дух, устроила заезд на самокатах по безопасному участку. Так собрали edge cases и редкие паттерны поведения, которые критичны для высокой точности модели.

3. Computer Vision вместо трекинга операторов

Принципиальное решение — не полагаться на GPS-трекинг или данные с IoT-датчиков самокатов, которые контролируют операторы. Такие данные можно подкрутить или не передавать. Система анализирует только видеопоток — независимый источник правды. Это делает мониторинг объективным и дает городу реальный инструмент контроля, не зависящий от воли бизнеса.

4. Data-Driven регулирование через аналитику

Система превращает видео не просто в штрафы, а в аналитические дашборды для принятия управленческих решений. Администрация видит тепловые карты трафика самокатов, зоны концентрации нарушений, динамику по времени суток и дням недели. На основе этих данных можно аргументированно вводить «медленные зоны», выделять парковки, регулировать правила — не вслепую, а evidence-based.

5. Гибридный подход к разработке

Команда применила гибридный подход, разделив R&D для проверки гипотез с математиками и продакшн-доработку платформы для умных городов Netvision. Это ускорило Time-to-Market: пока математики тестировали новые модели на экспериментальных данных, продакшн-команда интегрировала проверенные решения в платформу. Параллельная работа двух треков позволила выйти на MVP за 3-4 месяца вместо полугода.

Главная трудность: доступы и сбор данных

🔴 Проблема: Закрытый контур городской безопасности

Получить доступ к данным с дорожных камер, перекрестков и других источников видео в защищенном контуре городской безопасности практически невозможно. Без реальных данных обучить модель на городских сценариях нельзя. Открытые датасеты не покрывают специфику российских городов, плотность трафика, углы установки камер.

✅ Решение: Многоступенчатый сбор от открытых источников до собственного полигона

• Первый этап — сбор данных из открытых источников и обзорных камер с доступом через интернет.
• Второй этап — использование тяжелых vision-моделей для первичной обработки и составления сырого датасета, который затем размечался под узкоспециализированные модели.
• Третий этап — команда оборудовала полигон большим количеством камер и устроила заезд на самокатах, фиксируя различные паттерны поведения и нарушения. Это дало редкие edge cases и повысило точность модели до 95%. Такой подход превратил ограничение в преимущество — датасет получился уникальным и идеально заточенным под российские городские условия.

Результаты: от споров к фактам

Точность определения паттернов поведения на уровне 95% и выше позволяет использовать систему для реального контроля, а не только экспериментов. Собран огромный уникальный датасет реальных городских инцидентов с участием средств индивидуальной мобильности.

Выявлено значительное преобладание проезда переходов на самокате без спешивания — конкретные цифры дали администрации аргументы для регулирования правил. Инициирован многосторонний диалог между городом и операторами кикшеринга на основе объективных данных, а не эмоций.

Продукт меняет парадигму взаимодействия «Город — Кикшеринг». Вместо эмоциональных споров и взаимных обвинений появляются факты. Администрация получает аргументы для введения «медленных зон» или выделения парковок, основанные на реальной статистике нарушений и трафика. Для рынка это шаг к цивилизованной микромобильности: безопасность повышается без тотальных запретов отрасли, которые убивают бизнес и лишают горожан удобного транспорта.

Это «Умный Город» с человеческим лицом — технологии берегут жизни и здоровье пешеходов и самокатчиков, сохраняя при этом удобство передвижения по городу. Баланс между безопасностью и свободой передвижения достигается через данные, а не через запреты.

Планы развития

NetVision развивает платформу по трем направлениям: интеграция в умные камеры для вычислений непосредственно на борту через edge computing, что снизит нагрузку на серверы и ускорит реакцию системы; расширение набора распознаваемых паттернов поведения — детекция парковки в неположенных местах, движения против потока, использования самокатов детьми без сопровождения; возможная интеграция с внешними системами, включая операторов кикшеринга, для автоматического информирования о нарушениях и создания единой экосистемы управления микромобильностью.

Реклама. ООО «Нетвижн», ИНН 7716951948, erid: 2W5zFGaC713

Продакшен начинается в тот момент, когда к этой модели подключают реальные камеры, реальное железо, реальную сеть и реальных людей. Там внезапно выясняется, что:

• данные живут своей жизнью
• модель не такая уж «устойчивая»
• пайплайн никто толком не спроектировал
• обновлять все это больно и страшно

Ниже разберем, что обычно ломается по дороге от демки до боевого контура, и что лучше заложить сразу.

1. Прототип обманывает

В прототипе все под контролем:

• вы сами выбрали фотки
• вы сами обрезали кадр
• вы сами решили, в каком формате будет вход

В проде:

• камера дает муть, шум и грязь
• половину времени у девайса кривая экспозиция
• иногда кадр вообще не доезжает

Поэтому первая честная мысль: прототип почти всегда переоценивает качество данных.

Если вы тестировали только на статичных картинках, добавьте себе в задачу: «прогнать модель на реальном видеопотоке хотя бы пару часов» и тупо посмотреть глазами, что приходит. Это сильно остудит оптимизм.

2. Видео против картинок: разные миры

Классическая ошибка: модель обучалась на картинках, а в проде работает с видеопотоком.

С картинками все просто, у вас есть независимые сэмплы. В видео:

• кадры коррелируют
• объекты двигаются
• объекты пропадают и появляются
• часть кадров размазана или с артефактами

Отсюда вылезают вопросы:

• как часто вообще дергать модель
• обрабатывать каждый кадр или через N
• как трекать объекты между кадрами
• что считать «исчезновением» объекта, а что временной потерей

Если этого не прописать в архитектуре, вы получите дергающиеся боксы, прыгающие ID объектов и логику, которая ведет себя рандомно в зависимости от FPS и нагрузки.

3. Пайплайн, а не «одна модель»

В продакшене у вас никогда не «одна модель». У вас цепочка, которая примерно выглядит так:

1. Ингест: вытащить кадр из камеры, очереди, файла, потока
2. Предобработка: ресайз, кроп, нормализация, поправить ориентацию, вытянуть яркость
3. Инференс: прогон через модель (или несколько моделей)
4. Постобработка: NMS, фильтры по классам и порогам, подправить координаты
5. Аггрегация по времени: трекинг, сглаживание, логика «объект появился/исчез»
6. Выгрузка: записать события в базу, отправить дальше, дернуть вебхук, обновить UI

И вот в каждом шаге:

• может быть баг
• может быть деградация качества
• может быть узкое место по скорости

Если в голове по-прежнему живет картинка «я просто вызову model.predict()», то прод упадет в тот момент, когда вам нужно будет, например, поменять формат входа или добавить вторую модель в цепочку.

4. Форматы и протоколы: боль тихая, но убийственная

Еще один классический грабель: форматы данных.

То, что в ноутбуке было «просто numpy array», в проде превращается в:

• RTSP, RTMP, HLS
• JPEG с разными профилями
• видео с разным FPS и битрейтом
• разные цветовые пространства
• разные разрешения и соотношения сторон

А дальше начинается веселое:

• где-то перепутали порядок каналов
• где-то поменяли RGB на BGR
• где-то ресайзнули с искажением пропорций
• где-то забыли нормализовать вход

На демке это почти не видно. В проде это может дать стабильный минус к метрикам, и команда месяц будет думать, что «модель устарела».

Минимум, который стоит сделать:

• явно задокументировать формат кадра на каждом шаге
• держать маленький скрипт, который берет кадр «с продакшена» и прогоняет его через пайплайн локально, чтобы снять подозрения
• иметь тесты, которые проверяют, что формат не поехал после очередного «рефакторинга»

5. Время и синхронизация

Еще одна вещь, про которую обычно вспоминают в последнюю очередь: время.

Если у вас:

• несколько камер
• несколько источников данных
• асинхронные очереди

то рано или поздно выяснится:

• у камеры неправильное время
• у сервера своя временная зона
• сеть добавляет задержку
• сообщения приходят не по порядку

В результате:

• объект в одном потоке «появился» позже, чем в другом, хотя в реальности было наоборот
• события сложно связать
• агрегация по времени превращается в кошмар

Поэтому лучше сразу решить, как у вас будет устроен time:

• откуда берете «истину»
• как нормализуете timestamps
• что делаете с событиями, которые слишком отстают или опережают

Без нормальной временной модели CV система в проде превращается в шизофреника.

6. Версионирование моделей и данных

В прототипе живет одна единственная best_model.pth. В реальном проекте:

• есть старая версия модели, которая «точно работает»
• есть новая, которую все хотят выкатить
• есть эксперименты, которые кто-то успел где-то обучить
• есть разные конфиги порогов и постобработки

Если это не систематизировать, вас ждет:

• «а какой моделью сейчас вообще все крутится»
• «а этот баг был и в прошлой версии или новый»
• «а мы точно не переехали на кривый чекпоинт»

Что нужно минимум:

• хранить модели с понятными версиями
• хранить вместе с моделью: конфиг, пороги, схему постобработки
• иметь хотя бы примитивный model registry, неважно, на чем
• писать в логи, какая версия модели обработала конкретный запрос или кадр

Идеально, когда можно взять конкретный кейс из продакшена, поднять его локально и прогнать через нужную версию модели и пайплайна.

7. Качество: как понять, что все пошло не так

В офлайне вы смотрите на mAP, F1, ROC, красивые таблички. В проде метрики живут другой жизнью.

Что реально надо мониторить:

• распределение confidence по классам
• количество срабатываний по источникам и по времени суток
• долю «пустых» кадров
• кол-во ошибок пайплайна по шагам
• latency на каждый этап

И главное: вам нужно хотя бы какое-то количество вручную размеченных продакшен-примеров, чтобы периодически пересчитывать качество на реальных данных.

Без этого проект живет в режиме «пока никто не жалуется, значит, все ок». Это не стратегия.

8. Перформанс и железо

Еще одна история: модель, которая работает за 40 мс на вашей 3090, внезапно превращается в тыкву на реальном железе.

Там может быть:

• слабый GPU
• CPU-only
• ограниченная память
• ограниченный сетевой канал

При этом вам нужно:

• держать стабильный FPS
• не вываливаться по latency
• не убивать соседние сервисы

Тут начинаются компромиссы: квантование, обрезание входа, уменьшение частоты инференса, батчинг, перенос части логики на edge.

Если вы не считали перформансную бюджетку заранее, то неприятно окажется, что «эта крутая модель невозможна на том железе, которое уже купили».

9. Обновления без инфаркта

Прототип никто не обновляет, его просто перезапускают. Продакшен обновлять придется часто:

• поменялась модель
• поменялась постобработка
• поправили баг в трекинге
• добавили новый класс

Если у вас нет стратегии обновления, то каждый релиз превращается в лотерею:

• отвалится ли половина инстансов
• совпадут ли версии клиента и сервера
• не разъедутся ли схемы событий

Нужен минимальный набор:

• staged rollout (канареечные деплои или хотя бы один тестовый источник)
• возможность отката на предыдущую версию без танцев
• проверка схем и форматов до выката
• простой чеклист «что проверяем после деплоя»

10. Что из этого всего важно прямо сейчас

Если коротко, чтобы CV система дожила до продакшена и не умерла через неделю, ей нужны не только веса модели. Ей нужны:

• честное понимание качества реальных данных
• четко описанный пайплайн от кадра до события
• контроль форматов и времени
• версионирование моделей и конфигов
• мониторинг качества и перформанса
• стратегия обновлений

Если об этом думать с самого начала, код в ноутбуке перестает быть разовой демкой и получает шанс стать нормальным продуктом.

Если нет, вы получите очередной «красивый кейс для презентации», который так никогда и не выйдет за пределы пилота.

Я изучила десятки обучающих программ и подобрала платформы для удаленного обучения. В этой подборке вы найдете ТОП-10 курсов, далее — 6 обучающих программ, которые могут пригодиться как вспомогательные, и, наконец, 6 бесплатных вариантов.

ТОП-10 курсов по робототехнике

Данные курсы робототехники подойдут для тех, кто желает освоить профессию с нуля, а также опытных специалистов, которые стремятся улучшить свои компетенции. В этом списке я собрала обучающие программы для взрослых людей, которые хотят углубиться в C++, Linux или математику, а также преподавать программирование и роботостроение. Отдельно я выделила платформы для детей – ведь начинать никогда не рано.

Для взрослых:

1. C++ для робототехников от платформы Skillbox — это обучение профессиональному программированию на C++.

2. Педагог дополнительного образования (робототехника) от НАДПО — для будущих преподавателей робототехнического направления.

3. Linux для робототехников от платформы Skillbox — для освоения системного ПО.

4. Технология использования робототехники в дошкольном образовании от центра дистанционного образования НИИДПО — подойдет педагогическим работникам, которые планируют применять создание роботов в качестве инструмента для детского развития.

5. Робототехника как инструмент формирования SOFT SKILLS компетенций от Знанио — разработан для наставников и преподавателей, которые хотят развивать у учащихся компетенции Soft Skills с помощью роботостроения.

6. Математика для робототехников от платформы Skillbox — обучающая программа для тех, кто хочет изучить математические основы роботостроения и с помощью них освоить навык решения инженерных задач.

Для детей:

7. Робототехника для школьников на базе Lego WeDo 2.0 — это старт в обучении робототехнике для учеников младших классов от Школы программирования Pixel. Эта программа позволяет в игровой форме научиться конструированию и блочному программированию на популярной платформе Lego.

8. Робототехника и программирование для детей от Educationrobots — здесь создают собственных роботов, постигают основы программирования, физики и математики в игровой и непринужденной форме.

9. Робототехника для дошкольников на базе Lego от Школы программирования Pixel — программа разработана специально для детей младшего возраста, которые любят конструировать.

10. Робототехника для школьников на платформе Arduino от Знанио — позволяет перейти к серьезным проектам на Arduino.

Курсы по робототехнике для взрослых

1. C++ для робототехников | Skillbox

Разработан для тех, кто желает научиться профессионально программировать роботов. За три месяца вы освоите язык C++, научитесь работать с популярными фреймворками Arduino и Qt, а также сможете создавать софт для управления роботами. Автор программы — опытный инженер-разработчик, который поможет разобраться даже в самых сложных темах. В конце обучения вы разработаете собственную программу управления роботом на Qt5.

• Стоимость: 74 893 руб. или 41 191 руб. со скидкой (при использовании промокода), возможна рассрочка 6865 руб./мес.
• Длительность: 3 месяца
• Формат обучения: Практические занятия и лекции в формате онлайн
• Сертификат: Сертификат Skillbox

Кому подойдет:

Начинающим программистам и инженерам, у которых уже есть базовые знания алгоритмов и математики на школьном уровне. Он станет ступенью для тех, кто стремится получить прикладные навыки для работы в сфере роботостроения.

Преимущества:

• не требует покупки оборудования — все практические задания выполняются в симуляторе, поэтому не придется тратиться на робота;
• можно возвращаться к материалам и обновлениям даже после завершения учебы;
• полностью ориентирован на практику — при обучении программированию на C++ роботостроение используется как основной контекст для всех задач.

Недостатки:

• курс робототехники для взрослых не подходит для абсолютных новичков, для старта необходимо знать основы программирования и математики.

Программа обучения:

• базовое изучение и программирование на языке C++;
• работа с библиотеками и фреймворками;
• создание графического интерфейса; управление роботами;
• создание собственного приложения.

Используйте промокод kursfinder, чтобы получить скидку 60% на профессии и 50% на курсы.

2. Педагог дополнительного образования (робототехника) | НАДПО

Онлайн-курс профпереподготовки предназначен для педагогов, желающих получить официальную квалификацию в сфере роботостроения. Программа поможет освоить принципы и методики преподавания роботостроения, научиться составлять учебные планы и организовывать проектную деятельность для учеников. Преподают эксперты-практики НАДПО.

• Стоимость: 45 000 руб. — со скидкой 34 600 (возможна рассрочка от 2 883 руб./мес.), 31 140 руб. — если оплатить на сайте (действует дополнительная скидка 10%).
• Длительность: 4 мес. (540 ч)
• Формат обучения: Дистанционный
• Сертификат: Диплом о профпереподготовке

Кому подойдет:

Образовательный модуль рассчитан на педагогов, желающих освоить новую востребованную профессию. Программа соответствует государственным стандартам и дает право вести педагогическую деятельность.

Преимущества:

• по окончании выдается диплом, который дает право на ведение педагогической деятельности;
• обучение проходит в дистанционной форме, что дает возможность совмещать его с основной деятельностью;
• образовательный модуль учит не только техническим навыкам, но и тому, как эффективно передавать их ученикам;
• НАДПО помогает выпускникам в трудоустройстве, наставник оказывает поддержку на начальном этапе частной практики.

Недостатки:

• длительность — обучение занимает 4 месяца, что может не подойти тем, кто ищет экспресс-программу обучения по робототехнике;
• модуль ориентирован на педагогику и не дает углубленных технических знаний для инженеров-разработчиков.

Программа обучения:

• нормативно-правовые основы в образовании;
• основы робототехники и программирования;
• методика преподавания;
• разработка учебных планов;
• организация проектной деятельности.

3. Linux для робототехников | Skillbox

Используйте промокод kursfinder, чтобы получить скидку 60% на профессии и 50% на курсы.

Этот курс разработан для тех, кто стремится освоить операционную систему Linux – одну из основных платформ для разработки роботов. Вы освоите навык работы с командной строкой, фреймворками ROS и ROS2, а также с такими инструментами, как Git и Docker. Ведет Роман Федоренко, который основал компанию «Зилант роботикс». Он поможет изучить базовые основы для старта в карьере.

• Стоимость: действует рассрочка на 6 мес. — 9760 руб. в мес. / со скидкой 45% — 5 368 руб. / мес.
• Длительность: 3 месяца
• Формат обучения: лекции в онлайн-режиме, практика
• Сертификат: Сертификат Skillbox

Кому подойдет:

Лекции и практические уроки рассчитаны на начинающих инженеров-разработчиков, которые стремятся освоить одну из самых популярных операционных систем в роботостроении и научиться работать с фреймворками ROS, ROS2.

Преимущества:

• программа фокусируется на прикладных знаниях, необходимых именно для работы в сфере создания роботов;
• обучает эксперт-практик с большим опытом в индустрии;
• работа с современными инструментами — в программе есть Git, Docker и Bash-скрипты, что делает этот образовательный модуль актуальным.

Недостатки:

• не дает комплексных знаний в обучении роботостроению, а фокусируется только на Linux;
• не подходит для новичков — для прохождения требуются базовые знания.

Программа обучения:

• введение в работу с ОС Linux;
• методы создания изолированных сред для запуска приложений;
• базовая работа с ROS;
• собственный проект создания робота.

4. Технология использования робототехники в дошкольном образовании | НИИДПО

Данный курс фокусируется на игровых методиках и простых конструкторах, которые помогут детям в освоении базовых навыков, развитии логики, мелкой моторики и пространственного мышления. Программа научит создавать уроки, которые помогут подготовить детей к школе. Преподают практикующие эксперты-практики — кандидаты наук.

• Стоимость: 7900 руб. / со скидкой — 5200 руб. (возможна рассрочка 1300 руб. каждые 2 недели)
• Длительность: 1,5 месяца (108 часов), возможен экспресс-курс — 1 мес.
• Формат обучения: Дистанционный
• Сертификат: Сертификат компетенций, удостоверение о повышении квалификации

Кому подойдет:

Образовательный модуль разработан для воспитателей и учителей младших классов, планирующих внедрение основ роботостроения в развивающие занятия с детьми 3-7 лет.

Преимущества:

• доступ к лекциям — после окончания обучения материалы лекций остаются доступными;
• гибкий график — обучение проходит дистанционно, что позволяет совмещать его с работой.

Недостатки:

• не дает технических знаний — ориентирован на педагогику и не учит созданию сложных роботов.

Программа обучения:

• виды конструкторов нового поколения для малышей;
• особенности развития дошкольников;
• игровые методики обучения конструированию;
• практические задания с Lego WeDo.

5. Робототехника как инструмент формирования SOFT SKILLS компетенций | Знанио

Экспресс-курс, направленный на повышение квалификации педагогов. Программа поможет научиться формировать у детей Soft Skills: критическое мышление, навыки командной работы, творческий подход.

• Стоимость: 3990 руб. / со скидкой — 1990 руб.
• Длительность: 72 часа
• Формат обучения: Дистанционный (заочный — самостоятельное изучение материалов)
• Сертификат: Удостоверение о повышении квалификации

Кому подойдет:

Онлайн-курс по робототехнике предназначен для педагогических работников и методистов, которые хотят использовать роботостроение в качестве инструмента для развития Soft Skills у своих учеников.

Преимущества:

• обучиться можно всего за 10 дней;
• вы можете вернуть деньги, если программа не подойдет, до ее завершения;
• стоимость низкая по сравнению с аналогами.

Недостатки:

• этот обучающий модуль не дает технических знаний по сборке и программированию роботов;
• самостоятельный формат может быть минусом для тех, кто нуждается в постоянной поддержке наставника;
• в описании не указан конкретный автор-практик.

Программа обучения:

• применение роботов в системе образования;
• методики обучения и межпредметные связи;
• контроль знаний.

6. Математика для робототехников | Skillbox

Программа создана для тех, кто стремится получить фундаментальные знания в области математики, необходимые для решения прикладных задач в роботостроении. Курс обучения робототехнике онлайн ведет Олег Буличев, инженер-исследователь, который поможет увидеть взаимосвязь математики и программного кода.

• Стоимость: рассрочка на 6 мес. — 9495 руб. в месяц / со скидкой — 5 222 руб.
• Длительность: 2,5 месяца
• Формат обучения: Практика и лекции в режиме онлайн
• Сертификат: Сертификат Skillbox

Кому подойдет:

Курс рассчитан на инженеров и программистов, стремящихся систематизировать свои знания по высшей математике и научиться применять их для разработки роботов и беспилотников.

Преимущества:

• курс ведет практикующий инженер с опытом работы 11 лет;
• программа сфокусирована на прикладных навыках и не содержит лишней теории;
• обучение проходит на платформе, имеющей государственную лицензию.

Недостатки:

• высокий порог входа — курс требует предварительных знаний по математике и основам программирования;
• основное внимание уделяется математике, а не практической сборке роботов или разработке программ для них.

Программа обучения:

• математика многомерных пространств;
• принципы дифференциальных и интегральных исчислений;
• изучение законов движения и равновесия;
• анализ случайных событий и данных.

Курсы робототехники для детей

7. Робототехника для школьников на базе Lego WeDo 2.0 | Школа программирования Pixel

Этот обучающий курс от школы Pixel — один из курсов по робототехнике для детей, который подойдет для знакомства с программированием. Он основан на популярном конструкторе Lego WeDo 2.0. Дети научатся собирать роботов, работать в команде и освоят основы блочного программирования.

• Стоимость: 800 руб. за 1 занятие
• Длительность: 9 месяцев
• Формат обучения: Очно в группах, занятия 1 раз в неделю
• Сертификат: Сертификат о прохождении курса

Кому подойдет:

Образовательный модуль подходит для детей от 7 до 10 лет, делающих свои первые шаги в программировании и конструировании. Он рассчитан на новичков и на тех, кто уже знаком с робототехникой.

Преимущества:

• геймификация и практические задания;
• работа с Lego WeDo 2.0;
• дети учатся работать в команде и находить общие решения;
• конструирование роботов из мелких деталей улучшает моторику и пространственное мышление.

Недостатки:

• очный формат занятий делает программу недоступной для тех, кто не может посещать уроки лично.

Программа обучения:

• знакомство с робототехникой и Lego Education WeDo 2.0;
• изучение основ блочного программирования;
• управление моторами и датчиками;
• понятия «цикл» и «ожидание»;
• закрепление материала;
• разработка собственного проекта.

8. Робототехника и программирование для детей | Educationrobots

Курс предлагает комплексное изучение множества дисциплин, поскольку основан на STEM-подходе, который объединяет науку, технологии, инженерию и математику. Этот подход позволяет детям увидеть, как знания из разных областей работают вместе. Преподают опытные педагоги. Дети учатся программировать, решать сложные задачи, создавать роботов.

• Стоимость: 7 500 руб. в месяц. Доступны скидки при оплате за полгода или год.
• Длительность: 3 года
• Формат обучения: групповые занятия в офлайн-формате 1 раз в неделю (2ч)
• Сертификат: сертификат о прохождении курса

Кому подойдет:

Курс создан для детей и подростков, которые интересуются, как устроена техника, любят что-то создавать своими руками. Также модуль подходит для всех, кто стремится развить логическое мышление, навыки решения проблем и умение работать в команде.

Преимущества:

• комплексное развитие (STEM-подход);
• практический опыт с современным оборудованием — 3D-принтеры, лазерные резаки, контроллеры Arduino и т.д.;
• дополнительные возможности — участие в грантах, конкурсах, выставках и программах для талантливой молодежи.

Недостатки:

• продолжительность обучения, что требует долгосрочных обязательств.

Программа обучения:

• сборка и программирование собственных роботизированных устройств;
• изучение физики, математики, основ электроники и программирования, а также других 11 дисциплин в связке;
• проектная работа.

9. Робототехника для дошкольников на базе Lego | Школа программирования Pixel

Этот обучающий курс разработан специально для дошкольников, которые хотят познакомиться с миром робототехники и механики в игровой форме. Основная задача программы — развитие логического и пространственного мышления. Дети собирают конструкции из Lego, а затем учатся управлять ими, что помогает им лучше понимать, как устроены окружающие предметы.

• Стоимость: от 800 руб. за 1 занятие
• Длительность: 9 месяцев (полный курс)
• Формат обучения: очные занятия в группах
• Сертификат: о прохождении курса

Кому подойдет:

Курсы рассчитаны на детей от 5 до 7 лет, которые делают свои первые шаги в конструировании и творчестве. Программа подойдет для любознательных дошкольников, которые любят работать с конструкторами и хотят узнать, как оживить свои поделки.

Преимущества:

• занятия построены в виде игр;
• использование популярного конструктора Lego;
• конструирование из мелких деталей;
• фокус на базовых механизмах, что дает фундаментальные знания о работе устройств.

Недостатки:

• ограниченная доступность — занятия проходят очно, что делает их недоступными для жителей других городов.

Программа обучения:

• изучение базовых механических устройств (рычаги, передачи);
• основы конструирования из Lego;
• знакомство с флорой и фауной (моделирование животных);
• проект по изучению космоса (создание планет и спутников).

10. Робототехника для школьников на платформе Arduino | Знанио

Этот онлайн-курс от инженера-преподавателя Наума Розенталя — способ познакомиться с платформой Arduino. Он поможет школьникам освоить азы программирования на языке C++ и основы электроники. За короткий срок ребенок научится создавать и программировать простые робототехнические устройства, чтобы в дальнейшем реализовывать свои проекты в этой сфере.

• Стоимость: 400 руб.
• Длительность: от 1 дня
• Формат обучения: онлайн, самостоятельное изучение
• Сертификат: о прохождении курса

Кому подойдет:

Обучение рассчитано на школьников, помогает в быстром и недорогом старте в мир более серьезной робототехники, чем Lego. Будет полезно тем, кто уже имеет базовое представление о программировании и хочет перейти к работе с настоящими электронными устройствами.

Преимущества:

• низкая стоимость;
• быстрый старт;
• практическая направленность — программа включает создание простых, но реальных проектов, таких как «Светофор», «Мини-пианино», «Мигалка» и др.
• гарантия возврата денег, если обучение не оправдает ожиданий.

Недостатки:

• из-за короткой длительности учеба дает только базовые знания и не предполагает создания сложных проектов;
• формат самостоятельного обучения без прямого общения с преподавателем может быть минусом для тех, кому нужна помощь наставника.

Программа обучения:

• введение в платформу Arduino;
• изучение основ электроники;
• основы программирования на С++;
• разработка собственных простых проектов.

Еще 6 курсов по робототехнике

Обучение робототехнике дистанционно открывает двери в одну из самых востребованных сфер. Это комплексный навык, который объединяет знания из области программирования, инженерии и логического мышления. Я собрала еще 6 курсов для тех, кто желает обучиться новой профессии:

• Курс робототехники и электроники для взрослых от Kod-robota — это комплексный онлайн-курс для взрослых, который позволяет с нуля освоить основы электроники и программирования. Вы научитесь работать с платформами Arduino и Raspberry Pi, создавая реальные проекты на языке Python. Этот обучающий модуль помогает сформировать и развить набор навыков, необходимых для работы с электроникой и робототехникой.
• Мехатроника и робототехника от МАКПП — программа профессиональной переподготовки, которая подойдет педагогам, желающим официально преподавать роботостроение. Дает теоретические знания по механике, электронике и методике преподавания.
• Робототехника и искусственный интеллект от MITM — онлайн-курс, объединяющий роботостроение с передовыми технологиями искусственного интеллекта. Он предназначен для студентов, которые хотят научиться применять машинное обучение и компьютерное зрение для создания «умных» роботов. Комплексная программа объединяет знания из компьютерных наук, электротехники, механики и искусственного интеллекта.
• Педагог по робототехнике от Международной академии бизнеса IAB — программа профессиональной переподготовки создана для подготовки будущих преподавателей роботостроения. Вы получите официальный диплом и научитесь совмещать технические навыки с педагогикой. В программе обучения — основы педагогической деятельности и воспитания детей в игровой форме, основы и методы преподавания роботостроения.
• Педагогическое образование: педагог по робототехнике от Профессионального стандарта — онлайн-курс, позволяющий официально получить квалификацию педагога по робототехнике. Программа соответствует государственным образовательным стандартам и дает знания для работы в образовательных учреждениях. Обучение проходит полностью дистанционно.
• Основы робототехники и LEGO-конструирования для детей дошкольного и младшего школьного возраста от Экстерна — онлайн-курс разработан для педагогов, которые работают с детьми дошкольного и младшего школьного возраста. Эта программа повышения квалификации по робототехнике и LEGO-конструированию ориентирована на специалистов, которые занимаются обучением и развитием дошкольников и школьников через конструирование. Курс направлен на развитие или получение новых компетенций в области технического конструирования.

Бесплатные курсы по робототехнике

Бесплатные курсы по робототехнике — возможность сделать первый шаг к новой профессии, не вкладывая денег. Они помогут понять, насколько вам интересна эта область, и определиться с дальнейшим направлением развития.

Tertiarm. Arduino и манипуляционная робототехника — Stepik

Программа предназначена для новичков, которые хотят получить практические навыки в роботостроении. В ее рамках вы научитесь собирать и программировать небольшой робот-манипулятор на базе платформы Arduino.

Главное о курсе:

• ориентирован на практику;
• фокусируется на популярной платформе Arduino;
• подходит для самостоятельного изучения.

Основы робототехники — Лекториум

Это бесплатные курсы, которые дают фундаментальные знания о роботостроении. Программа предназначена для преподавателей, которые хотят улучшить качество обучения. Слушателям предоставляются готовые решения для построения учебных планов, создания системы оценивания успеваемости и налаживания партнерских связей между школой и вузами.

Главное о курсе:

• дает теоретическую базу;
• разработан ведущим техническим вузом;
• подходит для школьников.

Первый шаг в робототехнику (демо-курс) — Stepik

Краткий вводный курс, который поможет вам разобраться в базовых понятиях роботостроения. Вы познакомитесь с основными принципами и узнаете, как начать заниматься этой дисциплиной.

Главное о курсе:

• идеален для абсолютных новичков;
• очень короткий и простой;
• дает общее представление о сфере роботехники.

Робототехника LEGO SPIKE PRIME — Лекториум

Данный курс предназначен для школьников, их родителей, учителей и просто энтузиастов. После прохождения обучения вы сможете запрограммировать робота на базе популярной платформы LEGO Education SPIKE PRIME для выполнения серии непростых заданий. Он будет двигаться по линии, избегать препятствий, подниматься на горку и находить выход из лабиринта.

Главное о курсе:

• фокусируется на конструкторах LEGO;
• развивает логику и навыки программирования;
• подходит для детей и взрослых.

Робототехника онлайн — Цифровая школа

Курс дает общее представление о робототехнике и ее основных компонентах. Он подходит для детей и взрослых, которые хотят познакомиться с миром роботов и узнать, как они устроены.

Главное о курсе:

• вводный курс для широкой аудитории;
• объясняет основные принципы роботостроения;
• подойдет для знакомства с темой.

Хардкорная математика для робототехников — Лекториум

Этот курс для тех, кто уже серьезно занимается созданием роботов и хочет углубиться в математические основы. Он посвящен сложным темам, таким как линейная алгебра и дифференциальные уравнения.

Главное о курсе:

• предназначен для продвинутых пользователей;
• необходимы глубокие знания математики;
• помогает освоить теоретическую базу.

Зачем обучаться робототехнике?

Изучение роботостроения развивает системное мышление, учит детей и взрослых решать сложные задачи. Эта дисциплина объединяет в себе программирование, физику, математику и инженерию, формирует системное и логическое мышление. Обучение роботостроению помогает понять, как устроены современные технологии, и превращает пользователя в разработчика.

Занятия по роботостроению учат видеть задачу целиком, разбивать ее на мелкие части и находить эффективные решения. Обучение помогает развить усидчивость, креативность и навыки работы в команде, что востребовано в любой современной профессии.

Преимущества и недостатки курсов по робототехнике

Обучающие программы по роботостроению предлагают структурированный подход к обучению, который значительно ускоряет прогресс. Вы получаете готовый план занятий, опытных преподавателей-наставников. Это позволяет избежать типичных ошибок новичков и сразу сосредоточиться на главном. Слушатели зачастую получают доступ к профессиональному оборудованию, платформам, что не всегда доступно для самостоятельного изучения.

Еще одно важное преимущество — экспертная поддержка. Преподаватели помогают освоить теорию и применять ее на практике, разобраться в сложных темах, дают обратную связь по проектам и исправляют ошибки.

Кроме того, учащиеся могут создать сообщество единомышленников, где можно делиться опытом, находить вдохновение и даже работать над совместными проектами.

Однако есть и свои минусы. Главный из них — стоимость, которая может быть довольно высокой, особенно для программ, требующих дорогостоящих инструментов и оборудования. Также некоторые курсы могут иметь слишком жесткое расписание или не оставлять места для личного творчества, пространства для экспериментов. В случае онлайн-занятий может не хватать живого общения и возможности быстро получить помощь от преподавателя.

А какие курсы заинтересовали вас? Поделитесь своими впечатлениями в комментариях или расскажите о программах, которые не вошли в наш список.

Что это за решения и зачем они нужны

Под «модулем» обычно понимают набор программных компонентов: предобработка изображений, последовательное применение моделей детекции и классификации, сбор и визуализация результатов. На практике это выглядит как автоматическая обработка видеопотока — очистка от шумов, приведение кадров к единому формату, запуск нейросети для обнаружения объектов или дефектов и передача результатов в систему мониторинга. Задача — уменьшить долю ручной проверки, быстрее выявлять инциденты и собирать статистику для принятия решений.

Технологический каркас

За такими решениями стоит распространённый стек: библиотеки для обработки изображений (например, OpenCV), фреймворки для нейросетей (TensorFlow, PyTorch), подходы для быстрой детекции (архитектуры в духе YOLO), форматы переносимости моделей (ONNX) и инструменты для развёртывания — контейнеры и оркестраторы (Docker, Kubernetes). Интерфейсы интеграции обычно реализуют через REST/gRPC и SDK для часто используемых языков программирования, что позволяет связать новые модули с корпоративными системами.

Где это применяют

Практические сценарии распространяются по нескольким отраслям:

• Производство. Контроль качества на линии: камеры фиксируют дефектные единицы, система маркирует событие и уведомляет операторов.
• Логистика. Трекинг грузов и распознавание этикеток помогают ускорить сортировку и снизить потери.
• Сельское хозяйство. Анализ состояния посевов по визуальным признакам позволяет точечно применять агротехнологии.
• Медицина (на этапах скрининга). Обработка и предварительная фильтрация изображений для последующего анализа специалистами.

Во всех этих случаях ключевой эффект — перевод рутинной визуальной работы с людей на алгоритмы, при условии что точность моделей достаточна для эксплуатационного применения.

Архитектура развёртывания: edge, облако, гибрид

Реальные внедрения стремятся сочетать вычисления на границе сети (edge) и в облаке. Выполнение части аналитики на локальных устройствах сокращает задержки и уменьшает объём передаваемых данных; облачная часть удобна для обучения, версионирования моделей и агрегации метрик. Важной частью решения является MLOps-инфраструктура: репозиторий моделей, автоматическое тестирование и инструменты «горячей» замены версий без простоя производства.

Ограничения и вызовы

Независимо от технологической привлекательности, интеграция сопровождается набором практических проблем:

• Качество данных. Камеры, освещение и ракурсы влияют на стабильность работы моделей. Часто требуется длительная доработка предобработки и сбор «реальных» меток.
• Инфраструктурные требования. Сеть, вычислительные узлы и вопросы безопасности — важные элементы, без которых масштабирование проблематично.
• Валидация и риски. Неправильные срабатывания или пропуски дефектов в статичных сценариях могут привести к экономическим потерям; необходима тщательная оценка точности и процедуры ручной проверки на переходных этапах.
• Экономика внедрения. Оценка окупаемости требует измерения текущих затрат на ручной труд, потерь от брака и эффектов от сокращения простоев.

Пошаговый подход к внедрению

Практикующие инженеры и консультанты рекомендуют следующий упорядоченный план: сначала провести аудит существующей инфраструктуры (камеры, сеть, источники данных), затем реализовать PoC на одном-двух сценариях с явной метрикой успеха. После подтверждения — развёртывание пайплайнов обработки, интеграция с системами мониторинга и алертинга, и лишь затем — масштабирование с учётом edge/облака и организации процесса дообучения моделей на вновь собранных данных.

Как измерять эффект

Для оценки результата предлагают отслеживать операционные KPI: снижение доли брака и объёма ручной проверки, уменьшение времени простоев, скорость обнаружения инцидентов и основные метрики качества моделей (precision, recall). Экономическая модель окупаемости строится на снижении OPEX и потенциальном увеличении выхода годной продукции.

Вывод

Интеграция модулей компьютерного зрения перестаёт быть «навороченным экспериментом» — она становится инструментом оптимизации процессов. Однако переход от прототипа к надёжному промышленному решению требует внимания к данным, инфраструктуре и процедурам валидации. Успех зависит не только от выбранной нейросети, но и от дисциплины внедрения: корректной предобработки, стабильного конвейера развёртывания и системы метрик, которые позволяют понять, когда автоматизация действительно приносит бизнес-результат.

Что происходит на поле и на стройплощадке

Суть проста: на объекте собирают визуальные данные — с дронов, тепловизоров, LiDAR-сканеров или мульти/гиперспектральных камер — затем эти кадры обрабатывают и анализируют. В агросекторе такие данные используют для построения вегетационных карт (например, NDVI), которые показывают участки стресса растений, дефицит влаги или очаги болезней. В строительной инспекции те же инструменты выявляют трещины, коррозию, деформации и тепловые аномалии, указывая, где требуется внимание специалистов.

Как это работает — шаг за шагом

1. Сбор данных. Дроны покрывают большие площади быстро; стационарные камеры мониторят критичные участки постоянно. Часто применяют съемку в разных спектрах — инфракрасном, мульти- или гиперспектральном — чтобы увидеть то, что не заметно глазу.
2. Предобработка. Снимки геокалибруют, сшивают в ортофотопланы, корректируют цвет и позицию — иначе «карты» разных замеров нельзя сопоставлять.
3. Анализ. Нейросети (модели детекции и сегментации) и алгоритмы преобразуют пиксели в метки: «трещина», «зона стресса», «аномалия температуры». Итог — точки на карте, статистика и приоритеты для выезда.
4. Доставка результата. Вывод — через GIS-слои, дашборды или интеграцию в корпоративные системы: ERP, CRM, BI; иногда — уведомления в мессенджеры для срочного реагирования.

Почему edge-вычисления важны

Не всё отправляют в облако. Для срочных сценариев часть аналитики выносят на периферию — на борт дрона или на локальные edge-устройства (платформы типа NVIDIA Jetson или Google Coral). Это уменьшает задержки, сокращает объём передаваемых данных и позволяет мгновенно срабатывать на критичные события — полезно там, где связь нестабильна или время реакции критично.

Где это даёт наибольший эффект

• Крупные поля — экономия времени и моторесурсов при обследовании сотен гектаров; более точное внесение удобрений и экономия средств.
• Карьерные и мостовые инспекции — безопасности за счёт раннего обнаружения дефектов.
• Высотные фасады и крыши — доступ туда, куда безопасно и быстро не добраться обычными способами.

Ограничения и риски

Технологии не всесильны. Погодные условия (туман, сильный ветер, дождь) и качество геопозиционирования снижают точность. Нужны качественные тренировочные данные: модель, обученная на одних условиях, может промахиваться в иных. Регуляторика по использованию беспилотников тоже ограничивает применение в ряде регионов. Наконец, важно не просто «получить карту», а встроить её в рабочие процессы — без этого ценность данных падает.

Практические рекомендации для старта

1. Пилот на ограниченном участке. Начните с небольшой территории, где можно отладить съёмку, обработку и интеграцию.
2. Контроль качества данных. Убедитесь в геопривязке и единообразии съёмки по времени и метаданным.
3. Баланс облако/edge. Решите, какие алгоритмы должны работать в реальном времени, а что можно отправлять на облачный анализ.
4. Интеграция с системами заказчика. Планируйте экспорт в GIS/BI/ERP — иначе отчёты рискуют остаться «на полке».
5. План дообучения моделей. Собирайте локальные примеры ошибок и регулярно обновляйте модели на данных заказчика.

Итог

Компьютерное зрение в агро и технадзоре превращает визуальную информацию в управленческие решения. Это инструмент, который экономит время и снижает риски, но только если подход к внедрению продуман: от выбора сенсоров и протоколов съёмки до инфраструктуры анализа и интеграции с бизнес-процессами. Простого «подключил камеру — и всё само заработало» не бывает — зато при грамотной реализации выгода бывает ощутимой и быстрой.

Вместо софта или модифицированного железа, блогер использовал компьютерное зрение и электрическую стимуляцию, чтобы рука буквально дергалась к цели за доли секунды.

В основе устройства — EMS/TENS-аппарат, способный подавать электрические импульсы, сокращающие определенные мышцы.

Система подключена к Raspberry Pi, который получает команды от модели YOLO, обученной на матчах в Counter-Strike 2. Модель в реальном времени анализирует видеопоток игры, определяет противника и через реле подает сигнал на стимулятор.

Быстрее, чем киберспортсмены

В тестах блогеру удалось сократить время реакции до менее 100 мс — примерно вдвое быстрее его обычного показателя и быстрее, чем у многих профессиональных игроков. При этом устройство может не только наводить руку, но и автоматически нажимать на спуск.

Проект сопровождался трудностями: от задержек сигнала до болезненных судорог. Но автор все же сумел добиться стабильной работы в отдельных тестах, хотя признает, что надежность пока далека от идеала.

Это чит или нет?

На вопрос о честности метода, Basically Homeless отвечает: «это мои мышцы — значит, не чит». По его словам, устройство не вмешивается в код игры, а лишь стимулирует тело игрока.

В комментариях зрители шутили о «дистопическом будущем киберспорта», играли словами («результаты были шокирующими», «очень стимулирующее видео») и предлагали продолжить эксперименты в других играх.

Зачем это все

Помимо развлекательной ценности, проект показал, как можно объединить технологии компьютерного зрения, электроники и нейромышечной стимуляции для управления человеком в реальном времени.

В реальном спорте или медицине такие системы могли бы помочь в тренировках и реабилитации, но в гейминге — это пока что забавный и немного пугающий эксперимент.

В этой статье рассмотрим технические детали каждого этапа эволюции: как работают классические локаторы, как применяются алгоритмы компьютерного зрения и как современные VLM и AI-агенты позволяют автоматизировать тестирование на естественном языке. Также обсудим плюсы и минусы этих подходов на практике и объясним, почему традиционная автоматизация уже не так эффективна по сравнению с новыми методами.

Классическая автоматизация: локаторы и код

Что такое локаторы. Традиционная автоматизация UI опирается на поиск элементов в DOM-дереве страницы с помощью локаторов. Локатор — это указание браузеру, как найти нужный HTML-элемент. Существуют различные стратегии локаторов: по ID, имени, классу, XPath, тексту, а в случае мобильных приложений даже свои собственные механизмы, как UiSelector в Android, например.

В зависимости от платформы и инструмента, эти стратегии могут использовать различные способы поиска: от простого сопоставления атрибутов до навигации по иерархии элементов. Но все они опираются на представление интерфейса в виде структурированных данных — DOM в вебе или XML-дерево в мобильных приложениях.

Например, кнопку сабмита формы можно найти по уникальному атрибуту id="submit" или по CSS-классу .btn. Инструменты вроде Selenium WebDriver или современные фреймворки (Playwright, Cypress) позволяют записывать шаги теста, обращаясь к элементам через такие локаторы. Ни один GUI-тест не обходится без этой механики. Какой бы инструмент вы ни выбрали для автоматизации, все они будут искать элементы с помощью локаторов.

Как это работает. Автоматизированный тест-приложение (скрипт на Java, Python, JavaScript и т.д.) взаимодействует с браузером через специальный драйвер. На каждом шаге скрипт отправляет команду: найти элемент по указанному селектору и выполнить действие (клик, ввод текста, чтение свойства). Например, Selenium, получив команду findElement(By.id("login")), просматривает DOM-структуру страницы, находит элемент с id="login" и затем может выполнить click().

Локаторы привязаны к HTML-разметке, поэтому их надежность зависит от того, насколько стабильно разработчики поддерживают идентификаторы. Практика выработала некоторые правила: желательно использовать уникальные статические атрибуты (например, data-test), избегать сложных XPath, проверять, что локатор не изменится при перезагрузке или смене языка страницы.

Тем не менее, Web-интерфейсы со временем эволюционируют — меняются классы и ID элементов, верстка усложняется динамическими компонентами. Автоматизация тестирования веб требует учитывать динамическую природу UI, скорость тестов и устойчивость локаторов. Иначе говоря, традиционные автотесты хрупки: малейшее изменение в коде фронтенда (например, переименовали кнопку или перестроили раздел HTML) может сломать множество тестовых сценариев.

Проблемы и поддержка. Главный недостаток локаторного подхода — дорогая поддержка тестов. При активной разработке приложения авто-тесты требуют постоянного обновления: исправлять селекторы, ждать загрузки динамических элементов, добавлять задержки. По опыту индустрии, на сопровождение тестовых скриптов уходит едва ли не больше усилий, чем на их изначальную разработку. Как признавался Кит Поуи, вице-президент по инжинирингу IDT: «Мы тратили столько времени на поддержку тестов на Selenium, ... а теперь тратим почти ноль времени, используя testRigor» [testrigor.com].

Иными словами, классические UI-тесты грозят превратиться в постоянную гонку за изменяющимся интерфейсом. Появлялись частичные решения, например, Self-healing («самоисцеление» локаторов) с помощью ИИ. Такие механизмы пытаются автоматически подобрать альтернативный селектор, если старый перестал работать. Но как отмечают разработчики CodeceptJS: «AI-healing решает ровно одну проблему: если локатор элемента изменился, и действие не удалось, он подбирает новый локатор, повторяет команду и продолжает тест» [codecept.io]. Это снимает часть боли, но не меняет принципа: тест все так же опирается на предопределенные селекторы.

Кроме того, написание самих тестовых сценариев требует навыков программирования и знаний фреймворка, что создает высокий порог входа для неспециалистов.

Вывод: Классическая автоматизация через локаторы была революционна для своего времени и до сих пор остается основой для многих команд. Она хорошо работает при стабильном UI и правильной стратегии локаторов (уникальные ID, атрибуты для тестов и т.п.). Плюсы такого подхода: высокая скорость выполнения (обращение к DOM напрямую), интеграция с CI/CD, детерминизм сценариев. Однако минусы перевешивают в быстро меняющихся продуктах: хрупкость, большие затраты на поддержку и необходимость вовлечения опытных автоматизаторов. Это подтолкнуло индустрию к поиску более гибких и «умных» решений.

Компьютерное зрение: поиск элементов по изображению

Следующим шагом стало привлечение технологий компьютерного зрения для распознавания элементов интерфейса так, как это делает человек. Вместо того чтобы полагаться на скрытые в коде страницы идентификаторы, тест можно проводить по скриншотам: видеть интерфейс и находить нужные кнопки/иконки по их графическому виду.

Один из первых популярных инструментов такого рода — Sikuli (MIT, ~2010 год). Sikuli позволил автоматизировать действия, используя скриншоты GUI для поиска и кликов. Внутри он задействовал OpenCV — мощную библиотеку компьютерного зрения с сотнями алгоритмов для обработки изображений и распознавания объектов.

Принцип работы прост: тестировщик делает снимок элемента (например, кнопки «Поиск»), а Sikuli затем находит на экране участок, совпадающий с этим образцом, и симулирует нажатие. «SikuliX использует OpenCV, чтобы найти местоположение указанного изображения... и выполняет клик мыши или ввод с клавиатуры по найденной координате». Таким образом, можно автоматизировать почти всё, что видит пользователь — хоть веб-страницу, хоть настольное приложение или игру — не обращаясь к внутреннему устройству программы.

Как это выглядит на практике. Вместо текстовых селекторов тестер оперирует картинками. Сценарий на Sikuli или похожих фреймворках состоит из последовательности команд: «найти изображение X», «кликнуть по нему», «ввести текст Y», «убедиться, что изображение Z появилось на экране» и т.д.

По сути, тест имитирует ручную проверку: мы проверяем интерфейс глазами (через алгоритм сравнения изображений) и совершаем действия как пользователь. Этот подход приближает автотест к мануальному тестированию. Как отметила тестировщик Thosha Moodley: «Sikuli... максимально близок к роли ручного тестировщика, который визуально проверяет интерфейс и позволяет автоматизировать тесты без серьёзных навыков разработки». Другими словами, порог входа снижается: не нужен глубокий кодинг, достаточно понимать, как выглядит нужный элемент.

Компьютерное зрение также открывает возможность ловить чисто визуальные баги, которые трудны для классических скриптов. Например, традиционный тест может проверить текст сообщения, но не заметит, что он вылез за границы кнопки или обрезан. А визуальный тест легко сравнит скриншот с эталоном и обнаружит искажения в рендеринге. Недаром появилось направление visual testing — сравнение скриншотов для выявления неожиданных изменений.

Инструменты вроде Applitools Eyes стали лидерами рынка в этой нише: их ИИ-алгоритмы анализируют два изображения (ожидаемый дизайн и фактический) и подсвечивают отличия, игнорируя незначительные артефакты. Такой пассивный подход полезен для регрессионного тестирования UI — он фокусируется на том, как страница выглядит, а не только на её коде.

Проблемы визуального подхода. Несмотря на перспективность, у визуального тестирования нашлось немало минусов. Прямое сравнение скриншотов чувствительно к любым пиксельным изменениям — сменился оттенок или шрифт, и тест «падает».

Нужно настраивать допуски, писать сложные алгоритмы сравнения, иначе будут ложные срабатывания. Бесплатные инструменты часто грешат излишней чувствительностью или требуют ручной настройки сравнения изображений.

С другой стороны, слишком грубая настройка может пропустить реальный баг. Балансировать на грани довольно трудно. Кроме того, сами операции с изображениями ресурсозатратны: «манипуляции с картинками требовательны к вычислениям... сложные алгоритмы могут сильно замедлить тесты, поэтому их стараются применять только в исключительных случаях». Поэтому на практике визуальные проверки либо пускают отдельным шагом (например, финальный скриншот страницы сравнить с эталоном), либо используют маленькие шаблоны для критичных элементов.

Второй крупный недостаток — обслуживание тестов на картинках. Нужно хранить библиотеку образов для каждого элемента, обновлять их при малейшем редизайне. Представьте, дизайнер поменял иконку корзины — теперь все тесты, которые искали старую иконку, упадут, и QA-инженеру придется записывать новый образ и заменять в сценариях.

Наконец, масштабируемость: для разных разрешений, устройств, темной/светлой темы возможно потребуются разные эталонные скриншоты или шаблоны. В веб-тестировании это частично решается за счет унифицированности браузеров, но все же добавляет сложностей.

Современные решения и переходный этап. Несмотря на перечисленные сложности, визуальные подходы не исчезли — наоборот, они эволюционировали. Коммерческие инструменты стараются абстрагировать хранение образов и минимизировать ложные срабатывания за счет ML. Например, Applitools применяет ИИ для сравнения скриншотов, чтобы отличать существенные изменения от незначительных.

Многие codeless-платформы (Katalon, Tricentis Tosca, TestComplete и др.) включили в свой функционал поиск элементов по изображениям, но чаще как вспомогательную опцию. Нередко это реализовано через визуальный рекордер: пользователь сам кликает по интерфейсу, инструмент делает снимки элементов и генерирует тестовые шаги. Так, показательный пример — testup.io, где вся концепция построена вокруг изображений: точки взаимодействия задаются относительно визуальных маркеров, а на скриншоте шагов видно миниатюры элементов.

В итоге, хотя классическое компьютерное зрение приблизило автотесты к пользовательскому восприятию, ему не хватало «интеллекта». В 2020-х стало ясно, что нужен качественно новый уровень: использовать достижения современных нейросетей, чтобы научить машину понимать интерфейс не хуже человека.

Vision-Language модели: тестирование на естественном языке

От компьютерного зрения к мультимодальным моделям. Vision-Language Models (VLM) — это класс нейросетей, который объединяет распознавание изображений и обработку естественного языка. Идея состоит в том, чтобы обучить модель, способную видеть картинку и описывать её словами, а также понимать слова и искать соответствие на картинке.

Большинство VLM устроены как две части: визуальный энкодер (обычно нейросеть на основе ResNet или Vision Transformer), который преобразует изображение в семантическое представление, и языковой декодер/энкодер (крупная языковая модель GPT или BERT), который понимает текст. Обучая эти модули на огромных наборах пар «картинка–описание», они добиваются того, что сеть начинает устанавливать связь между визуальными объектами, их названиями и свойствами.

Пример: модель видит изображение с котом на кресле и подпись «кошка лежит на кресле», и со временем учится понимать, что на картинке кот, что «лежит» — это определенное положение, что диван — это что-то мягкое на чем можно лежать и т.д. В результате такие модели способны решать задачи мульти-модального понимания: генерировать текст по изображению (описание, подписи), отвечать на вопросы по картинке, находить по текстовому запросу нужный объект на изображении и пр.

Другими словами, VLM обладает зрением и речью одновременно, что открывает совершенно новые возможности для тестирования.

Применение VLM для тестирования UI. Как VLM помогает автоматизировать тестирование? Проще всего это понять на примере: допустим, у нас есть скриншот веб-страницы или мобильного приложения. Ранее, чтобы проверить его содержимое, нам нужен был или человек-тестировщик, или набор проверок конкретных элементов (по DOM или по эталонным изображениям). Теперь же мы можем задать вопрос модели на естественном языке о содержимом UI, и она постарается ответить на основании картинки.

В блоге Smartesting показан кейс: модели Claude 3.5 дали скриншот интернет-магазина и запрос на английском: «Что изображено на странице? Найди, есть ли рубашка, и какая у нее цена». Модель проанализировала скриншот и выдала структурированный ответ - перечислила несколько товаров (платье, куртка, брюки, Checked Slim Fit Shirt - $48.99 и т.д.), а затем прямо ответила: мол, да, на картинке есть рубашка (Checked Slim Fit Shirt) по цене $48.99. Ранее такой сценарий потребовал бы либо проверки текста в DOM (искать слово Shirt и парсить цену), либо ручного взгляда. Vision-Language модель выполнила его «с нуля», просто получив изображение и вопрос.

Заключение

Развитие методов автоматизации UI-тестирования — наглядный пример того, как технологии ИИ трансформируют привычные практики. Классический подход с локаторами и кодом, хотя и служил десятилетиями, начинает буксовать на требованиях гибкости и скорости.

Использование компьютерного зрения добавило тестам человеческого восприятия, позволило ловить визуальные дефекты и упростить взаимодействие с нестандартными интерфейсами — но полностью заменить код не смогло из-за ограничений старых алгоритмов.

Vision-Language модели в связке с AI-агентами сделали следующий шаг: они фактически научили компьютер «думать» о том, что он видит на экране, и понимать наши инструкции почти как опытный тестировщик. Это позволило создать системы, где шаги тест-кейса становятся его же автоматизацией.

Тестировщики и менеджеры могут описывать проверки простыми шагами на естественном языке, а умная платформа сама найдет нужные элементы по описанию, выполнит действия и сравнит ожидаемое с действительным. Такой подход сокращает время на подготовку автотестов, резко снижает расходы на поддержку (ИИ адаптируется к изменениям UI) и расширяет охват проверок за счет контекстных интеллектуальных ассертов.

Будущее автоматизации тестирования принадлежит умным, обучаемым системам, которые совмещают зрение и интеллект. Тестировщики постепенно превращаются в наставников таких систем — формулируют проверки в человеческом формате, а ИИ берет на себя рутинное исполнение. Это повышает эффективность QA-процессов и позволяет сфокусироваться на действительно сложных, творческих задачах тестирования.

Узнаем, на каких принципах работает Edge AI, каковы преимущества работы ИИ на устройствах с ограниченными ресурсами, как Edge AI используются прямо сейчас и что будет с этой технологией в будущем.

Основные принципы работы Edge AI

Технология Edge AI — это развертывание моделей ИИ на основе нейросетей непосредственно на устройствах: смартфонах, камерах, датчиках и другом оборудовании. Для вычислений и анализа данных не не нужно обращаться к удаленным или облачным серверам. Устройства принимают решения на месте получения сигнала, что упрощает процесс.

Почему технология считается революционной? Вместо того чтобы гонять данные в облако и обратно, алгоритмы работают прямо на устройстве — будь то смартфон, камера наблюдения или беспилотный автомобиль. Процессор принимает решения мгновенно, не спрашивая разрешения у главного сервера.

Традиционные системы ИИ работают через сеть — данные уходят в дата-центр, там обрабатываются, а результат возвращается обратно. Проблема в том, что даже при быстром интернете такая схема создает задержки. Устройства с Edge AI реагируют на сигнал мгновенно.

Поэтому основное преимущество такого способа работы с данными — скорость. Беспилотному автомобилю нужно распознать пешехода за миллисекунды — ждать ответа из облака смертельно опасно. Другой аспект — автономность. Промышленные датчики и устройства, к которым они подключены, в удаленных локациях могут работать без стабильного интернета.

Есть и экономическая выгода. Зачем отправлять терабайты сырых данных, если можно обработать их на месте и передать только результат?

Наглядный пример: современные смартфоны используют Edge AI для обработки фото. Когда вы делаете портрет в размытом режиме «боке», нейросеть на устройстве сразу отделяет фон от объекта — без загрузки снимка в облако.

Обычные нейросети требуют огромных вычислительных ресурсов — например, чат GPT-4 вряд ли получится запустить на умных часах. Но Edge AI-модели — это «лайт-версии» своих облачных собратьев: они компактные, быстрые и энергоэффективные.

При этом данные никуда не отправляются, что обеспечивает их конфиденциальность: если нет постоянной передачи данных, хакерам сложнее перехватить информацию.

Пример: Apple использует Edge AI в Siri — голосовые команды распознаются прямо на iPhone, а не в облаке. Так компания гарантирует, что ваши разговоры с ассистентом не прослушает даже она сама.

Периферийный ИИ можно установить на любые устройства, работа которых требует быстродействия и определенной степени автономности. Это промышленные станки с умным зрением, беспилотные дроны для доставки товаров, камеры наблюдения. Такие системы не имеют ограничений в виде пропускной способности при передаче данных и задержек, связанных с серверами. Обработка происходит в режиме реального времени.

Технологии и инструменты для Edge AI

Для реализации Edge AI используются специальные инструменты и технологии. Их условно можно разделить на две категории: компактные модели нейросетей и аппаратные ускорители для мобильных устройств. Кроме того, созданы специальные фреймворки, значительно ускоряющие разработку ПО для Edge AI.

Компактные нейросети

Представьте, что вам нужно упаковать суперкомпьютер в бокс размером со спичечный коробок. Именно такую задачу решают разработчики компактных моделей для Edge AI.

Так, MobileNet использует хитрый трюк с разделяемыми свертками, что позволяет уменьшить модель в 10 раз без катастрофической потери точности. Ваш смартфон распознает лица на фото именно благодаря таким оптимизациям.

TinyML — это вообще магия микроуровня. Методика машинного обучения разработана специально для компактных нейросетей. Такие модели могут работать на устройствах с памятью меньше, чем занимает одна фотография в соцсетях. Датчик вибрации на заводском оборудовании с TinyML способен предсказывать поломки, потребляя энергии меньше, чем светодиодная лампочка.

Аппаратные ускорители

Даже самая оптимизированная модель нейросети будет тормозить без специализированного «железа». Так называемые нейроморфные процессоры обладают специальной архитектурой, имитирующей принцип работы человеческого мозга. Такие компоненты повышают производительность устройств и снижают стоимость внедрения Edge AI технологий.

Эти продукты делают автономные сети быстрыми и энергоэффективными:

• NPU (Neural Processing Unit) — процессоры, заточенные под нейросети. В iPhone и флагманских смартфонах Android стоят NPU от Apple и Qualcomm, которые ускоряют распознавание лиц и обработку фото в 5–10 раз быстрее CPU. Специализированные чипы запускают миниатюрные копии нейросетей на устройствах.
• TPU (Tensor Processing Unit) — разработка Google, созданная для ускорения TensorFlow-моделей. Edge TPU на компьютерах с одной платой Coral Dev Board позволяют запускать до 4 трлн (!!!) операций в секунду при потреблении всего 2 Вт.
• VPU (Vision Processing Unit) — чипы, оптимизированные под компьютерное зрение. Так, Intel Movidius используется в дронах и камерах видеонаблюдения анализа видео в реальном времени без облака. Они потребляют в 10 раз меньше энергии, чем обычные GPU, выполняя те же задачи. Камера ноутбука, которая размывает фон во время видеозвонков, использует именно такие процессоры.

Фреймворки для Edge AI

В числе самых популярных инструментов:

• TensorFlow Lite — идеален для Android и встраиваемых систем. Он поддерживает квантизацию (преобразование и сжатие) и аппаратное ускорение через NPU. Например, с его помощью можно развернуть модель распознавания жестов на одноплатном мини-компьютере Raspberry Pi за пару часов.
• PyTorch Mobile — выбор тех, кто любит гибкость. Фреймворк позволяет динамически изменять архитектуру модели прямо во время работы, что полезно для задач вроде адаптивного компьютерного зрения.
• Edge Impulse — самый дружелюбный инструмент для новичков. Он предлагает готовые шаблоны для TinyML и даже автоматически оптимизирует модели под конкретное железо. Например, с его помощью можно собрать систему мониторинга вибрации промышленного оборудования без написания кода.

Это лишь несколько наиболее популярных примеров. Есть и другие инструменты для работы с локальными нейросетями в зависимости от назначения устройств и степени их сложности.

Оптимизация нейросетей для Edge AI

В периферийном AI используются оптимизированные нейросети. Рассмотрим подробнее

Квантизация

Это «сжатие» модели за счет снижения точности вычислений. Например, переход с 32-битных чисел на 8-битные уменьшает размер нейросети в 4 раза, а скорость работы повышает вдвое или втрое. Точность слегка падает, но для многих задач (распознавание объектов, голоса) это незаметно. TensorFlow Lite и PyTorch поддерживают квантизацию «из коробки» — достаточно пары строк кода.

Distillation (дистилляция данных)

Действенный способ ускорения нейросетей. Большая, точная модель («учитель») передает знания компактной модели («ученику»). В итоге маленькая нейросеть сохраняет до 90% эффективности оригинала, но требует в 10 раз меньше ресурсов.

Специальные свертки

Стандартные свертки потребляют слишком много ресурсов — они перемножают все входные данные. Depthwise (глубинные) свертки работают точечно: обрабатывают каждый канал изображения отдельно, сокращая вычисления в 5–10 раз. Sparse (разреженные) методы еще радикальнее — они просто «выключают» лишние нейроны. Вместе эти подходы позволяют запускать ИИ даже на устройствах с 1 МБ памяти.

Преимущества Edge AI

Модели Edge AI обеспечивают быстродействие и эффективную работу устройств, используемых в самых разных сферах. Вместо централизованных систем, где вся инфа стекается для анализа в облако, каждое устройство работает автономно.

Подробно разберем основные преимущества моделей Edge AI.

Скорость

Главное преимущество Edge AI — это сверхнизкая задержка. В традиционных облачных системах данные сначала отправляются на сервер, обрабатываются и только потом возвращаются обратно — на это уходят драгоценные секунды. В Edge AI все происходит на самом устройстве, без потерь времени на передачу.

Пример. Беспилотный автомобиль видит пешехода, выскакивающего на дорогу. Если он начнет отправлять данные в облако и ждать ответа — столкновения не избежать. Edge AI решает эту проблему радикально: реакция происходит быстрее, чем моргание глаза (буквально — за 10-50 мс).

Устройства реагируют в реальном времени независимо от скорости интернета или загруженности облачных серверов. При этом вычисления происходят непрерывно, даже в условиях нестабильного соединения, а нагрузка на сеть снижается — данные не нужно постоянно пересылать туда-обратно.

Именно поэтому Edge AI становится стандартом для задач, где время реакции — ключевой фактор. Будь то интерактивные приложения, промышленная автоматизация или системы безопасности — локальная обработка обеспечивает тот самый мгновенный отклик, который раньше был невозможен.

Конфиденциальность

Облачные сервисы — всегда риск: утечки через взломанные серверы, слежка, случайные потери данных.

Edge AI действует иначе:

• лица для разблокировки телефона обрабатываются в защищенном контуре процессора;
• медицинские показатели анализируются непосредственно в умных часах;
• распознавание лиц камерами наблюдения происходит локально — в облако уходит только метка «подозрительный объект».

Потеря данных — серьезная проблема интернета. По данным IBM, утечки через облачные сервисы обходятся бизнесу в 1-5 миллионов долларов в среднем за инцидент. Edge AI сокращает эти риски в разы.

Снижение затрат

Передача данных в облако — это затраты. Если информацию отправляют тысячи устройств, суммы наберутся внушительные.

Автономные нейросети обеспечивают радикальную экономию средства:

• В системах видеонаблюдения вместо потокового видео на сервер отправляются только события («человек в запрещенной зоне»).
• IoT-устройства передают не сырые биометрические данные, а готовые метки (например: «пульс 120 ударов в мин.»).
• В промышленности модели на Edge работают годами без апгрейда железа.

Надежность

Завод в глубинке, шахта, обсерватория в горах, морское судно — во многих местах стабильный интернет затруднителен или невозможен .

Но с Edge AI проблема легко решается:

• датчики прогнозируют поломки оборудования без облачной аналитики;
• дроны обследуют трубы нефтепроводов в офлайн-режиме;
• умные счетчики годами работают от батареек, экономя до 90% энергии на передаче данных.

Раньше при обрывах данных производство просто останавливалось. Но станки с Edge AI сами применяют до 80% решений. Они ведут себя как надежные сотрудники, которым можно доверять.

Примеры Edge AI в действии

Edge AI — не абстрактная концепция, а конкретная технология, которая уже меняют нашу повседневную жизнь. Изучим несколько показательных примеров использования периферийного ИИ в реальном мире.

Распознавание лиц

Технологии вроде Apple Face ID и Android Face Unlock — это не просто селфи для разблокировки. Под капотом работает сложная система: инфракрасные камеры сканируют 30 000 точек на лице, строят 3D-карту и превращают вашу внешность в математический вектор, который невозможно подделать даже фотографией. Edge AI делает это мгновенно — прямо на устройстве, без отправки данных в облако.

Современные Android-смартфоны (например, Huawei и Xiaomi) догоняют Apple, используя нейропроцессоры (NPU) для ускорения распознавания. Но если iPhone работает даже в полной темноте, то многим Android-устройствам нужно хотя бы тусклое освещение — их камеры не видят в инфракрасном спектре

Безопасность

Камеры в аэропортах и офисах теперь могут искать подозрительных персон, не отправляя ваше фото в облако. Все обрабатывается локально: система сравнивает изображение с базой и только при совпадении передает сигнал. Это не только быстрее, но и этичнее — ваши данные никуда не утекают.

Беспилотники и автомобили

Представьте дрон, который доставляет лекарства в отдаленные районы. Если он будет ждать ответа из облака, чтобы облететь дерево, посылка разобьется вместе с ним. Edge AI позволяет таким устройствам мгновенно анализировать окружение и принимать решения прямо на борту. То же самое с беспилотными автомобилями: их камеры и лидары обрабатывают данные в 100 раз быстрее, чем если бы они отправляли их на сервер.

Цифровые помощники

Современные голосовые ассистенты на Edge AI понимают команды без интернета, будь то разблокировка двери или поиск рецепта. Никакой слежки — только мгновенный результат.

Производственное оборудование

Раньше станки ломались неожиданно, останавливая производство на дни. Теперь датчики с Edge AI замечают аномалии в вибрации или температуре за часы до аварии.

Медицина

Портативные ЭКГ с Edge AI не просто записывают кардиограмму — они мгновенно обнаруживают предынфарктное состояние и сразу сигнализируют врачу. В реанимациях такие системы сокращают время реакции с минут до секунд. А умные инсулиновые помпы сами корректируют дозу, анализируя уровень сахара в крови 24/7.

Городская инфраструктура

Светофоры, которые адаптируются к потоку машин, камеры, отслеживающие аварии, датчики протечки воды в трубах — все это работает на Edge AI. Городская инфраструктура становится умнее, но без тотальной слежки и уязвимых облачных серверов.

Ограничения Edge AI

Edge AI — это не волшебная таблетка. Да, он быстр, автономен и бережет ваши данные, но у этой медали есть обратная сторона.

Ограниченные ресурсы

Главное ограничение Edge AI — железо. Современные смартфоны в сотни раз слабее облачных серверов, а микроконтроллеры в датчиках — в тысячи.

Пример: Нейросеть для распознавания лиц на iPhone занимает всего 5 МБ, но это потребовало нескольких лет оптимизаций. GPT-4 с ее 1 трлн параметров в таком формате — пока фантастика.

Потребление энергии

Локальная обработка данных экономит интернет-трафик, но сжирает заряд. NPU в современных чипах оптимизируют этот показатель (например, Qualcomm Hexagon снижает энергопотребление в 10 раз), но физику не обманешь — Face ID на iPhone тратит в 3 раза больше энергии, чем Touch ID. Датчики IoT с TinyML работают годами на батарейке, но только если спят 99% времени.

Защита данных

Безопасность Edge AI — это обоюдоострое орудие:

• Плюс: Ваше лицо для разблокировки телефона не уходит в облако (в отличие от Google Photos).
• Минус: Взломать один умный замок с уязвимым Bluetooth проще, чем серверы Apple.

Хакеры могут взломать камеры наблюдения с Edge AI и другие инструменты непосредственно на месте. И при этом неважно, отправляют ли они данные в сеть и работают ли с ними локально.

Обновления

В облаке обновить нейросеть — пара кликов. На миллионе разрозненных устройств — квест и головная боль. Поэтому значительная часть медицинских и промышленных датчиков с Edge AI никогда не получает обновлений.

Машинное обучение

Чтобы обучить сложное устройство с Edge AI хотя бы базовым вещам, нужны терабайты данных. Например, роботизированным автомобилям, в том числе такси, нужно проехать тысячи километров, чтобы собрать нужные данные. Аналогично обстоят дела с другими устройствами.

Когда данных нет, их генерируют. Но ИИ, обученный на «муляжах», часто путается в реальном мире (вспомните Tesla, которая принимала луну за желтый светофор или видела призраков).

Будущее Edge AI

Сферы применения нейросетей Edge AI со временем расширяются — этот процесс неизбежен. Они активно внедряются в промышленность, городскую дорожную инфраструктуру, даже в сельское хозяйство (в виде беспилотников и датчиков для отслеживания состояния урожая).

Ближайшее направление эволюции периферийного ИИ — создание специализированных процессоров. Современные нейропроцессоры эффективные, но чрезвычайно затратные.

Ведущие ИТ-корпорации уже экспериментируют с архитектурой, в которой ИИ-блоки встроены прямо в ячейки памяти. Qualcomm, Apple и NVIDIA тестируют процессоры, которые смогут запускать генеративные нейросети на вашем телефоне, не превращая его в раскаленную сковородку.

Методы оптимизации нейросетей будут совершенствоваться. Уже сейчас прунинг (удаление лишних связей без потери точности) и адаптивное квантование (разная точность для разных слоев модели), позволяют ужимать ИИ до микроскопических размеров. Сейчас TinyML-модели работают на устройствах с памятью меньше 1 МБ — и это только начало.

Кстати! Забрать все самые топовые нейронки для айтишников можно в нашем большом гайде с 70+ ИИ-инструментами

Коротко о технологии компьютерного зрения

Компьютерное зрение — область искусственного интеллекта на стыке машинного обучения (ML) и обработки изображений, связанная с анализом фото и видео. Цифровое изображение представляет собой неструктурированные однородные данные, поэтому обучение моделей компьютерного зрения проводится на размеченных данных: к изображению добавляют семантику (смысл) — задают метки классов, контуры объектов, координаты и т.д.

Если CV-модели хорошо обучены, то способны адекватно извлекать семантику из изображения. Как это работает: нейросети преобразуют входное изображение в его векторное представление в многомерном векторном пространстве, и уже потом, с помощью математических операций, сопоставляют его с заданной ранее семантикой.

Где применяют компьютерное зрение

Компьютерное зрение активно применяется в здравоохранении, логистике, ритейле, но наибольшая доля использования приходится на производство — 25,98%. Как правило, это отрасли, где много рутинной, опасной или требующей высокой точности работы. Например, горнодобывающая промышленность, где системами CV оснащают шахты для мониторинга состояния техники и агрегатов, металлургия и пищевая промышленность (отслеживание техпроцессов, дефектоскопия и т.п.).

Решаемые компьютерным зрением задачи

Автоматизированный контроль качества продукции — вопрос, наиболее часто решаемый с помощью компьютерного зрения. Большинство CV-моделей успешно справляются с подобной задачей независимо от отрасли и вида продукции.

Обычно это:

• определение дефектов продукции на конвейерной ленте (крупный и мелкий брак на металлопрокате, различные дефекты упаковки и др.);
• контроль качества деталей и сборочных узлов (дефекты покраски, брак двигателя и др.);
• автоматический анализ поверхностей и геометрии (дефекты инженерных конструкций), выявление дефектов сварки (рентгенографическая дефектоскопия сварных швов).

Преимущество использования технологии CV для решения таких задач в том, что система работает 24/7, полностью устраняет человеческий фактор и при этом не уступает в экспертизе высококвалифицированным специалистам, которые сейчас в дефиците.

Оптимизация производственных процессов — еще один вопрос, который можно закрыть с помощью компьютерного зрения. Как правило, под оптимизацией производственных процессов в контексте применения CV подразумевается отслеживание объемов готовой продукции и простоев оборудования. Например, когда система видеоаналитики фиксирует объемы сырья на входе в технологическую линию, прослеживает цепочку техопераций на разных этапах его обработки и контролирует объем готовой продукции на выходе — в штуках, массе, площади и т.п.

Одновременно с этим система считает коэффициент выхода готовой продукции и время простоев. Подсчет продукции идет в реальном времени, и на каждой единице продукта, как правило, есть отметка со временем выхода. Это позволяет выявить промежутки, когда продукции не было или было меньше обычного, — так и определяется время простоя.

Также CV решает вопрос мониторинга состояния оборудования — комплекса задач по выявлению аномалий в работе оборудования и предупреждению возможных аварий. Например, система видеоаналитики может проконтролировать состояние конвейерных лент на горно-обогатительном комбинате или токарном станке с ЧПУ на машиностроительном заводе.

По оценке экспертов, использование CV для мониторинга состояния оборудования позволяет предприятиям сократить убытки в среднем на 30%. При этом компьютерное зрение внедряется на производствах и как самостоятельное решение, и как часть системы автоматической диагностики. Интегрируясь с информационными системами, CV обеспечивает:

• непрерывность наблюдения;
• объективные показатели степени износа;
• предсказание частичного и полного выхода из строя;
• мгновенное оповещение об аномалиях.

Предел возможностей CV

Несмотря на то, что компьютерное зрение широко применяется в производстве, его нельзя назвать универсальным решением. Как и у любой другой технологии, у компьютерного зрения есть свои ограничения, и это необходимо учитывать перед внедрением.

Во-первых, CV-модели — статистические. Это значит, что, как и все модели машинного обучения, работают с какой-то вероятностью и не выдают 100%-ный результат. Во-вторых, при обучении нельзя предусмотреть все возможные варианты данных (изображений). В реальности система может столкнуться с чем угодно на фото или видео — это называют проблемой out-of-distribution (OOD).

Например, модель обучена определять дефекты металлопроката. Но так случилось, что на лист металла попал посторонний предмет (допустим, карандаш), который не дефект. Модель в любом случае отнесет его к одному из классов дефектов, потому что не видела этот предмет во время обучения, а значит, может идентифицировать его только как дефект.

Еще один важный момент: если CV-модель что-то не видит, значит, для нее этого не существует. В этом смысле компьютерное зрение сильно уступает человеку. Люди, увидев, что один объект наполовину закрыт другим, понимают, что есть продолжение этого объекта, и могут дорисовать его в своем воображении. CV-модель на такое почти не способна: она не обучена рассуждению, не умеет экстраполировать. Весь ее опыт — статистика визуальных признаков и не более того.

Трудности внедрения

Итак, чувствительность к данным, неспособность рассуждать, специализация на одной конкретной задаче (домене данных) — все эти свойства компьютерного зрения — вызовы при внедрении технологии и для заказчика, и для разработчика. Как подготовиться к проекту, чтобы избежать или минимизировать возможные трудности?

1. Определиться с бизнес-задачей. Без понимания целей и задач невозможно реализовать успешный проект. Если не будет четких метрик оценки эффективности CV-решения, технология вызовет только вопросы и сомнения. Кроме того, стоит определиться с целесообразностью такого внедрения, потому что есть задачи, которые решаются более простыми способами.

Например, надо реализовать остановку конвейера, когда на нем нет объектов, — с этим справятся и датчики. Компьютерное зрение в таком случае не нужно. А вот если требуется, чтобы конвейер останавливался каждый раз, когда на нем находится объект, не соответствующий форме, цвету, маркировке или другим визуальным характеристикам, — это задача для CV.

2. Собрать качественные данные. От качества входных данных и профессионализма/опыта инженеров предприятия зависит 90% успеха. Собирать данные можно вручную или автоматически, но, главное, делать это с пониманием того, как будет решаться задача. Независимо от сложности, данные должны быть точно размечены семантически: проставлены метки классов изображений и координат, выделены контуры объектов, там, где это имеет смысл. Чем лучше размечены данные, тем точнее будет результат работы CV-модели.

3. Ознакомиться с опытом решения похожих задач. Перед тем как приступить к внедрению, важно в целом иметь представление о технологии. Почитать о кейсах других компаний, объективно оценить трудности, с которыми они столкнулись, попробовать перенести чужой опыт на свою ситуацию и заранее обсудить все возможные «подводные камни» с разработчиками CV-решения.

Часто заказчики недооценивают сложность задач, рассчитывают на быстрые сроки и функционал моделей на грани фантастики. Поэтому важно обсуждать метрики эффективности CV в начале проекта, чтобы не попасть в ловушку иллюзорной простоты решения.

Вывод

Сегодня внедрение компьютерного зрения в промышленность демонстрирует большой потенциал. В 2025 году объем рынка CV оценивается в 20,31 млрд долларов, а к 2030-му, согласно прогнозам Mordor Intelligence, этот показатель достигнет 45,91 млрд долларов при среднегодовом темпе роста 17,72%.

Несмотря на существующие ограничения, компьютерное зрение продолжает совершенствоваться и открывает новые горизонты для промышленности. Компании, которые подходят к внедрению осознанно, четко формулируют бизнес-задачи и собирают качественные данные. Для них CV-решения становятся не просто инструментом для повышения эффективности техпроцессов и снижения издержек, но и реальным конкурентным преимуществом.

Все чаще мы сталкиваемся с автоматизацией процессов, анализом огромных массивов данных и вопросами кибербезопасности. Именно эти потребности бизнеса превращаются в тренды: если не хватает специалистов по защите данных или нет экспертов по облаку, значит спрос на них будет только расти.

Следить за трендами — не просто «быть в курсе». Это умение смотреть в будущее, вовремя прокачивать навыки и браться за новые проекты. В этой статье мы собрали 11 ключевых трендов на 2025 год — рассмотрим их подробнее, а помогут в этом — Сергей Меньшов, ведущий специалист по Computer Vision (Nexign.com), ментор Solvery, и Антон Ширшаков, Product owner (Райффайзенбанк), ментор Solvery.

Глобальные тренды и направления

Взрывной рост данных и их обработка

К 2025 году объем данных, которые мы будем генерировать, обещает безумные масштабы. По прогнозам, в интернете окажется более 75 ммлрд IoT-устройств.

• Основы аналитики данных: SQL и Python с библиотеками Pandas, NumPy, Scikit-learn;
• Инструменты больших данных: Apache Spark, Hadoop, Google BigQuery;
• Базы данных: PostgreSQL, MongoDB, Cassandra;
• Визуализация: Tableau, Power BI, Matplotlib, Seaborn;
• Обработка потоковых данных: Kafka и облачные платформы для real-time обработки.

Автоматизация и ИИ

ИИ меняет все подряд: от производства автомобилей до обслуживания клиентов в чат-ботах. По прогнозам, к 2025 году объем рынка ИИ вырастет до 190 млрд долларов.

• Алгоритмы ML: от линейной регрессии до нейронных сетей;
• TensorFlow, PyTorch: библиотеки для быстрого обучения моделей;
• MLOps: интеграция и поддержка моделей в продакшне.
• OpenCV: компьютерное зрение и анализ видео;
• Hugging Face: NLP-модели для текста и чат-ботов.

Сейчас активно развивается технология OpenVINO от Интела. Она позволяет запускать нейросети на процессоре с высоким FPS — например, YOLOv8 дает 200 кадров в секунду.

Топовые технологии и навыки в 2025 году

Кибербезопасность

По данным исследования Cybersecurity Ventures, к 2025 году глобальный ущерб от киберпреступлений может превысить 10,5 трлн долларов в год.

1. Этичное хакерство (Penetration Testing): Kali Linux, Metasploit, Burp Suite, Nmap. Сертификат CEH.
2. Криптография: AES, RSA, SHA, OpenSSL, PGP.
3. Администрирование сетей: Wireshark, Snort, Splunk.
4. SIEM: Splunk, IBM QRadar, ArcSight.
5. Incident Response и Compliance (ISO 27001, GDPR, PCI DSS).

Облачные вычисления и архитектура

По данным Gartner, к 2025 году 95% новых цифровых рабочих нагрузок будут развернуты в облаках.

• Terraform: Infrastructure as Code;
• Ansible: автоматизация развертывания;
• Docker и Kubernetes: контейнеризация и оркестрация.

Full-Stack разработка

В 2025 году от Full-Stack разработчиков ожидается еще более широкий спектр навыков: от интеграции с блокчейн до девелопмента микросервисной архитектуры.

DevOps

В 2025 году DevOps продолжает расширять инструментарий, интегрируясь с AI/ML, облачными технологиями и DevSecOps.

Работа с блокчейн

Блокчейн выйдет далеко за пределы криптовалют и станет элементом в управлении цепочками поставок, здравоохранении и безопасных транзакциях.

• Solidity: язык для смарт-контрактов Ethereum;
• dApps: децентрализованные приложения;
• Основы криптографии: цифровые подписи, хеш-функции.
• Распределенные вычисления: системы без единой точки отказа.

Продвинутое управление продуктом

На самом деле большинство компаний уже освоили и внедрили Agile-практики. Сейчас гораздо важнее инвестировать в непрерывное обучение и формирование насмотренности.

1. Непрерывное обучение и насмотренность: конференции, кейсы, смежные области.
2. Customer-centric: CJM, Jobs to Be Done.
3. Петли обратной связи: ретроспективы, 1-на-1, обзоры спринтов.
4. User story mapping, SPIDR, INVEST: декомпозиция задач.
5. Работа с данными: метрики, A/B-тестирование.

Работа с AR/VR технологиями

В 2025 году AR/VR продолжат находить применение в образовании, здравоохранении, маркетинге и игровой индустрии.

• Unity (C#) и Unreal Engine (C++) — основные движки;
• Blender, Maya — 3D-моделирование;
• ARKit (iOS), ARCore (Android) — AR для мобильных приложений;
• VR-гарнитуры: Oculus Quest, HTC Vive, PlayStation VR.

2025 год станет временем быстрых перемен в IT. Главные тренды: ИИ, облака, кибербезопасность, аналитика данных, блокчейн. Участвуйте в проектах, создавайте что-то свое и постоянно учитесь новому.

Читайте также: Как стать программистом с нуля — полный гайд, Как стать AI-инженером в 2024 году.

Детекция (т.е. нахождение) и распознавание лиц — очень популярная задача в современном мире: в метро уже давно следят за нашими передвижениями, а в загородных домах все чаще ставят «умные дверные глазки».

Так уж сложилось, что сейчас уже нельзя просто написать программу для распознавания лиц и присвоить себе должность Senior Data Scientist — таких знаний требуют даже от начинающих специалистов.

Если Вы еще не игрались с распознаванием лиц, но хотите развиваться в области нейронных сетей (ну или просто Вам интересна эта область), то эксперты IT Resume подготовили для вас этот гайд — давайте вместе пройдем все шаги:

• научимся загружать и представлять фотографии в виде матриц;
• проведем обработку исходных фотографий;
• задетектим лица на фотографии;
• обработаем изображения нейронной сетью;
• посмотрим — сможет ли сеть понять, что мы ей дали два фото одного и того же человека.

Для работы нам потребуется:

1. Google Colab — среда для работы с Python в браузере. Они еще доступ к GPU дают (а для нейронных сетей это очень нужно).
2. И все ?

Итак, начнем.

Этап 1. Подключение модулей

Перед тем, как начать работу, давайте сменим среду выполнения на «Ускорение GPU». В будущем нам это понадобится для работы нейронной сети. Для этого в Google Colab нажимаем «Среда выполнения» → «Сменить среду выполнения» → «Аппаратный ускоритель GPU».

Теперь подключим необходимые библиотеки. В Colab большинство библиотек уже установлено, поэтому нам осталось их только импортировать:

• cv2 — для загрузки и обработки изображений;
• dlib — для детекции лиц;
• numpy — для работы с матрицами.

Помимо этого, с помощью команды pip install face_recognition мы устанавливаем библиотеку face_recognition — с ее помощью мы будем обрабатывать лицо нейронной сетью.

Примечание Вообще сделать полную обработку можно всего за несколько строчек кода, потому что в библиотеке face_recognition многие процессы (например, детекция лиц) уже завернуты в функции. Но мы намеренно некоторые вещи будем делать «с нуля», чтобы вы лучше во всем разобрались.

Этап 2. Первичная настройка

Теперь нам нужно произвести небольшую настройку, чтобы потом полноценно использовать все инструменты и кодовую базу.

Начнем с настройки детектора лиц. Сначала скачиваем файл с готовой моделью с помощью команды wget (да, именно этой командой Цукерберг запустил Фэйсбук в фильме Социальная сеть) и распаковываем файл в формат .dat.

Далее создаем детектор лиц и передаем скачанную модель в shape_predictor, который будет предсказывать ключевые точки человеческого лица — контур головы, глаза, нос и рот.

Отлично, теперь мы готовы переходить к содержательной части — обработке фотографий.

Этап 3. Загрузка и обработка фотографий

Перед тем, как загружать фотографию в переменную Python, ее надо загрузить в файловое хранилище Google Colab. Для этого достаточно нажать на иконку Папки на левом сайдбаре и выбрать Upload.

Мы, например, загрузим фотографию Конора МакГрегора.

Отлично, теперь надо «прочитать» изображение в переменную Python. Это можно сделать несколькими способами, но нам удобнее представить изображение сразу в виде матрицы. Это можно сделать с помощью функции imread из модуля cv2.

Если вы загружаете цветную картинку, то «матрица» будет иметь размерность 3*height*width, где 3 — количество цветовых каналов (RGB), а width и height — размерность картинки в пикселях. Проверить это можно с помощью метода shape. Каждое число в матрице — значение пикселя по конкретному цветовому каналу.

Кстати говоря, если вы хотите посмотреть на загруженную картинку, то вам нужно:

1. Импортировать команду cv2_imshow: from google.colab.patches import cv2_imshow.
2. Передать в функцию cv2_imshow нужную картинку: cv2_imshow(img).

В некоторых задачах имеет смысл обрабатывать не цветное изображение, а черно-белое. Например, на детекцию лиц наличие цвета мало влияет — контуры лица и так хорошо видны. А вот для нейронной сети это может быть принципиальный момент — мало ли, люди выглядят одинаково, а цвет кожи разный.

Поэтому давайте переведем нашу цветную картинку в черно-белую:

Теперь переходим к следующему этапу — детекция лица.

Этап 4. Детекция лица

Детектор лиц у нас уже настроен, поэтому можем переходить непосредственно к детекции. Делать это будем в 2 этапа:

1. Ищем прямоугольники, в которых находятся лица.
2. По этим прямоугольникам предсказываем контуры и ключевые точки лица.

С помощью detector мы получим координаты нужного прямоугольника. Если лиц несколько, то и наборов точек будет несколько. Чтобы выбрать конкретное лицо, нужно указать индекс (в нашем случае — ноль).

Чтобы посмотреть на результат, можно нарисовать рамку вокруг лица с помощью метода rectangle и посмотреть фото с помощью cv2_imshow. Только будьте осторожны — рамка останется на фото навсегда, так что лучше потом загрузить изображение заново.

Теперь по найденным квадратам нужно «предсказать» ключевые точки лица. Для этого используем predictor, а потом извлекаем координаты точек.

Здесь, чтобы получить координаты точек, мы использовали сразу несколько полезных — операций Python:
— лямбда-функции;
— функцию map;
— распаковку.
Если вы планируете связать свою работу с Python, то обязательно освойте все эти приемы — они сильно упростят вам жизнь.

На выходе у нас получилось 68 точек. Не будем сильно в этом гайде заморачиваться с тем, как нанести это на фото, но получится что-то в таком духе:

Теперь у нас есть вся необходимая информация, чтобы обработать изображение нейронной сетью — и изображение, и ключевые точки лица. Переходим к следующему этапу.

Этап 5. Обработка нейронной сетью

Основная идея обработки сетью заключается в том, что из исходного «большого» изображения выделяются только ключевые признаки, которые впоследствии и помогут нам отличить одного человека от другого. Другими словами, многомерная матрица-картинки преобразуется в относительно небольшой числовой вектор, который характеризует лицо с картинки.

Итак, получить итоговый вектор очень просто — достаточно вызвать функцию face_encodings.

Примечание Обратите внимание, что в качестве аргументов мы передали только изображение, а полученные ранее ключевые точки мы не использовали. Причина очень проста — функция face_encodings делает все те же самые действия, которые мы с вами проделали вручную ранее для понимания процесса «изнутри».

На выходе мы получаем вектор размерности 128, т.е. 128 чисел, которые описывают лицо на фотографии. Что значит каждое из этих чисел — неизвестно: это некоторая абстракция, восстановить и осмыслить которую невозможно — слишком уж много математических преобразований лежит внутри этого процесса.

Однако, от этого вектора нам толку мало — чтобы оценить эффективность «нейросетевых технологий», нужно сравнить два вектора для двух разных фотографий. Давайте немного поэксперементируем — будем подавать разные фото на вход и сравнивать с нашим изначальным фото МакГрегора.

Этап 6. Сравнение векторов

Чтобы сравнивать лица между собой, мы будем действовать следующим образом:

1. Загружаем новое фото и производим обработку, которую уже разобрали на предыдущих этапах. На выходе получаем вектор.
2. Сравниваем вектора между собой.
3. На основании расстояния принимаем решение — один и тот же человек на фото или разные.

Встает вопрос — что значит «сравнить вектора»? Самый простой способ — посчитать расстояние в некоторой метрике. Мы выберем обычную евклидову метрику. Вычислять ее без лишнего кода нам позволит функция pdist из scipy.spatial.distance.

Итак, сначала загрузим еще одну фотографию Конора.

Сохраняем полученный вектор для первой фотографии в vector1, для второй — в vector2 и вычисляем расстояние:

Получаем ответ — 0,48. Это достаточно близкое расстояние, из чего делаем вывод, что это один и тот же человек. Сеть справилась отлично!

Ну хорошо, еще пару экспериментов — давайте возьмем снова Конора, но усложним задачу — пусть он будет в очках.

Результат — 0,56. Снова в яблочко (разработчик библиотеки face_recognition рекомендует придерживаться порога 0,6 — если больше 0,6, то это другой человек).

Ну что ж, а может сеть просто всех определяет как Конора? Давайте подсунем ей другого бойца — Хабиба Нурмагомедова. Что наша сеть на это скажет?

Снова проводим уже известную процедуру и ответ… — 0.72. По утвержденному ранее порогу, делаем вывод: Хабиб — не Конор. Сеть снова нас не подвела, и мы со спокойной душой можем переходить к более сложным проектам.

Эпилог

Мы с вами разобрали основной инструментарий, который вам понадобится для старта в области face recognition (да и в нейронных сетях, в целом). Однако это далеко не предел — мы затронули лишь верхушку айсберга, опустив очень много моментов как программных, так и математических.

Вот несколько вещей, которые мы рекомендуем вам сделать, чтобы прокачаться в области Computer Vision (компьютерное зрение):

• Научитесь выстраивать процесс распознавания с нуля, без использования оберток (чем является библиотека face_recognition). Начните хотя бы с изучения исходников этой библиотеки на GitHub — там ничего сверхсложного нет.
• Попробуйте разные нейронные сети. Погуглите state-of-the-art решения и посмотрите — чем будет различаться результат.
• Изучите структуру нейронных сетей (например, сверточных) с математической точки зрения. Это можно сделать с помощью многочисленных туториалов и официальной документации библиотек (например, PyTorch).

Есть много и других точек роста, но начните с этих — остальные мысли придут в процессе ?

Желаем удачи и будем рады помочь в комментариях!

P.S. Наш ноутбук с кодом в Google Colab Вы можете найти здесь.

В основу проекта легла библиотека OpenCV. Разработчик использовал её для быстрой реализации компьютерного зрения. И чтобы сопоставление работало как было задумано, QuanticDev воспользовался соответствующим туториалом на сайте библиотеки.

В конечном итоге разработчик получил то, что хотел — его приложение понимало, где находятся два одинаковых носка, тем самым помогая разбирать кучу постиранных носков.

Как повторить проект?

1. Открыть туториал на сайте OpenCV и скопировать оттуда кусок кода (доступен на C++, Java и Python).
2. Используя пакетный менеджер, установить следующие пакеты: opencv, opencv-contrib, cmake, make.
3. Создать директорию ./Matcher.
4. Создать в ней файл Matcher.cpp.
5. Вставить скопированный с сайта OpenCV C++ код в файл Matcher.cpp.
6. Выполнить команду cmake . && make && ./Matcher , находясь в директории ./Matcher.
7. ???
8. Profit!

Источник: YouTube / QuanticDev

Сенсор работает за счёт радиолокационных волн: они отражаются от предметов и живых существ. Если ИИ замечает, что в отражённой картинке есть ребёнок или животное, а рядом с ним нет взрослого, система бьёт тревогу.

У такого сенсора есть одно важное преимущество перед камерами: он умеет «видеть» сквозь сиденья.

Изобретение придумали в Университете Ватерлоо, работу частично профинансировал производитель автомобильных деталей. Он рассчитывает вывести датчик на рынок к концу 2020 года. Эту же технологию можно в будущем применять для распознавания усталости водителя.

Смартфон нужно закрепить на ветровом стекле так, чтобы фронтальная камера «видела» водителя, а основная — дорогу перед автомобилем. Алгоритмы получают два потока видео и данные с датчиков смартфона. Они анализируются в связке. Например, получив с акселерометра данные о резком торможении, система сразу обращает внимание на человека за рулём — видны ли на его лице признаки усталости или сна, а также на дорогу — не наехал ли автомобиль на какое-нибудь препятствие.

Устройства сейчас тестируют вместе с региональным транспортным управлением Дехрадуна — города на севере Индии. По словам чиновников, ежедневно больше 50 человек пытаются пройти тест на вождение вместе с устройствами HAMS. Только половина сдаёт его успешно.

В Photoshop помимо стандартных инструментов выделения есть и автоматические. Ещё в 2017 году выделить объект на снимке стало возможно одним кликом. Но у такой функции есть существенный недостаток: доминирующий предмет в кадре алгоритм выбирает сам, то есть указать ему на определённую область не получится.

В новой версии пользователю будет достаточно указать произвольную и неограниченную область на изображении. Алгоритм изолирует предметы в этой области от фона и выделит их контур. Самое крутое, что функция работает, даже если какие-то части объекта не попали в область.

Безопасность

Офисные сотрудники могут только позавидовать тому, как на предприятиях заботятся о здоровье. Без несчастных случаев и аварий на производстве завод работает как часы, вот промышленники и стремятся к нулевым показателям по простоям, задержкам и, конечно, избегают травматизма и смертности.

Как этого добиться? Только тотальным и бескомпромиссным контролем. Чтобы не просто пьяных не пускали — даже с похмельным «выхлопом» на объекте никого не было. И чтобы без допуска никто не лез на высоту, а все операции чётко соответствовали регламентам.

Для этих целей у главного инженера и других руководителей устанавливается специальный интерфейс, где, как в компьютерной игре, визуализируется общая обстановка и события, на которые нужно обратить внимание. Плюс показатели самочувствия сотрудников вплоть до определения уровня стресса. Чуть что не так — пожалуйте в медпункт, проверьте сердце и давление. И везде алкотестеры: на входе, у станков, у электрощитов. Потому что, увы, некоторые герои любят «взбодриться» в обеденный перерыв.

Одна из самых важных задач — перенесение аналоговых рабочих процессов в цифровую логику программ. А потом ИИ сможет оптимизировать распределение задач: раздавать наряды для оптимальной загрузки станков, учитывая навыки сотрудников, правильно выстраивать процедуры и так далее. А в случае аварии он направит людей к нужным выходам, чтобы избежать жертв из-за паники. Параллельно он будет собирать информацию с умных датчиков, устанавливая по горячим следам причины проблем.

Эффективность производства

Про оптимизацию станков силами ИИ мы уже сказали. Ещё есть умная мониторинговая система, которая по звуку определяет, что мотору скоро понадобится ремонт. В отличие от Васильича из автосервиса, эта система реально может диагностировать электродвигатель или другую сложную машину по её шумам. В результате предприятие переходит к модели обслуживания по потребности, что, во-первых, дешевле, а во-вторых, страхует от неожиданностей. Уже сейчас РЖД таким образом ремонтирует вагонные колесные пары.

Немало усилий направлено и на расширение способностей каждого рабочего. Человек надевает очки дополненной реальности и видит перед собой инструкцию по обращению с техникой. Или может взять в руки сошедшую с ленты деталь, а компьютер оценит, не отправить ли продукт в брак. Это пока в будущем, а из того, что уже вошло в практику — обучение персонала в виртуальной среде, когда они могут в тех же VR-очках побегать по заводу, запомнить, где находится каждый вентиль и что делать в разных ситуациях. Когда завод запустят, сотрудникам нужно будет гораздо меньше времени, чтобы освоиться.

Роботы

Эти технологии по сути объединяют в себе два предыдущих раздела. Когда человеку не стоит или не хочется лезть в какую-то зону, он берёт в руки пульт и отправляет вместо себя дрона. Не обязательно летающего: беспилотники устанавливаются на колёсную или гусеничную базу, есть плавающие, лазающие, катающиеся образцы.

Лично мы самими роботами не занимаемся, но зато разработали софт, чтобы один оператор мог контролировать целые группировки дронов. Можно создавать маршруты, программировать сценарии, всячески автоматизировать работу. Как это используется в реальной жизни?

Одни компании мониторят состояние растянутых на километры объектов (если мы говорим, например, о трубопроводе). Тепловизоры и прочие специальные штуковины позволяют, например, увидеть утечку и отправить сигнал обслуживающей бригаде.

Другие предприятия отправляют дроны в карьеры, где они обследуют стенки и сообщают о проблемах. Во время взрывных работ беспилотники позволяют вовсе убрать людей из опасной зоны, не жертвуя при этом эффективностью операций.

В агропромышленном комплексе дроны летают над полями: ищут больные растения, обезвоженные участки и всё такое прочее. Есть даже системы для автоматического сбора урожая.

И, разумеется, задачи в части аварий и чрезвычайных ситуаций — это актуально всегда и везде. Здесь у нас целая серия пилотных проектов для нескольких производств. До боевого внедрения технологий остаётся 3–5 лет.

Машинное зрение и всё, что придет в голову

Умные камеры работают на множестве участков. Причём многие проекты начинаются, когда заказчик делится своей «болью», а наши инженеры ему говорят: «А почему бы не…». Вот примеры.

Как контролировать усталость водителей большегрузов и защищать их от бандитов в пути? Ставим в кабину умную камеру, чтобы следила за состоянием человека. Комплекс датчиков собирает данные о движении машины и сигнализирует о внезапных событиях вроде открытия дверей фургона, появления попутчиков (или попутчиц).

Как следить за поведением персонала и доступом в закрытые зоны? Система машинного зрения на ходу снимает людей и ведёт их по объекту. Тут работает не только распознавание лица, но и анализ дополнительных параметров вроде походки.

Как обеспечить проверку грузов на крупном объекте вроде порта или промышленного склада? Дрон облетает контейнер, проверяет его на повреждения (трещины, коррозию и так далее). В некоторых портах уже есть краны, которые не берут груз, пока дрон не составит и не проанализирует его модель.

Как проконтролировать стройку на удалённом объекте? Ставим систему, которая в режиме 24/7 считает, сколько привезли материалов, сколько человек реально было на стройплощадке и сколько времени они работали, а сколько — играли в домино. Всё это можно наложить на BIM-модель и соотнести с экономическими показателями.

Хотите попробовать эти решения в деле? Участвуйте в хакатоне КРОК

Теперь о том, что я анонсировал в начале — как это всё можно пощупать. 16–17 ноября в Москве у нас в КРОК пройдет финал промышленного хакатона ProHack 4.0. Это хакатон с реальными задачами от таких промышленных компаний, как Сибур, ФосАгро, УралХим, Газпром Нефть, Норникель и другие. Задачи такого же плана, что и описанные выше. Например, оптимизировать работу системы вентиляции на предприятии, чтобы она работала не 100% времени, а только если в помещении есть люди. Все задачи хакатона можно посмотреть здесь.

А на днях пришла бомбическая задача от крупного агрохолдинга: детектирование/устранение случаев придавливания поросят свиноматкой. Из описания задачи:

В свинокомплексе на небольшой площади (в станке) находится свиноматка, которая недавно опоросилась и кормит родившихся поросят. Свиноматка кормит поросят с момента опороса до 26–дневного возраста. Станок исключает повороты свиноматки, позволяя ей лишь лежать или стоять. Проблема в том, что бывают ситуации, преимущественно на первой неделе после опороса (когда поросята еще недостаточно осторожны), когда свиноматка ложится на пол и случайно придавливает поросёнка. Часть поросят при этом получают несовместимые с жизнью повреждения, а часть можно спасти, если в течение короткого промежутка времени освободить их из-под тела свиноматки.

Эту и другие задачи участники хакатона попробуют решить с помощью настоящих рабочих инструментов от ведущих мировых вендоров. Мы предложим им высокоскоростной фреймворк Exonum (Bitfury), российскую платформу Мастерчейн, набор промышленных решений от Cisco: инструменты для индустриального Wi-Fi, построения сети LoRaWAN, IoT-платформу Cisco Kinetic, видеонаблюдение Cisco VSM. Пергам поделится своими наработками в области детектирования газов на промышленных объектах.

Проверить свои гипотезы и апробировать разработанные прототипы вы сможете с помощью гибкой и масштабируемой «песочницы» на основе платформы КРОК Облачные сервисы.

Как говорит один из членов команды Chrome, раньше на месте иллюстрации человек мог услышать разве что слово «изображение» или имя файла, что тоже мало чем полезно. Теперь при браузер должен давать более-менее подробное описание иллюстрациям. Например, «похоже на фрукты и овощи в магазине» для фото витрины овощной лавки.

Система работает аналогично той, что позволяет искать картинки по текстовым запросам.

Включить функцию можно в продвинутых настройках браузера, в секции Accessibility.

Согласно источникам Bloomberg, Amazon серьёзно относится к вопросам безопасности в отношении этого проекта. К примеру, сотрудники в Индии работают с такими видео на отдельном этаже, куда нельзя проходить со своими смартфонами. Но проблема, говорят журналисты, в том, что Amazon нигде не говорит напрямую, что видео с камер будут просматривать другие люди.

Нейросеть «Яндекса» узнаёт страны по фотографиям. Алгоритм работает так же, как предыдущая версия с российскими городами.

Разработчики использовали свёрточную нейросеть SE-ResNeXt-50. Ей показали подборку фотографий из Яндекс.Карт с указанием стран. ИИ самостоятельно выделил признаки, по которым можно узнать ту или иную страну. Например, Нидерланды алгоритм узнаёт по сочетанию тёмных кирпичных стен и белых контуров на окнах.

Из нейросети сделали игру с «Алисой». Она профи, но и у человека есть преимущества. Во-первых, алгоритм не распознаёт номера машины, флаги, тексты вывесок и дорожных знаков. Во-вторых, подглядывать в Яндекс.Картинки ему нельзя. В-третьих, в игре участвуют только те картинки, которых алгоритм раньше не видел.

Нейросеть научили видеть зеркала в кадре. Алгоритм справляется с обнаружением отражения на фото лучше, чем аналоги, — так говорят авторы.

Зеркальная поверхность — серьёзная проблема для компьютерного зрения. Нейросети воспринимают их как часть кадра и думают, что объекты в отражении присутствуют на снимке, просто находятся очень далеко. Китайские разработчики научили нейросеть различать отражение по текстуре, цвету и семантическим признакам.

Сначала фотографию отправляют свёрточной нейросети для выделения признаков — программа оставляет только ключевые данные, например, линии. Так изображение проще анализировать, а информация об объектах сохраняется. Обработанное фото принимает вторая нейросеть, которая анализирует контрастность разных параметров на снимке. Алгоритм определяет, где эти параметры сильно различаются, и понимает: тут зеркало.

Для обучения разработчики собрали датасет из 4018 пар снимков помещений с зеркалами: исходный кадр и кадр с выделенным зеркалом. На таких же данных алгоритм сравнили с аналогами и выяснили, что новая нейросеть точнее выделяет зеркальную гладь.

Приложение это было платное. На обработанные фото, сделанные в бесплатной версии, оно накладывало огромные водяные знаки, закрывающие «самое интересное». Если получить премиум-доступ, на фото не останется лишних пометок, кроме большой надписи «Fake» сверху.

Внезапный конец

Вчера создатели DeepNude объявили, что закрывают сервис, хотя тот проработал всего несколько дней:

Мы думали, что у нас будет несколько продаж каждый месяц, которые мы будем контролировать вручную. <…> Мы сильно недооценили запрос. Несмотря на принятые меры безопасности (водяные знаки), если его используют 500 тысяч человек, вероятность того, что люди будут злоупотреблять им, слишком высока. Мы не хотим зарабатывать деньги таким образом. <…> Мир ещё не готов к DeepNude.

Взлом

Но и это ещё не всё. 27 июня пользователь Reddit опубликовал «кряк» для премиум-версии программы. Он позволяет скачать изображение безо всяких водяных знаков, даже без подписи «Fake».

По словам пользователя, разработчики предусмотрели механизм отслеживания авторов платных фото. В метаданные изображения включался email-адрес подписчика на платный сервис, который скачал обработанное фото. На то, чтобы создать «кряк», у него ушло четыре часа.

Библиотека компьютерного зрения и машинного обучения с открытым исходным кодом. В неё входят более 2500 алгоритмов, в которых есть как классические, так и современные алгоритмы для компьютерного зрения и машинного обучения. Эта библиотека имеет интерфейсы на различных языках, среди которых есть Python (в этой статье используем его), Java, C++ и Matlab.

В этой шпаргалке собраны основные операции OpenCV на Python с готовыми примерами кода: от чтения и вывода изображений до распознавания лиц и контуров объектов. Каждый блок можно скопировать и сразу использовать в своём проекте.

Содержание

1. Установка.
2. Импорт и просмотр изображения.
3. Обрезка.
4. Изменение размера.
5. Поворот.
6. Градация серого и порог.
7. Размытие/сглаживание.
8. Рисование прямоугольников.
9. Рисование линий.
10. Текст на изображении.
11. Распознавание лиц.
12. Contours — распознавание объектов.
13. Сохранение изображения.

Импорт и просмотр изображения

Примечание При чтении способом выше изображение находится в цветовом пространстве не RGB (как все привыкли), а BGR. Возможно, в начале это не так важно, но как только вы начнёте работать с цветом — стоит знать об этой особенности. Есть 2 пути решения:

1. Поменять местами 1-й канал (R — красный) с 3-м каналом (B — синий), и тогда красный цвет будет (0,0,255), а не (255,0,0).
2. Поменять цветовое пространство на RGB:rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)И тогда в коде работать уже не с image, а с rgb_image.

Примечание Чтобы закрыть окно, в котором отображается изображение, нажмите любую клавишу. Если использовать кнопку закрытия окна, можно наткнуться на подвисания.

На протяжении статьи для вывода изображений будет использоваться следующий код:

Кадрирование

Где image[10:500, 500:2000] — это image[y:y + высота, x:x + ширина].

Изменение размера

Эта функция учитывает соотношение сторон оригинального изображения. Другие функции изменения размера изображений можно увидеть здесь.

Поворот

image.shape возвращает высоту, ширину и каналы. M — матрица поворота — поворачивает изображение на 180 градусов вокруг центра. -ve — это угол поворота изображения по часовой стрелке, а +ve, соответственно, против часовой.

Перевод в градации серого и в чёрно-белое изображение по порогу

gray_image — это одноканальная версия изображения.

Функция threshold возвращает изображение, в котором все пиксели, которые темнее (меньше) 127 заменены на 0, а все, которые ярче (больше) 127, — на 255.

Для ясности другой пример:

Здесь всё, что темнее, чем 150, заменяется на 10, а всё, что ярче, — на 200.

Остальные threshold-функции описаны здесь.

Размытие/сглаживание

Функция GaussianBlur (размытие по Гауссу) принимает 3 параметра:

1. Исходное изображение.
2. Кортеж из 2 положительных нечётных чисел. Чем больше числа, тем больше сила сглаживания.
3. sigmaX и sigmaY. Если эти параметры оставить равными 0, то их значение будет рассчитано автоматически.

Больше про размытие здесь.

Рисование прямоугольников

Эта функция принимает 5 параметров:

1. Само изображение.
2. Координата верхнего левого угла (x1, y1).
3. Координата нижнего правого угла (x2, y2).
4. Цвет прямоугольника (GBR/RGB в зависимости от выбранной цветовой модели).
5. Толщина линии прямоугольника.

Рисование линий

Функция line принимает 5 параметров:

1. Само изображение, на котором рисуется линия.
2. Координата первой точки (x1, y1).
3. Координата второй точки (x2, y2).
4. Цвет линии (GBR/RGB в зависимости от выбранной цветовой модели).
5. Толщина линии.

Текст на изображении

Функция putText принимает 7 параметров:

1. Непосредственно изображение.
2. Текст для изображения.
3. Координата нижнего левого угла начала текста (x, y).
4. Используемый шрифт.
5. Размер шрифта.
6. Цвет текста (GBR/RGB в зависимости от выбранной цветовой модели).
7. Толщина линий букв.

Распознавание лиц

На этот раз без пёсиков.

detectMultiScale — общая функция для распознавания как лиц, так и объектов. Чтобы функция искала именно лица, мы передаём ей соответствующий каскад.

Функция detectMultiScale принимает 4 параметра:

1. Обрабатываемое изображение в градации серого.
2. Параметр scaleFactor. Некоторые лица могут быть больше других, поскольку находятся ближе, чем остальные. Этот параметр компенсирует перспективу.
3. Алгоритм распознавания использует скользящее окно во время распознавания объектов. Параметр minNeighbors определяет количество объектов вокруг лица. То есть чем больше значение этого параметра, тем больше аналогичных объектов необходимо алгоритму, чтобы он определил текущий объект, как лицо. Слишком маленькое значение увеличит количество ложных срабатываний, а слишком большое сделает алгоритм более требовательным.
4. minSize — непосредственно размер этих областей.

Contours — распознавание объектов

Распознавание объектов производится с помощью цветовой сегментации изображения. Для этого есть две функции: cv2.findContours и cv2.drawContours.

В этой статье детально описано обнаружение объектов с помощью цветовой сегментации. Всё, что вам нужно для неё, находится там.

Сохранение изображения

Заключение

OpenCV — отличная библиотека с лёгкими алгоритмами, которые могут использоваться в 3D-рендере, продвинутом редактировании изображений и видео, отслеживании и идентификации объектов и людей на видео, поиске идентичных изображений из набора и для много-много чего ещё.

Эта библиотека очень важна для тех, кто разрабатывает проекты, связанные с машинным обучением в области изображений.

Часто задаваемые вопросы

Что такое OpenCV и для чего она используется?

OpenCV (Open Source Computer Vision Library) — это библиотека компьютерного зрения с открытым исходным кодом, содержащая более 2500 алгоритмов. Она используется для обработки изображений, распознавания лиц и объектов, работы с видеопотоком, 3D-рендеринга и задач машинного обучения.

Как установить OpenCV для Python?

Установить OpenCV можно через pip командой pip install opencv-python. Для расширенной версии с дополнительными модулями используйте pip install opencv-contrib-python.

Почему OpenCV читает изображения в BGR, а не в RGB?

Это связано с историческими причинами: формат BGR был популярен на ранних этапах развития библиотеки. Для преобразования в привычный RGB используйте функцию cv2.cvtColor(image, cv2.COLOR_BGR2RGB).

Какие основные операции с изображениями поддерживает OpenCV?

OpenCV поддерживает чтение, запись, кадрирование, изменение размера, поворот, перевод в градации серого, размытие, рисование графических примитивов (прямоугольники, линии), наложение текста, распознавание лиц и контуров объектов.

Для классификации есть две модели. Одна распределяет изображения по группам в зависимости от его разрешения, а вторая помогает их модерировать. К примеру, может помечать фото с водяными знаками, шокирующим контентом или контентом 18+.

По словам разработчиков, для работы с Yandex Vision можно использовать REST API или gRPC API.

Компания указала цену только за услугу распознавания текста, потому что функции обнаружения лиц и классификации пока находятся на стадии preview. Тысяча успешных анализов изображений в месяц стоит 120 рублей.

TensorFlow.js

Будучи одним из крупнейших фреймворков машинного обучения, TensorFlow также позволяет создавать Node.js- и frontend-приложения. Ниже приведена одна из демонстраций, где показано сопоставление позы с коллекцией изображений. TensorFlow также имеет песочницу, позволяющую лучше визуализировать искусственные нейронные сети, которые могут быть полезны в образовательных целях.

Amazon Rekognition

Amazon Rekognition — это мощный облачный инструмент. Кроме того, Amazon также предоставляет различные SDK для JavaScript в браузерах. SDK можно найти здесь. Изображение ниже иллюстрирует, насколько детальным может быть распознавание лиц.

OpenCV.js

OpenCV является одним из старейших фреймворков компьютерного зрения и уже давно служит разработчикам в этой области. У них также есть JavaScript-версия, позволяющая разработчикам реализовать эти функции на веб-сайте.

tracking.js

Если вы собираетесь создать приложение исключительно для быстрого обнаружения лиц, например как в веб-версии фильтров Snapchat, вам стоит взглянуть на tracking.js. Этот фреймворк позволяет интегрировать распознавание лиц на JavaScript с довольно простой настройкой. На основе этого фреймворка даже есть руководство для написания приложения ко Дню Всех Святых, которое распознаёт людей на изображениях и надевает им на голову шляпу лепрекона.

WebGazer.js

Пытаетесь ли вы проводить испытания качества UX-дизайна или создать новые интерактивные системы для игры или веб-сайта, WebGazer.js станет хорошим инструментом для любых начинаний. Этот фреймворк позволяет приложениям узнавать, куда смотрит человек, с помощью входных данных с камеры.

three.ar.js

Ещё один фреймворк от Google, three.ar.js, расширяет функциональные возможности ARCore для frontend JavaScript. Это позволяет интегрировать обнаружение поверхностей и объектов в браузеры, что является идеальным инструментом для AR-игр.

В заключение

Рассмотренные фреймворки — это отличная платформа для дальнейшего развития компьютерного зрения. Создавайте с их помощью свои проекты и получайте удовольствие от разработки.

Если вы только начинаете интересоваться темой компьютерного зрения вам может быть полезен следующий курс.

Работа алгоритма

Для создания такой технологии исследователи воспользовались наработками коллег.

• Нейросеть Mask R-CNN распознаёт на изображении фигуру человека и выделяет её из фона.
• Другой алгоритм накладывает на фигуру упрощённую разметку скелета, определяя то, как она будет двигаться.
• Третий алгоритм «заполняет» пространство фона, ранее скрытое фигурой.

Далее собственный алгоритм исследователей на основе размеченной двумерной фигуры создаёт трёхмерную модель и по исходному изображению генерирует уровень текстуры.

Разработчики добавили пользовательский интерфейс, который позволяет менять позу фигуры, чтобы отредактировать саму фотографию или определить, с чего начнётся анимация. Кроме того, можно «оживить» рисунок или фотографию в дополненной реальности и увидеть объёмную фигуру в VR- или AR-очках.

Похожую технологию представили исследователи из DeepMind. Их алгоритм способен построить трёхмерную модель объекта по нескольким изображениям, что позволяет по фотографиям воссоздавать в виртуальной реальности объёмные сцены.

Принцип работы VON

Нейросеть разбивает генерируемую модель на три фактора: форму, ракурс и текстуру. Затем она тренируется создавать трёхмерные объекты и вычисляет эскизы «2.5D» — совокупность силуэта объекта моделирования и карты его глубины.

Поскольку эти факторы условно независимы, модель не требует дублирования данных между двумерными изображениями и трёхмерными формами. Это позволило обучать VON на коллекциях Pix3D, изображениях Google и ShapeNet.

Чтобы научить VON создавать форму объекта самостоятельно, исследователи задействовали генеративно-состязательную сеть (GAN), обученную на ShapeNet. За создание текстур отвечает другая сеть на базе GAN.

Оценка нейросети

Для оценки модели генерации изображения разработчики определили расстояние Фреше для сгенерированных объектов. Они представили около 200 пар изображений и моделей, созданных нейросетью, на сервисе Mechanical Turk от Amazon. Пятеро опрашиваемых должны были выбрать наиболее реалистичную модель. VON имела самое низкое начальное расстояние Фреше из всех моделей ИИ, и опрашиваемые выбрали её изображения в 74–85 % случаев.

В июне 2018 года команда разработчиков рассказала о проекте HeadOn — технологии, которая «считывает» выражение лица, движение глаз, позу человека в реальном времени и на основе этой информации воссоздаёт его реалистичную объёмную модель.

Изменения в версии OpenCV 4.0.0

Разработчики рассказали об удалении части API для языка C, присутствовавших с версии OpenCV 1.x. Среди них модули определения объектов, фото- и видеомодуль, модуль кодировщиков изображений, модуль чтения видео с камеры и записи его в файл, а также модуль калибровки камеры. Другие изменения коснулись:

• Хранения данных. Хранение и загрузка данных в файлы XML, YAML и JSON в основном модуле реализованы на C++ и несовместимы с API языка C. Поддержка кодирования файлов стандарта base64 реализована только для файлов XML и YAML.
• Модуля для работы с нейросетями DNN. После обновления он поддерживает архитектуру Mask-RCNN, частично нейросеть YOLO. Также добавлен экспериментальный бекэнд Vulkan, который необходим для вычислений, не работающих с OpenCL.
• Производительности. Оптимизированы алгоритмы обработки изображений на языке C++. По словам разработчиков, прирост скорости может составить от 15 до 30 %.
• Детектора и декодера QR-кодов. Их добавили в модуль opencv/objdetect вместе с примером.

Несмотря на обновления библиотек компьютерного зрения, эта область сталкивается с рутинными проблемами. Чтобы решить одну из них, команда Google AI разработала основанный на машинном обучении интерфейс, который сокращает время разметки объектов на фотографиях в три раза. Разработчики представили его в конце октября 2018 года и уверены, что он поможет быстрее создавать большие корпуса изображений для систем компьютерного зрения.

Проблема ручной разметки

Системы компьютерного зрения учатся распознавать объекты на изображениях, где эти объекты уже очерчены и подписаны. Разметка одной фотографии для набора COCO+Stuff занимает у человека около 19 минут, а всего датасета — 53 тысячи часов. Это налагает серьёзные ограничения на развитие распознающих моделей.

Подробнее о Fluid Annotation

В первую очередь нейросеть с архитектурой Mask-RCNN разбивает изображение на сегменты по грубым контурам объектов. Их получается больше тысячи, и каждому присваивается название и оценка доверия. Человек начинает работать с сегментами, получившими наиболее высокую оценку, после чего может:

• изменять подписи сегментов с помощью выпадающего меню;
• добавлять сегменты для объектов, которые модель не смогла распознать;
• удалять существующие сегменты;
• изменять карту глубины для сегментов, перекрывающих друг друга.

Команда Google AI представит посвящённую Fluid Annotation статью 25 октября 2018 года на ACM Multimedia Conference 2018 в секции Brave New Ideas.

Помимо проблемы аннотации изображений, исследователи в области машинного обучения решают вопрос наполнения датасетов. Качество распознавания объекта зависит от того, насколько часто интеллектуальная система «встречала» его во время обучения. Летом 2018 года команда Google AI представила алгоритм, который генерирует уникальные изображения на основе существующих: с помощью обрезки, изменения цвета или отражения. Это позволяет увеличить размер датасета, не затрачивая время и силы на поиск новых изображений.

С этим вопросом столкнулись учёные из Луисвиллского университета Роберт Уильямс и Роман Ямпольский. Они попытались научить нейронные сети распознавать и генерировать иллюзии, но это оказалось гораздо сложнее, чем предполагалось.

Почему это сложно?

Глубокое обучение нейронных сетей базируется на двух основных факторах: мощные машины с надлежащим программным обеспечением и огромные базы данных, на которых учатся нейронные сети. Чтобы научить компьютер распознавать на картинке лицо, потребуется база данных, содержащая более десяти тысяч изображений с чётко обозначенными лицами. По ним нейронная сеть определит наиболее характерные черты, к примеру, два глаза, нос и рот. Картинок же со статическими иллюзиями несколько тысяч, а уникальных иллюзий, вероятно, всего лишь несколько десятков.

Первые попытки

Уильямс и Ямпольский попробовали научить нейронную сеть распознавать оптические иллюзии по тому же принципу. Первостепенной проблемой стало отсутствие баз данных с оптическими иллюзиями для обучения. Тем не менее, учёным удалось собрать базу данных из более чем 6000 таких изображений, а затем создать генеративно-состязательную сеть для формирования иллюзий.

Но эксперимент провалился: после 7 часов обучения на видеокарте NVIDIA Tesla K80 учёные так и не получили желаемого результата. Они считают, что основная проблема кроется в коренном различии человеческого и компьютерного зрения. Нейронные сети пока не способны понять принципы, по которым составляются оптические иллюзии.

В сентябре 2018 года команда учёных из Брауновского университета (США) тоже провела свой эксперимент с оптическими иллюзиями и нейросетью. Исследователи представили нейронную сеть, чьё восприятие изображения ограничено физиологией зрительной коры головного мозга приматов.

Принцип действия системы Athena Security Camera

Технология использует алгоритмы компьютерного зрения и методы измерения скорости объекта, а также ядро CUDA и суперкомпьютер DGX-1 от NVIDIA.

При реальном нападении система вызовет полицию уже через несколько минут после того, как оружие окажется в кадре. Преступник получит оповещение, что его личность установлена. В лучшем случае это «спугнет» нападающего ещё до того, как он откроет огонь. В худшем — система оперативно вызовет полицию и скорую помощь.

Технология устанавливается на уже используемые камеры видеонаблюдения подключением их IP-адресов к облачной системе Athena. Если камеры ещё не установлены, компания может предоставить их как часть своего пакета.

Разработчики планируют научить систему выявлять на изображении с камеры такие опасные инциденты, как драки или нападения. Также разработка может быть подключена к другим технологиям безопасности. Например, для контроля автоматической остановки лифта или блокировки дверей безопасности в критических ситуациях.

Тем не менее, Athena Security Camera System — не первая разработка в этой сфере. К примеру, в июне 2018 года учёные из Индии и Великобритании разработали технологию распознавания дронами драк и поножовщины.

Горизонтальная обратная связь

Ученые сосредоточились на контекстно-зависимых иллюзиях, связанных с изменением восприятия одних цветов вблизи других. Яркий пример тому — иллюзия с тенью на шахматной доске, представленная в 1995 году:

По замыслу, нейросеть должна выявить, как в таком случае соседние нейроны в зрительной коре взаимодействуют между собой и совмещают полученные данные.

В модель ученые добавили соединения обратной связи между нейронами, которых в большинстве алгоритмов глубокого обучения нет — только обратная связь между слоями. Эти соединения могут повышать или понижать значимость ответов, полученных от соседних нейронов одного слоя.

«Настроив» горизонтальные соединения, ученые получили нейросеть, которая реагирует на контекстно-зависимые оптические иллюзии подобно человеку.

Исследователи отметили, что современные системы компьютерного зрения зачастую не способны распознавать контекст изображения. Поэтому их удается обмануть разными трюками: коррекцией отдельных пикселей, изменением цвета фотографии, игрой с текстурой и искажениями. Команда Брауновского университета полагает, что добавление соединений обратной связи между нейронами поможет это исправить.

Принцип работы

Система была разработана совместно с медицинским центром Moorfields Eye Hospital — его врачи ежедневно делают более тысячи снимков ОКТ. У специалистов уходит много времени на обработку даже одного — иногда это приводит к тому, что болезнь прогрессирует и вызывает необратимые изменения в зрительных органах.

Алгоритм обучали на наборе из 15 тысяч снимков от 7,5 тысяч пациентов, сопровождаемых диагнозами врачей. Главное отличие разработки DeepMind от аналогичных состоит в том, что система отражает, каким образом пришла к тем или иным выводам. Кроме того, она работает с любым типом снимков — это позволит использовать ее в любом медицинском центре.

Развитие

Сейчас алгоритм проходит клинические испытания в Moorfields Eye Hospital. По мнению его создателей, они могут занять 3−5 лет. В случае успешных результатов систему будут использовать еще 30 медицинских центров и клиник по всей стране.

В феврале 2018 года ученые из Google и дочерней медицинской компании Verily открыли новый метод, который предсказывает болезни сердца с помощью машинного обучения. На основании сканирования сетчатки система выдает точные данные пациента: возраст, кровяное давление, пагубные привычки.

Результаты проверки пригодятся исследователям ИИ, производителям комплектующих и разработчикам Android. Благодаря полученной информации они смогут узнать и исправить недостатки устройств, чтобы улучшить эффективность их работы с ИИ.

AI Benchmark можно скачать в Google Play и запустить на любом смартфоне с Android 4.1 и выше. Приложение тестирует материнскую плату, процессор и оперативную память, после чего выдает число, означающее эффективность ИИ на данном устройстве.

Текущие результаты

При тестировании AI Benchmark оценивает способность смартфона редактировать изображения в высоком разрешении, распознавать объекты на фотографиях и классифицировать их. Кроме того, система тестирует алгоритмы, используемые в автопилоте для автомобилей.

Резюмируя результаты, представленные на сайте проекта, исследователи пришли к следующим выводам:

• Qualcomm — теоретически может дать хорошие результаты, но не хватает драйверов;
• Huawei — довольно выдающиеся результаты;
• Samsung — нет поддержки ускорения, но мощные процессоры;
• Mediatek — хорошие результаты для устройств среднего класса.

Итоговый рейтинг смартфонов и их аппаратных платформ представлен ниже:

Причины создания

Один из создателей AI Benchmark Андрей Игнатов рассказал, что приложение разрабатывалось около трех месяцев. Идея его создания возникла из-за отсутствия информации об ограничениях использования современных ИИ на смартфонах. Это связано с тем, что в настоящее время все алгоритмы работают удаленно на серверах, а не на устройстве, кроме некоторых предустановленных приложений.

Специалисты уверены, что в будущем технологии ИИ будут не менее важны, чем хорошая камера в смартфоне, поэтому хотят активно поучаствовать в развитии данной сферы.

В июне 2018 года Google опубликовала семь принципов использования искусственного интеллекта. Компания запретила использовать его для создания оружия, слежения за людьми и нарушения их прав.

Структура Open Images V4

Хранилище содержит обучающий набор из 9 млн изображений, а также валидационный (41,6 тыс.) и тестовый (125,4 тыс.). На всех картинках проставлены метки и прямоугольные границы объектов. Метки из последних двух наборов (и часть из обучающего) прошли верификацию. В основном, проверку проводили специалисты из команды Google, но небольшую долю работы выполнили краудсорсеры из Image Labeler.

Open Images Challenge

Компания также объявила об Open Images Challenge — новом конкурсе среди моделей распознавания, который пройдет на конференции ECCV 2018 в сентябре. Системы распознавания должны брать за основу Open Images V4 и выполнять одну из двух задач:

1. Определение класса объекта — предсказание жесткого прямоугольного контура для всех экземпляров из 500 классов.
2. Определение визуальных связей — обнаружение связанных пар объектов, к примеру, «женщина, играющая на гитаре».

Для тех, кто хочет самостоятельно опробовать на практике возможности систем распознавания, Google разработала DIY-наборы (Do It Yourself). В апреле 2018 года компания выпустила усовершенствованные «коробки» Vision Kit и Voice Kit с упрощенной настройкой и новым «железом».

Стандартизированная метрика

OVIC ориентируется на создание единой системы измерений задержек для точных и эффективных операций на устройствах. Она определяется как количество правильных классификаций изображения за среднее время задержки в 33 мс. До OVIC было сложно реализовать такую метрику, так как исследователи полагались на такие приблизительные показатели, как количество операций умножение-сложение (MAC). Загвоздка заключалась как раз в том, что накопление данных параметров является ресурсоемкой задачей для нейросети, а они сами по себе не показывают полной картины задержек из-за существования различных конфигураций моделей. На графике ниже видно, что устройства с одинаковыми показателями MAC могут иметь большую разницу в задержке, и наоборот:

Поэтому OVIC предлагает прямое снижение задержки вместо ограничения числа операций умножение-сложение как главного параметра.

Доступная всем вычислительная платформа

Ранее точное и корректное вычисление параметров задержки предполагало использование оборудования, доступного только крупным университетам и компаниям. В связи с этим OVIC предлагает платформу для вычислений, включающую компоненты, которые созданы специально для широкого применения исследовательским сообществом:

• TOCO-компилятор, оптимизирующий модели TensorFlow для эффективного вывода;
• движок вывода TensorFlow Lite для развертки на мобильных устройствах;
• SDK, оценивающий производительность на любом Android-устройстве;
• инструмент для оценки задержек на некоторых телефонах Pixel от Google (доступен зарегистрированным участникам).

С использованием этих инструментов у разработчиков пропадает необходимость оптимизировать ядра, докупать специальное измерительное оборудование или создавать фреймворки под заданные условия. Нужно только владеть опытом обучения систем компьютерного зрения с помощью TensorFlow.

Прием заявок на конкурс осуществляется до 15 июня 2018 года.

Развитию технологий машинного обучения и компьютерного зрения уделяется много внимания со стороны гигантов индустрии. Например, в середине апреля 2018 года Google обновила свои DIY-наборы с камерами, оснащенными технологиями компьютерного зрения, которые призваны популяризировать развивающиеся технологии среди учащихся и разработчиков.

Алгоритм был обучен опознавать больше 10 000 порнозвезд путем простого сканирования и распознавания кадров. PornHub сообщает, что ИИ-алгоритм обучали на тысячах видеороликов и официальных фотографий исполнителей.

Чтобы ограничить допустимую погрешность, сайт для взрослых просит пользователей проверить, верны ли теги и метки, проставленные ИИ. Для этого пользователи могут либо выставлять положительную или отрицательную оценку описанию видео в зависимости от его точности.

Вице-президент PornHub Кори Прайс отметил:

Теперь пользователи смогут искать ролики с участием любимых актрис с большей точностью. Наш алгоритм сыграет большую роль и в будущем, учитывая, что ежедневно на ресурс загружают более 10 тысяч роликов. В течение лишь прошлого месяца, в процессе бета-тестирования алгоритма, он просканировал и разметил более 50 тысяч порнороликов.

Кроме того, ИИ сможет определять не только участников ролика, но и его категорию. Например, если действие видео происходит в общественном месте, то ИИ добавит его в категорию «Public», а ролики с участием блондинок — в категорию «Blonde».

Компания планирует обработать весь свой пятимиллионный каталог видео при помощи своего алгоритма в течение следующего года, чтобы облегчить пользователям поиск роликов, которые наиболее точно соответствуют их желаниям.

По словам представителя PornHub, на сайте уже используется алгоритм ContentID, аналогичный тому, что работает на YouTube. Он автоматически блокирует видео, нарушающие авторские права. Новый ИИ в будущем могут использовать для удаления дубликатов роликов.

У изобретательных исследователей и ранее возникала мысль об использовании компьютерного зрения для описания порнороликов. Весной один разработчик использовал сервисы Microsoft для создания бота, который днями напролёт смотрел и классифицировал фильмы для взрослых.

Программа курса:

1. Понятия и история компьютерного зрения. Свет и цвет.
2. Простые методы распознавания изображений.
3. Основы обработки изображений.
4. Классификация изображений и введение в машинное обучение.
5. Выделение объектов на изображении.
6. Сверточные нейросети и «глубинное обучение».
7. Поиск изображений по содержанию и большие коллекции.
8. Распознавание лиц людей.

Смотрите еще больше новостей и обучающих материалов по компьютерному зрению.

Однако анализ полученных при помощи гравитационных линз изображений занимает большой объём времени, заставляя исследователей сравнивать полученные результаты с смоделированными в лабораториях. Данный процесс может длиться недели и месяцы.

Сотрудники национальной ускорительной лаборатории SLAC нашли выход из сложившейся ситуации. Они обучили нейронную сеть более чем на 500 тысячах смоделированных изображений. После этого она смогла за доли секунды сопоставить информацию с изображений с точностью, близкой к традиционным методам.

Сотрудники проекта SLAC Фил Маршал и Яшар Хезавех поражаются мощности нейронных сетей:

Удивительно, как нейронные сети самостоятельно понимают, какие вещи им нужно искать. Это как обучение ребёнка. Ты не говоришь ему, что такое собака, ты лишь показываешь ему её изображения. Но нейронные сети не только выбирают изображения собак из кучи фотографий, они ещё и сообщают всю информацию о них — возраст, вес, породу.

С появлением новых телескопов, способных обнаружить еще больше примеров гравитационного линзирования, необходимость в быстрых методах классификации будет только расти. Самое важное для учёных — то, что машинное обучение работает достаточно быстро даже на мобильном телефоне.

На этой неделе Google опубликовала данные, полученные от Quick, Draw!, чтобы показать вам, как 15 миллионов человек рисуют одни и те же объекты. Очень интересно посмотреть на то, как люди интерпретируют случайный предмет, от обезьян до парашютов и телефонов.

Посмотрите, например, на лягушку.

Более абстрактные рисунки, такие как йога, оказались очень интересными.

Большинство следующих рисунков были интерпретированы как автопортреты. У некоторых лиц были длинные волосы, у некоторых были большие глаза, у некоторых были очки, а у других просто смайлики.

Драконы — один из самых интересных наборов. Если большинство людей видят лягушку одинаково, то дракона — по-разному: от огнедышащего до рогатого.

Все полученные в ходе эксперимента данные теперь могут быть использованы сторонними разработчиками при создании собственных систем компьютерного зрения — Google выложила их в открытый доступ.

В минувшие выходные, пролистывая Amazon Web Services, я заметил новый сервис под названием «Rekognition». Я предположил, что это опечатка (recognition — англ. распознавание), но она привлекла мое внимание. Я заинтересовался: что это за сервис? Amazon привык добавлять новые сервисы в свою платформу с пугающей регулярностью, и этот я пропустил.

Я узнал, что в конце 2016 года Amazon выпустила свой собственный сервис для распознавания изображений на базе глубокого обучения на их платформе. Он может распознавать не только лица, но и объекты на фото. Так как сервис довольно новый, подробностей о нём было немного, но мне захотелось немедленно попробовать его. В общем, в течение часа я написал пример веб-страницы, которая может получать фотографии с моей веб-камеры и выполнять элементарное распознавания лица на нем.

Прим. перев. Чтобы не теряться в многочисленных сервисах Amazon, советуем вам прочитать нашу шпаргалку по AWS.

Раньше я занимался технологией распознавания лиц, используя сторонние библиотеки, а также Microsoft Face API, но все попытки создания подобного приложения не увенчались успехом. Но, просматривая документацию «Rekognition», я понял, что AWS API на самом деле очень прост в использовании. Я немедленно принялся за работу.

Цель

Мне была нужна простая веб-страница, которая позволила бы делать фотографию с помощью камеры моего iMac и выполнять распознавание на фотографии. В частности, я хотел бы определять пользователя, сидящего перед компьютером.

Сервис Amazon Rekognition позволяет создавать одну или несколько коллекций. Коллекция — это набор лицевых векторов для фотографий, которые вы хотите сохранить.

Примечание: Сервис сохраняет не фотографии, а их JSON-представление.

После создания коллекции вы можете сфотографировать предмет, сравнить его свойства c сохранёнными и вернуть ближайшее соответствие. Звучит просто, не так ли? По правде говоря, разработка фронтенда веб-страницы для получения данных с камеры заняла больше времени, чем написание бэкенда для распознавания.

В общем, веб-страница позволяет создавать или удалять коллекцию лицевых данных на Amazon, загружать новые данные, полученные из фотографии, в свою коллекцию и сравнивать новые фотографии с существующей коллекцией, чтобы найти совпадение. А в качестве дополнительной фичи я также добавил в эту демку службу Amazon Polly, чтобы после распознавания фотографии страница приветствовала пользователя.

Фронтенд

Я не знал, какую библиотеку использовать для захвата изображения с помощью камеры iMac. В итоге я нашел на GitHub библиотеку JPEG Camera, которая позволяет использовать HTML5 Canvas или Flash для съёмки фото. Я решил использовать её и настроил под себя написанный на JavaScript образец.

Бэкенд

Для бэкенда я использовал Ruby-библиотеку Sinatra, которая может выполнять всю тяжёлую работу с помощью AWS. Я часто использовал Sinatra (на самом деле Padrino) в своих проектах и настоятельно рекомендую эту платформу.

Примечание: Amazon Rekognition предлагает сначала загружать исходные фотографии, которые использует его API, в Amazon S3, а затем обрабатывать их. Я хотел избежать этого ненужного шага и вместо этого отправлять изображения непосредственно в API, что мне в итоге удалось сделать.

Я сумел сделать то же самое с их приветствием Polly . Вместо того, чтобы сохранять аудио в MP3-файл и проигрывать его, у меня получилось закодировать данные MP3 непосредственно в тег <audio> на странице и воспроизвести их оттуда.

Код

Я разместил весь код этого проекта на моей странице на GitHub. Не стесняйтесь использовать и изменять его. Ниже я постараюсь объяснить код более подробно.

Пишем приложение

Прежде всего, вам понадобится учетная запись Amazon AWS. Я не буду вдаваться в подробности, поскольку это несложно, а в случае затруднений можно легко найти информацию в Интернете.

Создание пользователя AWS IAM

Как только вы создали учетную запись AWS, первое, что нам нужно сделать, — создать пользователя Amazon IAM (Identity & Access Management), который имеет права на использование службы Rekognition. Мы также зададим права для Amazon Polly.

В консоли Amazon нажмите на кнопку «Сервисы» в верхнем левом углу, затем выберите «IAM». В меню слева выберите «Пользователи». Вы должны увидеть список существующих пользователей IAM, которых вы создали в консоли, если вы делали это в прошлом.

Нажмите кнопку «Добавить пользователя», расположенную в верхней части списка, чтобы добавить нового пользователя IAM.

Дайте пользователю имя и убедитесь, что вы отметили пункт «Programmatic Access», так как вы будете использовать этот IAM в вызове API.

Далее приведены настройки разрешений. Убедитесь, что вы щелкаете по третьему квадратику на экране с надписью «Attach existing policies directly». Затем в поле поиска «Filter: Policy Type» введите «rekognition». Выберите «AmazonRekognitionFullAccess» из списка, поставив рядом с ним галочку.

Затем измените фильтр поиска на «polly» и поместите галочку рядом с «AmazonPollyFullAccess».

Теперь у этого IAM есть права, достаточные для Amazon Rekognition и Amazon Polly. Нажмите «Next: Review» в правом нижнем углу.

На странице просмотра вы должны увидеть 2 политики использования, дающие вам полный доступ к Rekognition и Polly. Если вы их не видите, вернитесь и повторите предыдущий шаг. Затем нажмите кнопку «Создать пользователя» в правом нижнем углу.

Эта страница важна. Запишите ключи AWS Key и AWS Secret, которые вы указали на этой странице, поскольку нам необходимо включить их в наше приложение ниже.

Это единственный раз, когда вам будут показаны эти ключи, поэтому сохраните их и файл CSV с этой страницы в надёжном месте.

Загрузка кода

Теперь загрузите пример кода с моей страницы GitHub, чтобы вы могли изменить его по мере необходимости. Загрузите код в виде ZIP-файла, либо склонируйте его в вашу рабочую папку.

Первое, что вам нужно сделать, — это создать файл с именем .env в рабочей папке и ввести эти две строки, заменив в них ключи Amazon IAM на свои:

Теперь, если у вас установлен Ruby (не Ruby on Rails), то для установки зависимостей запустите команду:

Для запуска приложения введите эту команду:

Она должна запустить веб-браузер на порте 4567, чтобы вы могли увидеть веб-страницу и начать тестирование:

Использование приложения

Сама веб-страница довольно проста. Вы должны увидеть потоковое изображение в верхней части экрана, которое представляет собой канал с вашей веб-камеры.

Сперва создайте коллекцию, щелкнув по ссылке в самом нижнем левом углу страницы. Это создаст пустую коллекцию на серверах Amazon для хранения ваших изображений. Обратите внимание: имя по умолчанию для этой коллекции — faceapp_test, но вы можете изменить его в коде faceapp.rb (строка 17).

Затем, чтобы начать добавление лиц в свою коллекцию, попросите нескольких людей сесть перед вашим компьютером или телефоном и убедиться, что их лицо находится только в рамке для фотографий (несколько лиц сделают сканирование неудачным). Когда всё будет готово, введите их имя в текстовое поле и нажмите кнопку «Добавить в коллекцию». Должно появиться сообщение о том, что данные о лице были добавлены в базу данных.

После того, как вы создали несколько лиц в своей базе данных, вы можете попросить случайного человека сесть перед камерой и нажать «Сравнить изображение». Если этот человек уже добавлен в коллекцию, на экране должно появиться его имя.

Обратите внимание, что обычный способ работы Amazon Rekognition заключается в том, чтобы загружать фотографию в Amazon S3 Bucket, а затем обрабатывать его оттуда, но я хотел обойти этот шаг и фактически отправить данные фотографии непосредственно в Rekognition как поток байтов, закодированный в Base64. К счастью, aws-sdk для Ruby позволяет использовать оба метода.

Разбор кода

Прежде всего, давайте взглянем на HTML-страницу:

Структура страницы проста: всего несколько блоков, кнопок и ссылок. Обратите внимание, что мы используем jQuery, а также Moment.js для настраиваемого приветствия. Следует обратить внимание на код faceapp.js, который выполняет все сложные задачи и ссылки на библиотеку камер JPEG.

Вы также можете заметить теги <audio> в нижней части файла — это аудио-приветствие, которое мы отправляем пользователю.

Теперь разберем JS-файл приложения:

Это настраивает библиотеку JPEG Camera, чтобы отображать канал на экране и обрабатывать загрузку изображений.

Функция add_to_collection() захватывает изображение с камеры, а затем выполняет запись в конечную точку /upload вместе с именем пользователя в качестве параметра. Функция проверяет, действительно ли вы ввели имя, которое нужно в качестве уникального идентификатора этих данных.

Функция загрузки проверяет вызов и выводит сообщение об успешном завершении или ошибке.

Функция compare_image() вызывается, когда вы нажимаете кнопку «Сравнить изображение». Она захватывает кадр из камеры и передает POST-данные в /compare. Эта конечная точка вернет либо ошибку, либо структуру JSON, содержащую id (имя) найденного лица, а также процент схожести.

Если лицо совпадёт с данными из коллекции, функция отправит имя найденного лица в /speech. Эта конечная точка вызывает службу Amazon Polly, чтобы преобразовать приветствие в файл MP3, который можно воспроизвести пользователю.

Служба Amazon Polly возвращает приветствие в виде бинарного потока MP3, поэтому мы берем этот поток ввода-вывода, шифруем его в формате Base64 и помещаем в качестве закодированной исходной ссылки в теги <audio> на нашей веб-странице. Затем мы можем вызвать .play() для воспроизведения MP3 через динамики пользователя с помощью HTML5 Web Audio API.

Прим. перев. Вы можете узнать о Web Audio побольше, прочитав нашу серию статей по этой теме.

Наконец, в JS-файле приложения есть функция greetingTime(). Она решает, стоит ли говорить «доброе утро / день / вечер» в зависимости от времени суток пользователя.

Теперь взглянем на код Ruby:

Здесь задан блок настройки конфигурации аутентификации AWS и имени коллекции по умолчанию, которое мы будем использовать (вы можете его свободно менять).

Остальная часть кода — это конечные точки, которые Sinatra будет слушать. Он прослушивает GET в /, чтобы отобразить фактическую веб-страницу конечному пользователю, а также слушает вызовы POST к /upload, /compare и /speech, которым JS-файл отправляет данные. Только 3–4 строки кода для каждой из этих конечных точек фактически выполняют задачи распознавания лиц и речи. Подробнее о них можно узнать из документации AWS SDK.

Что за Cloud Vision API?

Google выпустила бета-версию этого инструмента год назад. Теперь можно отправить свои изображения в этот облачный сервис и получить информацию о том, что на них изображено. Доступны такие возможности, как распознавание объектов на изображении, обнаружение неприемлемого контента, анализ эмоциональной окраски изображений и извлечение текстовой информации.

Так, а что с обманом?

Исследователи выяснили, что «зашумление» изображений сбивает алгоритмы с толку. Уровень шума варьировался с 10 до 30 процентов, но этого оказалось достаточно.

Процедура добавления шумов очень проста. При этом стоит отметить, что система поиска изображений Google также использует Vision API, поэтому она может выдавать неприемлемый контент, считая, что он удовлетворяет запросу пользователя.

И можно ли это исправить?

Да, инженерам Google не стоит паниковать из-за этого. Патч так же прост, как и сама атака. Достаточно всего лишь пропускать изображение через фильтр шумов перед началом классификации.

Стоит отметить тот факт, что эта же команда совсем недавно смогла обмануть и другой инструмент для распознавания от Google, Video Intelligence API. В видео они вставили изображение автомобиля Audi таким образом, чтобы оно появлялось каждые две секунды. Изменение не слишком заметно невооружённым глазом, так как картинка добавляется через каждые 50 кадров при частоте смены кадров, равной 25. Зато API думает, что видео не про животных, а про машины.

Кроме того, на этой неделе Google выпустила ещё один API для распознавания, на этот раз — речи.

Положения Федеральной торговой комиссии требуют четкой маркировки рекламных объявлений, чтобы человек мог их увидеть, что дало преимущество как для потребителей, так и для блокировщиков. Команда использовала несколько методов компьютерного зрения для обнаружения рекламы.

Хотя команда не придерживается этической позиции о том, следует ли вам использовать блокировщик рекламы или нет, она считает, что отношения рекламодателя, издателя и читателя должны коренным образом измениться. Она выпустила proof-of-concept инструмента для Chrome, но он не обладает полным функционалом:

Чтобы не принимать сторону этики блокировки рекламы, мы намеренно остановились на инструменте обнаружения рекламы, но не её блокировки.

Как устроены блокировщики?

Популярные инструменты блокировки рекламы, такие как Adblock Plus и uBlock Origin, обнаруживают код, используемый стандартными объявлениями, URL-адреса и код разметки, обычно используемые в объявлениях. Это означает, что рекламодатели и издатели могут просто изменить код, который они используют для показа рекламы, чтобы обойти их. Этот тип блокировки рекламы часто легко обнаруживается анти-блокировщиками рекламы, которые установлены на сайтах более 50 популярных издателей. Наконец, традиционные блокировщики рекламы не могут блокировать адаптивные объявления, которые выглядят как обычный контент, поэтому ваши приложения не будут обнаруживать и блокировать рекламные сообщения в Facebook.

Новый блокировщик использует визуальное распознавание символов, методы проектирования и поиск контейнеров (блоков объявлений, которые обычно помещаются на странице), чтобы распознавать такие слова, как «Спонсорское» или «Закрыть объявление», которые должны появляться на каждом объявлении. Это позволяет обнаруживать и блокировать рекламные объявления Facebook.

Итак, у нас есть исследование, которое предвещает потенциальный конец гонки противостояний.

Распознавание изображений производится при помощи Deep ConvNet, созданной командой FAIR.

Это, конечно, повышает доступность для слепых пользователей, но также и предоставляет компании огромное количество вашей личной информации. Пользуясь полученными из фотографий данными, можно узнать о ваших интересах и предпочтениях. Разумеется, вся эта информация используется для выдачи таргетированной рекламы.

Чтобы вы могли чётко понять, какие метки ставит на ваших изображениях Facebook, вы можете установить это небольшое расширение для Chrome.

Вот инструкция по установке:

1. Склонируйте этот репозиторий в локальную папку.
2. Откройте chrome://extensions в той папке или перейдите в Tools > Extensions.
3. Включите Developer mode в правом верхнем углу.
4. Нажмите на кнопку Load unpacked extension....
5. Выберите нужную папку.
6. Зайдите на Facebook!

Подробную информацию о расширении, а также инструкцию по его установке в Firefox можно найти в репозитории.

Google Research Blog сообщает, что система распознавания изображений, над которой работает команда Google Brain, достигла точности 93,9%. В 2014 году был получен результат 89,6%, достигнутый с использованием модели Inception V1. Может показаться, что скачок невелик, но на самом деле он весьма существенен.

Изображение на миниатюре новости демонстрирует разницу между алгоритмами 2014 и 2016 годов. Система стала не только лучше распознавать объекты, но и описывать их. Ещё одним аспектом является то, что текущая модель, Inception V3, не только распознаёт объекты на фото, но и сопоставляет их.

Эти результаты были получены путём ручного маркирования сотен тысяч фото и передачи полученных данных в TensorFlow. Алгоритм использует созданные людьми описания в подходящих ситуациях, но также самостоятельно генерирует новые.

Последняя модель TensorFlow была выложена совсем недавно, и скачать её можно здесь. Также можно ознакомиться и со статьёй от Google, посвящённой техническим аспектам этого вопроса.

SegNet работает любое время суток, может учитывать различия в освещении и погоде и классифицировать 12 категорий объектов в реальном времени. Кроме того, она позволяет позиционировать себя с точностью до нескольких метров и градусов.

Основное преимущесто новой системы состоит в том, что она не использует GPS — только машинное обучение и трехмерное зрение. Пока что она работает не идеально, так что использования ее в автомобилях придется подождать. Зато в ближайшем будущем эта технология может найти применение в домашних роботах — например, роботах-пылесосах.

Здесь используется замечательный пример обнаружения веб-камерой лица человека и определения его положения в пространстве. Человек буквально может посмотреть на изображение с другой стороны. Давайте разберемся, каким образом это происходит.

Для начала нам надо понять, как машина различает объекты и фон. К примеру, для нахождения веб-камерой каких-то геометрических фигур надо, что бы камера отличала следующие атрибуты объекта:

1. Форму объекта (круг, квадрат, треугольник…);
2. Цвет определяемого объекта;
3. Размер объекта и положение его относительно других объектов.

Для нахождения формы объекта используется эффект размытия контуров заданной формы. Это делается для того, чтобы устройство точно могло определить, где закончился контур нашего объекта и начался фон. Более подробно, со всевозможными объяснениями и примерами, можно узнать из лекции Александра Бакулина о робототехнике:

Что связано с цветом объекта, думаю, всем понятно, и особо сложных вопросов возникать не должно. Все просто: устройству надо определить по цвету объекта его положение, а также отсечь фон и другие объекты. Глубина цвета, как и возможные погрешности, зависит от качества записи устройства, освещения, вашего алгоритма определения и ряда менее значимых нюансов.

Говоря о положении определяемого объекта в зоне видимости, мы переходим к главному принципу работы, который демонстрируется на видео выше. Устройство находит объект, фиксирует его положение в реальном времени и, следуя алгоритму, выполняет нужные нам действия. Одной из ключевых позиций является размер нашего объекта. Мы приближаем объект, изменяя его координаты по осям, и видим изображение уже под другим углом. В случае с человеческим лицом, а не простой геометрической фигурой, есть ряд нюансов:

— Форма лица у всех людей разная, хотя есть определенные типы этой формы.

— Цвет кожи человека, личные особенности, такие как прическа, украшения, и тому подобное.

— Лицо человека, хоть и симметрично, имеет различия, если смотреть под разными углами.

Поэтому, в отличие от простых фигур, для определения лица требуется использовать немного другой подход.

Оптимальный вариант – это xml файлы, содержащие необходимые нам сведения по всем пунктам, которые были описаны выше. Это множество изображений лиц разных размеров и форм, сделанных заранее под разными углами. В сети уже есть готовые xml файлы, которые можно использовать в работе.

Работать с такой технологией легко и просто. Открывается множество интересных решений для работы с изображением, которые можно использовать как в повседневной жизни, так и в больших проектах.