Не паспортом единым: в каких задачах помогает распознавание документов с ИИ Smart Engines

Десять лет назад в Smart Engines мы научили ИИ распознавать паспорт РФ с помощью обычного смартфона. Тогда это казалось сложной задачей, сегодня — базовый минимум, а не роскошный максимум.

Но в повседневной жизни люди пользуются не одним паспортом, у каждого на руках целая стопка: СНИЛС, ИНН, трудовая книжка, водительское удостоверение, свидетельства о рождении, браке, полисы и другие документы. И каждый из этих документов в какой-то момент нужно предъявить, загрузить или верифицировать, поэтому мы обучили наш ИИ распознавать более 5000 шаблонов документов.

Рассказываем, в каких сценариях сегодня применяется наша технология.

Банки: выдача карт и кредитный скоринг

Открытие счета и выдача банковской карточки — один из распространенных сценариев, в котором необходимы технологии распознавания. Для оформления продукта и подключения услуги банку нужно подтвердить личность клиента, провести онбординг и KYC. Сейчас это можно сделать по одному селфи с паспортом: наш ИИ сам сравнивает лицо предъявителя паспорта с данными документа на изображении — и закрывает задачу верификации без сбора биометрии и привлечения оператора.

В случае с кредитованием банку нужно не только провести KYC, но и проверить платёжеспособность клиента. Для этого требуются новые документы: справка о доходе, СНИЛС, водительское удостоверение, свидетельство о постановке на налоговый учёт, загранпаспорт, трудовая книжка.

СНИЛС, кстати, в формате зелёной карточки больше не выдают — теперь он существует только в цифре, но документы старого образца ещё в обороте, а значит запросы на их распознавание никуда не делись. Сегодня наша технология легко справляется с распознаванием данных СНИЛС — блики от ламинированной поверхности не помеха для ИИ.

Ещё один сценарий из банковской сферы — детский банкинг. Для оформления карты на ребёнка нужно свидетельство о рождении. Содержимое этого документа также необходимо автоматически извлекать — имена, даты, место рождения, данные родителей. Наш ИИ безошибочно справляется с этим: моментально распознает всю информацию и представляет в структурированном виде, готовом для добавления в корпоративную систему — можете проверить каждую строчку.

Трудоустройство: как ИИ устраняет узкое место в HR

Если вы когда‑либо заключали договор или оформляли на работу сотрудника, вы знаете: в этом процессе необходим ИНН. Свидетельство о постановке на налоговый учёт — еще один важный документ, который часто требуется в реальной жизни. Наш ИИ точно распознает все ключевые поля из документа, включая ФИО, дату рождения, серию и номер.

Отдельная история — бумажные трудовые книжки и справки СТД-Р. В бумажной трудовой легко можно встретить выцветшую бумагу, штампы поверх текста, рукописные записи и другие особенности, затрудняющие распознавание. Чтобы система могла надежно прочитать всё это, мы собрали специальный датасет и обучили нейросеть, которая умеет находить рукописные строки в трудовой и разбирать их.

Вместо того чтобы фотографировать каждый документ по одному, можно разместить их рядом и сделать один снимок. Для этого мы добавили возможность мультиобъектного распознавания. Показываем, как это работает:

ИИ сам находит на изображении все документы, автоматически классифицирует их а затем извлекает необходимые поля.

Найм и обслуживание мигрантов

В РФ работает больше 6 млн мигрантов из разных регионов мира, в том числе из стран СНГ, а также Индии, Китая, Пакистана и других государств. У многих из них на руках не только национальные паспорта и ID-документы, но и заграничные удостоверения личности, миграционные карты, патенты на работу, временная регистрация. В итоге операторам в банках и HR-специалистам нужно работать с документами самых разных форматов и на десятках языков.

Чтобы закрыть этот кейс, мы научили наши ИИ-системы работать с удостоверениями личностей стран СНГ и других регионов мира. Наш ИИ распознает арабский, армянский, греческий, грузинский, иврит, китайский, корейский и японский. В сумме решение поддерживает документы более 230 стран и юрисдикций мира на 103 языках.

От покупки авто до продажи авто

Еще один тип документов, который часто требуется в ежедневных сценариях, – это водительские права и документы на транспортное средство. Для автоматического ввода данных этих документов мы добавили возможность распознавания ВУ, СТС и ПТС. Высокое качество распознавания сохраняется вне зависимости от документа и условий съемки.

Сегодня наш ИИ может распознавать даже специфические удостоверения – например, права трактористов.

Бухгалтерия

Для бухгалтерии и распознавания первички мы представили эталонную ИИ-модель, которая специализируется на финансовых, юридических, учётных и других деловых документах. Технология поддерживает более 80 шаблонов, включая УПД, акты, счета, счета-фактуры, формы ТОРГ-12 и другие документы. При этом ИИ-агент работает полностью локально, не требует интернет-соединения и GPU, а еще не сохраняет и никуда не передает данные для распознавания.

На базе этого ИИ-агента любой банк или аутсорсинговая компания может запустить онлайн-сервис бухгалтерского сопровождения для малого бизнеса и ИП. Решение позволяет автоматически извлекать данные из ЕГРЮЛ и ЕГРИП, приказов, уставов организаций, финансовой отчетности и других документов – полностью без ручного ввода.

Вывод: паспорт — это только малая часть

В повседневной жизни человеку требуются десятки самых разных документов: заграничный паспорт, свидетельство о рождении, СНИЛС, трудовая книжка, водительские права, справки и масса других. Без них не обходится банковский онбординг, трудоустройство, финансы, бухучет и многие другие привычные процессы – а значит данные из них регулярно требуется вводить.

Для решения этой задачи мы настроили автоматическое распознавание всех упомянутых в этом тексте документов – и даже больше. Сегодня наш ИИ быстро и точно распознает свыше 3 000 типов и 5 000 уникальных шаблонов документов, позволяя автоматизировать ввод данных в ключевых повседневных сценариях и исключить ошибки, задержки и раздражение.