Google представила ML Kit для внедрения нейросетей в мобильные приложения

8 мая 2018 года, в первый день конференции Google I/O 2018, компания рассказала о новом наборе инструментов (SDK) для внедрения функций машинного обучения и нейронных сетей в мобильные приложения — ML Kit. Важной особенностью является то, что нейросети могут работать как онлайн, базируясь в облаке, так и офлайн, используя мощности устройства. SDK бесплатно доступен разработчикам на Android и iOS. Вместе с анонсом компания выложила видео, представляющее новый инструмент:

Ключевые возможности ML Kit

На момент написания материала в набор входят следующие функции:

• распознавание текста;
• сканирование лица;
• чтение штрихкодов;
• маркировка объектов на снимке;
• распознавание достопримечательностей.

В течение нескольких месяцев Google планирует расширить возможности ML Kit функцией умных ответов наподобие присутствующих в Inbox и Gmail, а также высокоточным распознаванием контура лица.

По словам создателей SDK, приложения, использующие ML Kit на устройстве, работают со стандартным Neural Networks API. В режиме офлайн они будут довольствоваться упрощенной моделью нейросети. Для работы с мощностями облачных вычислений необходимо подключение к Сети.

Новый SDK базируется на платформе для мобильных приложений Firebase и предлагает интеграцию в проекты сторонних разработчиков. Бета-версия уже доступна всем желающим в консоли Firebase.

Интеграция с TensorFlow

ML Kit также поддерживает библиотеку TensorFlow Lite для желающих выйти за рамки заранее обученных нейросетей. Разработчики могут загружать собственные модели нейросетей в консоль, а поддержкой и интеграцией модели будет заниматься Firebase.

Кроме того, Google сообщила, что разрабатывает технологию, сжимающую TensorFlow-модель вместе с обучающими данными, для уменьшения размера APK. Разработка находится на ранней стадии, но желающие могут зарегистрироваться для предварительного доступа.

Напомним, что в апреле 2018 года Microsoft также объявила о том, что приложение мобильного переводчика, использующее технологии машинного обучения, получило возможность работы без подключения к Сети.