ИИ в приложениях, распознавание объектов до начала их съемки и новый Google Ассистент: главные анонсы Google I/O 2018

С 8 по 10 мая в США прошла конференция Google I/O 2018. Корпорация анонсировала обновления существующих сервисов и продуктов, показала новые, а также представила инструменты для разработчиков.

World Draw

Перед началом выступления компания представила новый веб-эксперимент. Пользователям со всего мира предлагалось нарисовать здания, транспорт и другие объекты, которые искусственный интеллект превращал в трехмерные. В итоге получился бесконечно большой виртуальный город.

Как это работает?

Рисунки пользователей прошли через алгоритмы AutoDraw и QuickDraw, которые подбирали для каждого элемента трехмерный аналог из базы Google Poly. Например, обнаружив очертания здания, нейросеть предлагала несколько моделей зданий со схожей конструкцией. Объектам задавали размеры и цвет, а затем помещали в свободное пространство на карте города.

Чтобы справиться с потоком пользователей, разработчики использовали технологию WebSocket. Она поддерживает постоянное соединение между веб-браузером и сервером, позволяя обеим сторонам отправлять и получать сообщения с низкой задержкой и размером в несколько байтов. Технология группирует пользователей по местоположению во время полетов на самолетах и позволяет им видеть друг друга.

Эксперимент базируется на облачной платформе Google. Для сбора, хранения и передачи информации используовались App Engine, Cloud Functions, Firebase Realtime Database, Firestore и Cloud Storage.

Android P

Нейросети

Команда Android вместе с DeepMind создала систему Adaptive Battery, которая распределяет энергию между приложениями. Она будет закрывать редко используемые программы после периода бездействия и отдавать приоритет по фоновой работе популярным приложениям. По мнению разработчиков, это увеличит автономность смартфонов на 30 %.

Набор инструментов Slices API поможет внедрять приложения глубоко в систему для отображения всплывающих подсказок на основе действий пользователя.

Благодаря нейросетям система запоминает, какой уровень яркости нравится пользователю, и подстраивает его автоматически в разном окружении.

Обновленная панель оповещений получила скругленные углы и кнопки быстрых настроек. При долгом нажатии они будут перебрасывать пользователя в основное меню настроек. Мессенджеры будут показывать часть переписки, которую можно будет тут же продолжить с помощью предлагаемых системой «умных» ответов.

Из меню навигации пропала кнопка «Обзор». Чтобы открыть список запущенных приложений, нужно потянуть вверх от слайдера, возникающего из кнопки «Домой». Список приложений отображается в полном размере с горизонтальной прокруткой. Кнопка «Назад» появляется только внутри приложений.

Работа с текстом

Виджет Magnifier поможет работать с мелким шрифтом в полях ввода текста. При выделении части текста он предлагает вырезать, копировать или вставить его кусок.

Text Classifier

Разработчики улучшили классификатор текста и связали его с сервисом Linkfy, улучшив API обоих. Google обещает повышение точности и качества исполнения их взаимодействия, а также не связанное с интернетом контекстное определение вводимых или загруженных объектов.

Работа со звуком

Инструмент Dynamics Processing Effect позволяет изолировать определенные частоты, изменить громкость, убрать шумы. В программе есть пре- и постэквалайзеры, многодиапазонный компрессор и ограничитель.

Контроль над зависимостью от телефона

Новые функции помогут контролировать зависимость от смартфона.

• Dashboard составляет диаграмму, на которой видно, сколько времени работало то или иное приложение, а также показывает количество уведомлений за этот период;
• App Timer ограничивает работу конкретных приложений и запрещает использовать их по истечении лимита;
• Обновленный режим «Не беспокоить» блокирует звонки, уведомления и всплывающие анимации. Для активации режима нужно положить телефон экраном вниз;
• Функция Wind Down автоматически включает ночной режим, отключает уведомления и делает дисплей монохромным, чтобы пользователь не забыл, когда нужно ложиться спать.

Биометрия

Разработчики приложений могут использовать новый API BiometricPrompt для авторизации пользователей вместо API FingerprintDialog. Поддерживается аутентификация с помощью отпечатков пальцев, радужной оболочки глаза и лица.

Android P уже доступен владельцам смартфонов линейки Pixel, а также Sony Xperia XZ2, Xiaomi Mi Mix 2S, Nokia 7 Plus, Oppo R15 Pro, Vivo X21, OnePlus 6 (для OnePlus 5/5T обновление будет доступно «позднее в этом году») и Essential PH-1. Полноценный релиз ожидается в третьем квартале 2018 года.

Дополненная и виртуальная реальность

Google Lens

Корпорация интегрировала систему визуального поиска в приложение камеры, Google Maps и Google Assistant. Пока известно, что Google Lens появится на флагманских смартфонах LG, Motorola, Xiaomi, Sony Mobile, HMD/Nokia, Transsion, TCL, OnePlus, BQ и ASUS.

Сервис будет в режиме реального времени распознавать объекты еще до начала съемки. При наведении камеры на здание оно покажет его название, дату возведения, арендаторов и другие данные. Технология моментально переводит вывески и объявления, указывает на ближайшие места для отдыха и ланча. Анализируя предмет одежды, Google Lens находит интернет-магазины, в которых его можно купить.

ARCore

Новый инструмент Cloud Anchors выполняет роль связующего звена между отдельными устройствами и пользователями. Приложения дополненной реальности синхронизируются с облачной базой данных, а на экранах устройств в одних и тех же местах и состояниях отображаются виртуальные объекты.

В ARCore 1.2 появилось распознавание ровных вертикальных поверхностей. С его помощью работает функция Augmented Images, «оживляющая» дополненную реальность. Например, чтобы понять, что находится в коробке, нужно навести на нее камеру.

Google Assistant

Среди новых возможностей помощника — поддержка навигации в Картах, функция пользовательских процедур Custom Routines и возможность поддерживать голосовое общение.

Google Duplex

Сервис получил возможность самостоятельно заказывать столик в ресторане, записывать в парикмахерскую или к врачу. В этом ему помогает технология искусственного интеллекта Google Duplex.

Custom Routines

Функция дает возможность создавать собственные процедуры для событий. Например, в случае с ужином нужно сказать «Эй, Google, ужин готов» — и сервис включит музыку, приглушит свет и позовет друзей пользователя.

Планирование

Ассистент поможет составлять расписание на день и список дел благодаря интеграции с сервисами Google Keep, Any.do, Todoist и другими.

Доставка

Помощник сможет заказать доставку еды из Starbucks, Doordash и Applebee’s, Dunkin’ Donuts и Domino’s.

Google Maps

Летом 2018 года Assistant появится в Картах. Он будет отправлять текстовые сообщения, управлять воспроизведением аудиозаписей, искать информацию, не покидая экрана навигации в Картах.

Общение с пользователем

Продолжить разговор с ассистентом теперь можно сразу после того, как он выполнил предыдущую задачу, при этом обращаться к нему необязательно. Функция Multiple Actions позволит выполнить две инструкции одновременно.

Family Link

В приложении для родителей сервис будет предлагать пользователям семейные игры, мероприятия и рассказы от партнеров.

Голоса

В сервисе появилось шесть новых голосов, одним из которых стал обладатель десяти «Грэмми» соул-исполнитель Джон Ледженд (John Legend).

Подробнее об обновлении — в нашем обзоре.

ИИ и машинное обучение

По словам главы Google Сундара Пичаи (Sundar Pichai), компания планирует развивать искусственный интеллект так, чтобы он помогал решать проблемы пользователей со всего мира. В качестве примеров применения ИИ Пичай привел использование нейросетей в медицине. Сейчас корпорация тестирует алгоритмы для выявления признаков диабетической ретинопатии. По словам руководителя корпорации, ИИ может помочь врачам определять примерную продолжительность пребывания пациента в больнице или необходимость госпитализации до ухудшения состояния.

Google также использует машинное обучение и азбуку Морзе, чтобы облегчить общение для людей с особенностями развития. Компания добавила поддержку азбуки Морзе в бета-версию клавиатуры Gboard для Android.

Компания передала разработки, связанные с ИИ, проекты направления Google Research, его соцсети и блоги в ведение Google AI. Это подчеркивает тот факт, что все новые разработки и продукты Google в той или иной степени связаны и используют передовые достижения в области ИИ, пишут представители корпорации.

Google Новости

Сервис получил масштабный редизайн, функции искусственного интеллекта и продвинутую систему рекомендаций. Его нейросети ежедневно изучают миллионы статей и новостей, выборочно предоставляя подборки из самых интересных.

При запуске приложения открывается вкладка «Для вас» с пятью главными событиями за последние несколько часов. Под карточкой отображаются более старые и актуальные материалы. Функция «Взгляд с разных сторон» поможет ознакомиться с текстами разных СМИ на одну тему.

Вкладка «Заголовки» предлагает читателям интерактивные карточки, коротко раскрывающие суть последних событий в мире или по определенным тематикам. Публикации в таком виде состоят из фото или видео с несколькими строками текста.

Для тех, кто предпочитает журналы и газеты в электронном виде, в «Новостях» можно приобрести подписку более чем на 1000 изданий. Как только выйдет новый выпуск, приложение уведомит владельца и опубликует некоторые тексты из него на главной странице «Для вас».

Сроки появления Google Новостей 5.0 в Google Play и App Store неизвестны, но APK-файл уже доступен.

ML Kit

Компания представила новый набор инструментов (SDK) для внедрения функций машинного обучения и нейросетей в мобильные приложения — ML Kit. Он умеет распознавать текст, сканировать лица, читать штрихкоды, помечать объекты на снимке, распознавать достопримечательности.

В течение нескольких месяцев корпорация планирует добавить в SDK функции умных ответов и высокоточного распознавания контура лица. Новый SDK базируется на платформе для мобильных приложений Firebase и предлагает интеграцию в проекты сторонних разработчиков. Бета-версия уже доступна всем желающим в консоли Firebase.

Интеграция с TensorFlow

ML Kit поддерживает библиотеку TensorFlow Lite. Разработчики могут загружать собственные модели нейросетей в консоль, а поддержкой и интеграцией модели будет заниматься Firebase. Компания разрабатывает технологию, сжимающую TensorFlow-модель вместе с обучающими данными, чтобы уменьшить размер APK. Разработка находится на ранней стадии, но желающие могут зарегистрироваться для предварительного доступа.

Tensor Processing Unit 3.0

Мощность третьей версии процессоров TPU выросла в 8 раз по сравнению с предыдущей и составила более 100 терафлопс. По словам создателей устройства, для работы с ними серверам корпорации впервые потребовалось жидкостное охлаждение.

Тензорный процессор относится к классу нейронных процессоров и работает с библиотекой машинного обучения TensorFlow.

Google Фото

Основные изменения

В ближайшие месяцы пользователи сервиса смогут выделить на фото нужные объекты и сохранить их в цвете, а фон сделать черно-белым. В нем появится функция автоматического превращения старых черно-белых фото в цветные с помощью системы ИИ. Для этого старое фото нужно будет снять на камеру, а Google Фото проанализирует его и предложит «раскрашенный» вариант.

Среди других новшеств — использование нейросетей для разделения объектов на фото, распознавание документов и автоматическая конвертация их в PDF-файл, подсказки для автоматических настроек экспозиции. Обновленный функционал дает возможность быстро поделиться, повернуть или архивировать картинки во время просмотра.

API

Новый инструмент Google Photos Library API позволит разработчикам взаимодействовать с пользовательской библиотекой сервиса. Благодаря ему можно находить фотографии по описанию, месту съемки и другим признакам. С API можно добавлять материалы в библиотеку, создавать альбомы, делиться объектами для совместного доступа.

На конференции корпорация привела примеры использования технологии первыми партнерами. Например, разработчик программ учета и расходов Xero добавил в них автоматическое распознавание и импорт квитанций по фотографиям из библиотеки. Компания Legacy Republic, развивающая службы по оцифровке фотографий, внедрила функцию загрузки сканов в Google Photos.

Прочие анонсы

Lighthouse

Сервис для улучшения качества веб-страниц стал работать быстрее благодаря новому движку под кодовым названием Lantern и сокращению периодов ожидания. В расширении обновился интерфейс отчетов. Корпорация обновила модель для аудитов эффективности: оценка 50 теперь представляет собой 75-й процентиль, а идеальный балл 100 — 98-й процентиль. Результаты теперь можно экспортировать в CSV-формате.

Поддержка Linux-приложений

Корпорация добавила в Chrome OS виртуальную среду на базе Debian Stretch, что позволило использовать в ней инструменты Linux. На базе ОС можно запускать привычный редактор кода и тестировать свои приложения. Чтобы обеспечить его поддержку, разработчики добавили в ОС интеграцию с графическим сервером Wayland. Возможность запуска приложений Linux пока что поддерживает только ноутбук Pixelbook.

Material Design 2.0

В интерфейсе дизайн-системы появилось много скруглений.

Яркую шапку приложения и серые подложки заменило белое пространство с минимумом акцентов. В некоторых приложениях Google осталась цветная нижняя панель.

Material Design поддерживает продвинутую тематизацию. Можно менять шрифтовую сетку, скругления элементов интерфейса, иконки. Появилась возможность использовать плагин для Sketch или быстро примерить стиль на свой макет, также доступна библиотека иконок.

Новый сайт Material Design сделал фокус на дизайн и разработку более явным. Корпорация запустила инструмент Gallery, аналог Zeplin и Wake.

Smart Compose

Функция предлагает пользователю заканчивать предложения с учетом смысла и контекста. Она работает в фоновом режиме и позволяет принять или игнорировать подсказки. Сервис работает для приветствий, заключительных оборотов, общих стандартных фраз в самом тексте.

Пока что Smart Compose будет работать только в веб-версии сервиса Gmail. Его пользователи по всему миру должны получить доступ к Smart Compose в ближайшее недели, а через несколько месяцев она будет интегрирована в пакет G Suite.