Google использует машинное обучение для вывода разных тем, которые относятся к поисковому запросу пользователя.

Это не единственный пример информации, которую выводит поиск Google. Он показывает и подкасты по теме, которые можно сразу прослушать (спасибо Google Podcasts).

Видимо, технология распознавания текста в подкастах сыграла важную роль в функциональности поиска.

*что-то скучное о дополненной реальности в поиске*

Если серьезно, то выглядит круто — вместо того, чтобы выбирать что-то в меню самостоятельно, можно показать его смартфону и Google Lens выделит популярные блюда.

И так можно быстро рассчитывать, сколько денег должны внести в чек люди за столом.

Google хвалится, что смогла ужать огромные 100 ГБ модели для обучения нейронных сетей до 0.5 ГБ. Это позволило улучшить скорость работы Google Assistant на смартофне, так как теперь он обрабатывает запросы пользователя практически моментально. Можно вести почти осмысленные беседы и не ждать томительного ответа.

Только что компания показала, как можно в процессе переписки в сообщениях спросить «Ассистента» дату рейса перелета, после чего передать эту информацию прямо в переписке. Все происходит очень быстро и уже напоминает жизнеспособную модель взаимодействия с телефоном при помощи голоса.

Новый быстрый Google Assistant появится в следующих смартфонах Google Pixel позже в этом году.

В «Ассистенте» появится интерфейс управления для машины. Все тоже запускается при помощи голоса. Звонки и музыка запускаются и воспроизводятся в фоне, чтобы не отвлекать водителя во время вождения.

И конечно, на все тоже можно отвечать голосом.

Секция о Google Assistant заканчивается бодрой рекламой с примерами использования ассистента.

Наглядное изображение работы системы распознавания нейронных сетей. Новый классификатор TCAV улучшает процесс сопоставления элементов на разных этапах определения объекта, чтобы нейронная сеть не использовала неверные индикаторы при распознавании объекта.

Как пример, если нейронная сеть обучается распознавать врачей на массиве данных, где в основном изображены мужчины-врачи, TCAV поможет отсеять параметр «мужчины». Так результат будет включать в итоговой модели и женщин-врачей в том числе.

Модели обучения теперь будут располагаться прямо в смартфонах и подтягивать из интернета обновления. Нечто похожее реализовано в iOS и iPhone. Только здесь это наверняка будет играть гораздо большую роль (и работать более эффективно).

Улучшения в работе распознавания речи позволили создавать субтитры при просмотре видеороликов в самых разных приложениях. Причем если отключить звук во время просмотра, система автоматически покажет текст. И все это работает локально на смартфоне!

Эта функция называется Live Caption. Очень удобно.

Что еще важнее, система распознавания речи теперь распознаёт не только нормальную речь, но и слова, которые произносят инвалиды с ограниченными возможностями — от мычания до невнятного бормотания.

Android Q будет заточен под «сгибашки» (разгибашки?). Многооконность, переход контента со сложенного экрана в разложенный режим, оптимизация игр — все это придет вместе с новой версией ОС.

Быстрые ответы теперь будут предлагать не только слова, но и конкретные действия. Все обучается и улучшается локально на смартфоне и не требует взаимодействия пользователя.

Тёмная тема сэкономит заряд аккумулятора в смартфонах с OLED-дисплеями :)

Если приложение будет определять геопозицию пользователя в фоне, а человек вообще редко пользуется этим приложением, то система предложит запретить ему доступ к геопозиции.

Все главные компоненты ОС в Android Q будут обновляться отдельно друг от друга и от остальных частей системы. При этом, они будут обновляться в фоне — то есть, для их обновления не нужно перезагружать смартфон. Крутота.

В Android Q можно будет гранулировано управлять доступом ребёнка к приложениям. Есть даже функция «еще немножко», которая открывает ему доступ к ПО на еще несколько минут)