Вот что нового в визуальном интеллекте в iOS 26
Функция Visual Intelligence, являющаяся частью инициативы Apple Intelligence и представленная в прошлом году, получила значительное обновление в iOS 26. Благодаря этим изменениям, технология стала ближе по возможностям к аналогичным функциям в Android-устройствах.
Распознавание контента на экране
Если в iOS 18 Visual Intelligence работала только с изображениями, полученными через камеру, то теперь, начиная с iOS 26, она также анализирует содержимое экрана устройства. Пользователи могут сделать скриншот и применить Visual Intelligence для распознавания объектов, поиска изображений или получения контекстной информации через интеграцию с ChatGPT.
Функция работает в интерфейсе редактирования скриншотов. Сделайте снимок экрана (нажмите кнопку увеличения громкости и боковую кнопку), затем перейдите в режим разметки.
Чтобы активировать Visual Intelligence, нажмите на значок пера в верхней части экрана, чтобы выйти из Markup. Далее появятся опции анализа изображения.
Highlight to Search
Среди новых инструментов — Highlight to Search, позволяющий провести пальцем по элементу на изображении, чтобы выполнить поиск по выделенному объекту. Это напоминает функцию Circle to Search в Android.
Highlight to Search позволяет распознавать и искать объекты, даже если на скриншоте их несколько. По умолчанию используется Google Image Search, но Apple также показала примеры взаимодействия с другими сервисами, такими как Etsy. Для полноценной работы приложениям нужно будет внедрить поддержку этой функции.
В некоторых случаях Visual Intelligence самостоятельно находит объекты на изображении и отображает интерактивные точки. Это напоминает встроенную функцию распознавания в приложении «Фото», но приводит к результатам поиска.
Кнопки Ask и Search
Если нет необходимости выделять конкретный объект, можно использовать кнопку Ask, чтобы задать вопрос о содержимом экрана. Вопросы передаются в ChatGPT, который предоставляет развернутый ответ. Кнопка Search направляет запрос в Google для получения дополнительной информации.
Так же как и в стандартной версии визуального поиска, система может определять даты, события и другую релевантную информацию на изображении и предлагать добавить её в Календарь.
Расширенное распознавание объектов
Хотя Apple официально это не анонсировала, в iOS 26 Visual Intelligence научилась определять больше категорий объектов. Помимо уже известных растений и животных, теперь можно распознавать:
- произведения искусства;
- книги;
- архитектурные объекты;
- природные достопримечательности;
- скульптуры.
При наведении камеры или анализе фото появляется небольшая светящаяся иконка, касание которой вызывает карточку с информацией о предмете. Эта функция работает как с живым изображением с камеры, так и с сохранёнными фото.
Для использования возможностей Ask и Search, необходимо сделать снимок, который будет обработан через ChatGPT или Google. А вот базовое распознавание объектов — книг, животных, произведений искусства — происходит локально, без обращения к облачным сервисам.
Поддерживаемые устройства
Visual Intelligence работает исключительно на моделях, поддерживающих Apple Intelligence, таких как iPhone 15 Pro и iPhone 16. Активация доступна через длительное нажатие на кнопку камеры, кнопку действия или переключатель в Центре управления.
Когда выйдет iOS 26
На данный момент новая система находится в стадии публичного бета-тестирования. Официальный релиз iOS 26 ожидается в сентябре.
