Ещё несколько лет назад управление смартфоном взглядом казалось фантастикой․ Сегодня это реальность: крупнейшие компании, Apple, Google, Honor — внедряют функции отслеживания движения глаз (eye tracking) в свои устройства․ Разберёмся, как это работает, кому полезно и какие технологии уже доступны․
Как работает технология
Принцип управления взглядом основан на работе фронтальной камеры смартфона и алгоритмов машинного обучения․ Система непрерывно анализирует положение зрачков, направление взгляда и мимику лица, преобразуя эти данные в команды:
- взгляд влево, возврат назад;
- взгляд вверх, открытие панели уведомлений;
- поднятие бровей — возврат на домашний экран;
- задержка взгляда на элементе интерфейса — «нажатие» на него․
Для точного распознавания используются технологии вроде Face Mesh — построения трёхмерной модели лица с сотнями контрольных точек․ Это позволяет системе отличать случайные движения глаз от осознанных команд․
Основные решения на рынке
Apple: Eye Tracking в iOS 18
В iOS 18 компания Apple добавила функцию «Отслеживание движения глаз» (Eye Tracking)․ Она позволяет управлять iPhone, не касаясь экрана․ Настройка проста:
- Откройте «Настройки» → «Универсальный доступ»․
- Активируйте опцию «Отслеживание движения глаз» (индикатор станет зелёным)․
- Пройдите калибровку, задерживая взгляд на точках, появляющихся на экране․
После калибровки на экране появляется курсор, следующий за взглядом, а «нажатие» выполняется задержкой взгляда (функция Dwell Control)․ Apple также тестирует прокрутку взглядом в гарнитуре Vision Pro․
Google: Project Gameface и управление мимикой
Google начала бета-тестирование управления взглядом и мимикой на Android ещё в 2021 году․ На конференции I/O 2024 компания открыла разработчикам доступ к Project Gameface — ПО, которое превращает движения лица и глаз в команды управления для смартфонов и планшетов․
Honor: управление взглядом в Magic 6
Компания Honor представила технологию управления глазами в линейке Magic 6․ В области фронтальной камеры расположен экранный вырез, напоминающий Dynamic Island у iPhone, через который система отслеживает взгляд пользователя и позволяет, например, открывать уведомления без прикосновений․
Исследовательские проекты
- EyeMU (Университет Карнеги-Меллона, США) — система, сочетающая взгляд и простые жесты рук для управления смартфоном через фронтальную камеру․
- PredictGaze, разработка для управления электронными устройствами исключительно взглядом․
- Hawkeye Access, одно из первых приложений в App Store для управления iPhone глазами․
- Исследования в Университете Глазго и МГППУ (научный сотрудник Сергей Ш*) изучают физиологические механизмы управления взглядом, чтобы сделать технологии точнее․
Кому это нужно
В первую очередь технология незаменима для людей с ограниченной подвижностью — она возвращает им возможность полноценно пользоваться смартфоном․ Но сценариев применения гораздо больше:
- управление телефоном, когда руки заняты (готовка, вождение, спорт);
- игры и развлечения с новым типом ввода;
- работа в условиях, где прикосновения к экрану нежелательны (медицина, производство)․
Ограничения и вопросы приватности
У технологии есть и обратная сторона․ Постоянно работающая фронтальная камера вызывает резонный вопрос: что будет, если камера всегда следит за вами? Производители заявляют, что обработка данных происходит локально на устройстве, без отправки в облако․ Кроме того, точность распознавания зависит от освещения, очков и индивидуальных особенностей глаз, а непрерывная работа камеры увеличивает расход заряда батареи․
Что дальше
Эксперты прогнозируют, что в ближайшие годы управление взглядом станет стандартной функцией флагманских смартфонов, а в сочетании с голосовыми командами и жестами сформирует новый, «бесконтактный» интерфейс взаимодействия с техникой․ Технология, начавшаяся как инструмент доступности, постепенно превращается в удобство для всех․