Как функционирует идентификация лиц в телефонах

Для чего мы предпочитаем разблокировку по лицевому распознаванию

В недавние годы идентификация лиц превратилось в одной из наиболее востребованных возможностей для открытия умных телефонов. Лишь несколько лет ранее основная часть пользователей удовлетворялись PIN-кодами, паролями или сканерами отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту возможность такой востребованной? Во-первых, это комфортно: не нужно удерживать в памяти сложные пароли или искать правильный палец в мраке. Во-вторых, это быстро: современные системы распознают лицо фактически за мгновение. В-третьем пункте, это впечатление футуризма — как будто в кинолентах про адмирал х агентов.

Впрочем за такой видимой легкостью прячется весь вселенная комплексных методов и инженерных концепций. Давайте разобраться, как точно работает фейсканирование в актуальных смартфонах, какие существуют способы, насколько они защищены и что нас ожидает в будущем.

Короткая история развития техники

Идентификация лиц как техника присутствует уже более 50 годов. Изначальные попытки автоматизированного изучения лиц были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ способны были лишь определять контуры лица и вычислять промежутки между очами и устами на ахроматических фотографиях.

Изначальные торговые системы возникли в девяностых годах, но они были далеки от совершенства: функционировали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких платформ, как адмирал х, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные разработки.

Главные шаги функционирования системы определения

Процесс распознавания лица можно примерно сегментировать на несколько важных этапов:

1. Распознавание лиц — аппарат распознает присутствие гуманного лица в снимке.
2. Определение признаков — система анализирует черты физиономии: очертания зрительных органов, обонятельного органа, губ, положение бровей.
3. Построение модели — создаётся особенный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — сформированный модель сопоставляется с сохранённой при внесении биометрической информацией владельца.
5. Принятие решения — если совпадение достаточно значительное, смартфон деблокируется.

Любой из этих этапов требует особых методов и оптимизаций для оперативной работы непосредственно на девайсе.

Технические элементы: что прячется внутри

Типичная фронтальная камера.

Простейший несложный вариант распознавания физиономии применяет исключительно лицевую камеру смартфона смартфона. Такой способ реализован во многочисленных доступных вариантах Android-устройств.

Сильные стороны:

• Не нуждается в дополнительных сенсоров.
• Оперативно работает при качественном освещённости.

Недостатки:

• Просто обмануть снимком или роликом.
• Плохо работает при плохом освещённости или необычных углах обзора.

ИК камера и точечный проекционный аппарат

Более совершенные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс является основой Face ID от Apple.

Как это действует:

• Точечный устройство проекции показывает на облик пользователя невидимую структуру из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 точек).
• ИК камера регистрирует деформацию данной сетки по поверхности физиономии.
• Получается трёхмерная карта глубины, что почти невозможна для фальсификации типичной фото или маской.

Плюсы

• Надёжная функционирование даже в полной тьме.
• Высокая устойчивость к фальсификациям.
• Точность определения свыше 99%.

Добавочные сенсоры

В отдельных аппаратах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения луча до цели и обратно; RGB-датчики дальности; специальные лазерные лидары для построения более аккуратной 3D-модели лица.

Эти разработки применяются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искуственный интеллект на действии

Текущие системы опознания лиц невозможны без использования ИИ и machine learning. Именно благодаря таким технологиям, как адмирал х, устройство может идентифицировать владельца даже при метаморфозах внешности: новая стрижка, растительность на лице, линзы или грим не становятся помехой для разблокировки.

Обнаружение физиономии

В стартовом шаге система обязана мгновенно распознать образ лица среди всего кадра с камеры. Для данной цели применяются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены находить человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может распознавать облик даже в случае частичном перекрытии (например, платком или ладонью).

Выделение ключевых аспектов

После обнаружения лица устройство, такая как адмирал х, вычисляет положение ключевых точек: края глаз, кончик носа, границы губ и так далее. Часто задействуется от 68 до 128 основных точек на лицевой поверхности.

Это действие необходимо для нормализации картинки: если человек удерживает смартфон под наклоном, или наклонил головку, программа “выпрямляет” картинку до стандартного положения для последующего изучения.

Формирование биометрии образца

Далее искусственная сеть строит компактное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Такой образец крайне затруднительно имитировать: он не удерживает непосредственно фото пользователя, а лишь особенные характеристики его вида, что делает его оптимальным для таких платформ, как admiral-x.

Сравнительный анализ и вынесение выбора

В случае, когда юзер хочет разблокировать телефон глазами, программа воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный границу (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ не предоставляется.

Адаптация к изменениям облика

Интересная черта актуальных систем — возможность самообучения. Если ты регулярно открываете мобильное устройство с новой укладкой или оптикой, программа постепенно обновляет основной образец вашего лица для повышения точности работы без ухудшения безопасности.

Защита биометрических данных информации.

Множество клиенты беспокоятся держать свои био-идентификационные данные на смартфоне из-за вероятности потери данных или взлома устройства. Иные фирмы, например admiral-x, предоставляют решения для улучшения защиты данных пользователей.

• Локальное сохранение: Преимущественно аппаратов хранит биометричные шаблоны только в пределах защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют аппарат и закрыты даже изготовителю.

• Шифрование: Все информация сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения третьих разработчиков не обладают непосредственного доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Стоит подчеркнуть существенную деталь: если кто-либо сможет получить доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители реализуют систему защиты от автоматического разблокирования — например, требуют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются категории определения лиц?

В настоящее время можно выделить определить три ключевых способа к реализации этой задачи:

Софтверное плоское распознавание

Используется только фронтальная видеокамера без вспомогательных датчиков дистанции. Такой подход наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость воплощения; минимальная затраты; быстрая деятельность при качественном свете.
Минусы: несложно обмануть фотографией; ненадежная деятельность ночью; недостаточная охрана.

Оборудование для объёмное сканирование

Использует ИК камеру + проектор точек + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: высокая надёжность; невозможно подделать фото/видео; стабильная работа при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные методы с интеграцией ИИ

Задействуют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock последних поколений, объединяют фронтальную камеру c ИК сенсором мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Иллюстрации эксплуатации разнообразных методов

• iPhone серии X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID в числе Android.
• Samsung Galaxy S10/S20 обеспечивают как программное плоское распознавание по изображению фронтальной камерой, так и датчик радужки глаза.
• Huawei Mate20 Pro применяет набор из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы защиты и неверные срабатывания

Несмотря на замечательный развитие технологий за недавние лет, совершенных систем пока не существует:

1. Шанс обмана: Доступные телефоны просто “разблокируются” качественной снимком хозяина или же роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые совершенные устройства могут ошибиться между монозиготными близнецами либо родичами с очень аналогичной внешностью.
3. Трансформации облика: Резкое утрата веса/набор веса, пластические операции или повреждения в некоторых случаях необходимы для повторной регистрации биометрических данных.
4. Условия записи: Сильная подсветка солнечным светом или интенсивная тень могут снизить аккуратность определения признаков.

Ниже некоторые советов для защищённому использованию:

• Для важных операций всегда внедряйте дополнительную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Систематически апгрейдите прошивку мобильного устройства для обеспечения безопасности от актуальных атак;
• Включайте настройку “Требовать открытых глаз” там, где она доступна.

В каких областях ещё применяется технологии помимо мобильных телефонов?

Пускай основная мысль нашей публикации посвящена в частности смартфонам и планшетам, следует отметить других сферах применения технологии:

• Управление прохода в офисах и многоквартирных зданиях;
• Платёжные терминалы финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы современного образца;
• Системы видеонаблюдения муниципальных служб;
• Автоматизирование учёта явки учебных заведений/университетов;
• Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через барьер без карты или мобильника! Похожие программы реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как трансформируется технология в нынешнее время?

Каждый год появляются свежие концепции для повышения уровня функционирования систем распознавания лиц:

1. Увеличивается разрешение сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
2. Развиваются нейросети — современные конструкции модели MobileNetV3 дают возможность скоростно обучаться дополнительным характеристикам внешности владельца напрямую на гаджете без отправки данных в облако.
3. Совершенствуются методы антиспуфинга — теперь смартфоны способны отличать реальные живые лица от статичных фотографий/масок по микроскопическим движениям кожи.
4. Интеграция со смарт-гаджетами — смарт-часы могут самостоятельно заблокировать смартфон, если пользователь удалился на значительное расстояние.
5. Возникают гибридные механизмы — в частности совмещающие речевую опознание + облик + отпечаток пальца.

Вот, те тенденции в особенности востребованы сейчас:

1) Уменьшение компонентов

Производители пытаются минимизировать размер выреза (“чёлки”) для датчики на экране за счёт встраивания маленьких ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё более расчётов происходит на месте без отправки данных во дополнительный облачный услугу.

3) Унификация стандартов

Гугл энергично продвигает норму BiometricPrompt API, с целью чтобы такие системы, как admiral x, и все Android-аппы могли взаимодействовать с различными типами биометрии единообразно.

Что решить на сегодня?

Если вам всем необходима максимальная защита данных, выбирайте флагманские устройства со встроенным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех существующих последних поколений
• Huawei Mate/Series P серии
• Mi Expert
• Vivo X серии
• Oppo Найти Икс линейки.

Если средства скромен – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную возможность удобства.

Каким образом увеличить удобство работы функции?

Есть пара советов для людей, кто уже применяет функцию распознавания лица:

1. Регулярно обновляйте свою фотографию-шаблон, если кардинально трансформируется облик.
2. Не забывайте чистить линзу фронтальной камеры – загрязнения могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует фотоаппарат когда вы поднимаете его.
4. В процессе регистрации постарайтесь держать лицевую часть прямо впереди объектива не допуская резкого наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвели взгляд от дисплея.

Возможности прогресса техники

В предстоящие времена можно предполагать появления полностью дистанционных способов идентификации персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + шаги + движения рук!

Также вероятно появление свежих способов обеспечения конфиденциальности – например, динамическое корректировка электронного шаблона после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень увлекательных техник нашего эпохи! Она делает общение со телефоном проще чем когда-либо прежде, и такие программы, как admiral-x, могут значительно повысить ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как функционирует эта технология изнутри, – сумеете вдумчиво определять свой очередной устройство!