CameraX для биометрии: почему детекция лица зависает и как это чинить

CameraX распознаёт лицо через поток кадров ImageAnalysis, но детекция в реальном времени срывается, если анализ идёт в главном потоке, кадры не закрываются вовремя или ML Kit получает изображение с неверным углом поворота. Решение — фоновый executor, режим STRATEGY_KEEP_ONLY_LATEST, передача rotationDegrees и ограничение частоты анализируемых кадров.

Почему CameraX теряет лицо в кадре при биометрической проверке

Охранник склада в Домодедово подносит планшет к лицу курьера на входе. Рамка детекции появляется на секунду, гаснет, снова ищет — курьер в капюшоне, свет из окна бьёт сбоку, телефон не самый новый. Очередь из трёх человек растягивается на минуту, хотя по регламенту проверка занимает пять секунд.

Причина обычно не в модели распознавания, а в том, как настроен конвейер CameraX. Анализ кадра через ImageAnalysis запускают в основном потоке — поэтому UI подвисает и детектор получает кадры с задержкой. Или используют режим STRATEGY_BLOCK_PRODUCER вместо STRATEGY_KEEP_ONLY_LATEST, поэтому очередь кадров копится, а на экране показывается уже устаревшее изображение. Добавьте сюда неверно переданный угол поворота в InputImage.fromMediaImage() — и ML Kit Face Detection просто не находит лицо, потому что получает кадр повёрнутым на 90 градусов.

Отдельная беда — фронтальная камера смартфонов среднего класса. Она выдаёт кадр меньшего разрешения и с более шумной матрицей, чем основная, а на солнце или под яркими лампами склада засвечивает контур лица. ML Kit в такой ситуации не ошибается — он честно не находит достаточно чётких контрольных точек лица и возвращает пустой результат, но со стороны это выглядит как «не работает».

На бюджетных Android-устройствах, которые часто выдают линейному персоналу — курьерам, кладовщикам, охране, — процессор не успевает прогонять анализ на каждом кадре. Детекция либо зависает на пару секунд, либо мигает: лицо находит, теряет, находит заново. Для отдела кадров это не баг с картинкой, а сорванный табель: если проверка не прошла с первого раза, сотрудник либо стоит в очереди, либо проходит по старинке — расписывается на бумаге, и данные потом вручную забивают в базу.

Как исправить детекцию лица, которая подвисает или срабатывает через раз

Первое, что проверяют разработчики ukved.ru в таких проектах, — на каком потоке выполняется анализатор. ImageAnalysis.Analyzer обязан работать в фоновом Executor, а не в главном потоке: иначе интерфейс подвисает, а детектор не успевает получить свежий кадр до следующего тика камеры.

Второй шаг — режим backpressure. ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST отбрасывает старые кадры и отдаёт детектору только последний — это быстрее, чем ждать очередь. После обработки кадра ImageProxy нужно закрывать вызовом close() сразу же, иначе следующий кадр не придёт и картинка на экране «зависнет».

Третье — угол поворота. Камера отдаёт кадр в исходной ориентации сенсора, а не в той, что видит пользователь на экране. Если не передать imageProxy.imageInfo.rotationDegrees в InputImage.fromMediaImage(), ML Kit будет искать лицо в кадре, повёрнутом на 90 или 270 градусов, и просто не найдёт его — не потому что лица нет, а потому что геометрия не совпадает.

Четвёртое — частота и разрешение. Гонять детекцию на каждом кадре при 1080p не нужно: для поиска лица достаточно анализировать каждый второй-третий кадр в разрешении около 640×480, а полное изображение брать только в момент подтверждённого совпадения — для самой биометрической сверки. Это снимает нагрузку с процессора и убирает то самое «мигание» рамки на слабых устройствах.

Разрешение камеры и права доступа

Ещё одна частая причина мнимого сбоя детекции — не код анализа, а разрешение CAMERA, которое пользователь один раз отклонил. CameraX в этом случае либо не запускает превью вообще, либо запускает его в деградированном режиме без потока для анализа, а на экране остаётся чёрный прямоугольник вместо картинки с камеры. Проверка состояния разрешения перед стартом ProcessCameraProvider и понятное сообщение пользователю экономят часы разбора «сломанной» детекции, которая на деле упирается в системную настройку телефона.

Что делать, если ошибка распознавания повторяется после обновления Android

Если детекция работала месяцами, а после обновления прошивки на пачке устройств вдруг перестала находить лица — дело редко в самом ML Kit. Чаще меняется поведение камеры: другой HAL-драйвер, новый формат по умолчанию для ImageAnalysis, урезанные разрешения на конкретной модели. Проверка начинается с логирования: фиксируйте не только факт ошибки, а модель устройства, версию Android, разрешение потока и rotationDegrees на каждом кадре — без этих данных повторяемую ошибку не локализовать, будет только «у кого-то не работает».

Дальше — сузить круг. Если проблема не на всех устройствах, а на одной партии телефонов, которую компания закупила для склада или курьеров, стоит завести отдельный профиль конфигурации камеры под эту модель: другое целевое разрешение, другой executor, ручной таймаут на детекцию. Если ошибка системная и повторяется на всех устройствах сразу — обычно виновата версия зависимости com.google.mlkit:face-detection или CameraX, которая подтянулась при пересборке. Откат на предыдущую стабильную версию с фиксацией в gradle закрывает вопрос быстрее, чем разбор багтрекера библиотеки.

И на этот случай нужен запасной сценарий — не техническая мелочь, а часть проекта с самого начала: если биометрия недоступна дольше нескольких секунд, приложение должно предложить альтернативу (PIN, QR-пропуск), а не блокировать вход человеку, который и так стоит с коробками в руках.

Как предотвратить сбои биометрии ещё до релиза

Дешевле поймать проблему на этапе разработки, чем разгребать жалобы от сотрудников склада в первую неделю после запуска. Рабочий чек-лист для проекта с CameraX и биометрией выглядит так:

• ✓тестировать не на флагмане разработчика, а на 2-3 моделях того класса, что реально закупает компания для линейного персонала;
• ✓проверять детекцию при разном освещении — у окна, под лампами склада, в тёмном тамбуре на входе;
• ✓добавить проверку живости (liveness detection), иначе рамка распознавания среагирует и на фотографию с телефона — для биометрического доступа это не деталь, а требование безопасности;
• ✓логировать метрики распознавания в проде — не только ошибки, но и время до успешной детекции, чтобы видеть деградацию раньше, чем на неё пожалуются;
• ✓оформить согласие на обработку биометрических данных и порядок их хранения ещё до того, как приложение попадёт в прод — переделывать согласие задним числом сложнее, чем заложить его в интерфейс сразу.

Отдельно стоит вынести детекцию лица в собственную метрику мониторинга, а не смешивать её с общими логами приложения: разработчик должен видеть отдельно долю неудачных попыток по моделям устройств и по времени суток, чтобы поймать деградацию на конкретной партии телефонов раньше, чем об этом напишут в поддержку.

Биометрические данные — специальная категория персональных данных по 152-ФЗ, и это касается не только банков: пропускная система на складе или биометрический вход в приложение курьера подпадает под те же требования к согласию и хранению.

Что выбрать для детекции лица: ML Kit, MediaPipe или своя модель

Для большинства проектов на CameraX выбор стоит между готовым SDK и собственной моделью. Разница не в теории, а в том, что реально происходит на устройстве курьера или кладовщика при слабом освещении и не самом свежем процессоре.

Что получает бизнес: биометрия, связанная с 1С, и во сколько это обходится

Отдельное приложение для проверки лица на входе — это, по сути, только один экран в системе учёта. Ценность появляется, когда отметка о проходе сразу попадает в 1С: время прихода курьера — в табель, доступ кладовщика к зоне — в лог склада, подтверждение личности при получении груза — в документ отгрузки. Разработчики ukved.ru строят такие сценарии как B2B-приложение с интеграцией 1С: биометрический модуль на CameraX закрывает вход, а данные о событии сразу уходят в учётную систему без ручного переноса.

Похожая логика работает и вне склада — например, для сети коворкингов или бизнес-центра, где вместо карт доступа стоит биометрическая проверка на входе через планшет на ресепшене или собственное приложение арендатора. CameraX здесь берёт на себя только распознавание лица в кадре, а решение «пускать или не пускать» и запись события всё равно уходит в учётную систему компании — чаще всего в 1С, потому что там уже ведётся учёт сотрудников и посетителей.

Если у компании уже есть корпоративное приложение и нужно добавить в него распознавание лица, речь идёт не о разработке с нуля, а о встраивании модуля в существующую интеграцию приложения с 1С — обмен данными уже настроен, добавляется только экран проверки и связка с камерой. Полная разработка мобильного приложения с биометрией на CameraX, включая тестирование на нескольких моделях устройств и настройку хранения данных по 152-ФЗ, начинается от 500 000 рублей — итоговая цифра зависит от того, нужна ли интеграция с 1С, сколько сценариев проверки и сколько моделей устройств нужно поддержать. Актуальные условия и состав работ — на странице тарифов.

❓ Частые вопросы

Какая точность у детекции лица через CameraX и ML Kit?

Готового процента точности ML Kit не публикует — результат зависит от освещения, разрешения потока и модели устройства. При верной настройке ImageAnalysis, ограничении частоты кадров и проверке качества изображения перед сравнением рамка находит лицо стабильно с первой-второй попытки на большинстве современных Android-смартфонов, включая бюджетные модели.

Нужна ли отдельная лицензия на ML Kit Face Detection в коммерческом приложении?

ML Kit Face Detection работает бесплатно и без отдельной лицензии для коммерческого использования, детекция выполняется офлайн прямо на устройстве без обращения к серверу Google. Платить нужно только за разработку самого приложения и, при необходимости, за облачную сверку с базой лиц, если она выходит за пределы одного устройства.

Как биометрия в приложении связана с требованиями 152-ФЗ?

Данные о лице — специальная категория персональных данных, поэтому нужно письменное согласие сотрудника или посетителя и понятный порядок хранения и удаления этих данных. Такие требования закладывают в архитектуру приложения сразу на старте проекта, а не добавляют задним числом после запуска в прод.

Можно ли встроить детекцию лица в уже готовое корпоративное приложение?

Да, если приложение построено на CameraX или совместимо с добавлением нового экрана и модуля анализа — распознавание добавляется поверх существующей логики без переписывания остального приложения. Если уже настроен обмен с 1С, событие прохода биометрии просто подключается к тому же каналу передачи данных.

Сколько стоит разработка приложения с детекцией лица и интеграцией с 1С?

Полная разработка мобильного приложения с биометрией на CameraX и интеграцией с 1С начинается от 500 000 рублей. Итоговая цена зависит от числа сценариев проверки, количества поддерживаемых моделей устройств, глубины интеграции с учётной системой и требований к проверке живости.