Lo tasa: los estándares de NIST y la evaluación de la calidad de los algoritmos biométricos basados en el reconocimiento facial

Así, según las últimas proyecciones de Future Market Insights, este mercado crecerá de $5.2 mil millones en 2022 a $22.5 mil millones en 2032, con una tasa de crecimiento anual promedio de 15.7%. Según los analistas, el mercado de soluciones de software de reconocimiento facial crecerá a un ritmo más rápido que el mercado de software especializado para las agencias del orden público y el mercado de algoritmos tecnológicos individuales para la construcción independiente de sistemas biométricos. No es sorprendente que un gran número de desarrolladores de tecnología de reconocimiento facial en diferentes países se dirijan a este segmento atractivo de un mercado en rápido crecimiento. En este sentido, no es extraño el hecho de la aparición de una organización independiente reconocida que desarrolla estándares y métodos de evaluación generalmente aceptados, según los cuales las decisiones de diferentes proveedores se alinean en una clasificación consolidada actualizada periódicamente. Hay muchas pruebas comparativas para las tecnologías de reconocimiento facial, pero el estándar internacional generalmente aceptado es el paquete de pruebas de benchmarks FRVT(Face Recognition Vendor Test – Pruebas de proveedores de tecnología de reconocimiento facial), desarrollado y actualizado periódicamente por el Instituto nacional de estándares y tecnología (NIST, por sus siglas en inglés). Esta institución es una de las agencias federales más antiguas de los Estados Unidos bajo el Departamento de Comercio, que desarrolla estándares y especificaciones para una variedad de industrias, incluida la defensa. El más paquete primero de prueba FRVT se desarrolló en el NIST en 2000, y desde entonces se ha mejorado muchas veces y se ha perfeccionado significativamente, especialmente después de los ataques terroristas del 11 de septiembre en los Estados Unidos. Pero, para ser justos, hay que señalar que el proyecto de NIST para evaluar la calidad del reconocimiento facial se originó mucho antes del año 2000 y de mucho antes del actual revuelo en torno a la I.A., ya que los estudios relevantes en el marco del proyecto FERET (Face Recognition Technology) bajo los auspicios del gobierno de los Estados Unidos comenzaron en 1993. Sea como fuere, el FRVT moderno ha sobrevivido a una serie de ediciones en 2002, 2006, 2010, 2013 y 2017, con los desarrolladores de benchmark haciendo un esfuerzo significativo para crear una metodología de prueba transparente, un sistema de calificación accesible para los usos finales, manteniendo la independencia de la experiencia. La posibilidad de presentar algoritmos de reconocimiento facial a los desarrolladores de cualquier país en cualquier momento (no más de una vez cada cuatro meses) también desempeñó un papel especial. Además, la participación en la prueba es gratuita. En este artículo, examinaremos brevemente el formato y las técnicas de las pruebas de FRVT, así como sus métricas principales. Para terminar, digamos como estas pruebas están relacionadas con RecFaces.

Contenido

¿Qué se evalúan con FRVT?

Criterios de evaluación de las calificaciones de FRVT para diferentes aplicaciones

¿Cómo se funciona?

Estrategia integral de RecFaces: no un algoritmo unificado

¿Qué se evalúan con FRVT?

FRVT consiste de varias pistas de evaluación, pero desde el punto de vista del uso práctico de la tecnología de reconocimiento facial FRVT 1:1 Verificación y FRVT 1:N Identificación son las pruebas más populares. FRVT 1:1 Verificación es una evaluación de calidad de verificación “uno a uno” donde un algoritmo debe determinar si dos muestras de datos pertenecen a una sola persona. Este es el principio de verificación utilizado, por ejemplo, en un producto de software en Caja RecFaces Id-Logon que proporciona el control biométrico del acceso al sistema operativo o de información al comparar la imagen del uso con su foto de la base de datos. FRVT 1:N Identificación es una prueba de la calidad del algoritmo de identificación cuando se comparan datos del principio 1 a N (“uno a muchos”), por ejemplo, para reconocer las caras en el flujo de vídeo cuando se comparan con caras de una base de datos existente. Estas cosas pueden ser: listas de detención para restringir el acceso a personas indeseables o, por el contrario, listas de clientes para un servicio personalizado, con el que después del reconocimento, se puede realizar un trabajo basado en los antecedentes de interacciones anteriores (compras, etc). Un ejemplo brillante de esta personalización es el trabajo de la biometría en el Sistema de Gestión de Colas (SGC) RecFaces Id-Line, diseñado para la identificación facial de la persona – en soluciones de colas electrónicas y quioscos de autoservicio, así como un producto de software RecFaces Id-Target para la interacción dirigida con el cliente a través de la identificación biómetrica en minoristas, centros multifuncionales para la prestacicón de servicios públicos, industrias de la alimentación y otras organizaciones con tareas similares. Asimismo, FRVT incluye pruebas de evaluación de la cara en Video (inglés Face-in-Video-Evaluation FIVE), cambio de la mímica (MORPH), efectos demográficos como la edad, el genero, la raza. A partir de 2020, cuando comenzó la pandemia del COVID-19, se les agregó la prueba Face Mask Effects para evaluar la precisión del reconocimiento facial en las máscaras médicas. Antes de solicitar, todos los participantes deben verificar software con un paquete de validación especial. Dichos paquetes están disponibles en GitHub para cada prueba. La validación se lleva a cabo para garantizar la coherencia de la comunicación entre el algoritmo del participante y el bucle de prueba NIST. Los parámetros de los paquetes de datos con conjuntos amplios de fotos de calidades diferentes, tomadas desde ángulos diferentes y utilizadas para entrenar algoritmos de reconocimento facial en cada uno de los puntos de referencia del NIST se detallan en las especificaciones de FRVT, pero los conjuntes de fotos están cerrados, lo que garantiza la falta de acceso del lado de los desarrolladores y, por lo tanto, pone a todos los participantes en las condiciones iguales. En particular, los conjuntes de datos del NIST incluyen imágenes Visa de calidad alta del Servicio de inmigración de los Estados Unidos tomadas de cara completa sobre un fondo blanco, fotos de Immigration Lane de menor calidad tomadas en una web-cámara al cruzar la frontera en terminales de autoservicio. Las autoridades encargadas tienen uno más conjunto de fotos. Esto incluye imágenes frontales de Mugshot de alta calidad, una combinación de fotos de cara completa y perfil de una persona (Profile), así como imágenes de cámaras web de calidad media y baja (Webcam). Wild es la categoría de imágenes más difícil. Para estas fotos tomadas de fotos indescretas, se caracteriza por una desvación significativa de los valores óptimos en la calidad de las imágenes, la iluminación, los ángulos, la visibilidad de la cara y otros parámetros.

Criterios de evaluación de las calificaciones de FRVT para diferentes aplicaciones

El cálculo de los errores cometidos en el proceso de reconocimiento facial es el método más lógico para evaluar la calidad del algoritmo. Para diferentes áreas, se aplican evaluaciones para tipo diferente en cada caso. Por lo tanto, en la identificación biométrica, una falta clave se considera un rechazo falso, cuando el algoritmo niega el acceso a un uso autorizado. En el caso de la verificación, lo que más importante es la probabilidad de una aceptación falsa: cuando un extraño obtiene acceso a un objeto o servicio bancario mediante una plantilla biométrica de otra persona de la base de usuarios autorizados. Las pruebas de verificación se realizan en varios pares de imágenes, donde se presentan las mismas personas o imágenes de personas diferentes. En los puntos de referencia de FRVT, cada par de aceptaciones posibles está acompañado por docenas de pares falsos. El algoritmo recorre las imágenes de BigData en busca de una aceptación con un conjunto de fotos de referencia se ocurre en las pruebas de identificación. La evaluación de la precisión del algoritmo se lleva a cabo por el nivel de falta falsa negativa – (FRR) False Rejection Rate – Tasa de rechazo falso, que refleja la imposibilidad de reconocer a la persona correcta, y el nivel de falta falsa positiva – (FAR) False Acceptance Rate – Tasa de aceptación falsa que muestra la probabilidad de otorgar acceso a una persona no registrada. El coificiente de FRR se calcula como la relación entre el número de falso rechazo y el número total de perfiles biométricos en la base de datos, mientras que el coificiente de FAR es la relación entre el número de fallas erróneas y el número total de imágenes en la base de datos. En ambos casos, los coeficientes pueden reflejarse tanto en porcentajes como en fracciones. Ambos coeficientes son relativos y dependen de la configuración del algoritmo aplicada, mientras que ambos están interrelacionados: por encima de FRR – por debajo de FAR, y viceversa.

¿Cómo se funciona?

Los resultados de las pruebas de algoritmos se encuentran en los informes de FVRT publicados regularmente por el NIST. Cabe destacar que las tablas con los resultados de las pruebas de diferentes proveedores se publican en columnas separadas para diferentes conjuntos de fotos (Visa, Mugshot, KioskWebcam y otros), pero la posición final en el ranking se determina por el rendimiento promedio del algoritmo. En otras palabras, un algoritmo puede ser extremadamente exitoso cuando se funciona con fotos de alta calidad, pero al final se puede perder un algoritmo con altos resultados de procesamiento de imágenes de reportaje. En cierto sentido, esto es similar a una situación en la que el coche de F1 se dejó fuera de la carretera, pero en ningún caso disminuye la neutralidad de las pruebas del NIST, y aquí es más correcto compararlos no con las carreras de F1, sino, por ejemplo, con las pruebas de supercomputadoras, cuando para diferentes clasificaciones-TOP500, HPCG o GREEN500, se ejecutan paquetes de prueba completamente diferentes. Actualmente, alrededor de 200 algoritmos de reconocimiento facial de diferentes compañías participan en las pruebas de FRVT, y las pruebas se llevan a cabo con al menos seis colecciones de fotos en una serie de conjuntos de imágenes que incluyen fotos de más de 8 millones de personas.

Estrategia integral de RecFaces: no un algoritmo unificado

La ventaja principal de los puntos de referencia biométricos del NIST es la posibilidad de participar de forma gratuita y regular en competiciones globales de desarrolladores de software bajo los auspicios de una organización independiente con las condiciones transparentes. Todo esto ha llevado a la popularidad de FRVT en todo el mundo, por lo que hoy en día la participación en el ranking es prestigiosa para cualquier organización, incluidas empresas comerciales, centros científicos y académicos e incluso fintech-empresas. Los líderes del mercado intentan proporcionar algoritmos modificados para la prueba y actualizar sus posiciones en el ranking con la mayor frecuencia posible, confirmando así sus posiciones líderes en la industria. Los mejores algoritmos para la validación de FRVT 1:1 producen una relación de falsa coincidencia (FNMR) del orden de 0,0003 con una relación de aceptación falsa (FMR) de 0,0001 en imágenes de Visa de alta calidad. Las capacidades de los algoritmos biométricos líderes modernos han alcanzado tal altura que la diferencia entre ellos a veces es insignificante. No es una excepción que los algoritmos de alta precisión que se utilizan hoy en día en una serie de productos en Caja RecFaces. Estos algoritmos aparecen regularmente en los primeros puestos de la clasificación NIST FRVT en la categoría Visa y en la lista de los 70 mejores en el ranking total del NIST en los últimos años. Sin embargo, la elección de algoritmos en el caso de las soluciones RecFaces es solo uno de los muchos pasos en el proceso de creación de un producto biométrico para resolver problemas en una industria en particular. Además, las soluciones de RecFaces no están vinculados a ningún «motor» biométrico, ya que las soluciones en caja de la compañía son soluciones aplicadas donde la precisión y la velocidad del reconocimiento facial se complementan necesariamente con el nivel alto de experiencia excepcional de RecFaces. Así, siempre existe la posibilidad de cambiar a un algoritmo diferente, siempre y cuando que muestre resultados mejores y sea más conveniente para resolver las aplicaciones de los usuarios finales. Si bien las ventajas básicas de los productos de RecFaces, como la instalación rápida, la integración profunda y completa con el hardware, los mecanismos integrados de cumplimiento de privacy protection, la interfaz de usuario intuitiva con configuraciones flexibles y otros, siguen siendo consistentemente competitivos. Además, a diferencia de las soluciones de software y hardware con reconocimiento facial integrado, las soluciones en caja de RecFaces pueden funcionar perfectamente con sistemas de control y control de acceso de una variedad de desarrolladores, incluidos Bosch Security System (BIS), DormaKabaExos, Honeywell Pro-Watch, KONE Access, LenelOnGuard, Schneider Electric EcoStruxure Security Expert, mientras que la lista de integraciones disponibles está en constante expansión. Por ejemplo, todos los adaptadores de integración necesarios están disponibles de forma gratuita para los usuarios de Id-Gate en todos los tipos de licencia, incluida la demo. Al concluir, hasta la fecha, la alta calificación del algoritmo para los estándares NIST es solo uno de los muchos criterios para el funcionamiento del producto de software de aplicación en Caja RecFaces, que proporciona no solo un alto rendimiento y precisión de reconocimiento facial, sino también un funcionamiento coherente y sin problemas de todo el sistema de identificación y/o verificación con acceso a todas las funcionalidades de las tecnologías modernas de hardware y software. En otras palabras, la competencia de algoritmos NIST es más bien un tema para especialistas y entusiastas de la tecnología, que no es un factor decisivo para elegir un sistema de biometría facial con un conjunto real de funciones necesarias para resolver los desafíos comerciales actuales y futuros. Las soluciones en caja de RecFaces son soluciones verificadas basadas en un algoritmo potente de un equipo de expertos genial, analistas y desarrolladores. Estas soluciones listas para su instalación y operación inmediatas están diseñadas para mejorar la seguridad, el control del personal, la comunicación dirigida y otros desafíos comerciales específicos de la industria. Una empresa interesada en un despliegue rápido, una operación sin problemas y un soporte operativo de este tipo de sistema, probablemente no necesite una inmersión profunda en la tecnología biométrica y el costo adicional de programar su propio producto personalizado, especialmente cuando las soluciones en caja de RecFaces ya están en el mercado, donde todos los matices ya están pensados y tomados en cuenta.