Los peligros del reconocimiento facial

Es una mañana del mes de abril del año 2019. En Estados Unidos, Amara Majee, estudiante de la Universidad Brown nacida en Sri Lanka, se despierta con treinta y cinco llamadas perdidas y otros tantos mensajes en su celular que le informan que fue identificada por la policía de su país natal como participante de un atentado terrorista efectuado por ISIS a raíz de un análisis de reconocimiento facial. Amara entró en shock, ella no era participante de ISIS, no había tenido nada que ver con el atentado, y de hecho, se encontraba en Rhode Island en el momento en que éste sucedió. Eventualmente, su inocencia se pudo esclarecer y la policía retiró las acusaciones con un pedido de disculpas.

En Argentina, en donde esta tecnología comenzó a aplicarse hace aproximadamente un año en la Ciudad de Buenos Aires, este caso puede verse como un desafortunado evento, un producto de una mala coordinación de herramientas disponibles. También puede pensarse que las chances de que eso te suceda a vos o alguien que conocés son ínfimas, y que en definitiva, si no infringís la ley, no tendrías que preocuparte. 

Ahora situémonos en el mes abril, pero del año 2015, también en Estados Unidos. Durante aquella época, el clima social había empezado a cargarse con múltiples manifestaciones a causa del asesinato de Freddie Gray en manos de la policía, y el movimiento Black Lives Matter comenzaba a cobrar una una gran relevancia a nivel nacional. En la ciudad de Baltimore, en donde se había producido el asesinato, la policía utilizó fotografías de protestantes para rastrearlos en redes sociales, violando el derecho a la protesta y a la privacidad al mismo tiempo.

En este último caso, la situación es muy distinta: ya no pasa por estar al día con la ley, y por lo tanto no tener que preocuparte de que una imagen tuya tomada por una cámara de seguridad pueda utilizarse para rastrear tu identidad, ni de las pocas probabilidades de que se te confunda con un criminal. El problema pasa más bien por saber qué harán esas empresas, agencias e instituciones, que tienen la posibilidad de extraer datos biométricos en aeropuertos o estaciones policiales e implementar algoritmos a partir de bases de datos que nosotrxs mismxs les otorgamos al momento de cumplir con la obligación de ser fotografiadxs en el registro nacional de las personas, o cuando simplemente subimos una foto nuestra taggeada a una red social. 

Podría ser que en el mejor de los casos esta técnica se utilice para detectar redes de crimen organizado, o para prevenir atentados, por ejemplo. Pero también puede ser utilizada en muchos países para amedrentar los derechos de distintas comunidades, ya sea por profesar determinadas ideologías, afiliaciones políticas o religiosas, o por tener una orientación sexual contrahegemónica. Y nada les dificulta hacerlo porque existe un cráter en materia legislativa y protocolaria, en donde no suelen desarrollarse consensos de auditabilidad transparentes acerca de la utilización de este procedimiento computacional.

Por otra parte, a medida que haya un aumento en la capacidad de cómputo y en el almacenamiento de grandes bases de datos, y la aplicación de algoritmos de Machine Learning se vuelve más sofisticada, los beneficios que varias agencias gubernamentales extraerán de esta práctica pesarán más que sus efectos contraproducentes; si esto sucede, lo que le pasó a Amara Majeed distaría mucho de ser un caso aislado. Los algoritmos de reconocimiento facial pueden tener un alto grado de falsos positivos y reflejar sesgos raciales. Joy Buolamwini, una investigadora de MIT, demostró que en muchas aplicaciones comerciales de reconocimiento facial había una tendencia alta de detección errónea en personas afroamericanas, siendo este porcentaje aún mayor en mujeres afroamericanas. Y estas fallas de detección pueden dar lugar a muchos problemas si se combinan con un fenómeno llamado “sesgo de la automatización”: una persona que no está del todo segura de si dos o más fotos pertenecen al mismo individuo, tenderá a considerar que así lo es si el programa afirma que existe una probabilidad de identidad del 99% entre dichas fotos. A pesar de todo esto, es común que las legislaciones vigentes no contemplan procedimientos de evaluación para establecer porcentajes identificación errónea.

A raíz de estos factores, ante la nueva oleada de protestas por injusticia racial en EEUU, y después de varios reclamos de organizaciones en defensa de los derechos humanos, Microsoft, IBM y Amazon decidieron recientemente no prestar servicios de reconocimiento facial a agencias policiales hasta que exista un marco legal correspondiente basado en el derecho a la privacidad. O mejor dicho: decidieron dejar de hacerlo, porque ya lo venían haciendo desde hace años. 

Pero existen otras empresas que aún no se han expedido sobre el asunto, ni dan muestras de querer hacerlo. Una de ellas es Clearview IA, que además de vender sus servicios a agencias estatales de países en donde se ejercen graves violaciones a los derechos humanos, lo hacen extrayendo esa información de imágenes que son publicadas en plataformas como Facebook y Youtube, sin ningún tipo de consentimiento por parte de éstas. Y a pesar de las advertencias de especialistas en ética de inteligencia artificial, esta palataforma extendió su negocio a más de 600 agencias policiales que han tenido acceso a esta técnica.

Uno de los niveles más altos de utilización explícita de algoritmos de reconocimiento facial se da en China, en donde un conjunto de empresas nacionales y el Estado intercambian esfuerzos para el diseño de un proyecto llamado Skynet -sí, leíste bien, se llama Skynet- con el cual pretenden desplegar un sistema de cibervigilancia que permita identificar los rostros de ciudadanxs que infringen la ley, exponiéndolxs públicamente y penalizándolxs dentro de un sistema que mide la obediencia ciudadana.

En resumen: estamos ante una tecnología falible, en la que se confía excesivamente, se utiliza de maneras que violan el derecho a la privacidad, sirve como herramienta para la vigilancia masiva y la elaboración de delitos proxy, y a las que tienen acceso empresas y agencias policiales que están exentas de la obligación de explicar sus usos. Todo esto sumado a una falta de un marco regulatorio riguroso, y no, no es un capítulo de Black Mirror.

Este horizonte vuelve urgente priorizar al carácter político de los derechos informáticos que buscan articular una defensa a la privacidad. El hecho de que existan decisiones importantes en materia de derechos informáticos que estén libradas a la suerte de la ética de empresas privadas, agencias policiales y asociaciones entre aparatos estatales de dudosa legitimidad, constituye una situación alarmante. 

Ante la aplicación de esta tecnología por parte de fuerzas públicas cabe preguntarse: ¿Qué canales de verificación públicos existen acerca del porcentaje de efectividad de estos algoritmos? ¿Qué certezas pueden ofrecerse de que estos no profundizarán mecanismos de discriminación racial? ¿Qué tipos específicos de instancias legitiman su aplicación? ¿Cual es el grado de auditabilidad que hay del código fuente y del funcionamiento de los algoritmos? ¿Qué recursos institucionales existen para frenar posibles abusos de las autoridades? ¿Qué tipos de iniciativas se pueden desarrollar para forzar una marcha atrás de estas implementaciones?

Aún cuando parezca que estas tecnologías no forman parte de una amenaza actual, las cosas pueden suceder rápido. Sin la presencia de una ciudadanía crítica que defienda los intereses de su privacidad, nuestros datos biométricos se van a empezar a ver cada vez más y más vulnerados.