Nuestra vida en manos de un algoritmo

El uso de algoritmos se ha extendido en las instituciones públicas sin disponer aún de herramientas de control suficientes.

Decenas de miles de personas fueron víctimas en Holanda del ‘toeslagenaffaire’, traducido como el ‘escándalo de las ayudas para el cuidado de los hijos’. Entre los años 2013 y 2019, la Hacienda holandesa se sirvió de un algoritmo de aprendizaje automático (el conocido ‘machine learning’) para crear perfiles de riesgo entre los solicitantes. El objetivo era detectar de manera temprana los fraudes, pero terminó siendo una herramienta de segregación y racismo institucionalizado. El algoritmo se sirvió de información introducida manualmente por los funcionarios y señaló a los potenciales estafadores, tal como se esperaba. No hubo mayor control. Miles de familias con ingresos bajos o pertenecientes a minorías étnicas no recibieron ninguna ayuda o fueron excluidas abruptamente del sistema público de subsidios en base a meras sospechas estadísticas durante seis años. Muchas familias tuvieron que devolver el importe del subsidio o fueron ahogadas financieramente. Hubo casos de suicidio y multitud de vidas rotas. Más de mil niños terminaron en hogares de acogida.

Este escándalo es usado aún hoy como advertencia de la devastación que pueden generar los algoritmos usados sin control en la gestión pública, en particular en cuestiones fiscales y de acceso a los recursos públicos como la vivienda, pero también en el ámbito de policial y judicial. La Unión Europea está trabajando en una legislación para reducir este peligro, pero los algoritmos ya han sido adoptados por la mayoría de administraciones públicas. El Reglamento General de Protección de Datos (RGPD) comunitario prohíbe a los algoritmos tomar ciertas decisiones de forma autónoma, pero existen lagunas importantes. En Australia, por ejemplo, el gobierno fue condenado tres años atrás a indemnizar a miles de familias por un importe de 442 millones de euros por un caso muy parecido al holandés. La Hacienda australiana, simple y llanamente, cerraba el grifo a las familias con menos recursos por el mero hecho de ser pobres o nacidos en países presuntamente sospechosos.

“Hay razones de peso para utilizar los algoritmos en la administración pública. Tienen el potencial de transformar el campo de la educación, la salud y los servicios sociales. Pero para explotar sus beneficios y evitar riesgos potenciales, es esencial que sean diseñados y utilizados correctamente”, indica el Tony Blair Institute for Global Change. En esta línea se manifiestan consultoras de prestigio y gobiernos como el de Reino Unido: los algoritmos ahorran una ingente cantidad de trabajo a los servidores públicos, permitiéndoles centrar su atención en tareas cualitativas, pero hay que tener mucho cuidado con hacer que los algoritmos sean la vara de medir. Por ejemplo, los algoritmos ya son una herramienta fundamental en la predicción de reincidencia en delincuentes para el Cuerpo Nacional de Policía y para predecir el riesgo de baja por accidente, causas y duración de las bajas en la Seguridad Social.

Un algoritmo no es más que una instrucción automatizada, o una lista de instrucciones relacionadas. Es el germen del ‘machine learning’, que permite a las máquianas aprender a partir de datos sin ser explícitamente programadas para ello, y por lo tanto son el embrión de la inteligencia artificial. Los algoritmos llevan años siendo utilizados en una gran cantidad de funciones de nuestra vida diaria, ya que pueden procesar enormes cantidades de datos a una velocidad mucho mayor que la humana, y con una atención al detalle insuperable. Forman parte de nuestro día a día sin siquiera darnos cuenta: en el supermercado, en las ofertas comerciales que recibimos, en el transporte público, en el sistema bancario. Sin embargo, los algoritmos carecen de capacidad analítica compleja, y sobre todo dependen de datos que pueden ser erróneos o sesgados, llevándolos a perjudicar sistemáticamente al mismo perfil de personas. Solo una persona, no un algoritmo, puede saber si un dato es o no cierto.

“En tanto que el uso de algoritmos e inteligencia artificial gana peso en el proceso de toma de decisiones gubernamental, la atención a su impacto en los derechos humanos y el compromiso en su supervisión son vitales para asegurar que esta tecnología no refuerza o exacerba las desigualdades ya existentes en nuestras sociedades”, advierte Open Government Partnership, un ‘think tank’ especializado en políticas públicas. “Decisiones que tienen un impacto profundo sobre los individuos están marcadas por estos algoritmos”, subraya a su vez la consultora Deloitte. “A qué información estamos expuestos, qué empleos se nos ofrecen, si nos aprueban o no un crédito, qué tratamiento médico nos recomiendan, incluso cómo nos tratan en el sistema judicial”. Son asuntos de importancia vital para cualquier persona.

Una de las principales razones por las que los algoritmos están tomando el control en muchas administraciones públicas, más allá del volumen de trabajo que pueden resolver, es su aura de objetividad. Sus decisiones parecen quirúrgicas y permiten diluir el factor humano en caso de un error. Hablando llanamente, nos permiten escurrir el bulto, y eso es muy tentador. “Los resultados generados por un algoritmo introducen la noción de predicción estadística en situaciones dominadas por la incertidumbre sobre el resultado”, como puede ser la concesión o no de un subsidio, indica un estudio elaborado por la Universidad Técnica de Kaiserslautern en 2021.

Quizá el asunto más delicado por resolver es la opacidad de los algoritmos, y la falta de conocimiento de los ciudadanos acerca de su uso. “Las administraciones deben facilitar mucha más información y hacer público sobre qué factores deciden los algoritmos”, indican desde Parity, una consultora que vela por el uso ético de la Inteligencia Artificial. Sin embargo, esta petición aparentemente sensata es foco de controversia, pues hacer públicas las tripas de un algoritmo puede entregar las llaves para defraudar a cualquier persona u organización con suficiente conocimiento informático. Por el lado contrario, continuar con este secretismo sobre el uso de algoritmos para decidir cuestiones básicas de nuestras vidas solo contribuye a socavar la confianza en las instituciones, que ya está suficientemente devaluada. Viene por delante un profundo debate para aclarar qué papel juegan los algoritmos en nuestra vida pública