Nuestra compañera Miren Gutiérrez ofreció una conferencia magistral en un evento sobre inclusión, diversidad e igualdad en sistemas algorítmicos organizado por el Comité Español de Representantes de Personas con Discapacidad y ONCE.

La vicepresidenta primera del Gobierno de España Nadia Calviño clausuró el evento,  durante el que se abordaron los nuevos retos tecnológicos relacionados con la accesibilidad, la diversidad y la igualdad para las personas con discapacidad. El acto forma parte de los debates respecto a los conocidos como PERTE, concretamente el de Nueva Economía de la Lengua, dotado con 1.100 millones de euros de los fondos europeos ‘Next Generation’. Los PERTE (Proyectos Estratégicos para la Recuperación y Transformación Económica) son un instrumento de colaboración público-privada en los que colaboran las distintas administraciones públicas, empresas y centros de investigación.

A continuación, ofrecemos su discurso:

Buenos tardes y muchas gracias por la invitación.

En 2019, un informe de Philip Alston, relator especial de Naciones Unidas sobre derechos humanos y pobreza extrema, alertaba de que la tecnología digital y los modelos de negocio de las plataformas estaban perjudicando la relación entre el estado y las personas más vulnerables.

Cada vez más, los sistemas de protección y asistencia social están impulsados​​ por datos y tecnologías digitales que se utilizan para automatizar, predecir, identificar, vigilar, señalar y castigar. Sin duda, tienen un gran potencial, si se aplican bien. Pero Alston advertía (y cito sus palabras):

La digitalización de los sistemas de bienestar se ha utilizado para promover reducciones en los presupuestos de bienestar social, en el número de personas beneficiarias de estos presupuestos y en algunos servicios, así como para promover la introducción de formas de condicionalidad exigentes e intrusivas, la búsqueda de la modificación del comportamiento de las personas, la imposición de regímenes de sanciones más fuertes y una inversión de la noción de que el estado debe rendir cuentas al individuo.

Alston terminaba por sugerir que había que cambiar el rumbo de las aplicaciones de la inteligencia artificial a lo público de manera significativa para “evitar tropezar como un zombi en una distopía de bienestar digital”.

Han pasado tres años y, tras la COVID-19, nuestra dependencia de la automatización es todavía mayor, mientras aún existen diversos retos por resolver.

El lenguaje natural, como saben, es la rama de la inteligencia artificial dedicada a la mejora del desarrollo de traductores autónomos, buscadores, asistentes personales y sistemas de recomendación. Y muchas veces es el paso previo en el procesamiento de los datos de texto para hacer tareas de clasificación de documentos, análisis de sentimiento, etc. Sin embargo, sabemos que el procesamiento lenguaje natural y el aprendizaje automático desempeñan un papel importante en la formación de sesgos y estereotipos sociales.

Fijémonos, por ejemplo, en los sesgos algorítmicos de género. Dichos sesgos se pueden encontrar en diversas partes del procesamiento del lenguaje natural. Aunque los sistemas de procesamiento de lenguaje natural se han utilizado con éxito en diversas aplicaciones, estos pueden generar decisiones y predicciones sesgadas e incluso amplificar los sesgos presentes en los datos de entrenamiento.

Un sencillo ejemplo es la traducción por el algoritmo de Google translator de “zirujaua” del euskera a “el cirujano” en castellano, no existiendo en español el género neutro. Otros sesgos se pueden dar en la generación de subtítulos que incorrectamente predicen que la protagonista de una acción es un hombre solo porque está en un contexto de acción, conocimiento o poder. O los sistemas de reconocimiento de voz que funcionan mejor si la voz es grave. O el análisis de sentimiento que cataloga frases que contienen nombres femeninos como negativas con más frecuencia que oraciones que contienen nombres masculinos. O analogías como “hombre – mujer” “programador – ama de casa” generadas automáticamente por modelos entrenados en incrustaciones de palabras sesgadas.

Diversos estudios catalogan esto como estereotipación, falta de reconocimiento o de representación, y descrédito. Todos estos son casos reales estudiados en artículos científicos.

La propagación de sesgos de género por algoritmos de procesamiento de lenguaje natural genera, por tanto, el riesgo de reforzar estereotipos a través de su aplicación a soluciones en la vida real.

Aunque los hay, faltan estudios sobre otros tipos de sesgos. Pero imaginen cómo estos sesgos se pueden dar en el ámbito de la vulnerabilidad, la discapacidad, la precariedad, la invisibilización, el envejecimiento, la enfermedad y la racialización.

Las buenas noticias son que el estudio del sesgo en la inteligencia artificial no es nuevo. También existen modelos de inteligencia artificial que descubren automáticamente patrones ocultos en conjuntos de datos de lenguaje natural y captan regularidades lingüísticas que reflejan prejuicios humanos, como el racismo, el sexismo, el edadismo y el capacitismo. Pero las malas noticias son que los métodos para mitigar estos sesgos son relativamente incipientes.

No se puede negar que los sistemas automatizados nos brindan inmensas ventajas. Sin embargo, debemos ser conscientes de que estos sistemas pueden tener efectos negativos. Porque no es posible hablar de inteligencia artificial para todas y todos sin reconocer honestamente los obstáculos en el camino, y confrontarlos.

Desde los centros de investigación, es nuestro deber y responsabilidad social velar porque se ofrezcan las herramientas tanto desde el pensamiento crítico como instrumentales para poder entender y maximizar los sistemas automatizados.

El éxito de los sistemas automatizados depende también de que la gente pueda comprender y confiar en ellos. La falta de comprensión y confianza dará lugar a retrasos y conflictos dentro de la sociedad. Por lo tanto, es imperativo que nos esforcemos por crear sistemas automatizados justos y transparentes que beneficien a todas y a todos.

Existen instrumentos que son eficaces para ello. Uno es la aplicación del paradigma transparencia, participación y colaboración para asegurarse de que no se deja a nadie atrás. La transparencia en los procesos y en el código es solo un primer paso para asegurarse de que se genera confianza. Por ejemplo, si estos sistemas se pagan con dinero público, lógicamente sus códigos deberán ser públicos también. Si se aplican al trabajo, los y las trabajadoras deberán saber cómo funcionan. Y si se aplican a programas de asistencia, las personas asistidas deberán estar implicadas en su diseño. Por tanto, la participación y la colaboración son igualmente importantes para la cocreación de sistemas algorítmicos junto con la ciudadanía, sindicatos, universidades y organizaciones del tercer sector, además de las empresas.

Otro es la regulación. Hace falta una legislación de control que, sin desincentivar la innovación, proteja a las personas de posibles sesgos y errores algorítmicos. Europa está siendo pionera también en esto, ya que será la primera potencia mundial en tener su propia ley sobre Inteligencia Artificial. Como ha dicho Axel Voss, ponente alemán y responsable de llevar a cabo esta iniciativa, “la inteligencia artificial no debe darnos miedo, pero sí girar alrededor del ser humano”. Yo añadiría que debe ponerse al servicio de la igualdad y de la justicia. Esta noción es vital, porque la decisión automatizada no es una cuestión solo de privacidad, sino de derechos humanos.

Los proyectos estratégicos para la recuperación y transformación económica, y concretamente aquellos que se basan en tecnologías digitales de automatización, son una oportunidad para hacer las cosas bien. España será el primer país en contar con una Agencia Estatal de Supervisión de la Inteligencia Artificial, y la sociedad civil y los centros de investigación estamos muy interesadas en participar y colaborar en este proceso para evitar caer en distopías digitales.

Muchas gracias