Twitter es apolítico, pero no sus fundadores
Jack Dorsley, CEO y cofundador de Twitter, siempre ha mantenido que su verdadera pasión es la política, y en una entrevista concedida a la CNN en 2018 él mismo admitía sin ambages considerarse, tanto a sí mismo como al núcleo de su equipo, abiertamente de izquierdas. Asimismo, negaba categóricamente que su orientación política afectara al funcionamiento de la plataforma que él dirige.
Si bien es cierto que ambos lados del espectro político suelen quejarse de un trato desfavorable [3][4], se estima que durante el año 2020 se escribían en promedio alrededor de ¡500 millones! de tweets cada día procedentes de millones de cuentas diferentes[2]. Como pueden imaginar, sería imposible para un equipo humano no solo examinar y validar cada mensaje, sino ponerlo en contexto con respecto a la actividad de otros usuarios. Es por ello que desde sus inicios, Twitter ha confiado ampliamente en las capacidades de sistemas recomendadores, detectores de contenido ofensivo, modelos de semejanza entre usuarios, sistemas de Procesamiento del Lenguaje Natural (PLN)… En suma, Twitter depende de la IA, y del buen o mal equilibrio que logre alcanzar en la propagación de las ideas de todo signo político.
¿Cómo afecta el uso de Inteligencia Artificial?
Si la balanza se desequilibrara a favor de alguna corriente política en particular, su posición preeminente como lugar de debate público en la red se derrumbaría cual castillo de naipes. Por eso, desde la propia compañía publicaron un informe, en parte auditoría interna, sobre sus algoritmos. Su objetivo era medir hasta qué punto existe un sesgo en los protocolos que de manera automática enlazan usuarios y contenido recomendado. Éste no es un procedimiento trivial, y están implicados muchos modelos de IA, cada uno de los cuales procesa tan sólo una pequeña parte del problema. Algunos están relacionados con el historial de tweets del usuario, otros con su actividad y permanencia, otros con la detección de temáticas o de contenido ofensivo… Se puede acceder al informe completo aquí [5]. En él, los investigadores no entran a examinar cada uno de ellos por separado, sino que intentan evaluar si, en conjunto, dichos sistemas recomendadores tienden a propagar con mayor facilidad mensajes emitidos desde cuentas “de derechas” o “de izquierdas”.
Procedimientos y conclusión del estudio
Para ello recopilaron las cuentas asociadas a los cargos más importantes dentro de los principales partidos políticos de cada uno de los 7 países estudiados: Estados Unidos, Japón, Reino Unido, Francia, España y Alemania, así como los tweets publicados desde dichas cuentas en el período que abarca desde el 1 de abril hasta el 15 de agosto de 2020.
Para evaluar la amplificación de un mensaje por los algoritmos automáticos de recomendación, compararon el porcentaje de aparición en pantalla de los tweets en perfiles sujetos a personalización (el modo más común de interactuar en Twitter) con respecto a usuarios para los cuales dicha función está desactivada y para quienes los mensajes, indistintamente de su relevancia o viralidad, aparecen en orden cronológico al abrir la aplicación.
Su principal conclusión es clara: Los mensajes procedentes de cuentas de políticos asociados con la derecha tienden, en conjunto, a mostrarse más a menudo a los usuarios.
En un análisis más profundo…
Aparecen ya un par de aspectos fundamentales a la hora de interpretar los resultados; en primer lugar, la ventana de tiempo considerada. Todos los tweets analizados fueron publicados durante los meses en los que más intensamente se vivió la pandemia derivada del brote de la COVID-19. Es discutible que dichos mensajes representen de forma fidedigna el tono usual, o al común de las conversaciones, en Twitter. A fin de cuentas, se trata de un evento que en décadas no había tenido precedente, y ha provocado una oleada de reacciones que aún vivimos.
Por otro lado, y más importante, los mensajes considerados no son “de derechas”, como tampoco son “de izquierdas”. De hecho, no se analiza en absoluto el contenido del mensaje en sí. Es más, no se analiza la propagación de noticias o ideas publicadas por usuarios que no pertenezcan a la cúpula de alguno de los principales partidos políticos de cada país. Por tanto, queda fuera del alcance de la investigación si las ideas de un lado u otro del espectro se propagan más o menos. Decir por tanto que las derechas reciben mayor cobertura en Twitter es hacer una libre interpretación de los resultados.
Tan sólo podemos decir que, en promedio, considerando los dos principales partidos de cada país y asignándoles a cada uno una etiqueta de “izquierda” o “derecha” fija (lo cual es más que discutible en muchos casos), aparece cierta tendencia a que los mensajes emitidos desde cuentas de políticos de derechas aparezcan más a menudo que sus contrapartes de izquierdas.
No obstante, y esto es importante, no podemos hacer más que elucubraciones acerca de por qué esto es así, y achacarlo a un sesgo en los algoritmos sería un error. Aspectos como la frecuencia de publicación, el número de seguidores o la conveniencia de una publicación son dejados de lado en el estudio, por no mencionar la propagación derivada del uso de bots, práctica común dentro de casi todos los partidos políticos.
Por último, algunas pruebas preliminares realizadas por mí mismo sobre los datos proporcionados en el estudio muestran que si en lugar de basar nuestras conclusiones tan sólo en la comparativa entre los dos partidos mayoritarios consideramos además otros partidos más extremos (como sería el caso de Podemos y Vox en España), la tendencia se suaviza en casi todos los países. De hecho, el propio estudio resalta que los tweets procedentes de partidos más radicales reciben menos amplificación, independientemente de su orientación política.
En definitiva, parece que los políticos de partidos alineados con la línea de pensamiento del Partido Popular Europeo consiguen en Twitter mayor protagonismo que ningún otro grupo parlamentario. Los motivos exactos, sin embargo, si bien se nos escapan por el momento, apuntan a una estrategia de comunicación exitosa, antes que a un sesgo algorítmico.
¿Es lo mismo un algoritmo que un modelo de IA?
Mientras que un algoritmo se define como una secuencia ordenada de instrucciones a realizar con vistas a obtener un resultado concreto, un modelo es, según la RAE, un esquema teórico de una realidad compleja o de un fenómeno concreto. Si bien es evidente que no son lo mismo, sí que suelen utilizarse de manera equivalente en la literatura especializada.
A un nivel más detallado, un modelo completo de Inteligencia Artificial suele componerse de no uno, sino varios algoritmos diferentes (entrenamiento, aprendizaje, protocolos de lectura de datos…). Al mismo tiempo, un modelo puede, y suele, formar parte de una estructura de procesamiento mayor, conformando por tanto un engranaje más de otro algoritmo.
Es posible de esta manera construir jerarquías de modelos (no necesariamente todos ellos “inteligentes”) que se apoyen unos a otros en la toma de decisiones, estando cada uno de ellos especializado en resolver una pequeña parte del problema. Sólo así es una máquina capaz de vencer al ajedrez[6], de desentrañar la estructura de plegamiento de una secuencia de aminoácidos[7], o de determinar la ruta óptima en un trayecto[8], por poner algunos ejemplos.
Esto ha sido todo en este número de Catch.batches. Como siempre, estaremos encantados de escuchar sus sugerencias, tanto en los comentarios como a través de un correo electrónico dirigido a ricardokleinklein@gmail.com. Les agradecemos su tiempo, ¡y les esperamos en la siguiente entrega, donde trataremos nuevos y excitantes avances relacionados con la Inteligencia Artificial!
[1]: https://blog.twitter.com/en_us/topics/company/2021/rml-politicalcontent
[2]: Según datos de Statista.
[3]: https://blog.twitter.com/en_us/topics/company/2020/suspension
[4]: https://www.reuters.com/article/us-venezuela-politics-twitter-idUSKBN1Z72SG
[6]: https://deepmind.com/research/case-studies/alphago-the-story-so-far
[7]: https://alphafold.ebi.ac.uk/
[8]: https://link.springer.com/chapter/10.1007/978-3-642-02094-0_7
“Todo lo que sea leer, bueno es”
La capacidad de entender, procesar e interpretar el lenguaje humano, tanto hablado como escrito, constituye uno de los pilares más importantes de cualquier civilización humana, y es sabido que gran parte de lo que llamamos la personalidad de un individuo está fuertemente influida por los recursos lingüísticos y literarios a los que hayamos sido expuestos. Mis padres me repetían a menudo la frase que da título a la sección, estimulando así que desde pequeño leyera todo lo que llegara a mis manos. De manera análoga, los actuales sistemas de Inteligencia Artificial aprovechan las ingentes cantidades de información en forma de lenguaje escrito disponibles en Internet para aprender cómo se estructura el mismo.
De manera pareja, la complejidad y el número de parámetros a aprender por estos algoritmos ha crecido en ciertos casos hasta alcanzar proporciones titánicas. Al aumentar tanto el tamaño de estos modelos como la cantidad de información a la que se exponen al entrenarse, los resultados observados superaron cualquier resultado previo. El último gran hito tuvo lugar durante el verano pasado, cuando un modelo de lenguaje fue capaz de generar textos que resultaban indistinguibles de los que escribirían un ser humano real.
El reinado de GPT-3
Basta decir que la función de autocompletar del teclado de su teléfono, las sugerencias hechas al realizar una búsqueda en Internet, o las líneas azules y rojas que aparecen al editar un documento descansan en lo que denominamos modelos de lenguaje, probablemente uno de los algoritmos con mayor presencia en todo tipo de aplicaciones. Desde una perspectiva conceptual, los modelos de lenguaje aprenden a predecir la palabra más probable dentro de un contexto u oración. Por ejemplo, sugerir la palabra “ventana” en lugar de “gato” si el contexto es “¡cierra la ___, que hace frío!”. El mismo procedimiento se puede emplear secuencialmente para crear un escrito completo.
Pero aparece un primer problema; para una persona promedio, la relación simbólica que existe entre ventana y frío es inmediata, posibilitando que respondamos sin atisbo de duda. No así para un sistema automático, para el cual cada palabra es sencillamente una combinación de caracteres alfanuméricos sin ningún significado específico. La abrumadora mayoría de sistemas actuales funcionan de modo probabilístico, esto es, aprendiendo la gramática de un idioma como el patrón que emerge al observar cantidades gigantescas de texto. Combinando 590 GB de puro contenido textual con un sistema de 175 mil millones de parámetros, la compañía OpenAI mostraba en el verano de 2020 un modelo que denominaron GPT-3[1], el cual además de ser el mayor sistema de A.I. del mundo en cuanto número de parámetros (actualmente desbancado por un homólogo suyo chino[2]), era capaz de escribir de manera automática blogs y noticias tal como lo haría un humano. Con todo lo bueno y lo malo que acarrea eso.
A consecuencia del tipo de textos que dicho modelo había observado al aprender, procedentes de páginas web como WIkipedia pero también de foros como Reddit, los desarrolladores que tenían acceso al modelo en su versión beta observaron que en los textos generados existía una leve tendencia a relacionar el Islam con violencia[3], a ignorar claros indicios de dolencias graves en conversaciones de tipo médico, o a usar un lenguaje poco apropiado e incluso ofensivo[4, 5] al usarse como componente en un chatbot genérico.
Ahora que acaban de permitir el acceso al modelo por parte de todo usuario[6], es buen momento para que la comunidad investigadora, así como instituciones y proyectos de todo el mundo, puedan aprovecharse de las enormes capacidades que este sistema tiene, ya que su inclusión en complejos mayores puede dar lugar a aplicaciones tan útiles como ilimitadas.
¿Y si quiero usarlo en castellano?
Si un modelo no está adaptado al lenguaje que se va a utilizar por los usuarios, no sirve de nada. Sencillamente dicho sistema no es capaz de reconocer los patrones lingüísticos de este nuevo idioma al que no se ha enfrentado antes.
Así, mientras que otros campos como la Visión por Computador se ven poco o nada afectados por diferencias geográficas, los usos centrados en herramientas de Procesamiento del Lenguaje Natural (P.L.N.) experimentan fuertes limitaciones.
Por ello es importante destacar los esfuerzos realizados por el Barcelona Supercomputing Center, la Biblioteca Nacional y la Secretaría de Estado de Digitalización e Inteligencia Artificial. Juntos han colaborado para colocar al idioma español a la vanguardia de recursos computacionales disponibles con el proyecto MarIA[7]. El objetivo es proporcionar a la comunidad hispanohablante las herramientas necesarias para llevar a cabo cualquier proyecto en el cual un correcto procesamiento de nuestro idioma materno sea necesario.
Uno de los aspectos que más han llamado nuestra atención es el tratamiento y la procedencia de los datos usados para entrenar modelos de lenguaje en español; las fuentes provienen de un archivo recogido durante 10 años por la Biblioteca Nacional, en un esfuerzo meritorio por obtener modelos que reflejen la realidad de nuestro idioma, a la par que minimizando posibles sesgos indeseados, como los acontecidos con GPT-3. Todos los modelos desarrollados dentro de esta iniciativa están disponibles gratuitamente a través de su repositorio oficial.
¡Pero es que el español está de moda! Recientemente nos enterábamos de que Microsoft y otras empresas del sector a nivel internacional están trabajando con la Real Academia Española para incorporar el conocimiento acumulado por la institución dentro de los sistemas de Procesamiento del Lenguaje Natural, todo ello dentro del marco del programa LEIA.
¡Un mes en el que sin duda tenemos excelentes noticias para todos los que nos expresamos en la lengua de Cervantes!
Los algoritmos carecen de creatividad y de originalidad
Sí generan texto original, en cuanto a que un modelo de lenguaje (correctamente entrenado) no copia de manera explícita ninguna muestra anterior. Sin embargo, es importante resaltar que tampoco podemos hablar de originalidad y creatividad como lo haríamos de una persona. Por definición, los actuales modelos de lenguaje no cuentan con estructuras para asignar significados nuevos a palabras ya existentes, o de inventarse términos con un significado concreto a la hora de crear contenido.
Su estructura interna, y el modo en que son entrenados, simplemente les incapacita para acceder a ese tipo de abstracciones inherentes al lenguaje común.
¿Acaso I.A. no comprende el humor, la ironía, o las ofensas?
En efecto, los actuales sistemas de que disponemos son en su abrumadora mayoría absolutamente incapaces de lidiar de manera remotamente satisfactoria con cualquiera de estos aspectos del lenguaje, dependientes tanto del contexto como de la intención del emisor.
Como bien apunta el célebre investigador y divulgador científico Gary Marcus (autor de numerosos libros en el tema) en una entrevista para el Carnegie Council [8], una de las principales limitaciones de los sistemas de I.A. más famosos es que carecen por completo de la capacidad de aprender relaciones simbólicas, limitándose a reconocer relaciones estadísticas entre palabras. Esa limitación intrínseca al tipo de modelos empleados supone una seria barrera al desarrollo de modelos que puedan lidiar con el humor, la sátira y otras sutilezas del lenguaje de manera satisfactoria.
REFERENCIAS:
[1]: Brown, T.B., Mann, et al. (2020). Language Models are Few-Shot Learners. ArXiv, abs/2005.14165.
[2]: Huo, Y. et al. (2021). WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training. ArXiv, abs/2103.06561.
[3]: Abid, A., Farooqi, M. & Zou, J. Large language models associate Muslims with violence. Nat Mach Intell 3, 461–463 (2021). https://doi.org/10.1038/s42256-021-00359-2
[4]: OpenAI’s GPT-3 Speaks! (Kindly Disregard Toxic Language) by Eliza Strickland. IEEE Spectrum. 1 de Febrero de 2021. Disponible online: https://spectrum.ieee.org/open-ais-powerful-text-generating-tool-is-ready-for-business
(visitado por última vez el 25 de Noviembre de 2021).
[5]: McGuffie, K., & Newhouse, A. (2020). The Radicalization Risks of GPT-3 and Advanced Neural Language Models. ArXiv, abs/2009.06807.
[6]: https://openai.com/blog/api-no-waitlist/ (visitado por última vez el 30 de Noviembre de 2021)
[7]: Guti’errez-Fandino, A., Armengol-Estap’e, J., Pàmies, M., Llop-Palao, J., Silveira-Ocampo, J., Carrino, C.P., Gonzalez-Agirre, A., Armentano-Oller, C., Rodríguez-Penagos, C., & Villegas, M. (2021). Spanish Language Models. ArXiv, abs/2107.07253.
[8]: Time for an Honest Scientific Discourse on AI & Deep Learning, por Anja Kaspersen. Carnegie Council for Ethics in International Affairs. 3 de Noviembre de 2021. Disponible online: https://www.carnegiecouncil.org/studio/multimedia/20211103-honest-scientific-discourse-ai-deep-learning-gary-marcus (visitado por última vez el 20 de Noviembre de 2021).
Food for Thought es una publicación semanal que incluye: una reflexión en la que colocamos el foco sobre un aspecto distinto del mundo. Es un espacio para conocer puntos de vista distintos, reflexiones para el diálogo, preguntas que se quedan en el tintero.
Súmate a Foro de Foros
Educational Pitch de Foro de Foros
Nuestro principal objetivo es dotar de conocimiento a la sociedad civil siendo puente para el diálogo