Sobre el desorden en el lenguaje

«La vida es como una caja de bombones: nunca sabes qué te va a tocar”. Esta icónica frase pronunciada por Tom Hanks en la película de 1994 Forrest Gump resume perfectamente nuestra percepción acerca de lo imprevisible de nuestras vidas. La emoción de no saber qué sucederá a continuación ha cautivado a la humanidad, dando lugar entre otras cosas a los juegos de azar. Sin embargo, odiamos perder (sobre todo cuando hay dinero por medio), por lo que todos estamos interesados en encontrar la mejor manera de predecir el futuro y anticipar qué cartas nos tocarán en la siguiente ronda.

Los primeros que realmente nos dotaron de las herramientas matemáticas necesarias para predecir la probabilidad de que un evento sucediera fueron Blaise Pascal (1623 — 1662) y Pierre Fermat (1601 — 1665) [1, 2]. Aunque sus discusiones buscaran la mejor manera de ganar a los dados, sus resultados sentaron las bases de la rama de las matemáticas que hoy conocemos como probabilidad y estadística, una disciplina que cambiaría el curso de la física y que supone la piedra angular sobre la que se edifican nuestros modelos de Inteligencia Artificial (IA).

Átomos, calor y estadística

Viajemos ahora a la segunda mitad del siglo XIX. El corazón del continente europeo palpita al ritmo de grandes imperios como el británico y el austro-húngaro, los cuales luchan por hacerse con la hegemonía mundial tanto en casa como en sus colonias por todo el mundo. La Segunda Revolución Industrial ha traído el acero, el petróleo, la producción en masa y nuevas formas de comunicarse. Las ciencias físicas viven un momento de esplendor. La rápida industrialización de las sociedades y la competencia entre los estados motiva a grandes sabios como Sadi Carnot ( 1796 — 1832), William Thompson (también conocido como Lord Kelvin, 1824 — 1907), o James Prescott Joule (1818 — 1889) a indagar sobre la naturaleza del calor en busca de máquinas más eficientes.

Rudolf Clausius (1822 — 1888) introduce el concepto de entropía en el año 1865 como una medida del desorden o la cantidad de energía no disponible para realizar trabajo en un sistema [3]. Clausius observa que, cuando el calor fluye de un objeto caliente a uno frío, la energía se dispersa y se distribuye de manera más uniforme. Al final, ambos objetos alcanzan una misma temperatura, o lo que es lo mismo, están en equilibrio. A costa, claro, de aumentar su nivel de desorden (entropía). Esto es así porque si bien originalmente era evidente que uno de los objetos estaba frío y otro caliente, al llegar al equilibrio ambos son equivalente y es por tanto imposible clasificarlos. Sin embargo, Clausius también se da cuenta de que todos los sistemas físicos sin excepción tienden espontáneamente (y de manera irreversible) hacia un estado de mayor entropía, es decir, hacia un estado de mayor desorden y equilibrio térmico. Nadie logra dar respuesta a por qué esto es así.

En ese momento aparece de la nada un joven científico, natural de Austria y de nombre Ludwig Boltzmann (1844 — 1906), para cambiar el mundo. El joven Boltzmann es consciente desde muy joven que para entender cómo dos cuerpos intercambian calor debemos pensar en su composición microscópica. Aunque la teoría atómica de la materia estaba ganando aceptación, faltaba evidencia experimental concreta que demostrara la existencia real de los átomos. La genialidad de Boltzmann residió en desarrollar una teoría que modelaba las propiedades macroscópicas de un sistema tan sólo como el estado más probable de una configuración de estados microscópicos de los átomos, que llamaría microestados.

La fórmula fundamental que Boltzmann introduce entre 1872 y 1875, , es una de las ecuaciones más bellas e importantes de la historia de la física [4]. Aquí,  representa la entropía del sistema,  es la constante de Boltzmann, y  denota el número de microestados posibles que corresponden a un macroestado particular. En otras palabras, relaciona de manera directa las propiedades macroscópicas de un sistema con la configuración de los átomos que lo componen.

Es bella por su abrumadora simplicidad, uniendo conceptos los cuales antes se pensaba no guardaban relación entre sí. Es bella porque en lugar de intentar modelar cada átomo por separado como hubieran intentado sus contemporáneos, decidió emplear herramientas estadísticas para encapsular dentro de $\Omega$ cómo se comportaban en término medio. Sin embargo, por ello mismo Boltzmann recibe tanto prestigio como oposición. Ernst Mach (1838 — 1916)y su filosofía empirista (que llega al extremo de rechazar toda ciencia que no sea descriptiva de hechos directamente observables por el ojo humano) dominan el panorama cultural austrohúngaro, y abjuran de la teoría de Boltzmann por basarse en átomos cuya existencia no está demostrada. Boltzmann defiende sus ideas con tesón durante décadas, pero los continuos ataques a su trabajo conforman una muesca más en la mente del ya débil Boltzmann, que terminaría suicidándose a los 62 años de edad a consecuencia de una profunda depresión [5].

Evolución, entropía y lenguaje

Ludwig Boltzmann desarrolló su teoría basándose en una concepción mecanicista de los gases que estudiaba. Este enfoque significaba que, a través del cálculo de las probabilidades de las posiciones y velocidades de cada una de las partículas, Boltzmann podía predecir propiedades macroscópicas como, por ejemplo, la temperatura del gas o la presión que ejercía sobre las paredes de un contenedor. Su innovador uso de la mecánica estadística permitió vincular el comportamiento microscópico de los átomos y moléculas, imposibles para él siquiera de medir, con fenómenos termodinámicos que sí eran observables.

Cuando Boltzmann tenía apenas 15 años, Charles Darwin publicó su famoso «El Origen de las Especies». Desde joven, Boltzmann aceptó la teoría darwiniana y llegó a vislumbrar un vínculo entre las ideas que él mismo había descubierto en el ámbito de la termodinámica y la evolución de las especies [6]. Para Boltzmann, el comportamiento de cada individuo dentro de una especie podía parecer aleatorio, como el movimiento de los átomos, pero en conjunto, una población exhibía propiedades que alcanzaban un equilibrio con su entorno, exactamente igual que un sistema físico como los que él había estudiado toda su vida. En lugar de posiciones y velocidades, las poblaciones estaban definidas por códigos genéticos y el aprendizaje de los individuos que las componían, reflejando así una analogía profunda entre la física y la biología en términos de equilibrio y adaptación. Boltzmann llegó incluso a adelantarse a algunas de las más actuales corrientes dentro de la psicología evolutiva [7], sugiriendo que nuestra capacidad de apreciar belleza no surgía sino como una adaptación al entorno en busca del equilibrio termodinámico.

En este punto, les propongo que hagamos un pequeño experimento mental: al igual que Boltzmann habló de la combinación de genética y actos de los individuos de una especie como «microestados» de una especie, ¿creen que podríamos establecer un vínculo similar con las palabras y el lenguaje? Es posible que podamos pensar en cada palabra y su combinación con otras como un microestado dentro del vasto sistema del lenguaje. Así como los átomos en un gas tienen infinitas posibilidades de movimiento y combinación, las palabras en un idioma tienen infinitas posibilidades de estructuración y significado.

Cuando hablamos del lenguaje, nos referimos a un sistema que, al menos en el caso de los humanos, nos permite elaborar un número infinito de ideas a partir de un conjunto finito de símbolos. Podemos pensar en las diferentes palabras que componen nuestro idioma como partículas de un gas, donde cada palabra es equivalente a un átomo diferente. Al igual que los átomos, podemos intentar combinar cualesquiera dos palabras juntas, pero habrá pares que muestren más afinidad que otras. Es decir, existen configuraciones de palabras que exhiben mayor probabilidad, que parecen estar más «en equilibrio» que otras.

Es así que los científicos que trabajan en modelar el lenguaje natural mediante IA emplean la entropía para medir cuán predictivo es un modelo generador de lenguaje [8]. Al igual que los microestados en un sistema físico representan todas las posibles configuraciones de las partículas, las palabras del lenguaje representan todas las posibles continuaciones de una secuencia de texto. La entropía nos indica cuán dispersas o concentradas están estas probabilidades. Cuando la entropía es baja, significa que el modelo de lenguaje tiene alta certeza en su predicción, sugiriendo que ha capturado bien las estructuras y patrones del lenguaje en sus datos de entrenamiento. En este caso, la distribución de probabilidad se concentra en unas pocas palabras, reduciendo la variedad de posibles continuaciones, lo cual es indicativo de un buen rendimiento del modelo. Por otro lado, una alta entropía indica que el modelo considera muchas opciones posibles casi por igual, reflejando una mayor incertidumbre en sus predicciones. Esto puede señalar que el modelo no ha aprendido adecuadamente las regularidades del lenguaje o que el contexto proporcionado no es suficiente para hacer una predicción precisa.

Mucho se habla de la disrupción que ha supuesto la aparición de modelos como ChatGPT y otros modelos de lenguaje. Gurús evangelizan desde sus púlpitos sobre la llegada de una nueva tecnología, radicalmente novedosa y capaz de las más grandes hazañas. Y sin embargo, yo no puedo sino sentir un escalofrío ante la humildad que me inspira pensar que nuestras máquinas más avanzadas siguen entendiéndose en términos de una idea introducida en la física del siglo XIX, expresada en matemáticas desarrolladas para tener ventaja en juegos de azar.

Referencias

[1]: Smith, David E., “A source book in mathematics” (1929), New York : McGraw-Hill Book Co.

[2]: Nightingale David, F., “Games, Gods, and Gambling” (1998), Dover Publications.

[3]: (2005). Origin of entropy in the work of Clausius. In: Entropy and Energy. Interaction of Mechanics and Mathematics. Springer, Berlin, Heidelberg

[4]: Puri, R.R. (2024). Boltzmann Entropy. In: Modern Thermodynamics and Statistical Mechanics. Undergraduate Lecture Notes in Physics. Springer, Cham.

[5]: Lindley, D, (2016). Boltzmanns Atom: The Great Debate That Launched A Revolution In Physics. Free Press; Reprint edición (26 Marzo 2016)

[6]: Boltzmann, L.: 1979, Populäre Schriften, Friedr.Vieweg & Sohn, Braunschweig, DE. In German. Eingeleitet und ausgewählt von Engelbert Broda.

[7]: Pearce MT, Zaidel DW, Vartanian O, Skov M, Leder H, Chatterjee A, Nadal M. Neuroaesthetics: The Cognitive Neuroscience of Aesthetic Experience. Perspect Psychol Sci. 2016 Mar;11(2):265-79.

[8]: Hu, Yutong et al. “Can Perplexity Reflect Large Language Model’s Ability in Long Text Understanding?” ArXiv abs/2405.06105 (2024).