Modelos artificiales de lenguaje no aportan nada al área

Una ola de investigaciones neurocientíficas ha intentado explotar el sofisticado poder estadístico de los grandes modelos de lenguaje (GML) para explorar cómo responde el cerebro humano al lenguaje. Sin embargo, una cuestión que algunos lingüistas consideran que no se ha abordado bien es cómo este tipo de investigación expone nuevos hechos sobre el lenguaje y, de hecho, puede representar un obstáculo para descubrimientos científicos genuinos.

A medida que la precisión de los modelos de procesamiento del lenguaje natural (PLN) aumentó durante la década de 2010, hubo un claro sacrificio en la interpretabilidad. Efectivamente, cuanto más poderosos y precisos se han vuelto los modelos lingüísticos, menos plausibles cognitivamente parecen ser. Aunque los modelos de lenguaje más grandes “aprenden” aspectos del lenguaje humano, como las relaciones sintácticas, a velocidades más precisas que los modelos más pequeños, al mismo tiempo, la necesidad de que estos modelos más grandes aprendan sintaxis disminuye para la mayoría de las tareas para las que realmente los necesitamos.

Han surgido otras preocupaciones. Los seres humanos analizan oraciones jerárquicamente, pero los GML parecen tener fuertes sesgos lineales. Algunos discuten este tema utilizando un tono que pone menos énfasis en la importancia de la creatividad y la generación lingüística, el sello distintivo del lenguaje humano. Idan Blank señaló recientemente que “podría decirse que el procesamiento del lenguaje es más que una simple predicción”, al igual que la atención visual es “posiblemente” más que una simple fotorrecepción.

Modelos de lenguaje

Repasando una historia rica y controvertida, un tema importante en la lingüística teórica reciente se refiere a cuántas propiedades de la teoría lingüística que inicialmente fueron heredadas de sistemas formales y modelos matemáticos de las décadas de 1950 y 1970 no son apropiadas para caracterizar la psicología humana. Una variedad de estos temas tienen implicaciones importantes sobre cómo hacemos un uso apropiado de los GML.

Hay ciertas teorías lingüísticas que tienden a estar más íntimamente ligadas a la investigación que utiliza GML debido a su interés en el poder explicativo del razonamiento de dominio general. Por ejemplo, el marco de la gramática de la construcción se basa en el supuesto de que los humanos memorizan una gran cantidad de construcciones de múltiples unidades y luego manipulan estos objetos memorizados. Sin embargo, con las construcciones memorizadas, todavía necesitamos algún tipo de sistema generativo para modificarlas o darles forma en primer lugar.

Marcos como la gramática de la construcción confunden los artefactos del sistema lingüístico (los resultados del lenguaje, como las construcciones) con el objeto de investigación mismo. Las “construcciones” son resultado del lenguaje; no lo constituyen. No son un objeto plausible de investigación psicolingüística: hay demasiados factores independientes que conspiran en cada construcción dada.

Estas objeciones son importantes para nuestra comprensión de los modelos artificiales. No podemos tomar un gran número de construcciones (es decir, resultados linealizados del procedimiento computacional generativo subyacente de la sintaxis) y esperar explicar el lenguaje humano. Seguramente obtendremos aproximaciones estadísticamente significativas para analizar datos e incluso respuestas neuronales centrándonos en las construcciones y sus estadísticas distributivas, pero estas cuestiones son demasiado generales para ser objetos de la teoría lingüística.

Neurobiología

El mes pasado, un artículo del laboratorio de Evelina Fedorenko en el MIT publicado en Neurobiology of Language argumentó que “el contenido semántico léxico, no la estructura sintáctica, es el principal contribuyente a la similitud entre ANN y el cerebro de las respuestas de fMRI en la red lingüística”. Sin embargo, simplemente porque las RNA se alinean mejor con las respuestas dependientes del nivel de oxigenación sanguínea (BOLD) de la resonancia magnética funcional a través de la léxico-semántica, no se sigue que la información sintáctica no esté representada neuronalmente.

Los efectos documentados en el artículo del laboratorio Fedorenko están impulsados en gran medida por las palabras de contenido, que conllevan un contenido semántico conceptual claro, mientras que sabemos por investigaciones conductuales que las palabras funcionales conllevan muy pocos costos de procesamiento. Sin embargo, también sabemos que la estructura gramatical funcional es esencial para transmitir información sintáctica, y algunos lingüistas han llegado incluso a argumentar que la diversidad interlingüística surge exclusivamente de la información gramatical funcional (a diferencia de las palabras de contenido como sustantivos y verbos).

Artificial Intelligence Lecturas esenciales

¿Las personas prefieren médicos humanos y psiquiatras o IA?

El gran dilema de detección de IA

Fedorenko y sus colegas concluyen con esto: “El resultado crítico (que el contenido léxico-semántico es el principal contribuyente a la similitud entre las representaciones de RNA y las neuronales) se alinea con la idea de que el objetivo del sistema del lenguaje humano es extraer significado de cadenas lingüísticas”. Lo que pasa desapercibido es que el “contenido léxico-semántico” también aporta modificaciones a la información sintáctica.

Sería difícil encontrar a alguien que no esté de acuerdo con la idea de que los humanos utilizan el lenguaje para extraer significado. Este no es un descubrimiento científico. Hasta donde yo sé, no hay predicciones desde la lingüística teórica sobre qué escala de actividad neuronal o sintaxis de complejidad está codificada. Si no se encuentra en la señal BOLD, entonces mucho peor para la resonancia magnética funcional.

Otro artículo del laboratorio Fedorenko publicado en agosto utilizó modelos de codificación basados en GPT y datos de resonancia magnética funcional para predecir con precisión las respuestas neuronales al lenguaje. Los autores concluyen: “Un análisis sistemático de las oraciones seleccionadas por el modelo revela que la sorpresa y la buena formación del input lingüístico son determinantes clave de la fuerza de la respuesta en la red lingüística”.

No hay razones dentro de la teoría lingüística para dudar de la importancia procesal de la sorpresa. Fedorenko y sus colegas prueban si su modelo de lenguaje predice respuestas a oraciones que se espera que desencadenen una actividad mínima en la red lingüística (“stábamos sentados en el sofá”) frente a oraciones que deben desencadenar una actividad máxima (“a gente en Instagram es como 'Asquerosa'”). Estos fueron recopilados a menudo a partir del uso de las redes sociales.

Sin embargo, nociones como “acceso léxico” e “integración semántica” (que Fedorenko y sus colegas descartan por estar obsoletas) forman parte crucial de las teorías. Las medidas “sorpresivas” no son teorías. Lo que es aún más sorprendente es que Fedorenko y sus colegas terminan demostrando que las medidas de plausibilidad semántica y gramaticalidad explican la variación más allá de la sorpresa. Sin embargo, informan estos resultados sin ofrecer algún tipo de explicación teórica para ello.

Así, aunque los autores comienzan su artículo afirmando que los modelos del cerebro construidos en torno a la teoría lingüística son problemáticos y anticuados, en última instancia terminan apoyando estos conceptos tradicionales.

Como muchos otros, sigo sin convencerme de que la mejor manera de construir una ciencia del procesamiento del lenguaje en el cerebro sea utilizar fMRI y exponer a los participantes a frases como “La gente en Instagram es como Asquerosa” y luego medir qué tan sorprendida está la red lingüística y ver si esto se alinea con un modelo de codificación.

La celebración de estos resultados ha sido generalizada tanto en las redes sociales como en algunas publicaciones científicas más establecidas. La neurociencia impulsada por explotaciones novedosas de patrones estadísticos en datos neuronales y del lenguaje es parte de la razón por la que The Guardian preguntó en 2022: “¿Estamos presenciando el amanecer de la ciencia post-teoría?”

Si es así, hay poco que celebrar.