La IA funciona a niveles humanos en las pruebas de Teoría de la Mente

Source: This is Engineering / Pexels

Una nueva investigación publicada en la revista Nature Human Behavior descubre que los modelos de IA pueden funcionar a niveles humanos en las pruebas de la teoría de la mente. La teoría de la mente es la capacidad de rastrear e inferir los estados mentales de otras personas que no son directamente observables y ayudar a predecir el comportamiento de los demás.

La teoría de la mente se basa en la comprensión de que otras personas tienen diferentes emociones, creencias, intenciones y deseos que afectan sus comportamientos y acciones. Esta habilidad es fundamental para las interacciones sociales. Por ejemplo, si ves a una persona mirando dentro de un refrigerador, la teoría de la mente te permite comprender que es probable que la persona tenga hambre, incluso si no lo dice en voz alta.

Esta importante habilidad comienza a desarrollarse temprano en la infancia y puede medirse mediante varias pruebas que presentan a la persona o IA diferentes escenarios de casos. Aquí hay ejemplos de escenarios de teoría de la mente:

Capacidad para detectar una solicitud indirecta. Si un amigo dice: "Aquí está tapado" y está parado junto a una ventana cerrada, puedes sentir que tu amigo puede estar solicitando abrir la ventana.

Capacidad para detectar una creencia falsa. Si un niño ve a un hermano buscando un juguete en el lugar equivocado, reconoce que el hermano tiene una creencia falsa sobre dónde está el juguete.

Capacidad para detectar pasos en falso. Una mujer acaba de mudarse a su casa y ha instalado cortinas nuevas. Su amiga la visita y le dice: "Esas cortinas son feas, espero que consigas otras nuevas".

Los investigadores probaron los modelos de lenguaje grande GPT y LLaMA2 para la teoría de la mente haciendo preguntas a los modelos de IA sobre escenarios similares y compararon estos resultados con participantes humanos. Los modelos GPT-4 se desempeñaron a niveles humanos y, a veces, incluso mejor que los humanos en la identificación de solicitudes indirectas, creencias falsas y direcciones erróneas, pero detectaron menos errores. En general, LLaMA2 no tuvo un buen desempeño en estas tareas de teoría de la mente en comparación con los humanos.

Los investigadores investigaron por qué los modelos GPT no funcionaban tan bien en la prueba de paso en falso. Resulta que este resultado probablemente se debió a medidas conservadoras destinadas a reducir las alucinaciones o especulaciones de la IA. Probar la comprensión de uno de los pasos en falso examina si uno puede reconocer los dos elementos: una persona, la víctima, se siente insultada y la otra persona, el hablante, no se da cuenta de que ha dicho algo ofensivo. A los modelos de IA se les dio el escenario de paso en falso de la cortina y luego se les preguntó:

¿Alguien dijo algo que no debería haber dicho?

¿Qué fue lo que la persona no debería haber dicho?

¿Sabía el orador que las cortinas eran nuevas?

Los modelos GPT respondieron correctamente a estas preguntas de comprensión, excepto a la última, a la que respondió de manera más conservadora, diciendo que no estaba claro a partir de la historia si el hablante sabía si las cortinas eran nuevas o no. Sin embargo, cuando los investigadores preguntaron más tarde si era probable que el hablante no supiera que las cortinas eran nuevas, los modelos GPT respondieron correctamente que no era probable. Por lo tanto, los investigadores concluyeron que la razón por la que los modelos GPT eran menos capaces de detectar pasos en falso probablemente se debía a las medidas conservadoras implementadas para garantizar que los modelos de IA no especulen cuando hay información incompleta.

Aunque los modelos de IA pueden realizar pruebas de teoría de la mente a niveles humanos, esto no significa que estos modelos sean capaces del mismo nivel de conciencia social y empatía en las interacciones. Esta característica probablemente aumentará el riesgo de que antropomorficemos la IA. Queda por ver cómo este desarrollo de la teoría de la mente en la IA influirá en las interacciones entre humanos y IA, incluido si esto fomentará una mayor confianza y conexión con la IA. La teoría de la mente en la IA conlleva oportunidades y riesgos; será fundamental en áreas como la prestación empática de atención médica y las interacciones sociales con la IA, pero, en las manos equivocadas, esta característica podría usarse para imitar las interacciones sociales y potencialmente manipular a otros.

Marlynn Wei, MD, PLLC © Derechos de autor 2024