El oscuro secreto de los datos en la psicología y por qué necesitas saberlo

El conocimiento sobre psicología proviene de muchas fuentes, que van desde experimentos hasta estudios de casos clínicos. Ya sea que el autor de un estudio publicado sea un investigador establecido o un nuevo colaborador en el campo, existen estándares que deben respetarse para que los hallazgos se consideren válidos. Como resultado, debemos estar seguros de que lo que estamos leyendo cumple con rigurosos criterios de aceptabilidad.

¿O no? Gran parte de la investigación psicológica se basa en pruebas obtenidas a partir de cuestionarios y, cada vez más, estos cuestionarios se administran en línea. Las personas que responden a estos cuestionarios suelen firmar formularios de consentimiento que indican que conocen los riesgos y beneficios de la investigación, así como el hecho de que su participación es voluntaria. Después de ese punto, comienzan a responder, generalmente en un formato de escala de calificación, con preguntas que pueden tomar alrededor de 10 a tal vez 40 o 45 minutos.

Los investigadores basan los cuestionarios que administran en la esperanza de que las preguntas involucren a los encuestados lo suficiente como para impulsar sus respuestas honestas y reflexivas. Sin embargo, ¿qué tan seguros pueden estar los investigadores de que sus encuestados realmente se están tomando en serio toda la empresa? En parte, los investigadores dependen de la buena voluntad de sus encuestados que, después de todo, se inscribieron para ayudar. Sin embargo, esta buena voluntad solo puede llegar hasta cierto punto.

Los participantes de la investigación pueden verse impulsados ​​a desempeñar su función por una variedad de factores externos, como la promesa de reembolso y, para los estudiantes universitarios, alguna forma de crédito adicional para uno de sus cursos. Ninguna de estas condiciones requiere que los participantes respondan honestamente o que completen los cuestionarios en su totalidad. Como resultado, los encuestados pudieron hacer un esfuerzo mínimo y aún así se considerará que han "participado".

Entrando en la mente de los falsificadores de tests psicológicos

Durante décadas, los investigadores han tratado de averiguar por qué las personas no responden de manera reflexiva cuando completan las pruebas de personalidad. De hecho, los autores del Inventario Multifásico de Personalidad de Minnesota (MMPI) original publicado en 1943 incorporaron en su propia arquitectura un conjunto de escalas diseñadas para atrapar a los mentirosos. Dichos controles fueron particularmente importantes dado el uso generalizado del MMPI como herramienta de evaluación diagnóstica. El hecho de que los autores del MMPI creyeran que su uso podría verse comprometido de esta manera sugiere que la respuesta descuidada o la falsificación deliberada no es un problema nuevo ni se limita a las medidas en línea.

De manera similar, la Escala de Deseabilidad Social de Marlowe-Crowne (MCSDS), publicada en 1964, comenzó a recibir una adopción generalizada por parte de los investigadores de la personalidad como un control de la posibilidad de que los participantes quisieran crear una impresión favorable para el investigador. Con elementos como "siempre trato de practicar lo que predico", la MCSDS puede detectar a estos farsantes que, si están tratando de presentarse a sí mismos de manera favorable, estarían de acuerdo. Después de todo, ¿quién "siempre" practica lo que predica? ¿Tú sí?

Desafortunadamente, es posible que los investigadores más recientes que cambiaron sus instrumentos de recopilación de datos a proveedores de encuestas en línea, como Qualtrics, no den ese paso adicional de intentar controlar a los participantes descuidados o engañosos. Es por eso que, cuando se recurre a información basada en estos instrumentos, es necesario verificar si los investigadores eliminaron a los participantes que se apresuraron o que dieron respuestas no válidas.

Según Austin Lee Nichols de la Universidad de Navarra y John Edlund (2020) del Instituto de Tecnología de Rochester, "La respuesta descuidada sigue siendo un problema importante en la investigación científica social". Además, como señalaron Wood et al. (2017), los datos en línea tienen más probabilidades de estar contaminados por "datos sucios" que las muestras que no están en línea.

Qualtrics hace posible que los investigadores detecten cuánto tiempo tardó un participante en completar la encuesta, y los investigadores siempre tienen la opción de insertar algunos elementos de verificación de validez. Estos podrían incluir hacer la misma pregunta dos veces pero con una redacción diferente o simplemente preguntar a los participantes si sienten que sus respuestas reflejan su mejor esfuerzo. El problema es si los investigadores aprovechan este trabajo de detective en línea para eliminar a los respondedores inválidos del conjunto de datos o al menos investigar sus características.

Personality Lecturas esenciales

¿Por qué las personas antagonistas creen que son mejor que todos?

¿Sólo los patanes comen carne?

Si realmente te interesan los hallazgos del estudio, tu mejor opción es intentar rastrear el artículo original para ver lo que los autores informaron en los resultados. Alternativamente, si la fuente de la investigación fue una revista científica de buena reputación, hay más seguridad de que los científicos que revisaron el artículo antes de su publicación habrían examinado la sección de métodos antes de darle luz verde. Según lo declarado por Hong et al. (2020), "Para aumentar la confianza de un solo estudio, sería prudente que un investigador proporcione evidencia de suficiente calidad de datos a la comunidad de investigadores en general".

¿Quién tiene más probabilidades de falsear sus respuestas?

Todo esto plantea la pregunta de por qué las personas se molestan en ser tan engañosas cuando, en realidad, no obtienen ninguna ganancia. Claro, es bueno impresionar a un investigador, pero dado el anonimato de la mayoría de los estudios, ¿por qué importaría? Sin embargo, si alguien está siendo diagnosticado, tiene un mayor interés en el resultado, por lo que esto podría tentarlo a falsificar sus respuestas, aunque esto parece contraproducente.

Un subconjunto de investigación psicológica ha comenzado a crecer en torno a la cuestión no solo de cómo manejar a los respondedores descuidados desde un punto de vista estadístico, sino también de averiguar quién es más probable que proporcione esos "datos sucios". El último equipo de investigadores en abordar el problema son Melanie Robinson de HEC Montréal y Kathleen Boies de la Universidad de Concordia (2021). Los autores señalan que investigaciones anteriores basadas en el modelo de cinco factores revelaron tasas más altas de descuido entre los participantes con un cierto patrón de rasgos que implican poca conciencia, amabilidad, extraversión y estabilidad emocional. Las personas con una alta apertura a la experiencia eran más propensas a esforzarse más en sus respuestas, tal vez reflejando su mayor disposición a dedicar tiempo a considerar sus pensamientos y sentimientos.

Utilizando el modelo de personalidad “HEXACO” de 6 factores como base, los investigadores canadienses creyeron que podrían obtener información adicional más allá de la investigación anterior dado que la “Honestidad-Humildad” es una de las dimensiones de HEXACO. Las facetas de este rasgo incluyen sinceridad, justicia, evitación de la codicia y modestia. Como puedes imaginar, las personas con esta cualidad alta deben tomar su papel como participantes de la investigación más en serio y es menos probable que se apresuren o mientan.

Para probar sus predicciones, Robinson y Boies utilizaron un conjunto de comprobaciones de validez en su encuesta en línea, incluido el tiempo de finalización, el autoinforme de la cantidad de esfuerzo invertido y la importancia percibida de la encuesta, elementos que contenían instrucciones (como seleccionar una respuesta específica) y el número de respuestas faltantes.

Entre sus muestras de estudiantes universitarios y adultos reclutados a través de Qualtrics, el equipo de investigación informó haber eliminado el 15 por ciento de la muestra universitaria y el 20 por ciento de la muestra de adultos en línea. Era necesario dar este paso porque, irónicamente, si no lo hicieran, los autores no podrían confiar en sus propios hallazgos sobre la falta de confiabilidad de sus participantes.

Como predijeron los autores, los participantes con alto nivel de conciencia, amabilidad, apertura y extraversión tenían menos probabilidades de responder descuidadamente que sus contrapartes más indiferentes. Sin embargo, solo entre la muestra de adultos en línea, la honestidad y la humildad se relacionaron con una respuesta más esforzada. Desde un punto de vista metodológico, los investigadores también pudieron contribuir a la literatura al mostrar que sus medidas de esfuerzo subjetivo (preguntar a las personas cuánto se esforzaron) se alinearon con los indicadores objetivos de tiempo empleado, grado de seguimiento de instrucciones y respondiendo la mayoría, si no todas las preguntas de la encuesta.

¿En qué estudios se puede confiar?

Estos hallazgos muestran, entonces, que no todo el mundo hace trampa o intenta deslizarse por las encuestas en línea con el menor esfuerzo posible. De alguna manera, esta es una buena noticia para los investigadores de la personalidad. Además, parece muy fácil detectar a un respondedor descuidado incorporando algunos controles simples en el estudio, incluida la pregunta a las personas con qué seriedad se tomaron todo el asunto. La mala noticia es que si eres un investigador que estudia cualidades como la Tríada Oscura que incluye atributos de personalidad indeseables como la manipulación, la grandiosidad y la psicopatía, es posible que no obtengas los datos más confiables sobre tus participantes.

En resumen, armado con este conocimiento sobre el "sucio secreto de los datos" en la psicología, puedes aprender a ser más perspicaz en los mensajes al leer sobre las últimas investigaciones en psicología. Puede que haga falta más esfuerzo, pero considerar el problema del respondedor descuidado puede ayudar a comprender el comportamiento humano basado en hechos, no en falsificaciones.