Estudiar como funciona el método científico experimental es algo bastante aburrido, sin embargo es básico conocerlo tanto para realizar test de usuarios como para entender lo que uno lee en revistas científicas.

Uno aprende que hay mil efectos, sesgos y variables que tiran por tierra los resultados de un experimento. Por ejemplo, un estudio médico sin grupo control no sería aceptable. Es necesario que hayan dos grupos, uno de gente que toma la medicina y otro que no la toma, porque existe el efecto placebo, el mero hecho de tomar una pastilla aunque sea de polvos de talco puede producir una mejoría en el paciente. Esto creo que lo sabe casi todo el mundo.

También uno aprende que correlación y causalidad no es lo mismo, que dos variables aparezcan juntas no significa que una sea la causa de la otra. Conclusiones del tipo “quienes hacen deporte viven más años” son peligrosas porque la gente que hace deporte se cuida más, come más sano, va más al médico, etc. Uno no puede saber con certeza si esta mayor longevidad es debida exclusivamente al deporte o a otras variables que aparecen juntas a no ser que controle esas variables. Por ejemplo, podría comparar solo la gente con los mismos hábitos de salud y que solo variasen en la variable hacer deporte o no. Esto que parece evidente, ya no está tan claro para mucha gente que atribuye fácilmente la causa a lo que aparece junto.

Del mismo modo uno aprende a que hay ciertas cosas, conceptos, que cuesta mucho medir porque no existen físicamente y se miden a través de algo llamado “constructos teóricos”. Por ejemplo son constructos teóricos, la inteligencia, el estrés, la ansiedad, etc. Esto ya es definitivamente bastante raro, pero entremos al tema.

En las matématicas que son algo así como el lenguaje perfecto, al ser las definiciones perfectas, un razonamiento matemático puede llegar tan lejos como se quiera mientras siga las reglas a priori definidas por ese lenguaje. Por eso los matématicos y físicos descubren cosas incluso antes de que hayan sido observadas, por ejemplo los agujeros negros (han sido detectados algunos, pero tampoco están seguros). Ya quisieramos los psicólogos.

El lenguaje común es muy imperfecto, por ello la gente puede pasarse horas discutiendo sin llegar a nada. Para cada persona interpreta conceptos como justicia, amor, libertad, etc. de manera diferente, así que es complicado llegar a un acuerdo sobre si cierta cosa es justa o no, si Fulanito está enamorado o no, etc. Depende de lo que entiendas por justicia, por amor, etc.. El problema es que si no podemos establecer una definición perfecta, no lo podemos medir y no podemos concluir nada.

Los constructos son el intento de “matematizar” el lenguaje y sus conceptos. Cuando alguien dice “estoy enamorado” ¿qué significa realmente? ¿significa lo mismo para esta persona que para otra? ¿su enamoramiento cambiará de un día para otro o sufrirá variaciones diarias? ¿significa que no se puede enamorar de otra persona al mismo tiempo? ¿hay niveles de intensidad? Quizás depende de mil variables.

Un supuesto investigador del “enamoramiento” haría cuestionarios a miles de personas y preguntaría sobre las características del amor, extraería atributos del enamoramiento mediante análisis estadísticos y buscaría coincidencias. Por ejemplo, ¿qué porcentaje de autoclasificados como enamorados afirman que no se enamorarían de otra persona al mismo tiempo? Digamos el 90% responden negativamente. Un investigador astuto no se fiaría de las respuestas al cuestionario, conoce que existen efectos como la deseabilidad social. La gente responde lo mas aceptable socialmente, en este caso está mal visto cambiar de amor con excesiva frecuencia. Así que el investigador miraría índices de fidelidad de parejas y digamos que encuentra que el 30% confiesa que han sido infieles alguna vez (otro dato a coger con pinzas). Parece ser que cierta gente no es sincera (un efecto natural por otra parte). Para resolverlo podrías llegar mucho más lejos e introducir la variable estado de enamoramiento: inicial, fugaz, maduro y decadente, y tratar de medirla, quizás se vería que solo los enamoramientos fugaces o decadentes pueden enamorarse de otra persona, o quizás no. ¿Habría que introducir más variables?

Todo esto es un galimatías. Es evidente que es imposible medir con exactitud algo como “enamoramiento” por mucho que usemos la palabra en nuestro día a día, como máximo tendremos un grosero acercamiento. Al igual que conceptos como “enamoramiento” hay muchos otros igualmente malos para investigar sobre ellos “agradabilidad, amablidad, belleza, etc.” Son conceptos cenagosos donde si uno entra ya no sale vivo. No verás a muchos científicos serios hacer experimentos con ellos y obtener grandes conclusiones, lo máximo que hace un científico serio en investigciones amatorias se refiere a olores, feromonas, actividad neuronal y cosas así. El científico busca un correlato físico al que agarrarse, si todo son constructos teóricos, todo es aire, todo es un castillo de naipes. Cosas que no molan nada a los científicos.

Eso no significa que todos los constructos sean igual de malos. Por ejemplo, la inteligencia o la ansiedad con todas las pegas que se les pueden poner son de los constructos mejor estudiados y estadísticamente más fuertes, además son constructos que se han revelado como bastante útiles para predecir cosas como la evolución académica de un estudiante. Ahora, con cuidado, todos conocemos a algún amigo al que tras un test de inteligencia cuando era niño se le recomendo no ir a la universidad, no hizo caso, fue y al final triunfó.

Por cosas así algunos investigadores irónicamente definen inteligencia como “lo que miden los test de inteligencia” ;) En realidad el día que la inteligencia se pueda medir con un dispositivo físico o químico no harán falta los test de inteligencia. Pero en realidad si hemos entendido bien qué es un constructo, eso es imposible. Como cualquier constructo, la inteligencia como tal no existe ni es medible, es solo un concepto para entendernos entre humanos, pero sin correlato físico. Personas consideradas extremadamente inteligentes luego son ineptas en otros temas, entonces ¿son inteligentes o no? ¿cuántos tipos de inteligencia hay? ¿de qué sirve una puntuación global cuando alguien puede ser el mejor en matemáticas, pero no saber comportarse socialmente?

Y aquí por fin vuelvo al artículo de los 50 milisegundos en el que se pregunta a los usuarios que valorasen la “atractivo del sitio” (website’s appeal, en el original) como si fuese algo clarísimo. Tremendo constructo “atractivo del sitio”.

Si no se puede definir claramente qué es “atractivo del sitio” porque para cada persona es una cosa, ¿qué utilidad tiene este estudio? ¿cómo puedo hacer yo mi web “atractiva”? ¿qué recursos gráficos determinan un sitio como “actractivo”? Muchas incognitas que no tienen respuesta precisamente porque la pregunta está mal formulada, es del todo imposible definir operacionalmente “atractivo del sitio”.

Y luego, este estudio no determina ninguna causalidad, no estudia el efecto de la variable “atractivo del sitio”. El estudio se limita a concluir que la valoración del atractivo del sitio a los 50 ms y otras valoraciones previas con más tiempo coincidieron. Es un mero estudio descriptivo, interesante, pero ¿y luego qué? La autora concluye muy atrevidamente que si el sitio web resulta atractivo, los usuarios se irán del sitio, pero no tiene ninguna evidencia empírica de eso.

Un científico no puede atraverse a conclusiones de las que no tiene datos empíricos, si lo hace no es un buen científico. Un científico debe ser exquisitamente neutral, porque si va más allá deja al descubierto sus ideas y eso se considera un sesgo negativo. Precisamente por este sesgo hay un tipo de estudio llamado de “doble ciego” donde ni el científico ni el paciente saben quienes toman placebo y quienes no, porque solo el hecho de saberlo afecta a la interpretación de resultados (y estamos hablando de medicina, algo que a priori parece más fiable). Sin embargo Lindgaard no es solo que tome partido, sino que directamente habla de gastar más dinero en la estética del sitio.

La cuestión no es estar de acuerdo o no con la opinión de Lindgaard de la importancia de la estética. Especular podemos hacerlo todos, es gratis. La cuestión es que el trabajo de un investigador no es especular sin base, sino interpretar unos resultados empíricos que no dicen nada en absoluto sobre la importancia de la estética.

La mejor receta para que no te den gato por liebre es el escepticismo, no te creas nada tan fácilmente. Un científico es escéptico por naturaleza porque el método científico en sí mismo es escepticismo sistematizado. Por eso los artículos científicos suelen ser aburridos, porque cualquier gran titular suele ser una extrapolación exagerada, un buen cientifico muy modestamente se ciñe exactamente a sus resultados.

La formación académica de documentalista no es especialmente fuerte en metodología experimental, algo importante a la hora de dedicarse profesionalmente a disciplinas donde la metodología experimental tiene mucho que decir, como la usabilidad y el diseño de interacción. Pero no es tan grave, igualmente los psicólogos que trabajamos en estas áreas hemos tenido que aprender que son la metadata y los tesauros. Es lo que tiene trabajar en áreas híbridas.