Traducido por el equipo de sott.net

La cuestión de si debemos confiar en los "expertos" fue uno de los principales temas de la pandemia.
math
En julio, escribí sobre un estudio que analizaba predicciones de "expertos" y las consideraba insuficientes. Los autores pidieron a científicos sociales y a legos en la materia que predijeran la magnitud y la dirección del cambio social en EEUU durante un periodo de 6 meses. En general, el primer grupo no lo hizo mejor que el segundo: fueron ligeramente más precisos en algunos ámbitos, y ligeramente menos precisos en otros.

Un nuevo estudio (que aún no ha sido revisado por pares) realizó un ejercicio similar, y llegó más o menos a la misma conclusión.

Igor Grossman y sus colegas invitaron a científicos sociales a participar en dos torneos de predicción que tendrían lugar entre mayo de 2020 y abril de 2021, el segundo seis meses después del primero. Los participantes se inscribieron en equipos y se les pidió que pronosticaran el cambio social en 12 ámbitos diferentes.

Todos los equipos recibieron datos históricos de varios años para cada ámbito, que pudieron utilizar para perfeccionar sus previsiones. También se les proporcionó información a los seis meses (es decir, justo antes del segundo torneo).

Los investigadores evaluaron las predicciones de los equipos comparándolas con dos puntos de referencia alternativos: la media de las previsiones de una muestra de profanos y el mejor rendimiento de tres modelos simples (una media histórica, una tendencia lineal y un paseo aleatorio). Recordemos que otro estudio reciente concluyó que los científicos sociales no pueden predecir mejor que los modelos simples.

El principal resultado de Grossman y sus colegas se muestra en el siguiente gráfico. Cada símbolo de color muestra el error medio de previsión de los "expertos", los profanos y los modelos simples, respectivamente (cuanto más a la derecha, mayor es el error y menos precisa es la previsión).
forecasting scientists vs laymen

Aunque los círculos azul oscuro (que representan a los "expertos") estaban ligeramente más a la izquierda que los triángulos naranjas (que representan a los profanos) en la mayoría de los ámbitos, las diferencias eran pequeñas y no eran estadísticamente significativas, como indican los intervalos de confianza superpuestos. Es más, los cuadrados azul claro (que representan los modelos simples) estaban aún más a la izquierda.

En otras palabras: los "expertos" no obtuvieron resultados significativamente mejores que los profanos, y lo hicieron marginalmente peor que los modelos simples.

Los investigadores procedieron a analizar la precisión de los factores de predicción entre los equipos de científicos sociales. Comprobaron que los equipos cuyas previsiones se basaban en datos obtenían mejores resultados que los que se basaban exclusivamente en la teoría. Otros factores de predicción fueron: tener experiencia previa en torneos de previsión y utilizar modelos simples en lugar de complejos.

¿Por qué les fue tan mal a los "expertos"? Grossman y sus colegas dan varias razones posibles: falta de incentivos adecuados; los científicos sociales están acostumbrados a tratar con pequeños efectos que se manifiestan en condiciones controladas; a tratar con individuos y grupos, no sociedades enteras; y la mayoría de los científicos sociales no están formados en la elaboración de modelos de predicción.

Los científicos sociales pueden ser capaces de ofrecer explicaciones convincentes de lo que ha sucedido. Pero es cada vez más dudoso que puedan predecir lo que va a ocurrir. ¿Quieres saber hacia dónde van las cosas? En lugar de preguntar a un científico social, es mejor hacer una media de conjeturas o simplemente extrapolar el pasado.