Los obituarios del difunto economista de Princeton, Alan Krueger, han mezclado elogios por su carácter personal con el respaldo implícito (o explícito) de su enfoque de investigación. Krueger, escribe a Noah Smith, «ayudó a convertir la profesión económica en una empresa más empírica y científica». Krueger era «un faro de una razón de cabeza fría: su objetivo primordial era conocer los hechos». De hecho, Krueger era la clave. figura en la «revolución de la credibilidad» que hace hincapié en los experimentos naturales, los ensayos controlados aleatorios y técnicas empíricas similares para identificar relaciones causales entre variables económicas. Los críticos piensan que la revolución de la credibilidad pone demasiado énfasis en los datos sobre la teoría y, como resultado, a menudo las relaciones son erróneas (el famoso estudio del salario mínimo de Card-Kreuger es un ejemplo obvio). Además, el énfasis en la identificación econométrica a expensas de la selección de problemas, el encuadre, la justificación teórica y la interpretación ha llevado a los economistas a centrarse en problemas cada vez más pequeños, tal vez a expensas del crecimiento del conocimiento.
Hoy quiero centrarme en un problema diferente con el trabajo empírico teórico: los datos en sí pueden ser poco confiables. Más precisamente, los datos nunca «hablan por sí solos». En cambio, el trabajo empírico depende de una serie de creencias, suposiciones y decisiones sobre qué datos son aceptables, qué relaciones deben examinarse, cómo se definen las variables, qué técnicas estadísticas son apropiadas, y lo que significan los hallazgos. En otras palabras, aunque a menudo escuchamos llamados a hacer que las ciencias sociales sean más empíricas y basadas en datos (es decir, más «científicas»), estos llamados ignoran el hecho de que la investigación empírica se basa en el juicio humano subjetivo sobre el marco, la recopilación de datos, el análisis y interpretación.
Un ejemplo es el concepto de «significación estadística». Se enseña a los estudiantes que las relaciones estadísticas entre las variables son «significativas» (es decir, válidas, valiosas, importantes) si es improbable que las correlaciones se produzcan por pura casualidad. «Improbable» significa que la probabilidad habría producido los efectos observados solo el 1% del tiempo, o el 5%, o el 10%. Entonces, ¿qué umbral cuenta? Los científicos han conocido por mucho tiempo, pero recién ahora están empezando a reconocer públicamente que los umbrales aceptados convencionalmente son arbitrarios. Un reciente editorial en Nature llama a abandonar el concepto de significación estadística:
Nunca debemos concluir que «no hay diferencia» o «no hay asociación» simplemente porque un valor de P es mayor que un umbral como 0.05 o, de manera equivalente, porque un intervalo de confianza incluye cero. Tampoco debemos concluir que dos estudios entran en conflicto porque uno tuvo un resultado estadísticamente significativo y el otro no. Estos errores desperdician esfuerzos de investigación y desinforman decisiones políticas.
Los autores solicitan el registro previo de los estudios, es decir, que las revistas científicas acepten o rechacen los documentos basados en el diseño de investigación propuesto, antes de que se informen los resultados, para evitar el sesgo de que solo se publiquen los artículos con resultados «significativos». Algunas revistas de ciencias sociales han ido más lejos y han prohibido la notificación de valores de p y el uso de lenguaje significativo.
¿Qué pasa con los datos en sí? La reciente expulsión del Centro de Leyes de Pobreza del Sur (SPLC, por sus siglas en inglés) de su fundador y director desde hace mucho tiempo, Morris Dees, plantea una pregunta importante sobre la confiabilidad de los datos. No solo los periodistas, sino también los científicos sociales, han confiado durante mucho tiempo en los datos del SPLC para medir la presencia y la actividad de los «grupos de odio» en los Estados Unidos. Sin embargo, como los críticos del SPLC han mantenido durante mucho tiempo, el SPLC tiene un incentivo financiero para exagerar el número y las características de dichos grupos para aumentar las donaciones. Los investigadores académicos no confiarían en los datos proporcionados por Philip-Morris sobre el cáncer de pulmón o los datos de Exxon-Mobil sobre los efectos ambientales de la producción de petróleo. Y, sin embargo, los científicos sociales son notablemente optimistas acerca de los datos proporcionados por grupos sin fines de lucro y agencias gubernamentales, incluso cuando esos grupos tienen intereses obvios en cómo se enmarca la agenda de investigación y qué conclusiones son aceptables (aquí hay ejemplos de la economía monetaria y agrícola). Recuerde, los conjuntos de datos útiles para la investigación no aparecen por magia, dados por la naturaleza, sino que están construidos por seres humanos y están sujetos a sesgos, errores, manipulación, etc. (Los datos de Card-Krueger sobre salarios y empleo son un ejemplo particularmente destacado).
Los problemas con los datos son otra razón más por la cual la ciencia empírica nunca está «asentada», sino que está sujeta a una crítica, interpretación y evaluación continuas.
