Algo pasó en las últimas décadas que acabamos con más índices, listas y rankings de los que podemos procesar. Bastante tiene que ver con su valor mediático –no es coincidencia que muchos índices son creados por revistas y diarios– y otra con la proliferación de organismos sociales e internacionales y la evaluación que éstos hacen, y difunden, de la realidad. Rankings los hay actualmente, desde los que miden temas tan generales como la competitividad, la innovación, la libertad, la felicidad o la calidad de vida de los países, hasta los que ordenan una serie de variables para decirnos cuáles son las mejores universidades, los mejores programas de MBA o las mejores empresas donde trabajar.
Los rankings o índices son maravillosos. Sintetizan miles de variables que de otra forma serían difíciles de seguir y nos permiten ver cambios en el tiempo; generan presión para que mucha información se siga publicando, independientemente de que al gobierno en turno le parezca o no; promueven la competencia, pues a nadie le gusta salir hasta el final de la lista; como también promueven la rendición de cuentas, ya que le da instrumentos a las personas para reclamarle a su gobierno, universidad o empresa.
Pero todos estos beneficios no vienen sin su complejidad. Quizás uno de los retos más comunes, como lo analizan Gary Becker y Richard Posner en su blog, es la frecuencia con que los actores buscan “ganarle a al métrica” (game the measure). Un ejemplo de “ganarle a la métrica” es lo que pasa en los rankings de universidades que le dan un alto peso al porcentaje de estudiantes admitidos que aceptan sí ir a esa universidad. En este caso las universidades pueden tener el incentivo a aceptar, no necesariamente a los mejores candidatos, sino a aquellos que no están haciendo exámenes de admisión en otras universidades. Lo mismo ocurre con los estados. Un gobernador podría pensar que poner un aeropuerto en su entidad es una buena idea para mejorar en algún índice sin siquiera evaluar si es o no la mejor inversión. De hecho, hoy en México hay personas en el gobierno federal y en los gobiernos estatales cuya principal labor es ver lo que se requiere para mejorar su lugar en los índices, independientemente del impacto real de esas acciones sobre el desarrollo.
La trampa de los índices es que, si bien son un motor para el cambio, con frecuencia ocasionan que los esfuerzos se pongan en los efectos y no en las causas de los problemas. Por otra parte, al comparar una sola variable entre países u organizaciones se ignora la diversidad de los contextos. Por ejemplo, medir patentes no siempre es una buena métrica sobre la innovación, pues hay empresas que no patentan sus inventos y hay países donde un par de patentes generan mucho más valor que todas las demás.
Cuando se mide innovación también es muy común que se mida el número de personas dedicadas de lleno a la investigación. En México podríamos pensar que porque en otros países hay más personas dedicadas de lleno a la investigación tendríamos que hacer lo mismo, ignorando los vicios que tiene nuestro Sistema Nacional de Investigadores.
Otro reto que enfrentan los índices es su sobreabundancia. Cada nuevo índice tiene un impacto marginal decreciente. Pero, sobretodo, la multitud de índices le da a los evaluados la posibilidad de tomar el que mejor les convenga para promoverse. Alguien podría presumir que su hijo fue a una universidad número ocho en el ranking de la revista The Economist cuando en el de Businessweek esa misma universidad no está ni siquiera en las primeras veinte.
Finalmente, porque los índices son una sobresimplificación hecha por personas, siempre será posible manipular los resultados sin arruinar la metodología.
Ante esta inundación en índices, rankings y listas -¡y lo que falta!-, lo que necesitamos son consumidores de información más sofisticados, que atiendan cómo cada índice es construido y los inevitables riesgos metodólogicos que conllevan. Si eso es mucho pedir, ¿qué nos queda? ¿Un ranking de rankings?
La reproducción total de este contenido no está permitida sin autorización previa de CIDAC. Para su reproducción parcial se requiere agregar el link a la publicación en cidac.org. Todas las imágenes, gráficos y videos pueden retomarse con el crédito correspondiente, sin modificaciones y con un link a la publicación original en cidac.org
