Citas, factor de impacto y calidad de las revistas

No todas las revistas son iguales. Ni siquiera las revistas científicas son iguales. De forma inconsciente tenemos algún tipo de "prestigiómetro" que veamos unas como mejores que otras. Esa idea de calidad de las revistas ¿se puede objetivar de alguna manera? Esto puede parecer un ejercicio académico, sin embargo es muy importante, porque como autor habrá que buscar publicar en las mejores revistas, como evaluador se considerarán con mayor valor las publicaciones en mejores revistas... vamos, que la clasificación de las revistas se convierte de un elemento clave del sistema de publicación y evaluación de la ciencia.

Ni la medida de la calidad de una revista es un asunto obvio, ni todos los artículos de la misma revista tienen la misma calidad. Sin embargo con el tiempo se han establecido unas medidas muy estandarizadas que se aceptan de forma muy general en casi todas las disciplinas (de las ciencias "duras") y en todos los lugares. La idea se basa en la siguiente hipótesis: Los artículos con contenidos más interesantes serán citados más que aquellos con menos interés. A partir de ahí, la mejor revistas es la que tiene artículos con más citas. Y para implementar estas ideas se meten en bases de datos todos los artículos (de un gran número de revistas) junto con sus citas y se calculan medias. En concreto de "Factor de Impacto", como la métrica clave, la más extendida. Sobre la definición, el uso y el abuso de este índice (y otros más con los que se representa la distribución temporal de citas) está muy bien el artículo "Impact Factor: use and abuse" (Amin & Mabe), en la red AQUÍ.

Os dejo también un PWP que da un vistazo rápido a la cuestión de la calidad de las revistas (y donde aparece el IF, claro):

Evaluacion y calidad de las revistas cientificas-Alonso from Latindex

Pero no todo se acaba ahí. En los últimos años se está haciendo un esfuerzo muy grande por crear una alternativa europea al Thomson-Reuters, y así ha surgido SCOPUS como base de datos de artículos y su explotación cara a la calidad de las revistas que es SCIMAGO (Echadle un vistazo, jugad un poco).

Una cuestión muy interesante sobre este asunto del índice de impacto es lo mal que representa realmente a las citas de cada artículo. Las citas que reciben los artículos no siguen una distribución "normal" gausiana, sino una ley de potencias: unos pocos artículos reciben muchísimas citas, mientras que la mayoría no recibe.. ninguna en realidad. El factor de impacto es la media de la distribución, eso es matemáticamente innegable, pero la media describe magníficamente distribuciones gausianas, pero las que siguen leyes de potencias no.

Dicho de otra manera, si consigo colar mi artículo (que no recibirá citas) en una revista mejor, me beneficio más del arrastre de sus autores más citados que si la coloco en una de peor IF en la que me beneficio de autores con menos tirón. Pero en todos los casos mi artículo no añade citas, y por tanto es beneficiario puro de la situación. 

Por cierto, la figura que ilustra este hecho la he tomado de esta presentación.

Es fácil escuchar críticas por el exceso de importancia que se le da a las citas, al factor de impacto, a la revisión por pares, etc. Sin duda que hay razones para la crítica, pero no hay que olvidar que las ventajas son muy superiores a los inconvenientes, y para comprobarlo nada mejor que echar un vistazo a disciplinas dónde estos conceptos no están implantados. Ver, por ejemplo, el programa de este congreso sobre calidad de las revistas en Ciencias Sociales. Que cada uno saque sus conclusiones.

Una cosa más, últimamente empiezan a aparecer "métricas falsas", sucedáneos del factor de impacto para revistas que no alcanzan los estándares para estar en el SCI de verdad. Un comentario sobre el tema y la lista (en oct de 2015) de este tipo de iniciativas (insisto, fraudulentas), se puede encontrar AQUI.