Adiós al factor de impacto. ¡Llega el factor TOP!

Durante años, el Factor de Impacto (IF por sus siglas en inglés) ha determinado la importancia de una revista científica. Sin embargo, la medición del IF está muy lejos de reflejar la verdadera calidad de la publicación pues sólo se basa en el número de citas y deja de lado otros aspectos de importancia como la transparencia de los datos, los métodos de análisis y el diseño de la investigación que sí se han tomado en cuenta para proponer un nuevo índice de medición de calidad en publicaciones científicas: el factor TOP.

Abuso y manipulación del factor de impacto

En la actualidad, varios investigadores piensan que enfrentan una competencia injusta y desigual en lo que se refiere a la publicación de su trabajo en revistas especializadas ya que en el sistema actual de publicación pesa más la cantidad de trabajos publicados que la calidad de los mismos. Al ser importante la cantidad de publicaciones, un investigador busca publicar cada vez más, sacrificando, incluso, su propia vida cotidiana. Y dado que el factor de impacto de las revistas científicas se relaciona con el número de citas que tienen sus artículos publicados, el investigador también está obsesionado con el número de citas de sus artículos.

La obsesión por el número de citas de un artículo por parte de los autores y del incremento en el factor de impacto por parte de los editores y editoriales de las revistas científicas ha derivado en diversas prácticas deshonestas. Existen casos en los que algún editor incrementa de forma descomunal sus publicaciones y su número de citas mediante prácticas de autocitas o de inclusión deshonesta en varias publicaciones. Las revistas que han permitido estas prácticas y que a costa de ellas han elevado su factor de impacto se incluyen de lo que recientemente se ha denominado como la mafia de las publicaciones científicas. La existencia de métodos de evaluación diferentes al factor de impacto podría disminuir la manipulación que se ha hecho al factor de impacto.

¿Qué es el factor TOP?

El factor TOP es un sistema de medición propuesto recientemente por el Center for Open Science de Estados Unidos. Este sistema se basa en los siguientes lineamientos de transparencia y promoción de apertura (Transparency and Opennes Promotion, en inglés, y de ahí sus siglas):

• Número de citas
• Transparencia de los datos
• Transparencia de los métodos de análisis
• Transparencia de los materiales de investigación
• Transparencia del diseño y el análisis
• Prerregistro de los estudios
• Prerregistro de los planes de análisis
• Replicación

Cada uno de estos aspectos se evalúa mediante tres niveles de transparencia o accesibilidad a otros investigadores de la comunidad científica. Por ejemplo, en relación al criterio de la transparencia de los datos, si la revista estipula que los autores pueden o no poner sus datos a disposición de los lectores, se evalúa con un punto. Si, en general, los datos están a disposición de los lectores, la evaluación es de dos puntos. Si se da el caso de que además de que los datos estén a disposición de los lectores y que la revista los ha comprobado, entonces la revista obtiene la máxima puntuación de tres. Si la revista no cumple con ninguno de los niveles anteriores, entonces obtendría una puntuación de cero en el criterio de transparencia de datos.

El número de citas es un criterio que tiene que ver con la medición de estándares de las citas hechas en los artículos. Los criterios de transparencia de datos, métodos de análisis y materiales de investigación están relacionados con la disponibilidad de los datos y la verificación de los mismos hecha por la revista. El criterio de evaluación de la transparencia del diseño y el análisis depende del área de investigación, pero en esencia, establece el grado de comprensión que pueda tener un lector del diseño de la investigación que se reporta y el análisis de los datos obtenidos. Los criterios de prerregistro de los estudios y de planes de análisis tienen que ver con que la revista tenga políticas de prerregistro de las investigaciones para poder saber qué es lo que se realiza y cómo se realiza, aún si la investigación no llega a contar con una publicación. Finalmente, el criterio de replicación está relacionado con los estándares de transparencia antes mencionados, de modo que los resultados reportados se puedan reproducir utilizando los datos originales.

Las revistas ante el factor TOP

Brian Nosek, director ejecutivo del Center of Open Science, declara que la idea de crear el factor TOP es contar con una mejor evaluación de la calidad de las publicaciones científicas que el factor de impacto no ha cumplido. Después de realizar una evaluación de 250 revistas, encontró una puntuación de cero para 40 de ellas. Por lo que concluye que es de esperar que ante nuevos criterios de evaluación como el factor TOP, las revistas tiendan a cambiar sus políticas de publicación. En su estudio, encontró que varias revistas del área de sicología lograron puntuaciones de 20 pero para aquéllas que contemplan diversos campos del conocimiento como Nature, lograr puntuaciones altas será todo un reto.

Tom Hardwicke, investigador del Instituto de Salud de Berlín, Alemania, experto en el análisis de prácticas y políticas editoriales de las revistas de investigación piensa que aún es pronto para pronosticar cómo se comportará el factor TOP u otros sistemas de medición alternos al factor de impacto. No se puede aún saber si este factor cambiará significativamente las prácticas editoriales en la comunidad científica pero Hardwicke comenta que hay que seguir vigilantes para que las políticas repercutan en una mejor calidad de publicaciones científicas.

Aunque es difícil que un sistema de medición se pueda aplicar para determinar la calidad de las revistas en diferentes campos de investigación, el factor TOP parece ser una buena propuesta con la que iniciar para dejar de lado las malas prácticas de manipulación del factor de impacto de algunas revistas, editoriales y editores.

En su website, el Center of Open Science presenta los resultados de las puntuaciones de diversas revistas en diferentes áreas de investigación y hace una invitación para sugerir la evaluación de revistas o contribuir al análisis o las políticas de evaluación. Con seguridad, de aquí en adelante escucharemos hablar más del factor TOP, ¿no cree?