Войны Журнальных Рейтингов: Импакт-фактор vs TOP-фактор

Все мы сталкивались с рейтингами, независимо от того, в какой области мы работаем или учимся. Действительно, единый способ ранжирования чего бы то ни было, позволяет людям разных профессий, из разных стран и различного уровня образованности получить представление о качестве того или иного явления. Благодаря тому, что наука приобрела международный характер, численные показатели, характеризующие качество научных журналов, публикаций и исследований в целом, стали неотъемлемой частью научного сообщества. Так, в течение многих лет, открывая новую статью, в первую очередь мы смотрим на импакт-фактор журнала, в котором она опубликована. Однако в последние годы ученые стали замечать, что импакт-фактор уже не соответствует запрашиваемому современной наукой уровню открытости и прозрачности. В этой статье мы обсудим, что же случилось с самым известным мире рейтингом научных журналов, и какие у него есть альтернативы.

НЕДОСТАТКИ ИМПАКТ-ФАКТОРА

Импакт-Фактор (англ. Impact Factor) был придуман примерно 40 лет назад Юджином Гарфилдом с благой целью – помочь библиотекам с выбором журналов, на которые необходимо подписаться. Он основан на цитируемости статей, опубликованных в конкретном журнале. Кажется, что может быть проще, чем определять качество журнала по количеству упоминаний опубликованных в нем статей читателями? К сожалению, все оказалось не так очевидно. Начнем с того, что сейчас многие забывают, что импакт-фактор – это общий рейтинг журнала, а не одной статьи. Высокий показатель совершенно не значит, что можно доверять абсолютно всем опубликованным статьям, потому что не все статьи изначально цитируются одинаково. Так, две статьи, набравшие популярность, могут поднять рейтинг в общем достаточно среднего журнала. Кроме того, импакт-фактор учитывает количество цитат только за два года с момента публикации статьи. Даже если вы никогда не публиковали свои собственные статьи, вы наверняка наблюдали, как какое-нибудь исследование, опубликованное, например, 10 лет назад и недооцененное в свое время, вдруг начинает распространяться со страшной скоростью. Но, так как два года с момента публикации уже прошли, эта статья никак не повлияет на импакт-фактор журнала. Такого рода недостатки импакт-фактора демонстрируют необходимость создания альтернативного показателя.

TOP-ФАКТОР СПЕШИТ НА ПОМОЩЬ

В 2014 году, когда так называемый «кризис воспроизводимости результатов» исследований уже невозможно было отрицать, Центр Открытой Науки, совместно с представителями различных научных областей и редакторами журналов, выпустил «Руководство по Прозрачности и Открытости».  В феврале 2020-го года на основе этого руководства был запущен TOP-фактор (англ. Transparency and Openness Promotion) для оценки качества журналов, который потенциально может стать достойной заменой импакт-фактору. «Руководство по Прозрачности и Открытости» включает восемь стандартов, каждый из которых разделен на три подпункта по возрастанию уровня строгости. Среди этих стандартов: прозрачность исследовательских материалов, кода и данных, стандарты цитирования, прозрачность дизайна и анализа исследования, предварительная регистрация исследования и плана анализа и повторения. Журналы, которые хотят начать применять эти стандарты, выбирают один из трех уровней строгости в зависимости от своей готовности. За применение этих стандартов журнал может получить от нуля до трех баллов, из которых и выстраивается общий TOP-фактор. Например, журнал получает 0 баллов, если совсем не соблюдает стандарт по прозрачности данных; 1 балл, – если требует от авторов информации о том, доступны ли их данные для широкой публики; 2 балла даются за то, что авторы, за редким исключением, предоставляют открытый доступ к данным, тогда как 3 балла даются за то, что, журнал, помимо общего требования открытого доступа к данным, осуществляет независимую проверку опубликованных данных. В общем, основная задача TOP-фактора показать, насколько глубоко и успешно журнал применяет ключевые принципы научного сообщества.

Я бы хотела подчеркнуть серьезность проблемы прозрачности и открытости в науке: cреди 250-ти журналов, уже получивших TOP-фактор, только 60 были оценены выше нуля. Такие авторитетные журналы как Nature, Cell и PLOS ONE набрали всего 11 баллов, проигрывая в основном в требованиях к пререгистрации исследований. Интересно, что журналы по психологии получают высокий бал за пререгистрацию исследований, так как для них это более-менее стандартная процедура. В гуманитарных науках, напротив, пререгистрация возможна далеко не для каждого исследования, так как для этого в исследовании должна быть сформулирована гипотеза. Не стоит забыть о таких общих различиях между дисциплинами, потому что они делают сравнение TOP-факторов разных журналов практически невозможным.

ИМПАКТ-ФАКТОР в сравнении TOP-ФАКТОРОМ

В том, что касается проблем, напрямую не относящихся к науке, научное сообщество удивительно консервативно, как и любое другое сообщество в отношении своей культуры. Кроме того, TOP-фактор выглядит гораздо сложнее, чем импакт-фактор, что также не упрощает переход. Поэтому стратегия введения такого рода перемен должна основываться на систематическом подходе, а не поведении отдельных личностей. Как правильно сформулировала Alison Muddit, самой надежной стратегией является введение изменений в каждой отдельной научной дисциплине. Например, в случае психологии проблема воспроизведения результатов существует уже много лет, поэтому все единогласно, включая ученых и профессиональные сообщества в целом, подняли планку своих требований к прозрачности исследований. В результате, к началу 2019 года 65% статей были отмечены за открытые данные, 50% – за открытость материалов и 28% – за пререгистрацию исследований.

Очевидное отличие TOP-фактора от импакт-фактора, и его же преимущество, в том, что он основан на совокупности показателей эффективности журнала в целом, на требованиях, которые журнал применяет абсолютно ко всем авторам, тогда как импакт-фактор включает только лишь интенсивность цитирования статей, при этом ни к чему не обязывая ученых. TOP-фактор не дает никакой информации о новостной ценности конкретного исследования, вместо этого он направлен на создание репутации целому журналу. Предполагается, что тем самым  качество и воспроизводимость каждого исследования, опубликованного в этом журнале, будут гарантироваться самим журналом. Такая система будет очень полезна и для фондов при принятии решений о финансировании того или иного исследования, так как, не фокусируясь напрямую на отдельных статьях, TOP-фактор все же дает очень много информации о качестве исследования и группе ученых, которая его проводит.

К сожалению, Центр Открытой Науки не может гарантировать, что каждый журнал с TOP-фактором будет точно соблюдать все стандарты, потому что единственным свидетельством все еще является просто описание на сайте журнала. Но создание мультифакторного рейтинга журналов, который изначально основан на применении политики открытости и прозрачности – это уже очень большой шаг для современной науки. В условиях постоянной конкуренции высокий TOP-фактор одних журналов будет стимулировать другие журналы все больше и больше соответствовать перечисленным стандартам, и со временем к уже существующим показателям TOP-фактора наверняка добавится еще немало пунктов.

Перемены неизбежны, особенно в науке и научном сообществе. Надежные общие критерии оценки журналов и статей значительно упростят жизнь ученым и повысят доверие к науке в обществе.

А какие стандарты и критерии вы бы включили в список TOP-фактора? Поделитесь своим мнением в комментариях под статьёй.