Ищем знаки качества
Всем нам хочется быть заранее уверенными в том, что мы работаем с проверенной информацией и что лучше уже не найти. Однако не так просто быть в этом уверенным. Поэтому мы придумываем самые разные инструменты, которые могли бы нам помочь. А иногда пользуемся теми, которые кажутся подходящими и существуют давно. Вот только вопрос в том, насколько они подходят для решения нужной нам задачи.
Все слышали про импакт-фактор, про квартили, персентили или категории ВАК. Если не обо всех сразу, то о чем-то одном — точно. Есть множество других терминов, за которыми стоят куда более сложные и интересные процедуры, однако с ними обычно работают те, кто уже всерьез занимается наукометрией (посмотрите, например, Scientometrics или Research Evaluation). Все эти термины/показатели используются для определения качества издания. Но что нам от того, что мы об этих показателях слышали? И в каких ситуациях мы о них слышим? Обычно мы говорим про качество журнала в тех случаях, когда обсуждается вопрос, где лучше публиковаться, или кто-то хватается тем, что статья вышла в чудесном издании. И либо здесь прослеживается какая-то финансовая или другая «премиальная» мотивация, либо есть момент сравнения (цели которого еще нужно прояснять).
Все слышали про импакт-фактор, про квартили, персентили или категории ВАК. Если не обо всех сразу, то о чем-то одном — точно. Есть множество других терминов, за которыми стоят куда более сложные и интересные процедуры, однако с ними обычно работают те, кто уже всерьез занимается наукометрией (посмотрите, например, Scientometrics или Research Evaluation). Все эти термины/показатели используются для определения качества издания. Но что нам от того, что мы об этих показателях слышали? И в каких ситуациях мы о них слышим? Обычно мы говорим про качество журнала в тех случаях, когда обсуждается вопрос, где лучше публиковаться, или кто-то хватается тем, что статья вышла в чудесном издании. И либо здесь прослеживается какая-то финансовая или другая «премиальная» мотивация, либо есть момент сравнения (цели которого еще нужно прояснять).
Хороший журнал ≠ великолепная статья
Здесь сразу нужно отметить то, что знает каждый, но что мы умело забываем. Качество журнала не гарантирует качество статьи. Во-первых, есть ретрагирование, то есть публичное изъятие материалов из научного оборота. Количество ретрагированных текстов постоянно растет. Хорошие журналы — не исключение: в них за качеством следят более внимательно, поэтому и стимулов ретрагировать больше. Во-вторых, давно известно, что внимание исследователей распределяется неравномерно, и зачастую большинство текстов не получает цитирований (да и нормальное количество цитат различается весьма существенно по наукам), а значит, и вклада в импакт-фактор (и прочее) не делает. Чему радоваться, если текст ваш вышел в прекрасном издании, которое читают многие, но никто его не процитировал? По сути, нечему. Эти два соображения должны поостудить пыл тех, кто считает, что чем выше квартиль, тем больше их достижения перед научной вечностью. В конце концов, некоторые типы материалов в принципе не могут иметь такого показателя как импакт-фактор или квартиль/персентиль (потому что это несерийные издания): книги, препринты, массивы данных в институциональных репозиториях или код, — а ведь все эти типы материалов для современной науки важны. И список можно продолжать. Замечу, что можно посчитать цитирования и для таких сущностей, и это уже делают, но мы еще в начале пути, потому что кроме чистых показателей в виде ссылок будто бы и нет.
И вот тут возникает вопрос. А стоит ли ориентироваться на показатели, которые отражают значимость изданий, в своем поиске и в чтении? Ведь кажется, что эти показатели для такой цели и придумывались. Библиотекари хотели понять, что в первую очередь привлекает внимание исследовательского сообщества, чтобы разумно управлять подписками. А подписки — это чтение. В мире электронного доступа все это работает немного иначе, но логика приблизительно та же. Но если прояснить ситуацию более подробно, то ясно, как ситуация различается. Думать о том, выписывать журнал или нет, чтобы его читали представители большой группы (института, факультета или лаборатории), чтобы потом его хранить десятилетиями, а значит, рассчитывать на чтение и в эти самые десятилетия — это одна задача. А вот решение о том, посмотреть на текст или нет, взять оттуда факт или нет — это задача совершенно иная. Второе будто бы важнее, поскольку если вы возьмете факт из не самой качественной статьи, то можете дискредитировать свой труд, подорвать доверие к своим выводам. Но, к счастью, наукометрия подарила нам решение и для этой проблемы. Или нет. Об этом можно посомневаться в конце заметки.
И вот тут возникает вопрос. А стоит ли ориентироваться на показатели, которые отражают значимость изданий, в своем поиске и в чтении? Ведь кажется, что эти показатели для такой цели и придумывались. Библиотекари хотели понять, что в первую очередь привлекает внимание исследовательского сообщества, чтобы разумно управлять подписками. А подписки — это чтение. В мире электронного доступа все это работает немного иначе, но логика приблизительно та же. Но если прояснить ситуацию более подробно, то ясно, как ситуация различается. Думать о том, выписывать журнал или нет, чтобы его читали представители большой группы (института, факультета или лаборатории), чтобы потом его хранить десятилетиями, а значит, рассчитывать на чтение и в эти самые десятилетия — это одна задача. А вот решение о том, посмотреть на текст или нет, взять оттуда факт или нет — это задача совершенно иная. Второе будто бы важнее, поскольку если вы возьмете факт из не самой качественной статьи, то можете дискредитировать свой труд, подорвать доверие к своим выводам. Но, к счастью, наукометрия подарила нам решение и для этой проблемы. Или нет. Об этом можно посомневаться в конце заметки.
Как не стоит использовать информацию о ранжировании журналов
Проще обозначить, как не нужно использовать квартили/персентили и категории ВАК при выборе того, что вам читать. Не стоит предполагать, что все, что ниже какого-то показателя, недостойно вашего внимания.
Во-первых, потому что одно и то же издание, если оно является мультидисциплинарным, может иметь и два, и три квартиля. Распределение по тематическим группам — это для многих большая тайна (делается по-разному в разных базах), а для других — большое искусство. Например, когда создавалась база Russian Science Citation Index, которая размещалась на платформе Web of Science, пришлось отдельно и предметно разбирать, как совместить российские классификаторы с теми, что используются в Web of Science.
Во-вторых, есть проблема мотивации автора текста. Есть очень достойные издания, где публиковаться стоит, но ждать долго. А грантовый или административный цикл часто предполагает результат в форме публикации к определенному сроку. И здесь приходится принимать решение и публиковаться там, где скорость рецензирования и скорость работы редакции выше (да, нередко в хороших изданиях она тоже на высоком уровне, и очереди там бывают не всегда).
В-третьих, есть совсем уже очевидная проблема с тем, что нишевые журналы, которые работают по узкому списку тем, могут иметь не самые высокие показатели просто потому, что «узок круг» этих тематик и «страшно далеки они от народа». Могут быть такие направления, где журналов первой квартили не стало. Не так давно Д. Косяков и В. Писляков статью об этом написали (“I'd like to publish in Q1, but there's no Q1 to be found”: Study of journal quartile distributions across subject categories and topics), советую почитать.
Во-первых, потому что одно и то же издание, если оно является мультидисциплинарным, может иметь и два, и три квартиля. Распределение по тематическим группам — это для многих большая тайна (делается по-разному в разных базах), а для других — большое искусство. Например, когда создавалась база Russian Science Citation Index, которая размещалась на платформе Web of Science, пришлось отдельно и предметно разбирать, как совместить российские классификаторы с теми, что используются в Web of Science.
Во-вторых, есть проблема мотивации автора текста. Есть очень достойные издания, где публиковаться стоит, но ждать долго. А грантовый или административный цикл часто предполагает результат в форме публикации к определенному сроку. И здесь приходится принимать решение и публиковаться там, где скорость рецензирования и скорость работы редакции выше (да, нередко в хороших изданиях она тоже на высоком уровне, и очереди там бывают не всегда).
В-третьих, есть совсем уже очевидная проблема с тем, что нишевые журналы, которые работают по узкому списку тем, могут иметь не самые высокие показатели просто потому, что «узок круг» этих тематик и «страшно далеки они от народа». Могут быть такие направления, где журналов первой квартили не стало. Не так давно Д. Косяков и В. Писляков статью об этом написали (“I'd like to publish in Q1, but there's no Q1 to be found”: Study of journal quartile distributions across subject categories and topics), советую почитать.
Как можно использовать?
Но ведь как-то можно ими пользоваться? Да, безусловно. Польза от квартилей и категорий ВАК есть. Например, если вы смотрите, как изменяются количество статей и общая их тематика по годам в разных группах журналов (да, эти группы нестабильны, но изменение состава журналов в квартилях и категориях тоже само по себе показательно для анализа). Если какая-то тематика прирастает везде, то отсюда можно сделать вывод о том, что тема захватила всеобщее внимание. Если вы видите, что растет только в какой-то квартили или категории, то нужно уточнять и смотреть, в какой нише это происходит: тематическая она или есть какие-то другие важные факторы ее формирования. Другой вариант использования нельзя посоветовать, если вы делаете систематический обзор литературы, но он может быть полезен, когда материалов находится много и нужно быстро отобрать самые значимые, то есть в буквальном смысле самые известные широкой научной общественности. Тогда можно, например, смотреть только самые верхние группы журналов, чтобы прочитать то, что скорее всего было замечено всеми. А после, когда вы уже понимаете то, что знают все, нужно идти в более детальный поиск. В начале пути можно рекомендовать студентам ограничение по квартилям или категориям, с условием, что потом они будут детально прорабатывать тему по авторам, проверять журналы, которые сильно связаны с искомой тематикой, и будут отслеживать самые цитируемые материалы.
Совсем отказываться от квартилей и категорий ВАК и не получится, и не нужно. Все наши коллеги о них знают. И даже если встать стеной и начать доказывать большую точность и полезность других показателей, эти еще долго не забудут. К тому же, если мы можем критически разобрать, что в какие предметные рубрики попадает, как показатели менялись, то мы получаем практически полезное знание об изданиях, которые у нас лично могут быть не на слуху.
В заключение могу добавить один полезный, но провокативный тезис: пишут статьи не квартили (в Scopus еще никому не удалось опубликоваться, только в журналах, входящих в него), даже не журналы, а авторы. И, возможно, можно смотреть на показатели цитирования авторов, а не журналов. Но это уже совсем другая история, не менее спорная.
Совсем отказываться от квартилей и категорий ВАК и не получится, и не нужно. Все наши коллеги о них знают. И даже если встать стеной и начать доказывать большую точность и полезность других показателей, эти еще долго не забудут. К тому же, если мы можем критически разобрать, что в какие предметные рубрики попадает, как показатели менялись, то мы получаем практически полезное знание об изданиях, которые у нас лично могут быть не на слуху.
В заключение могу добавить один полезный, но провокативный тезис: пишут статьи не квартили (в Scopus еще никому не удалось опубликоваться, только в журналах, входящих в него), даже не журналы, а авторы. И, возможно, можно смотреть на показатели цитирования авторов, а не журналов. Но это уже совсем другая история, не менее спорная.
