Ольга Третьякова Индексы научного цитирования. Возможности и перспективы в оценке результатов научной деятельности
Публикуется по решению Ученого совета ИСЭРТ РАН
© Третьякова О. В., 2014
© ФГБУН ИСЭРТ РАН, 2014
Введение
В последние годы в качестве показателей эффективности деятельности российских ученых, исследовательских организаций, отечественной науки в целом стали активно использоваться данные о числе публикаций и цитирований. Публикационные и цитатные показатели рассматриваются как целевые индикаторы состояния науки в утвержденной распоряжением Правительства РФ «Стратегии инновационного развития Российской Федерации на период до 2020 года»[1]и в Указе Президента РФ «О мерах по реализации государственной политики в области образования и науки» от 7 мая 2012 года[2].
В условиях дефицита управление ресурсами, выделяемыми на науку, напрямую зависит от наличия информации о состоянии научных исследований в нашей стране и за рубежом. В связи с ростом количества научных исследований, получающих бюджетное финансирование, а также проводимых при поддержке различных фондов, особую актуальность приобретает проблема анализа и комплексной оценки их результатов, выбора наиболее перспективных тем исследования.
Разработка наукометрических измерений и их сопоставление открывают новые грани научной деятельности, дают возможность скорректировать ее направления и содержание, дать ей оценку, сравнить результаты исследований. Анализ цитирований позволяет выявить закономерности и определить вероятностные темпы развития науки, служит эффективным методом изучения коммуникации в профессиональном сообществе и дисциплинарной структурой науки.
Различные аспекты применения библиометрических показателей для оценки результатов научной деятельности освещаются как зарубежными (E. Garfield, W. Glänzel, J. E. Hirsch, R. L. Rousseau и др.), так и отечественными исследователями (С. В. Бредихин, В. А. Варшавский, Н. Е. Каленов, Р. Г. Касимова, О. В. Кириллова, В. А. Маркусова, В. В. Писляков и др.).
Тем не менее еще не установлены четкие критерии оценок, основанных на библиометрических измерениях, и границы надежности получаемых результатов; сохраняется необходимость проведения ряда наукометрических исследований для определения источников информации и методов ее извлечения, а также для выявления задач, которые могут быть решены при наличии той или иной информации.
На страницах научных изданий и в СМИ развернулась дискуссия по поводу целесообразности применения наукометрических показателей в сфере регулирования деятельности ученых.
Эксперты считают, что «в связи с реформированием РАН грядет аттестация академических институтов, и библиометрические показатели (количество публикаций, цитируемость, импакт-фактор научных журналов, индекс Хирша) будут использоваться в качестве индикаторов эффективности деятельности научных коллективов» [Возовикова Т., 2013]. Как подчеркивает Л. Э. Миндели, переход ведущих стран мира к экономике, базирующейся на знаниях, открывает новые горизонты для наукометрических разработок, и, по его мнению, «методический арсенал наукометрии выйдет за рамки собственно науки и найдет масштабное применение для мониторингового взаимодействия экономических и социальных субъектов в области знаний» [Возовикова Т., 2013].
Наряду с учеными, признающими роль библиометрических показателей как инструмента измерения значимости научных результатов, многие эксперты подвергают сомнению оценку академической ценности результатов исследований, основанную на данных о цитировании[3].
Большая группа экспертов считает, что цитатные показатели не могут быть главными критериями измерения эффективности затрат в фундаментальной науке. Так, основные выводы доклада Международного математического союза «Статистики цитирования» заключаются в том, что отказываться от статистики цитирования как способа оценки качества исследований нельзя. Но для того чтобы эта оценка приносила пользу, необходимо рассматривать индекс цитирования как часть общей оценки, поскольку он представляет собой «только ограниченный и неполный взгляд на качество исследований»[4].
По нашему мнению, накопленные ресурсы различных индексов цитирования сегодня целесообразно использовать для оценки публикационной активности научных учреждений. При этом ряд библиометрических показателей может применяться в сопоставительном анализе с целью оценки результативности и эффективности научной деятельности организаций.
В работе представлены общие подходы к наукометрическому анализу этой деятельности. В первой главе предпринята попытка показать возможности индексов научного цитирования для оценки результативности деятельности научно-исследовательских организаций. Использованы статистические данные Российского индекса научного цитирования (РИНЦ) в качестве механизма оценки публикационной активности научных институтов экономического профиля, а также научных учреждений и вузов Вологодской области.
Сравнительный анализ показателей публикационной активности научных институтов и учреждений высшего образования, позволяющий обозначить их вклад в развитие научного потенциала региона, может служить сегодня инструментом для выявления слабых сторон научно-исследовательской работы организаций и поиска путей ее совершенствования.
Во второй главе затрагивается вопрос о применении импакт-фактора как инструмента для сопоставления и ранжирования научных журналов. Представлен обзор методик формирования импакт-фактора, проанализированы возможности Российского индекса научного цитирования в отношении расчета импакт-фактора научных журналов на примере изданий по экономике. Проведенный анализ доказывает, что в РИНЦ накоплен определенный ресурс, достаточный для сопоставления таких изданий. Импакт-фактор, который может быть выбран за основу ранжирования, не должен использоваться без учета других показателей, влияющих на цитируемость.
Результаты исследования свидетельствуют о необходимости создания системы объективной оценки результатов научной деятельности для принятия эффективных управленческих решений в сфере науки. Частью такой системы видится Российский индекс научного цитирования. В совокупности с квалифицированной экспертной оценкой, позволяющей учитывать специфику научной деятельности, наукометрические индикаторы, представленные в том числе и в РИНЦ, в перспективе могут использоваться для объективной и полновесной оценки научного потенциала регионов и страны в целом.
Глава 1. Возможности и перспективы применения данных индексов цитирования в оценке результативности и эффективности деятельности научных организаций
1.1. Международные индексы цитирования: история создания, краткая характеристика
Сегодня оценка исследовательской деятельности все чаще основывается на применении библиометрических методов, при помощи которых научный вклад ученого или организации определяется исходя из количества публикаций в научных журналах и числа цитирований. Зарубежные ученые, стоявшие у истоков создания реальных инструментов анализа научной информации, рассматривали результаты анализа цитирований как «достаточно объективную меру производительности труда ученого» [Гарфилд, 1982]. Созданные во второй половине XX века международные и национальные индексы цитирований стали востребованы в качестве одного из инструментов принятия решений относительно эффективности и важности тех или иных научных разработок в рассматриваемой области исследований.
Данные глобальных индексов цитирования, среди которых ведущими являются международные базы данных Web of Science компании Thomson Reuters (США) и Scopus издательства Elsevier (Голландия), обозначены как целевые параметры для оценки качества и продуктивности научной деятельности отдельных ученых, организаций и страны в целом.
Web of Science (WoS) ведет историю своего развития с указателя цитирования научной литературы, разработанного в середине XX века американским ученым Ю. Гарфилдом. В течение нескольких десятилетий данные, собранные в этом указателе, расширялись и публиковались Институтом научной информации (Филадельфия). В 1992 году Институт вошел в корпорацию Thomson.
В настоящее время Web of Science включает семь баз данных, охватывающих практически все области знаний, три из которых обрабатывают порядка 12 тысяч журналов (Social Science Citation Index, Science Citation Index Expanded и Arts and Humanity Science Citation Index). В классификаторе WoS около 250 тематических разделов по фундаментальным и инженерным наукам, медицине, сельскому хозяйству, социальным и гуманитарным наукам [Кириллова О. В., 2013: 7–8]. Эти данные являются основой модуля оценки цитируемости научных журналов “Journal Citation Reports”, содержащего ряд показателей цитируемости, среди которых наиболее известен импакт-фактор.
База данных SCOPUS издательства Elsevier по объему представленных документов (более 36 млн записей) и числу отражаемых в ней периодических изданий (более 17 тыс.) является самой крупной реферативной и аналитической базой данных в мире. Ежегодно Elsevier принимает к рассмотрению для включения в свою базу около 2 тысяч издаваемых в разных странах и на разных языках научных журналов.
Однако использование показателей глобальных индексов цитирования не дает объективной картины для оценки научной деятельности российских ученых, поскольку их публикации слабо представлены в международных базах (по данным на август 2013 года на долю российских ученых приходится 1,9 % в общем числе публикаций в Scopus и 1,2 % – в Web of Science) [Кириллова О. В., 2013: 13].
Кроме того, по мнению ведущих ученых, «подмена национальной реферативно-библиографической базы иностранными системами цитирования ведет к ориентации российских ученых на научно-исследовательские работы, интересные в первую очередь зарубежному научному сообществу…, у которого свои потребности в научной информации, очень часто не совпадающие с тем, что необходимо отечественной науке в силу исторически сложившихся реалий» [Каблов Е. Н., 2013: 11]. В результате этого происходит «потеря суверенитета российской науки в части выбора направлений исследований и отток за рубеж перспективных молодых ученых, которые переориентировались на иностранную научную тематику» [Каблов Е. Н., 2013: 11].
Вместе с тем всё большую актуальность приобретает вопрос о создании национального индекса цитирования, который мог бы стать альтернативой зарубежным базам данных. Мировой опыт свидетельствует о том, что развитие национальных библиографических баз способствует повышению уровня национальных научных изданий, а также позволяет наиболее полно и достоверно подойти к оценке результативности научных коллективов на основе опубликованных ими трудов. Созданные во многих странах реферативные базы данных, такие как China Scientific and Technical Papers and Citations[5]и Chinese Science Citation Database[6](Китай), Citation Database for Japanese Papers[7](Япония), Brazil’s National Database of Research and Science Résumés (Бразилия), достигли значительных успехов в популяризации и демонстрации научных достижений своих государств.
В России наукометрической проблематикой, и в частности определением индекса цитируемости ученых, занимаются такие ведущие информационные и библиотечные центры, как ВИНИТИ, БАН РАН, ГПНТБ СО РАН, Государственный университет – Высшая школа экономики и ряд других организаций. Библиометрический анализ постепенно становится общепринятым инструментом для измерения публикационной активности научно-исследовательских учреждений и высших учебных заведений страны. Он позволяет ученым осознать оправданность и целесообразность их исследований, выявить спрос на научные работы в тех или иных областях.
Необходимость введения национальной системы оценки и анализа публикационной активности и цитируемости отечественных исследователей, организаций и изданий была обусловлена прежде всего непрезентативной представленностью российской периодики в зарубежных изданиях, сложностью использования зарубежных баз данных для статистического анализа, а также их слабой ценовой доступностью[8].
Вопрос о создании объективной системы работы научных организаций не раз поднимался, в том числе и на самом высоком уровне. Так, на заседании Совета при Президенте РФ по науке и образованию в Гатчине (30 апреля 2013 года) В. В. Путин справедливо отметил, что «действующий инструмент оценки научных организаций и результатов их работы имеет, безусловно, определённые недостатки. Он не позволяет выделить настоящих лидеров в том или ином секторе исследований, а сама оценка результативности никак не увязана с финансированием научных организаций». Президент РФ подчеркнул, что существует необходимость выстроить «национальную систему объективной оценки работы научных организаций», которая, по его мнению, «позволит сконцентрировать государственные средства на тех направлениях, где мы можем сказать, действительно, веское новое слово, получить многообещающие результаты, востребованные нашим обществом и экономикой страны»[9].
Очевидно, что частью такой системы может стать Российский индекс научного цитирования. Созданный в 2005 году на платформе Научной электронной библиотеки (НЭБ, eLibrary.ru) сегодня РИНЦ является мощной аналитической системой для оценки научной деятельности, в которой рассчитывается и постоянно обновляется ряд наукометрических показателей.
В основе национальной системы лежит библиографическая реферативная база данных, в которой аккумулируются более 4,7 миллиона публикаций российских авторов и информация о цитировании этих публикаций более чем в 4 тысячах российских журналов. В последнее время в РИНЦ стали включаться доклады на конференциях, монографии, учебные пособия, патенты, диссертации. База содержит сведения о выходных данных, предметной области, авторе публикации, месте его работы, а также ключевые слова, аннотации и пристатейные списки литературы[10].
Создание планомерно расширяющейся единой электронной реферативной базы научных статей, опубликованных в отечественных журналах, и монографий получило поддержку в научном сообществе. Однако, когда речь заходит об использовании этой базы для оценивания публикационной деятельности конкретного ученого или научной организации, объективность данных РИНЦ подвергается сомнению. В частности, эксперты указывают на то, что в круг индексируемых РИНЦ попали издания, которые не могут быть однозначно отнесены к разряду научных, а также на наличие алгоритмических ошибок, приводящих к нестыковке числовых параметров, некорректному отнесению публикаций к авторам и организациям, потере публикаций и ссылок. Множество вопросов вызывает и учет самоцитирования. Отмечается, что показатели, формируемые в РИНЦ, в заметной мере зависят от организационной активности руководителей научных учреждений и издателей, от своевременности занесения материалов в базу. Эти претензии справедливы. Но нельзя не видеть то, что в РИНЦ осуществляется активное накопление ресурсов, перенимается опыт аналогичных зарубежных баз, ведется поиск путей сотрудничества с иностранными институтами наукометрических измерений.
На наш взгляд, показатели Российского индекса научного цитирования можно использовать для оценочной характеристики деятельности отдельных ученых и учреждений в целом. Однако при этом необходимо соблюдать осторожность, чтобы не упустить из виду специфику научной деятельности, и использовать эти данные в качестве дополнения к экспертной оценке.
1.2. Возможности РИНЦ для оценки публикационной активности научного учреждения
Ранее нами уже была предпринята попытка представить общие подходы к наукометрическому анализу деятельности научных учреждений и дать оценочную характеристику публикационной активности научного института на основе статистических данных Российского индекса научного цитирования [Третьякова О. В., 2013]. Изучение накопленного в РИНЦ ресурса подтвердило важность наукометрических показателей для современного ученого в отдельности и научных организаций в целом. Анализ индикаторов публикационной активности академических институтов экономического профиля показал, что они наращивают свою публикационную активность, повышают качество публикаций, их научную и практическую значимость, о чем свидетельствуют планомерно увеличивающиеся показатели цитируемости. Тем не менее, судя по результатам исследования, пока еще имеет место недостаточно активное использование ресурсов Российского индекса научного цитирования. Здесь необходимы дополнительные организационные и экономические меры.
Учитывая это, мы применили показатели РИНЦ для оценки публикационной активности научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций (ФАНО России). Такой подход дает возможность оценить эффективность научно-исследовательской деятельности организации в соответствующей научной отрасли. Однако сразу же отметим, что представленные в исследовании результаты не претендуют на полноту изучения проблемы. Они затрагивают вопросы, которые можно отнести к проблеме формирования общих подходов к данному анализу.
Первичный анализ основывается на том положении, что если рассматривать науку как процесс получения знания, то необходимо прежде всего проследить за ростом числа научных публикаций, считая их носителями нового знания. В этом аспекте публикация представляет ключевой момент в производстве научных знаний: она формирует результаты исследований, делает их достоянием общественности, обеспечивая их передачу и подтверждение.
Для анализа используются показатели публикационной активности, представленные в РИНЦ за последние пять лет, т. е. за период 2009–2013 гг.
Таблица 1. Общие показатели числа публикаций научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций, в РИНЦ (данные НЭБ на 10.10.2014)
Как видно из данных таблицы 1, общее количество зарегистрированных в РИНЦ публикаций научных институтов экономического профиля, подведомственных ФАНО России, за 2009–2013 гг. составило 12 497, из них более половины (66,7 %) приходится на долю шести институтов, таких как Институт экономики РАН – 17,4 % (2182 публикации); Институт экономики и организации промышленного производства СО РАН – 13,9 % (1744 публикации); Институт экономики УрО РАН – 11,6 % (1449 публикаций); Институт экономических проблем имени Г. П. Лузина Кольского НЦ РАН – 8,8 % (1096 публикаций); Центральный экономико-математический институт РАН – 7,6 % (945 публикаций); Институт социально-экономического развития территорий РАН – 7,4 % (922 публикации).
Более половины публикаций (59 %) научных институтов экономического профиля, подведомственных ФАНО России, за 2009–2013 годы – это статьи в журналах, входящих в Перечень ВАК, и 6,7 % – в журналах, которые индексируются не только в РИНЦ, но и в базах данных Web of Science или Scopus. Эти показатели характеризуют публикационную активность научных институтов экономического профиля и в количественном, и в качественном аспекте.
Представленные в РИНЦ данные позволяют сделать акцент на таком важном направлении научной деятельности, как проведение совместных исследований с зарубежными коллегами. К сожалению, за 2009–2013 годы в научных институтах экономического профиля, подведомственных ФАНО России, доля публикаций с участием зарубежных организаций в РИНЦ составляет только 0,7 %.
Говоря о показателях общего количества публикаций научных организаций, следует отметить, что они могут служить лишь первичным критерием оценки научной и публикационной активности учреждения, так как не несут в себе информации о востребованности научной продукции и ее качестве.
В современной наукометрии для качественной оценки публикационной активности используется индекс цитирования, под которым понимается количество распределенных по годам ссылок на работы конкретного исследователя или организации, выполненные в соответствующей отрасли научной деятельности. Цитирование показывает, что эти работы повлияли на других ученых.
В таблице 2 приводится ранговое распределение научных институтов экономического профиля, подведомственных ФАНО России, по частоте цитирования работ, выполненных их сотрудниками за указанный период.
Таблица 2. Общие показатели числа цитирований научных учреждений экономического профиля, подведомственных Федеральному агентству научных организаций, в РИНЦ (данные НЭБ на 10.10.2014)
Данные таблицы свидетельствуют, что общее количество цитирований в РИНЦ публикаций научных институтов экономического профиля, подведомственных ФАНО, за 2009–2013 гг. составило 28 952, из них более половины (50,9 %) приходится на долю трех институтов, а именно: Института экономики и организации промышленного дела производства СО РАН – 17,7 % (5141 цит.); Института экономики РАН – 17,4 % (5059 цит.); Цент-рального экономико-математического института РАН – 15,7 % (4536 цит.).
Учитывая тот факт, что численность научных сотрудников в анализируемых организациях разная, для более объективной оценки их публикационной активности необходимо использовать усредненные показатели (например, среднее число цитирований в расчете на одну публикацию и индекс Хирша).
Ранжирование научных институтов экономического профиля, подведомственных ФАНО России, по показателю среднего числа цитирований в расчете на одну публикацию за 2009–2013 гг. представлено на рисунке 1.
В РИНЦ позитивно, на наш взгляд, решается также еще одна важная задача. Она связана с установлением показателя научной продуктивности исследователя на базе распределения цитирований его работ. Данный расчет основан на идее американского физика Х. Хирша, предложившего в 2005 году рассчитывать соотношение количества публикаций ученого и их цитирований[11], которое принято называть индексом Хирша (h-index).
Введение данной метрики Х. Хирш аргументировал ее предпочтительностью перед такими критериями оценки, как количество работ, деленное на общее количество цитирований, или количество цитирований, приходящихся на одну работу [Hirsch, 2005]. Западные коллеги Х. Хирша, отмечая преимущества h-индекса перед другими показателями подобного рода, делают акцент на том, что этот индекс дает возможность учитывать не только количество публикаций, но и их востребованность, тем самым являясь результатом баланса между количеством публикаций и количеством цитирований, полученных каждой публикацией [Glänzel, 2006].
Рисунок 1. Среднее число цитирований научных институтов экономического профиля, подведомственных ФАНО России, в расчете на одну публикацию за 2009–2013 гг. в РИНЦ (данные НЭБ на 10.10.2014)
Хотя многие ученые высказывают сомнение относительно корректности применения h-индекса для вычисления научной производительности [Lehnmann S., Jackson A. D., Lautrup B. E., 2005; Sidiropuolos, 2007 и др.], отмечая прежде всего его неспособность выявлять важные работы, созданные в прошлом, и работы, которые продолжают существенно влиять на научное мышление, нельзя отрицать полезности h-индекса в качестве общепринятой меры академических достижений.
Оригинальное определение индекса Хирша ориентировано на сравнение производительности авторов, тем не менее он используется для оценивания научных сообществ.
В отношении научных учреждений рассматриваемый индекс вычисляется в РИНЦ на основе распределения цитирований работ исследователей. Индекс Хирша h получается, если n из общего количества (Np) статей сотрудников данного учреждения цитируется как минимум h раз каждая, в то время как оставшиеся (Np – h) статьи цитируются не более чем h раз каждая. Можно сказать, что этот индекс характеризует масштабность и успешность исследовательской и публикационной деятельности организации и отражает усредненную публикационную активность исследователей.
Ранжирование подведомственных ФАНО России научных институтов экономического профиля по значению индекса Хирша представлено на графике (рис. 2).
Рисунок 2. Значение индекса Хирша научных институтов экономического профиля, подведомственных ФАНО России, в РИНЦ (данные НЭБ на 10.10.2014)
Высокие значения индекса Хирша в РИНЦ (от 20 и выше) выявлены у семи институтов: Институт проблем рынка РАН (34); Центральный экономико-математический институт РАН (32); Институт экономики и организации промышленного производства СО РАН (29); Институт экономики РАН (29); Институт народнохозяйственного прогнозирования РАН (27); Институт социально-экономических проблем народонаселения РАН (20); Институт экономики УрО РАН (20). Три института демонстрируют среднее значение индекса Хирша (от 10 до 20); одиннадцать – менее 10. Высокие значения этого индекса могут рассматриваться как косвенные показатели качества научной продукции исследовательского коллектива.
Таким образом, данные РИНЦ свидетельствуют о значительной публикационной активности научных институтов экономического профиля, подведомственных ФАНО России.
В целом за период 2009–2013 гг. научные академические институты экономического профиля представили в РИНЦ более 12 тыс. публикаций, обеспечив при этом прирост абсолютного количества статей почти в полтора раза – с 1990 в 2009 году до 2817 в 2013 году (темп роста – 141 %). Косвенными показателями качества этих публикаций могут служить показатели количества статей в журналах, входящих в Перечень ВАК (59 % от общего количества публикаций), и в журналах, которые индексируются и в РИНЦ, и в базах данных Web of Science или Scopus (6,7 %). В то же время незначительным является количество публикаций научных институтов с участием зарубежных организаций, что позволяет сделать вывод о необходимости развития такого важного направления научной деятельности, как проведение совместных исследований с зарубежными коллегами.
Следует отметить, что сложившаяся на сегодня система РИНЦ может использоваться в качестве инструмента оценки публикационной активности научных институтов. Более сложная проблема заключается в определении степени объективности наукометрических показателей, с помощью которых проводится оценка эффективности и результативности деятельности научных организаций.
Общепризнанно, что основу адекватной оценки эффективности и результативности деятельности научных организаций составляет мнение экспертов о научных результатах, их новизне, актуальности, соответствии целям и задачам инновационного развития страны. В то же время показатели, представленные как в РИНЦ, так и в зарубежных индексах цитирования, весьма динамичны и довольно быстро изменяются. В контексте этого очевидно, что выводы, основанные на таких данных, являются объективными только для определенного временного периода. Кроме того, библиометрические индикаторы не всегда объективно учитывают специфику научной деятельности. Таким образом, для абсолютной оценки научной деятельности отдельных ученых и учреждений в целом данные индексов цитирования могут использоваться в качестве вспомогательных, основным же способом для анализа качества научно-исследовательского проекта или отдельного ученого должна быть экспертная оценка, которая в первую очередь учитывает научное содержание работы.
1.3. РИНЦ как инструмент оценки научного потенциала территории
Стоящие перед учеными задачи по интеграции в мировое научное пространство требуют сегодня новых подходов к распространению и продвижению результатов исследований, а также современных инструментов для оценки результативности деятельности научных организаций и эффективности научного потенциала территорий.
Сама категория «научный потенциал» и методы его оценки в последние годы находятся под пристальным вниманием научного сообщества. Ряд исследователей полагают, что при оценке научного потенциала организации целесообразно использовать ресурсную и результативную составляющие, т. е. не только ресурсные индикаторы деятельности научных учреждений, но и индикаторы, отражающие результат использования (востребованности) ресурсного потенциала, иными словами, показатели признания результатов научной деятельности организации научной общественностью[12].
В качестве одного из инструментов оценки результатов научной деятельности могут рассматриваться показатели индексов научного цитирования. Публикационная активность, отражающая исследовательскую результативность в публичном пространстве, становится конкурентным преимуществом организации и ее научного коллектива на рынке исследований и разработок в сегменте соответствующих приоритетных научных направлений.
В проекте, разработанном Минобрнауки по поручению Президента РФ В. В. Путина, предлагается система оценок работы научных организаций, ориентированная на западные аналоги. Это, в частности, число публикаций в международных базах цитирования, а также обзоры и тезисы конференций, монографии, конструкторская и технологическая документация, различные стандарты, регламенты, результаты интеллектуальной деятельности, финансовая результативность научной организации. Еще одна группа критериев – число статей, подготовленных совместно с зарубежными учеными, опубликованных в международных журналах; число проведенных организацией международных конференций. Одновременно планируется учет количества положительных и нейтральных упоминаний о научной организации в СМИ и посещаемости официальных сайтов учреждений в Интернете.
Возвращаясь к вопросу о применении данных о публикационной активности организаций для оценки результатов научно-исследовательской деятельности, необходимо отметить следующее. Использование этих показателей не дает объективной картины для оценки научной деятельности российских ученых, поскольку их публикации слабо представлены в международных базах. Кроме того, затруднено и использование показателей международных баз данных применительно к оценке публикационной активности российских регионов. Это обусловлено тем, что региональные научные журналы, которые играют существенную роль в создании научных приоритетов развития фундаментальных исследований в субъектах Российской Федерации и в полной мере отражают их специфику, практически не представлены в ведущих мировых индексах цитирования.
В этой ситуации вопрос о разработке национального индекса цитирования как альтернативы зарубежным наукометрическим ресурсам приобрел особую актуальность.
На наш взгляд, показатели Российского индекса научного цитирования можно использовать в качестве первичной оценочной характеристики деятельности отдельных ученых и учреждений в целом. Учитывая это, мы применили показатели РИНЦ для оценки публикационной активности научных организаций и учреждений высшего образования Вологодской области. С помощью такого подхода можно проводить оценку эффективности научно-исследовательской деятельности организаций и обозначить их вклад в развитие научного потенциала региона.
При оценке публикационной активности научных организаций Вологодской области использовались библиографические показатели Российского индекса научного цитирования за последние пять лет (2009–2013 гг). Оценка проводилась по 10 научным учреждениям и вузам области, имеющим профили в РИНЦ.
Как видно из данных таблицы 3, общее количество зарегистрированных в РИНЦ публикаций научно-исследовательских организаций и вузов Вологодской области за 2009–2013 гг. составило 4906 ед., из них 74 % приходится на долю трех учреждений: Вологодский государственный университет – 1444 публикации (29,4 %), Череповецкий государственный университет – 1265 (25,8 %), Институт социально-экономического развития территорий РАН – 922 (18,8 %).
В целом за анализируемый период научные организации региона обеспечили существенный прирост абсолютного количества статей в РИНЦ – с 725 в 2009 году до 1278 в 2013 году, т. е. в 1,8 раза (темп роста – 176 %).
Таблица 3. Общие показатели числа публикаций научно-исследовательских организаций и вузов Вологодской области в РИНЦ (данные НЭБ на 10.10.2014)
Как оказалось, 55 % публикаций научных организаций и вузов Вологодской области за период 2009–2013 гг. составляют статьи в журналах, входящих в Перечень ВАК, и 5,2 % – в журналах, которые, индексируются в базах данных Web of Science или Scopus. Эти существенные значения характеризуют публикационную активность научных организаций региона не только в количественном, но и в качественном аспекте.
Представленные в РИНЦ данные позволяют сделать акцент на таком важном направлении научной деятельности, как проведение совместных исследований с зарубежными коллегами. К сожалению, доля публикаций в вологодских научно-исследовательских учреждениях с участием зарубежных организаций в общем числе их публикаций в РИНЦ за 2009–2013 гг. составляет только 0,7 %.
В таблице 4 приведено ранговое распределение учреждений науки и высшего образования региона по частоте цитирования их публикаций в РИНЦ за указанный период. Ранжирование выполнено по общему количеству цитирований всех публикаций в РИНЦ (по данным НЭБ на 10.10.2014). Судя по результатам анализа библиометрических показателей, основная доля цитирований (89 %) приходится на публикации Института социально-экономического развития территорий РАН – 1335 цитирований (41,7 %); Вологодского государственного университета – 1050 (32,8 %), Череповецкого государственного университета – 464 (14,5 %). Стоит отметить, что среднее число цитирований ИСЭРТ РАН за 2009–2013 гг. в расчете на одну публикацию составило 1,4, что почти в два раза превышает аналогичные показатели ВоГУ (0,7) и почти в четыре раза – ЧГУ (0,4).
Самое высокое значение среднего числа цитирований в расчете на одну публикацию за указанные годы имеет Череповецкий военный инженерный институт радиоэлектроники – 3,7. Хотя это во многом обусловлено низким значением показателя общего количества публикаций организации в РИНЦ (11), используемого при расчете среднего числа цитирований на одну публикацию.
Таблица 4. Показатели цитирования публикаций научно-исследовательских организаций и вузов Вологодской области в РИНЦ (данные НЭБ на 10.10.2014)
С целью уточнения и углубления оценки публикационной активности организаций, основанной на данных о цитировании, в таблице приведены также значения индекса Хирша (h-индекс).
Согласно данным РИНЦ, среди научно-исследовательских организаций и вузов Вологодской области только три учреждения имеют значение индекса Хирша равное 10 и выше. К ним относятся Институт социально-экономического развития территорий РАН (h-индекс – 13), Вологодский государственный университет (h-индекс – 13) и Череповецкий государственный университет (h-индекс – 10). Наукометрическая отечественная практика признает такие значения индекса Хирша как свидетельства устойчивости качества научной продукции исследовательского коллектива. Остальные организации имеют значения h-индекса 5 и ниже.
Таким образом, результаты анализа публикационной активности научно-исследовательских организаций Вологодской области, основанного на данных Российского индекса научного цитирования, могут служить подтверждением того, что на сегодняшний день основной удельный вес в национальном индексе цитирования имеют три организации региона. Это учреждения высшего образования Вологодский государственный и Череповецкий государственный университеты, а также научная организация – Институт социально-экономического развития территорий РАН. На их долю приходится около 80 % всех публикаций научных организаций Вологодской области за 2009–2013 гг. в РИНЦ, а также более 90 % цитирований за указанный период.
Кроме того, подтверждена крайняя важность работы по занесению публикаций в информационно-аналитическую систему РИНЦ. Сравнительный анализ публикационной активности научных институтов и учреждений высшего образования может быть использован как инструмент выявления слабых сторон их научно-исследовательской деятельности и поиска путей ее совершенствования. Первостепенные задачи, связанные с улучшением положения научных институтов и вузов в индексах цитирования, предполагают планомерное увеличение числа публикаций в высокоцитируемых научных журналах, более широкое представление в статьях результатов совместных исследований с зарубежными учеными, увеличение числа публикаций в журналах, индексированных в ведущих мировых базах данных.
Подводя итоги первой главы, следует отметить очевидную потребность в более широком представлении в РИНЦ результатов научно-исследовательской деятельности учреждений. Реализация этой задачи позволит объективно и в полной мере оценить научный потенциал регионов и страны в целом.
Глава 2. Импакт-фактор РИНЦ как инструмент сопоставления и ранжирования научных журналов
2.1. Понятие «импакт-фактор». История создания
В число базовых наукометрических показателей входит импакт-фактор научного журнала. В настоящее время данный показатель всё чаще применяется библиотеками для принятия решения о подписке на те или иные периодические издания, учеными при выборе журнала для публикации статьи, редакторами и издателями в качестве инструмента оценки и продвижения научных журналов.
В то же время среди экспертов расширяется дискуссия по поводу целесообразности использования импакт-фактора. Наряду с учеными, признающими роль библиометрических показателей как инструментов измерения значимости научных результатов, многие эксперты подвергают сомнению оценку академической ценности журналов, основанную на данных о цитировании[13].
В настоящей главе мы изложим нашу точку зрения по вопросу применения импакт-фактора как инструмента ранжирования научных журналов, а также представим обзор методик формирования данного показателя и проанализируем возможности Российского индекса научного цитирования в расчёте импакт-факторов отечественных научных журналов.
Импакт-фактор был предложен Ю. Гарфилдом как инструмент измерения ценности журналов путём вычисления среднего числа цитирований на статью за определённый промежуток времени [Garfield, 1963]. Продвигая идею индекса цитирования, ученый впервые употребил термин «импакт-фактор» в статье, которая была опубликована в журнале Science в 1955 году. Говоря о его практическом применении, Гарфилд отмечал, что в случае весьма значимых работ индекс цитирования может помочь в измерении степени влияния работы, т. е. её «импакт-фактора» [Garfield, 1955]. И уже в начале 1960-х годов Юджин Гарфилд и Ирвинг Г. Шер рассчитали импакт-фактор журналов, чтобы отобрать научные издания для нового индекса цитирования Science Citation Index (SCI) [Garfield, 2005]. С 1964 года индекс цитирования Science Citation Index стал регулярно определяться Институтом научной информации в Филадельфии, которым руководил Гарфилд. Изначально в данном ресурсе была систематизирована информация о цитировании научных статей по библиографической базе данных, которая первоначально охватывала около 600 научных журналов. В течение нескольких десятилетий данные, собранные в этом указателе цитирования, расширялись. В 1992 году Институт научной информации вошел в корпорацию Thomson.
Выросший из индекса цитирования SCI современный библиографический ресурс Web of Science (WoS) в настоящее время включает семь баз данных, охватывающих практически все области знаний, три из которых обрабатывают порядка 12 тысяч журналов (Social Science Citation Index[14], Science Citation Index Expanded[15]и Arts and Humanity Science Citation Index[16]). В классификаторе WoS около 250 тематических разделов по фундаментальным и инженерным наукам, медицине, сельскому хозяйству, социальным и гуманитарным наукам [Кириллова, О. В.; 2013: 7–8]. Кроме того, WoS включает библиометрический инструмент Journal Citation Reports (JCR), содержащий ряд показателей цитируемости, среди которых наиболее известным является импакт-фактор.
2.2. Методики формирования импакт-фактора
В настоящее время сложились различные методики формирования импакт-фактора.
Традиционной методикой является подсчёт двухлетнего импакт-фактора. Двухлетний импакт-фактор – это классический показатель, который рассчитывается самой авторитетной базой данных Web of Science и признаётся во всём мире как основа ранжирования журналов по отношению друг к другу. «Классический импакт-фактор, т. е. то, что понимают под ним по умолчанию, – отмечает В. В. Писляков, – это в строгом определении синхронный двухлетний импакт-фактор, без учёта текущего года… Именно он в наше время чаще всего фигурирует при сравнении уровня журналов» [Писляков В. В., 2007: 131].
Двухлетний период, используемый при определении импакт-фактора журнала, предназначается для того, чтобы сделать статистический показатель современным. Как отмечал Гарфилд, высокоцитируемые статьи, которые достигают наибольшего «влияния», как правило, цитируются в течение нескольких месяцев с момента публикации и, конечно, в течение года после выхода в свет. И два года достаточно, чтобы выявить так называемые «горячие публикации» (hot papers), оказавшие наибольшее влияние в той или иной сфере научного знания [Garfield, 2005: 8].
Соответственно, использование двухлетнего окна цитирования в подсчёте импакт-фактора обусловлено стремлением в процессе ранжирования научных журналов относительно друг друга выявить издания, публикующие высокоцитируемые с момента выхода в свет статьи, которые оказывают наибольшее влияние в своей области.
Эксперты подчёркивают, что «под термином “импакт-фактор”, если не сделано каких-либо уточнений, принято подразумевать именно двухлетний показатель» [Бедный Б. И., 2012: 20].
Альтернативными импакт-фактору WoS являются показатели, рассчитываемые базой данных Scopus, в которой используются другие показатели, являющиеся нормированными и учитывающие не только количество, но и качество ссылок на конкретные статьи – SJR и SNIP[17].
SJR – SCImago Journal Ranking – рейтинг журналов, разработанный университетом Гранады, учитывающий как общее количество цитирований, так и взвешенные показатели цитирований по годам и качественные показатели, такие как авторитетность ссылок.
В базе данных Scopus используется еще один показатель – SNIP. Он был разработан в Лейденском университете профессором Х. Ф. Моэдом. Поскольку данный показатель учитывает уровень цитирований в каждой научной области, он может быть использован для сравнения публикаций в разных научных направлениях. Основные особенности расчёта этого показателя заключаются в том, что учитываются ссылки, сделанные в текущем году, на статьи, вышедшие в течение трёх предыдущих лет.
Вместе с тем существует ряд «нетрадиционных» импакт-факторов, среди которых выделяется пятилетний. В WoS рассчитывают данный показатель в дополнение в двухлетнему, используя следующие обозначения: Impact factor – двухлетний импакт-фактор; 5-year impact factor – пятилетний импакт-фактор.
Пятилетний импакт-фактор – это средний показатель цитирования статей за определённый год, опубликованных в журнале в течение последних пяти лет. Этот показатель можно использовать для более качественного измерения импакт-фактора журналов в областях, где влияние опубликованных исследований необходимо учитывать на протяжении долгого периода времени[18](т. е. статьи цитируются не в первые два года, а спустя более длительный период времени; это прежде всего касается математических исследований).
По мнению экспертов, ранжирование по пятилетнему импакт-фактору снижает рейтинг журналов, получающих основное число ссылок на статьи менее чем трёхлетней давности, и повышает рейтинг журналов, на статьи в которых следует более медленная реакция научного сообщества [Бедный Б. И., 2012: 23].
Преимуществом пятилетнего импакт-фактора является сглаживание «выбросов» от отдельных статей с аномальной цитируемостью. Недостатком же пятилетнего импакт-фактора эксперты считают слишком большое запаздывание (не менее 6 лет) при отражении в рейтинге новых журналов, какое бы признание за это время они ни завоевали [Бедный Б. И., 2012: 23].
Для журналов экономической тематики, в которых основное цитирование приходится на статьи за 2–3 года, использование пятилетнего импакт-фактора, на наш взгляд, нецелесообразно.
2.3. Возможности применения значений импакт-фактора РИНЦ для ранжирования российских журналов по экономике
Импакт-фактор в РИНЦ рассчитывается на основе данных о цитировании журнала в этой базе данных за предыдущие два года (или пять лет). При этом данные берутся из публикаций того года, для которого рассчитывается импакт-фактор. При определении импакт-фактора число ссылок, сделанных в расчётном году во всех обрабатываемых в РИНЦ журналов на статьи, опубликованные в данном журнале за предыдущие два года (или пять лет), делится на общее число этих статей. То есть, по сути, полученный показатель отражает среднее число цитирований одной статьи данного журнала. Необходимым условием для расчёта двухлетнего импакт-фактора является наличие в РИНЦ всех выпусков журнала за три года (год расчёта импакт-фактора плюс два предыдущих года)[19].
Для журналов, зарегистрированных в РИНЦ, рассчитывается несколько значений импакт-фактора:
– двухлетний импакт-фактор РИНЦ, т. е. отношение числа цитирований в текущем году статей, опубликованных в журнале за предыдущие два года, к числу этих статей; учитывается, в частности, самоцитирование (ссылки в журнале на статьи этого же журнала);
– двухлетний импакт-фактор РИНЦ без самоцитирования, т. е. отношение числа ссылок в текущем году, сделанных в других журналах на статьи в данном журнале, опубликованные за предыдущие два года, к числу этих статей;
– пятилетний импакт-фактор РИНЦ, т. е. отношение числа цитирований в текущем году статей, опубликованных в журнале за предыдущие пять лет, к числу этих статей (учитывается самоцитирование);
– пятилетний импакт-фактор РИНЦ без самоцитирования, т. е. отношение числа ссылок в текущем году, сделанных в других журналах на статьи в данном журнале, опубликованные за предыдущие пять лет, к числу этих статей.
На основе значений импакт-фактора осуществляется ранжирование журналов.
Учитывая то, что импакт-фактор сильно варьируется в зависимости от выбора дисциплины [Amin – Mabe, 2000], т. к. традиции цитирования отличаются от дисциплины к дисциплине и использование ссылок имеет различную частоту и различные причины, можно прийти к заключению о некорректности сравнения научных журналов с помощью импакт-фактора.
Данное обстоятельство принято во внимание в современных системах цитирования. В частности, РИНЦ позволяет ранжировать журналы по многим признакам, в том числе и по импакт-фактору, выбирая сходные по тематике издания.
Чтобы проанализировать то, каким образом в РИНЦ осуществляется ранжирование российских экономических журналов по значению импакт-фактора, мы выбрали их рейтинг по тематике «Экономика. Экономические науки», обновлённый по состоянию на 2012 год. В общем списке здесь представлены 256 научных журналов.
Система позволяет провести ранжирование журналов по двухлетнему и пятилетнему импакт-фактору, с учётом и без учета самоцитирования.
Однако при этом возникает вопрос: какой показатель целесообразно использовать, чтобы получить наиболее объективную картину? Очевидно, что положение в рейтинге будет меняться при сопоставлении их по значениям двухлетнего и пятилетнего импакт-фактора. Так, рейтинговые позиции журналов, получающих основное число ссылок на статьи менее чем трёхлетней давности, снижаются при использовании пятилетнего импакт-фактора.
Следовательно, журналы, на статьи которых следует более медленная реакция научного сообщества, имеют лучшие показатели по пятилетнему импакт-фактору. Кроме того, на позиции в рейтинге по импакт-фактору может существенно влиять учёт самоцитирования в журнале.
Мы составили «топ-30» российских экономических журналов по значению импакт-фактора в РИНЦ в 2012 году. За основу выстраивания этого списка журналов приняли результаты ранжирования по двухлетнему импакт-фактору (ИФ2) на том основании, что данный показатель, как традиционный и базовый для ранжирования научных изданий, является общепринятым для оценки влиятельности журнала (табл. 5).
Таблица 5. Позиции журналов по импакт-фактору РИНЦ в рейтинге журналов по тематике «Экономика. Экономические науки» в 2012 году (данные НЭБ на 17.06.2014)
Для всех изданий, которые вошли в «топ-30» экономических журналов по двухлетнему импакт-фактору РИНЦ в 2012 году, в таблице приводятся значения пятилетнего импакт-фактора (ИФ5), а также указываются значения ИФ2 и ИФ5 без самоцитирования. Красным цветом выделены значения импакт-факторов, по которым журналы выходят за пределы «топ-30».
В списке представлены журналы по экономике, издаваемые в России на протяжении многих лет, и сравнительно новые.
Данные таблицы 5 наглядно свидетельствуют о том, что большинство журналов (22 наименования, выделенные зеленым цветом) вне зависимости от значения импакт-фактора, взятого за основу ранжирования, входят в рейтинг 30 первых журналов экономической тематики по импакт-фактору.
Ряд изданий занимают первые позиции по всем показателям импакт-фактора: например, ведущий экономический журнал «Вопросы экономики». Причём показатели его импакт-факторов в РИНЦ существенно выше, чем у остальных журналов, представленных в списке.
Вместе с тем позиции некоторых журналов, попавших по состоянию двухлетнего импакт-фактора в «топ-30» российских журналов по экономическим дисциплинам, по дополнительным значениям импакт-фактора, главным образом в рейтингах по ИФ2 и ИФ5 без учета самоцитирования, существенно снизились.
Здесь обращает на себя внимание тот факт, что в рейтинг журналов по двухлетнему импакт-фактору РИНЦ попал журнал, у которого ИФ2 без самоцитирования равен 0,00. Такое соотношение показателей свидетельствует о том, что все цитирования этого журнала сделаны им самим. В мировой практике высокие показатели самоцитирования квалифицируются как случаи недобросовестного цитирования и рассматриваются как недобросовестные тактики искусственного повышения импакт-фактора и других наукометрических показателей. Ведущие мировые индексы цитирования исключают из рейтингов журналы, которые злоупотребляют самоцитированием.
Результаты проведенного анализа показывают, что в РИНЦ накоплен определённый ресурс, который может быть использован и для ранжирования научных журналов по наукометрическим показателям, в частности по импакт-фактору. Но, как очевидно, для более объективного отражения уровня влиятельности журналов, оцениваемого на основе цитирования, рейтинговая база должна содержать более жесткий «входной фильтр», который обеспечивает «расписывание» журналов по формальным и содержательным признакам.
Одним из критериев отбора журналов в ведущих мировых базах данных Web of Science и Scopus является превышение импакт-фактором журнала-кандидата некоего минимального порогового значения. На наш взгляд, подобный норматив было бы полезно использовать и в РИНЦ, так же как и практику установления порогового значения показателя самоцитирования для журналов в каждой предметной области, что позволило бы не включать в рейтинги журналы с завышенным уровнем самоцитирования.
Говоря в целом о возможностях применения импакт-фактора к оцениванию научных изданий, мы считаем, что данный наукометрический показатель, являясь вполне вполне обоснованным, необходим для сопоставления журналов. Но при этом он должен использоваться с обязательным учётом других показателей, влияющих на цитируемость. И конечно, важной составляющей общей оценки должно быть мнение экспертов.
Заключение
Результаты исследования свидетельствуют о том, что сегодня для принятия эффективных управленческих решений в сфере науки необходимо создание системы объективной оценки результатов научной деятельности, позволяющей сконцентрировать государственные средства на перспективных направлениях исследований, результаты которых будут востребованы обществом и экономикой страны.
Частью такой системы видится Российский индекс научного цитирования. В совокупности с квалифицированной экспертной оценкой, позволяющей учитывать специфику научной деятельности, науко-метрические индикаторы, представленные в том числе и в РИНЦ, могут использоваться для оценки деятельности научных организаций и результатов их работы.
Очевидно, что развитие русскоязычного ресурса, каковым является РИНЦ, требует дополнительных организационных и экономических мер. В частности, это повышение профессионализма специалистов, участвующих в формировании РИНЦ, уровень накопления базы данных, регулярность анализа публикуемых результатов знаний, применение критериев отбора для материалов, включаемых в базу данных. Главным же стимулом развития собственной российской реферативно-библиографической базы, по нашему мнению, может стать принятие государственного решения об утверждении Российского индекса научного цитирования в качестве национальной базы данных.
При этом важно иметь в виду, что, если речь идет об оценке эффективности и результативности деятельности российских ученых и научных организаций, а также о ранжировании научных журналов на базе каких-либо наукометрических показателей, необходимо брать за основу данные национального индекса цитирования. Развитие отечественной реферативно-библиографической базы будет во многом способствовать сохранению суверенитета российской науки, позволит руководствоваться в выборе приоритетов научного развития прежде всего национальными интересами.
Несомненно, наполнение такой базы данных должно быть организовано путем отбора периодических изданий и отдельных публикаций по строгим критериям, которые обеспечили бы качество представленных в базе материалов, что сделало бы их оценку по наукометрическим показателям более объективной. Решение этих задач позволит в перспективе применять наукометрические индикаторы, используемые в РИНЦ, для полновесной оценки научного потенциала регионов и страны в целом.
В завершение следует подчеркнуть, что главной целью системы оценки результатов научной деятельности должно стать не столько реформирование научных организаций, сколько поиск путей содействия научных институтам, создание базы для принятия эффективных управленческих решений в сфере науки, чтобы повысить уровень национальных научных изданий, добиться существенных результатов по всем направлениям научных исследований.
Литература
Адлер, Р. Статистики цитирования / Р. Адлер, Дж. Эвинг, П. Тейлор // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 6–38.
Бедный, Б. И. О показателях научного цитирования и их применении / Б. И. Бедный, Ю. М. Сорокин // Высшее образование в России. – 2012. – № 3. – C. 17–28.
Бредихин, С. В. Анализ цитирования в библиометрии / С. В. Бредихин, А. Ю. Кузнецов, Н. Г. Щербакова. – Новосибирск: ИВМиМГ СО РАН, НЭИКОН, 2013.
Варшавский, А. Е. Методологические проблемы международного сравнительного анализа результатов научной деятельности / А. Е. Варшавский, В. А. Маркусова // Инновационная политика: Россия и Мир: 2002–2010 / под общ. ред. Н. И. Ивановой и В. В. Иванова; Российская академия наук. – М.: Наука, 2011. – С. 407–441.
Варшавский, А. Е. Об адекватной оценке результативности научной деятельности / А. Е. Варшавский, В. В. Иванов, В. А. Маркусова // Вестник Российской академии наук. – 2011. – Т. 81. – № 7. – С. 587–593.
Варшавский, А. Е. Проблемы науки и ее результативность / А. Е. Варшавский // Вопросы экономики. – 2011. – № 1. – С. 151–157.
Возовикова, Т. Аршином не измеришь. Ученые достойны фундаментальной оценки своего труда / Т. Возовикова // Поиск. – 2013. – № 44.
Гарфилд, Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? / Ю. Гарфилд // Вестник Акад. наук СССР. – 1982. – № 7. – С. 42–50.
Дьяченко, Е. Л. Интернационализация в науке: дисциплинарные различия / Е. Л. Дьяченко // Социологические исследования. – 2013. – № 8. – С. 101–110.
Жукова, И. А. Индекс научного цитирования – трансформация практик применения (от инструмента библиографического поиска к инструменту оценивания) / И. А. Жукова // Социология: методология, методы, математическое моделирование. – 2012. – № 34. – С. 54–80.
Задумкин, К. А. Методика сравнительной оценки научно-технического потенциала региона / К. А. Задумкин, И. А. Кондаков // Экономические и социальные перемены: факты, тенденции, прогноз. – 2010. – № 4. – С. 86–100.
Заиченко, С. А. Использование статистических методов и показателей в научной деятельности вуза / С. А. Заиченко // Вопросы статистики. – 2008. – № 1. – С. 31–42.
Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011.
Кабакова, Е. А. Использование наукометрических показателей при оценке научной деятельности / Е. А. Кабакова // Вопросы территориального развития. – 2014. – № 8 (18). – Режим доступа: -ran.ru/?module=Articles&action=view&aid=3817, -ran.ru/?module=Articles&action=view&aid=4203
Каблов, Е. Н. Право на рейтинг. Как оценить интеллектуальный ресурс России? / Е. Н. Каблов // Поиск. – 2013. – № 45–46. – С. 11.
Каленов, Н. Е. Некоторые оценки качества Российского индекса научного цитирования на примере журнала «Информационные ресурсы России» / Н. Е. Каленов, О. В. Селюцкая // Информационные ресурсы России. – 2010. – № 6. – С. 2–13.
Касимова, Р. Г. Наукометрические показатели как один из индикаторов качества научной продукции / Р. Г. Касимова // Науковедение. – 2002. – № 1. – С. 132–143.
Качак, В. В. Оценка научного потенциала вузов регионов России и эффективность его использования / В. В. Качак, А. М. Масленников, П. А. Ружинский. – М.: Изд-во МИФИ, 1998.
Квелидзе-Кузнецова, Н. Н. Библиометрические ресурсы как инструмент анализа и оценки научной деятельности / Н. Н. Квелидзе-Кузнецова, С. А. Морозова // Совершенствование подготовки и аттестации научных и научно-педагогических кадров высшей квалификации: сб. тр. / УМО вузов России по направлениям пед. образования; Науч. – метод. совет по подгот. кадров высш. квалификации; РГПУ. – СПб., 2009. – Вып. 2. – С. 182–207.
Кемпбелл, Ф. Бегство от импакт-фактора / Ф. Кемпбелл // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 46–52.
Кириллова, О. В. Редакционная подготовка научных журналов по международным стандартам: рекомендации эксперта БД Scopus / О. В. Кириллова. – М., 2013. – Ч. 1. – 90 с.
Лоуренс, П. А. Потерянное пи публикации: как измерение вредит науке / П. А. Лоуренс // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 39–45.
Маркусова, В. А. Библиометрические показатели российской науки и РАН (1997–2007) / В. А. Маркусова, В. В. Иванов, А. Е. Варшавский // Вестник РАН. – 2009. – Т. 79. – № 7. – С. 483–491.
Михайлов, О. В. Критерии и параметры объективной оценки качества научной деятельности / О. В. Михайлов // Вестник Российской академии наук. – 2011. – Т. 81. – № 7. – С. 622–625.
Москалева, О. Поверить индексом науку / О. Москалева // Газета. ru. – Режим доступа:
Об утверждении Стратегии инновационного развития Российской Федерации на период до 2020 года: распоряжение Правительства РФ от 08.12.2011 № 2227-р [Электронный ресурс]. – Режим доступа: ;base=LAW;n=123444
О мерах по реализации государственной политики в области образования и науки: Указ Президента Российской Федерации от 7 мая 2012 г. № 599 [Электронный ресурс] // Российская газета. – 2012. – 7 мая. – Режим доступа: -dok.html
Писляков, В. В. Методы оценки научного знания по показателям цитирования / В. В. Писляков // Социологический журнал. – 2007. – № 7. – С. 128–140.
Российский индекс научного цитирования // Научная электронная библиотека [Электронный ресурс]. – Режим доступа:
Тихонов, В. В. Историческая наука через призму Российского индекса научного цитирования (РИНЦ) [Электронный ресурс] / В. В. Тихонов. – Режим доступа:
Третьякова, О. В. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения / О. В. Третьякова, Е. А. Кабакова // Экономические и социальные перемены: факты, тенденции, прогноз. – 2013. – № 6 (30). – С. 189–200.
Третьякова, О. В. К вопросу об импакт-факторе научного журнала и методиках его формирования [Электронный ресурс] / О. В. Третьякова // Вопросы территориального развития. – 2014. – № 5 (15). – Режим доступа: -ran.ru/?module=Articles&action=view&aid=3817
Третьякова, О. В. Современные инструменты оценки научного потенциала территории: наукометрический подход / О. В. Третьякова // Проблемы развития территории. – 2014. – № 4. – С. 7–16.
Третьякова, О. В. Экономический журнал: проблемы и перспективы продвижения на национальном и международном уровне / О. В. Третьякова // Экономические и социальные перемены: факты, тенденции, прогноз. – 2014. – № 3 (33). – С. 209–222. DOI: 10.15838/esc/2014.3.33.16
Amin, M. Impact factor: use and abuse / M. Amin, M. Mabe // Perspectives in Publishing. – 2000. – № 1. – Р. 1–6.
China Scientific and Technical Papers and Citations (CSTPC): History, impact and outlook / Y. Wu, Y. Pan, Y. Zhang, Z. Ma, J. Pang, H. Guo, B. Xu, Z. Yang // Scientometrics. – 2004. – Vol. 60. – Iss. 3. – P. 385–397.
Garfield, E. Citation analysis as a tool in journal evaluation / Е. Garfield // Science. – 1972. – Vol. 178. – No. 4060. – P. 471–479.
Garfield, E. Citation indexes to science: a new dimension in documentation through association of ideas / Е. Garfield // Science. – 1955. – Vol. 122. – No. 3159. – P. 108–111.
Garfield, E. New Factors in the Evaluation of Scientific Literature Through Citation Indexing / E. Garfield, I. H. Sher // American Documentation. – 1963. – Vol. 14. – No. 3. – P. 195–201.
Garfield, E. The Agony and the Ecstasy – the History and the Meaning of the Journal Impact Factor. Report at the Fifth International Congress on Peer Review in Biomedical Publication [Electronic resource] / E. Garfield. – Chicago, 2005. – Available at:
Glänzel, W. On the opportunities and limitations of the H-index // Science Focus. – 2006. – Vol. 67. – No. 1. – P. 10–11.
Jin B. Chinese Science Citation Database: its construction and application / B. Jin, B. Wang // Scientometrics. – 1999. – Vol. 45. – Iss. 2. – P. 325–332.
Journal Citation Report. Краткое справочное руководство. – Thomson Reuters, 2010.
Hirsch, J.E. An index to quantify an individual’s scientific research output // Proceedings of The National Academy of Sciences. – 2005. – Vol. 102. – No. 46. – P. 16569–16572.
Lehnmann, S. Measures and mismeasures of scientific quality [Electronic resource] / S. Lehnmann, A.D. Jackson, B.E. Lautrup. – Available at: .
Liansheng M. Document database construction in China in the 1990s: A review of developments // The Electronic Library. – 2000. – Vol. 18. – No. 3. – P. 210–215.
Negishi M. Citation Database for Japanese Papers: A new bibliometric tool for Japanese academic Society / M. Negishi, Y. Sun, K. Shigi // Scientometrics. – 2004. – Vol. 60. – Iss. 3. – P. 333–351.
Rousseau, R.L. Journal Evaluation: Technical and Practical Issues / R.L. Rousseau // Library Trends. – 2002. – Vol. 50. – No. 3. – P. 418–439.
Rousseau, R.L. Temporal differences in self-citation rates of scientific journals / R.L. Rousseau // Scientometrics. – 1999. – Vol. 44. – No. 3. – P. 521–531.
Sidiropuolos, A. Generalized Hirsch h-index for disclosing latent facts in citation networks / A. Sidiropuolos, D. Katsaros, Y. Manolopoulos // Scientometrics. – 2007. – Vol. 72. – No. 2. – P. 253–280.
The Thomson Reuters Impact Factor [Electronic resource]. – Available at: -factor/
Примечания
1
Об утверждении Стратегии инновационного развития Российской Федерации на период до 2020 года: распоряжение Правительства РФ от 08.12.2011 № 2227-р [Электронный ресурс]. – Режим доступа: ;base=LAW;n=123444
(обратно)2
О мерах по реализации государственной политики в области образования и науки: Указ Президента Российской Федерации от 7 мая 2012 года № 599 [Электронный ресурс] // Российская газета. – 2012. – 7 мая. – Режим доступа: -dok.html
(обратно)3
См., например: Кемпбелл Ф. Бегство от импакт-фактора // Игра «в цыфирь», или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 46–52; Amin M., Mabe M. Impact factor: use and abuse // Perspectives in Publishing. – 2000. – № 1. – Р. 1–6; Лоуренс П. А. Потерянное при публикации: как измерение вредит науке // Игра «в цыфирь», или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 39–45.
(обратно)4
Игра «в цыфирь», или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 63–64.
(обратно)5
См., например: China Scientific and Technical Papers and Citations (CSTPC): History, impact and outlook / Wu Y., Pan Y., Zhang Y., Ma Z., Pang J., Guo H., Xu B., Yang Z. // Scientometrics. – 2004. – Vol. 60. – Iss. 3. – P. 385–397; Liansheng M. Document database construction in China in the 1990s: A review of developments // The Electronic Library. – 2000. – Vol. 18. – No. 3. – P. 210–215.
(обратно)6
См., например: Jin B., Wang B. Chinese Science Citation Database: its construction and application // Scientometrics. – 1999. – Vol. 45. – Iss. 2. – P. 325–332.
(обратно)7
См., например: Negishi M., Sun Y., Shigi K. Citation Database for Japanese Papers: A new bibliometric tool for Japanese academic Society // Scientometrics. – 2004. – Vol. 60. – Iss. 3. – P. 333–351.
(обратно)8
Российский индекс научного цитирования // Научная электронная библиотека. – Режим доступа:
(обратно)9
Выступление В.В. Путина на пленарном заседании Форума Общероссийского народного фронта «Качественное образование во имя страны», Пенза, 5 октября 2014 года. – Режим доступа: .
(обратно)10
Там же.
(обратно)11
Hirsch J.E. An index to quantify an individual’s scientific research output // Proc. OftheNationalAcad. Sci. USA. – 2005. – V. 102. – No.46. – P.16569–16572.
(обратно)12
См., например: Качак В. В., Масленников А. М., Ружинский П. А. Оценка научного потенциала вузов регионов России и эффективность его использования. – М.: Изд-во МИФИ, 1998; Задумкин К. А., Кондаков И. А. Методика сравнительной оценки научно-технического потенциала региона // Экономические и социальные перемены: факты, тенденции, прогноз. – 2010. – № 4. – С. 86–100.
(обратно)13
См., например: Кемпбелл Ф. Бегство от импакт-фактора // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 46–52; Amin M., Mabe M. Impact factor: use and abuse // Perspectives in Publishing. – 2000. – № 1. – Р. 1–6; Лоуренс П. А. Потерянное при публикации: как измерение вредит науке // Игра в “цыфирь”, или Как теперь оценивают труд ученого: сборник статей о библиометрике. – М.: МЦНМО, 2011. – С. 39–45.
(обратно)14
SocialSciencesCitationIndex [Электронный ресурс]. – Режим доступа: -sciences-citation-index/
(обратно)15
ScienceCitationIndexExpanded [Электронный ресурс]. – Режим доступа: -citation-index-expanded/
(обратно)16
Arts&HumanitiesCitationIndex [Электронный ресурс]. – Режим доступа: -humanities-citation-index/
(обратно)17
Москалева О. Поверить индексом науку // Газета. ru. – Режим доступа:
(обратно)18
Journal citation report: краткое справочное руководство. – Thomson Reuters, 2010.
(обратно)19
Методика расчета интегрального показателя научного журнала в рейтинге SCIENCE INDEX. – Режим доступа:
(обратно)
Комментарии к книге «Индексы научного цитирования. Возможности и перспективы в оценке результатов научной деятельности», Ольга Валентиновна Третьякова
Всего 0 комментариев