автореферат диссертации по документальной информации, 05.25.05, диссертация на тему:Методы оценки журналов в области естественных и технических наук для комплектования многоотраслевого информационного центра

4857420

На правах рукописи

Федорец Олег Владимирович

Методы оценки журналов в области естественных и технических наук для комплектования многоотраслевого информационного центра

Специальность 05.25.05 - Информационные системы и процессы

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 3 ОКТ 2011

Москва-2011

4857420

Работа выполнена во Всероссийском институте научной и технической информации РАН (ВИНИТИ РАН)

доктор технических наук, профессор Цветкова Валентина Алексеевна

доктор технических наук, профессор Залаев Геннадий Захарович

кандидат технических наук Глухов Виктор Алексеевич

Государственная публичная научно-техническая библиотека (ГПНТБ) России

Защита состоится 02 ноября 2011 г., в 11 часов на заседании диссертационного совета Д 002.026.01 при Всероссийском институте научной и технической информации РАН по адресу: 125190, Москва, ул. Усиевича, д. 20.

С диссертацией можно ознакомиться в библиотеке ВИНИТИ РАН

Автореферат разослан 30 сентября 2011 г.

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

Учёный секретарь диссертационного совета доктор технических наук, профессор

В. А. Цветкова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Перевод печатных изданий в электронную форму не уменьшил роль научных периодических изданий (журналов) как важнейшего информационного ресурса науки и производства. В связи с увеличением объёма доступной исследователям информации, значимость редакционных коллегий и рецензентов возросла. Сегодня они являются фильтром, отделяющим научные публикации в журналах от обилия рекламной, популярной и не всегда достоверной информации в Интернет.

Регулярное оценивание и отбор журналов - важные функции комплектования информационного центра (ИЦ), так как журналы являются ценными источниками информационного обеспечения пользователей.

Хотя некоторые показатели оценивания научного журнала являются общепризнанными (соответствие тематическому профилю ИЦ, экспертные оценки, читательский спрос, показатели цитирования, обработка реферативными службами), каждый ИЦ разрабатывает собственную методику оценивания и отбора журналов, ориентируясь на свои информационные продукты и круг пользователей. При этом возникают следующие проблемы:

1) процедуры сбора и объединения данных о тысячах журналов из разнородных источников весьма трудоёмкие, поэтому необходимо ограничиться набором наиболее важных элементов данных и обеспечить их полноту и точность;

2) эмпирический и часто субъективный подход к определению множества критериев и их приоритета порождает вполне оправданную неуверенность в применяемой методике оценивания и полученных результатах;

3) отсутствие адекватных инструментов верификации методик не позволяет определить их эффективность и пути дальнейшего совершенствования.

Таким образом, актуальность темы определяется необходимостью разработки методов многокритериального оценивания и отбора научных журналов на основе данных, накопленных в базах данных многоотраслевого ИЦ.

Объектом исследования является комплектование, определённое в

ГОСТ 7.76-96 как "совокупность процессов выявления, отбора, заказа, приобретения, получения и регистрации документов, соответствующих задачам библиотеки, информационного центра".

Предмет исследования - процессы оценивания и отбора важнейших научных журналов в автоматизированной системе комплектования многоотраслевого ИЦ в области естественных и технических наук.

Цель работы — разработка методов многокритериального оценивания научных журналов и программных средств поддержки процесса оценивания.

Задачи работы:

1) разработка подхода к классификации критериев и определение принципов оценивания журналов;

2) разработка математической модели отбора критериев оценивания и определения их приоритета на массивах данных, характеризующихся большой размерностью, неполной информацией по критериям (наличием пустых значений) и различными типами критериев (булевыми и количественными);

3) разработка методики вычисления рейтингов журналов на основе критериев, представленных в виде иерархий и обладающих различным приоритетом;

4) разработка алгоритма агрегирования качественных экспертных оценок и построения экспертного рейтинга научных журналов;

5) применение разработанных методов в процессах комплектования крупного многоотраслевого ИЦ и выработка рекомендаций по их дальнейшему использованию.

Методологическая основа

В области оценивания научной литературы методологической основой работы послужили публикации отечественных и зарубежных специалистов крупных информационных центров и библиотек (ВИНИТИ РАН, БЕН РАН, Thomson Reuters и др.). Источниками сведений о методологии исследования документальных информационных потоков послужили монографии В. И. Горьковой, Дж. Солтона, А. И. Яблонского, А. И. Михайлова, А. И. Черного, Р. С. Гиляревского. В области теории принятия решений автор опирался на учебные

пособия Б. Г. Литвака, А. И. Орлова, А. В. Андрейчикова и О. Н. Андрейчиковой, а также монографии Т. Саати, Р. Л. Кини и X. Райфа.

Методы исследования

В работе используются методы теории множеств, теории вероятностей, математической статистики, теории принятия решений.

Достоверность полученных результатов определяется следующими факторами:

1) обобщением опыта крупных информационных центров и библиотек;

2) использованием больших статистических выборок и широко известных статистических методов;

3) использованием методов теории принятия решений, применяемых в других сферах деятельности.

Научная новизна

1. Разработана классификация критериев по функционально-аспектному принципу, впервые учитывающая необходимость разделения критериев выявления и оценивания, а также критериев качества и критериев спроса.

2. Разработан статистический метод отбора и взвешивания критериев, впервые учитывающий неполноту данных по критериям и совместное использование различные типов критериев (булевых и количественных), т.е. обладающий значительной универсальностью.

3. Впервые сформулировано понятие неполной политематической экспертизы и разработан алгоритм агрегирования неполного и политематического множества экспертных оценок.

4. Применён один из методов теории принятия решений (метод анализа иерархий, разработанный Т. Саати), ранее не использовавшийся для оценивания научных журналов и позволяющий вычислять рейтинги журналов на основе иерархического представления критериев.

Теоретическая и практическая значимость результатов исследования

1. Разработанные принципы оценивания научных журналов и методика классификации критериев формируют системный подход к проблеме

многокритериального оценивания журналов.

2. Разработанный метод отбора и взвешивания критериев может использоваться для разработки систем рейтингового оценивания в любой предметной области, где имеются репрезентативные статистические выборки, но регулярное получение экспертных оценок объектов затруднительно или требуется сократить число объектов, направляемых на экспертизу.

3. Разработанный алгоритм агрегирования экспертных оценок научных журналов предназначен для применения в условиях неполной политематической экспертизы, что позволяет использовать его для других политематических информационных ресурсов.

Реализация и внедрение результатов

Полученные результаты внедрены и используются для решения различных задач комплектования: отбор наиболее значимых формальных критериев и определение их приоритета, мониторинг отражения журналов в реферативных БД, ввод и агрегирование экспертных оценок, вычисление интегральных числовых показателей (рейтингов), подготовка различных перечней журналов.

Разработано и внедрено программное обеспечение (ПО), интегрированное в Автоматизированную систему комплектования и регистрации (АСКР) ВИНИТИ РАН. ПО разработано в двухзвенной архитектуре клиент-сервер: сервер БД под управлением Microsoft SQL Server, серверная логика реализована на языке Transact-SQL, клиентская логика - на языке программирования Delphi.

Использование результатов работы в ВИНИТИ РАН подтверждается актом о внедрении.

Апробация работы

Материалы диссертации докладывались на трёх конференциях:

11-я Международная конференции "Крым-2004: Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса" (Украина, г. Судак, 5-13 июня 2004)

7-я Международная конференция «НТИ-2007. Информационное общество, интеллектуальная обработка информации, информационные технологии» (Россия, г. Москва, 24-26 октября 2007).

12-я Международная конференция «1ЛВСОМ-2008. Информационные технологии, компьютерные системы и издательская продукция для библиотек» (Россия, Московская область, Одинцовский район, п. Ершово, 17-21 ноября 2008) Публикации

Основные результаты изложены в 9 публикациях: 3 доклада на конференциях, 2 депонированные рукописи, 4 статьи в журналах из перечня ВАК.

Положения, выносимые на защиту

1. Принципы рейтингового оценивания журналов в области естественных и технических наук, формирующие системный подход к построению рейтингов журналов для комплектования ИЦ.

2. Статистический метод отбора и взвешивания критериев в условиях неполноты данных по критериям и различных типов критериев, основанный на сравнении с эталонным показателем.

3. Методика построения рейтингов научных журналов на основе иерархий критериев;

4. Методика агрегирования результатов экспертной классификации научных журналов по упорядоченным классам и алгоритм построения экспертного рейтинга журналов.

Структура и объём диссертации

Диссертация включает в себя введение, перечень сокращений, четыре главы, заключение, список литературы и восемь приложений.

Работа изложена на 169 печатных страницах без учёта рисунков и таблиц, дополнительно 14 страниц занимает список литературы и 20 страниц приложения. Текст иллюстрирован 19 рисунками и 35 таблицами. Общий объём диссертации - 232 страницы. Список литературы состоит из 110 наименований. СОДЕРЖАНИЕ ДИССЕРТАЦИИ Структура и содержание введения диссертации соответствует первому разделу автореферата, а также включает в себя краткую характеристику глав диссертации и список публикаций автора.

В первой главе (Обзор проблемы) представлено современное состояние

теории и практики оценивания и отбора научных журналов в крупных информационно-библиотечных организациях. Излагаются различные подходы к классификации критериев оценивания журналов, роль и ограничения импакт-фактора (ИФ) журнала. Представлены различные трактовки термина "рейтинг" в научной литературе и выбрано определение рейтинга как комплексной оценки объекта, описаны некоторые методы обработки количественных критериев и агрегирования качественных экспертных оценок.

Применительно к задаче вычисления рейтинга рассматривается метод анализа иерархий Томаса Саати, позволяющий строить иерархию критериев в виде графа, согласно которому осуществляется иерархический синтез приоритетов -последовательное выполнение линейных свёрток (взвешенных сумм) критериев для вычисления рейтинга. Кратко характеризуются условия применения аддитивной функции ценности: независимость критериев по предпочтению и условие соответственных замещений.

В обзоре представлены отечественные и зарубежные публикации, а также описание практики оценивания журналов в следующих организациях: Institute of Scientific Information, Thomson Reuters (США); National Institute of Informatics (Япония); Institute of Scientific and Technical Information of China (Китай); Библиотека по естественным наукам (БЕН) РАН; Всероссийский институт научной и технической информации (ВИНИТИ) РАН; Высшая аттестационная комиссия (ВАК) Минобрнауки. Показано широко применение комплексных подходов к оцениванию журналов с учётом критериев, которые можно разделить на следующие группы: формальные критерии, цитирование, продуктивность, экспертные оценки, читательский спрос.

В результате обзора сделаны следующие выводы об оценивании журналов:

1)для снижения влияния случайных факторов и повышения стабильности ранжирования журналов необходимо использовать множество критериев;

2) методы теории принятия решений и опыт составления рейтингов в других сферах деятельности практически не используются;

3) статистические методы применяются в основном для анализа критериев цитирования, продуктивности и читательского спроса, но не для формальных

критериев;

4) импакт-фактор (ИФ) правомерно использовать для вычисления эталонного критерия, так как ИФ является наиболее объективным и общепризнанным показателем;

5) множество критериев необходимо классифицировать и разбить на подмножества, исходя из задач комплектования ИЦ, при этом значимость и вес критериев должны определяться в пределах подмножеств;

6) описания многокритериальных методов оценивания журналов встречаются в публикациях, однако выбор критериев и назначение им весовых коэффициентов носит субъективный характер;

7) отсутствуют методики агрегирования экспертных оценок журналов: обычно качественные оценки просто суммируются.

Во второй главе (Разработка принципов оценивания) разработан функционально-аспектный подход к классификации критериев, предложен новый критерий цитирования (тематически взвешенный импакт-фактор), рассмотрена роль статистики отражения в реферативных БД, введено понятие "рейтинга качества" и "рейтинга спроса", определены ограничения автоматизированного оценивания и сформулированы принципы оценивания периодических изданий.

Функционально-аспектная классификация критериев представлена на рис. 1, где на 1-м уровне расположены функции комплектования, на 2-м - аспекты оценивания журналов, на 3-м - группы критериев в зависимости от порождающих их субъектов (издателей, читателей, авторов статей, экспертов, поставщиков, реферативных служб, служб доставки копий и т.п.). Исходя из разработанной иерархии критериев, предложен подход, при котором по отдельности определяются рейтинг качества (РК) и рейтинг спроса (РС) журнала. Затем на основании РК и РС вычисляется общий рейтинг (ОР) журнала.

Рис. 1. Функционалъно-аспектная иерархия критериев

Информация о предложении (т.е. о ценах у различных поставщиков) может использоваться в модели оптимизации выбора журналов в качестве одного из ограничений. Задача оптимизации — «максимизировать суммарный рейтинг журналов при заданных ограничениях на финансовый бюджет и пропускную способность информационного центра». Эта задача сводится к решению задачи о наполнении многомерного ранца, т.е. одной из задач дискретной оптимизации.

Импакт-фактор (ИФ) как важный и общепризнанный измеритель используется в работе для вычисления эталонного критерия, в сравнении с которым определяется важность других критериев.

Главное ограничение ИФ: допустимо сравнивать по нему журналы только в пределах чётко ограниченных научных областей. Для преодоления этого ограничения разработан индикатор цитирования, названный «тематически взвешенным импакт-фактором» (ТВИФ).

Рассмотрим методику вычисления ТВИФ.

Соотнесём ИФ журнала (/,) со средним ИФ научной дисциплины (А1Г,) и назовём новую величину «относительным импакт-фактором» журнала ] в научной дисциплине г, или «относительным тематическим импакт-фактором»:

/ -V

1>1 - /АЩ

В общем случае журнал) издаёт статьи по 5 научным дисциплинам, поэтому вычислим «тематически взвешенный импакг-фактор» (ТВИФ) 7/ следующим образом:

где 5 - кол-во тематик журналам>у - относительная частота статей г'-й тематики в7'-м журнале, величина/у вычисляется по формуле (1).

В нашем частном случае неизвестны относительные частоты статей журнала по научным дисциплинам, поэтому примем их равными 1/л. Соответственно ТВИФ становится приближённым:

Несмотря на сильную корреляцию журнальных списков, ранжированных по убыванию ИФ и ТВИФ (коэффициент ранговой корреляции Спирмена = 0,819), ранжирование по ТВИФ демонстрирует значительно более широкий тематический охват в верхних фрагментах списка, что демонстрируется в диссертации графически по данным указателя цитирования Journal Citation Reports (JCR).

Преимущества ТВИФ по сравнению со стандартным ИФ:

1)ТВИФ учитывает значительное варьирование среднего ИФ по научным областям, следовательно, позволяет ранжировать политематическое множество журналов;

2) ТВИФ обеспечивает более разнообразную тематику журналов в верхних фрагментах ранжированного списка;

3) применение ТВИФ в качестве эталонного критерия для статистического взвешивания других критериев даёт более достоверные результаты, так как объём политематической выборки журналов во много раз больше.

Важным показателем использования сериального издания (СИ) реферативной

(2)

(3)

где 5 - кол-во тематик журнала у, величина ^ вычисляется по формуле (1).

службой является статистика отражения в реферативных журналах (РЖ), которая используется для следующих задач: изучение внутреннего спроса на СИ, уточнение тематической продуктивности, контроль сроков обработки.

Для предоставления экспертам более полной картины использования отражения статей СИ в РЖ разработаны вычисляемые статистические показатели, так как одни абсолютные частоты отражения статей недостаточно наглядны.

Рассмотрим разработанные показатели (4 шт.), вычисляемые для определённого периода времени (1-3 календарных года).

1. Регулярность отражения /-го СИ в г-м РЖ: Щ = (Су/5,),

где Су - кол-во отражённых выпусков у'-го СИ в /-м РЖ, - кол-во зарегистрированных выпускову'-го СИ (характеризует стабильность тематической близости /'-го РЖ и7-го сериального издания), 0 < Яу £ 1.

2. Потенциальная продуктивность отражения /-го СИ в /-м РЖ:

где Ду - кол-во рефератов статей у-го СИ в /-м РЖ, в] - регулярность получения у-го СИ, равная отношению количества зарегистрированных выпусков к количеству ожидавшихся выпусков, Щ — регулярность отражения у-го СИ в г-м РЖ. Показатель Ау позволяет сравнивать тематическую продуктивность регулярно и нерегулярно поступавших изданий.

3. Доля /-го СИ в г-м РЖ: = фу / К,) х 100%,

где Бу- кол-во рефератов статей у-го СИ в г-м РЖ, К, - общее кол-во рефератов статей в г-м РЖ. Список, ранжированный по убыванию Qy, позволяет выделить множество изданий, вносящих заданную долю статей в наполнение г'-го РЖ, в т.ч. выявить «ядерные» сериальные издания по тематике /-го РЖ.

4. Доля /-го РЖ в /-м СИ: Р0 = ф9 / Ц) х 100%,

где Д, - кол-во рефератов статей _/-го СИ в /-м РЖ, Ьг общее кол-во рефератов статейу'-го СИ во всех РЖ. Список наименований РЖ с величинами Ру для заданного значения у демонстрирует тематическое рассеяние статей у'-го СИ.

На основании материалов первой и второй главы диссертации сформулированы следующие принципы оценивания научных журналов:

1. Разделение процессов выявления научных журналов в мировом потоке

литературы их оценивания, и, соответственно, разделение критериев выявления (наличие списка литературы в статьях, рецензирование статей перед публикацией) и критериев оценивания научного журнала.

2. Предварительное оценивание по формальным критериям, которое широко применяется многими информационными центрами как средство, позволяющее сократить растущий поток научных журналов, направляемых на экспертизу.

3. Результат экспертизы является решающей оценкой при отборе новых журналов, по которым ещё не накоплена статистика цитирования и спроса.

4. Использование статистики отражения в РЖ для уточнения тематической продуктивности журнала.

5. Применение импакт-факгора (ИФ) как важного критерия качества журнала внутри тематических массивов, но не как единственного критерия.

6. Применение ИФ для вычисления эталонного критерия (тематически взвешенного ИФ), позволяющего статистически взвешивать другие критерии на политематической выборке журналов.

7. Необходимость классифицировать критерии и частные рейтинги, представив их в виде иерархии, состоящей обычно из трёх уровней: рейтинг (цель), частные рейтинги (подцели) и критерии.

8. Раздельное оценивание качества журнала и спроса на него, что означает вычисление по отдельности рейтинга качества и рейтинга спроса журнала по различным иерархиям критериев.

9. Рейтинг качества и рейтинг спроса являются частными рейтингами для вычисления общего (сводного) рейтинга и одновременно векторной оценкой журнала, имеющей самостоятельное значение.

В третьей главе (Построение формальных рейтингов) представлен метод, позволяющий проверять статистические гипотезы о значимости формальных критериев и определять их веса для вычисления рейтинга качества научного журнала. Описана методика получения рейтингов качества, спроса и общего рейтинга журналов.

Идея статистического взвешивания критерия состоит в том, чтобы сравнить список журналов, ранжированный по исследуемому критерию, со списком,

ранжированным по эталонному критерию.

Проблема в том, что большинство критериев оценивания журналов имеют булев тип. Поэтому разработан метод, обеспечивающий сравнимость булевых и количественных критериев, а также их совместное использование при вычислении рейтинга журнала.

Для проведения статистического эксперимента из 17-ти критериев, используемых в ВИНИТИ РАН, выбраны те, по которым имелась репрезентативная выборка журналов. В результате использовалась выборка объёмом 4326 журналов, имеющих ИФ и значения следующих шести критериев: язык текста английский (0 или 1), адрес издания в Интернет (0 или 1), доступ через Интернет к полному тексту (0 или 1), кол-во реферативных служб (>0), кол-во служб электронной доставки (>0), копии оглавлений отправляются академикам (О или 1).

Последний из перечисленных критериев является экспертным критерием, значимость которого не вызывала сомнений, поэтому он использовался для верификации разработанного метода статистического взвешивания.

Выборки и операции над ними определены с помощью аппарата теории множеств.

Вначале определим множества Д Ей К:

J - множество индексов. Индекс - целое положительное число, идентифицирующее объект (в нашем случае объект — научный журнал).

Е - множество допустимых значений эталонного критерия. Допустимым значением считается неотрицательное рациональное число. Для научных журналов в качестве эталонного критерия выбран приближённый ТВИФ, вычисляемый согласно (3).

К- множество допустимых значений исследуемого частного критерия, К = Е.

Определим тернарные отношение Я, где Кс(3*Е*К) и * (¡,х,у) => (у * г) -

Определим тернарные отношения Яо и /?ь которое назовём соответственно «нулевой» и «единичной» выборкой.

_ ¡{0\е,к) | у,е,к) еЯ&к = 0}, если К = {0,1}, " \Ю,е,к) \ Ш,к) еЯ&к< если К = {к\к > 0},

где КК - случайная величина, принимающая значение критерия к в кортежах (;,еД) е Л, %0Ъ(КК) - квантиль порядка 0,5 случайной величины (т.е. медиана).

ГЮ,е,к) 10.е,к) еЯ&к = 1},еслиК = {0,1}, 1 " \{и,е,к)\и,е,к) еЯ&к> ^5(^)},еслиК = {к\к £ 0}.

Введём дополнительно случайные величины Е0 и Е}. Пусть Е0 - случайная

величина, принимающая значения критерия е в кортежах е Я0, т.е. в

нулевой выборке. Пусть Е\ - случайная величина, принимающая значения

критерия с в кортежах (;',е,А:)е Я,, т.е. в единичной выборке. Тогда Ей и Е~

выборочные средние случайных величин £о и Е\ соответственно.

Величина Е" равна отношению выборочного среднего эталонного критерия в единичной выборке к аналогичной величине в нулевой выборке:

Е'=Ъ- №

Е0

Чем слабее. связь исследуемого критерия с эталонным критерием, тем ближе значение Е* к единице.

Зададим тернарные отношения 50 и 51 следующим образом: = Ю,е,к) | и,е,к) еЯ&е< ^(Ея)}, = {{],е,к) | и,е,к) еЯ&е> ^(ЕК)}, где Ек - случайная величина, принимающая значение критерия е в кортежах

и,е,к) еЯ.

Для булевого частного критерия «успехом» назовём событие А=1. Для количественного частного критерия «успехом» назовём событие: к > ■

Тогда кол-во успехов в выборке 80 («эталонный критерий < медианы») равно мощности множества |50 П Я,], а кол-во успехов в выборке («эталонный

критерий > медианы») равно мощности множества ^ П

Величина Я* показывает отношение количества успехов в выборке ^ к количеству успехов в выборке 5о:

(5)

Чем слабее связь исследуемого критерия с эталонным критерием, тем ближе значение 5* к единице.

Таким образом, в (4) и (5) получены величины Е* и 5* - темпы роста.

Напомним, что темп роста - это отношение данного уровня показателя к исходному или базисному. В качестве базисного уровня здесь используется значение показателя в нулевой выборке.

Темп прироста (ТП) - отношение прироста величины показателя к его исходному уровню. ТП измеряется в относительных величинах или процентах. Если обозначить как Тр темп роста, а Тп - темп прироста, то Гп = Тр - 1.

В данной модели возрастание значения эталонного критерия означает возрастание предпочтительности объекта или повышение его качества. Выдвигается гипотеза, что более предпочтительному (или качественному) объекту соответствует большее значение частного критерия. Используются два статистических теста для проверки двух статистических гипотез. Если оба теста подтверждают значимость различия между выборками журналов, сформированными с применением частного критерия, то этот частный критерий считается статистически значимым для оценивания журналов.

Тест 1. Сравнение двух вероятностей биномиальных распределений.

На:ро=Р1, Нх:р0<ри

где в качестве оценок неизвестных вероятностей р0 и р\ используются относительные частотыр0' = П и р* = 15, П -Й!!:!^!.

Тест 2. Критерий Уилкоксона-Манна-Уитни.

Я0: Р(Е0 < £,) = %, Н1:Р(Е0<Е1)>х/2.

В диссертации приведена таблица исходных данных, используемая для проверки статистических гипотез и вычисления весовых коэффициентов. В

приложениях - таблицы с результатами проверки гипотез при уровне значимости 0,001 для первого теста и 0,002 для второго. Во всех тестах для всех шести критериев отвергнуты нулевые гипотезы и приняты альтернативные. Таким образом, все исследованные критерии признаны статистически значимыми.

Следующий этап - вычисление веса критериев. Для получения более устойчивого к случайным факторам веса используются оба темпа роста (Е* и S*). В качестве ненормализованного весового коэффициента w* взят средний темп прироста

w=JY¥-\, (6)

где Е* и S* соответствуют (4) и (5). Далее коэффициенты нормализуются чтобы их сумма равнялась единице.

В работе показано, что использование темпов прироста как весовых коэффициентов в линейной свёртке критериев не нарушает условия соответственных замещений: в случае уменьшения критерия ха на z единиц можно компенсировать значение функции ценности увеличением критерия хь на z-wjwb единиц, где wa и wb - веса критериев ха и хь соответственно.

Также обосновано применение статистического метода нормирования количественных критериев, при котором значение критерия делится на величину, равную сумме выборочного среднего и среднего квадратического отклонения критерия в выборке. Если выборка репрезентативная, то нормированное значение практически не зависит от полноты данных по критерию, при этом большинство нормированных значений оказывается в отрезке [0,1].

Далее построены две иерархии критериев для вычисления рейтинга качества (РК) и рейтинга спроса (PC) соответственно на основании сформулированного ранее принципа раздельного оценивания качества журнала и спроса на него.

На рис. 2 показана иерархия критериев, которая задаёт последовательность линейных свёрток для вычисления рейтинга качества. Веса критериев проставлены на дугах. Количественные критерии нормируются статистическим методом, описанным выше, значения булевых критериев не нормируются, пустые (NULL) значения заменяются нулём. В тех случаях, когда не было оснований (экспертных или статистических данных) для присвоения различного веса

подцелям или критериям, им присваивался равный вес.

ЛтСЮщ Оаеи» иитиройэнип

/ кВ ~ ИКТвр+ЮГ-доетуп» полному Чтжсте,

*11 Адреса Интернет

Отправка

Рис. 2. Иерархия оценки качества научного журнала

Согласно рис. 2, РК вычисляется следующим образом:

АтЕхреН = А40,333 + А50,333 + 0,333;

АтРогта1 - ¿--0,315 + М,281 + ^-0,180 + Аю-0,145 + Л„-0,080;

АтСШгщ = &12Т,000;

РК = Уа!()иаШу = АтЕхреМ-0,333 + АтРогта1-0,Ш + АтСШп£0,Ш.

В отличие от критериев качества журнала, критерии спроса - это переменные целого типа, показывающие частоту использования журнальных статей по различным каналам информационного обслуживания.

В данной работе используется статистика только по одному каналу информационного обслуживания - отражению статей в РЖ, поэтому иерархия имеет вырожденный вид. При этом все РЖ считаются одинаково важными, поэтому имеют вес 1 /К, где К - количество РЖ. Таким образом, РС j-гo издания вычисляется с помощью одной линейной свёртки:

* 1 ^

х100, (7)

где К- количество РЖ, г =1 ,К, щ- относительная частота отражения статей у'-го издания в /-м РЖ, 0 < со,. < 1, 0 < Я <100- Умножение на 100 используется для изменения масштаба РС, иначе его значения получаются слишком малыми и

неудобными для восприятия.

Пара частных рейтингов (РК, РС) является векторной оценкой журнала. Имея значения РК и РС для каждого журнала, можно получать из БД отчёты о несоответствии между оценкой качества журнала и спроса на него. Общий рейтинг (ОР) вычисляется умножением РК на РС. В этом случае при увеличении одного из частных рейтингов в п раз общий рейтинг также увеличится в п раз.

Из примерно 31 тыс. актуальных сериальных изданий ненулевой ОР получили около 9 тыс. При этом ненулевой РС получили примерно 12 тыс., а ненулевой РК - 19 тыс. изданий.

Четвёртая глава (Построение экспертного рейтинга) охватывает экспертизу журналов, сбор и агрегирование экспертных оценок, алгоритм построения экспертного рейтинга, анализ результатов ранжирования. Даны рекомендации по использованию рейтингов для оптимизации выбора научных журналов на основе решения задачи о ранце.

Экспертиза журналов является политематической и неполной. Этим она кардинально отличается от типовых задач экспертного оценивания, в которых специалисты в одной предметной области оценивают все объекты, т.е. традиционная экспертиза является монотематической и полной. Это отличие потребовало разработки новой методики агрегирования экспертных оценок.

Каждая экспертная оценка - результат субъективного суждения эксперта об уровне полезности журнала для информационного обеспечения в его тематике. Для экспертизы журналов предложена следующая порядковая шкала экспертных оценок: 5 - высокий, 4 - выше среднего, 3 - средний, 2 - ниже среднего, 1 -низкий, 0 — нулевой.

Генеральная совокупность экспертных оценок, проставленных специалистами ВИНИТИ РАН, состояла более чем из 43 тыс. ненулевых оценок, которые поставили 240 экспертов, каждое издание получило в среднем 4 оценки, хотя бы одну оценку получили свыше 11 тыс. сериальных изданий (СИ). Большинство СИ (свыше 9 тыс.) были периодическими. Кол-во изданий в тематических списках варьировалось от 18 до 831, в среднем 180 изданий в одном списке.

К сожалению, не было возможности получить оценки нескольких экспертов по каждой тематике, а затем в качестве усреднённой тематической оценки использовать медиану индивидуальных экспертных оценок журнала по данной тематике. В нашем частном случае тематическая оценка журнала оказалась равна индивидуальной экспертной оценке.

Даются определения понятиям «тематическая полезность», «суммарная полезность» и «максимальная полезность», введённым для вычисления экспертного рейтинга.

Тематическая полезность - функция 0/х), выражающая полезность объекта с оценкой х в у'-м тематическом списке и позволяющая производить квантификацию (оцифровку) ненулевых качественных экспертных оценок количественными значениями на основании предпочтительности журналов в конкретной тематике.

Суммарная полезность ¿-го объекта:

где п — кол-во тематик, щ - тематическая экспертная оценка /-го объекта в у'-м тематическом списке, - тематическая полезность /-го объекта по

отношению ку'-й научной тематике.

Максимальная полезность /-го объекта:

Если при оценивании журналов ориентироваться только на их суммарную полезность, то при отборе будут отброшены ценные узкоспециальные журналы. Следовательно, при построении экспертного рейтинга (ЭР) необходимо соблюдать баланс между суммарной и максимальной полезностью журнала.

Тематическая полезность вычисляется как точечная оценка вероятности случайного события «объект с оценкой х предпочитается при сравнении со случайно выбранным объектом изу-го тематического списка»:

п

(8)

(9)

12 ]<п

где т^ - кол-во объектов ву-м списке с оценкой, менее предпочтительной, чем л:; - кол-во объектов в у'-м списке с оценкой, равной х; - общее кол-во объектов с ненулевой оценкой в у-м списке.

Разработан следующий алгоритм построения экспертного рейтинга (ЭР).

Шаг 1. Собрать тематические экспертные оценки в матрицу (%) размера т*п, где т - кол-во журналов, п - кол-во тематик. Каждый элемент матрицы (а0) является качественной оценкой полезности /-го журнала для у'-й научной тематики.

Шаг 2. Вычислить 2/х) для каждого уровня х ву-й тематике по формуле (10). Результаты вычислений сохранить в матрице размера gxn, где g - кол-во качественных уровней, п — кол-во тематик.

Шаг 3. Заполнить матрицу (Ьу) размера т*п, каждый элемент которой соответствует элементу матрицы (%) и Ь0 = 6/%). Все возможные б/х) были вычислены на предыдущем шаге, поэтому они берутся из матрицы принимая х = аи. Каждый элемент матрицы (Ь0) является количественной оценкой полезности /-го журнала дляу'-й научной тематики.

П

Шаг 4. Вычислить суммарную полезность журналов согласно (8): Si = •

Шаг 5. Вычислить максимальную полезность журналов по (9): М> = шах.

Шаг 6. Нормировать критерии и М,, вычисленные на шаге 4 и 5. В результате нормирования получаются значения s¡ и т, соответственно. Здесь, как и ранее для вычисления РК, применяется нормирование делением значения критерия на сумму двух параметров выборки (выборочного среднего и среднего квадратического отклонения критерия).

Шаг 7. Присвоить критериям весовые коэффициенты м>, и и<т и вычислить экспертный рейтинг /-го журнала как линейную свёртку полезностей и /и,:

Я, = + т,и>т,

где-^+т*^!.

В настоящее время неизвестны причины, по которым приоритеты суммарной и максимальной полезности журналов можно считать различным. Поэтому их веса приняты равными, т.е. м>5= н>„ = 0,5.

21

Чтобы выявить преимущество ранжирования по убыванию ЭР по сравнению с ранжированием по убыванию суммы экспертных оценок и др. методиками, выполнено сравнение с показателями, косвенно характеризующими полезность журналов: кол-во журналов, включённых в /СЛ; среднее арифметическое значение ИФ журнала; среднегодовое кол-во отражённых в РЖ ВИНИТИ статей; кол-во журналов, копии оглавлений которых заказывали академики и члены-корреспонденты РАН. При помощи графиков и таблиц демонстрируется преимущество ранжирования по убыванию ЭР.

В работе приведены результаты исследования ранговой корреляции ЭР с полученными ранее формальными рейтингами (РК, РС, ОР), которые дают статистическое обоснование следующего эвристического рассуждения: «оценку эксперта можно трактовать как субъективную оценку величины КАЧЕСТВО х СПРОС. Действительно, для пары ранжированных списков (ОР, ЭР) получены наибольшие коэффициенты ранговой корреляции. Исследование также показало, что ЭР на основе экспертных оценок редакторов РЖ оказался значительно ближе к рейтингу спроса, чем к рейтингу качества.

В Заключении перечислены основные результатов работы.

В Приложениях (8 шт.) приведены дополнительные материалы. Первое приложение демонстрирует варьирование среднего ИФ по отраслям науки, второе приложение приводит математический аппарат, применённый для проверки статистических гипотез. В остальных приложениях представлены фрагменты ранжированных списков журналов (/ор-50), иллюстрирующих различные рейтинги (РК, РС, ОР, ЭР), а также акт о внедрении результатов.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Разработан функционально-аспектный подход к классификации критериев и соответствующая ему иерархия критериев.

2. Для оценивания уровня цитирования журнала разработан тематически взвешенный импакт-фактор, учитывающий варьирование среднего импакт-фактора по научным дисциплинам.

3. Сформулированы принципы оценивания научных журналов для комплектования многоотраслевого информационного центра.

4. Разработан статистический метод отбора и взвешивания критериев, позволяющий определять их значимость и вес при наличии репрезентативной выборки журналов, имеющих значения взвешиваемого и эталонного критерия.

5. Разработана методика вычисления рейтинга качества, рейтинга спроса и общего рейтинга журналов, основанная на иерархическом представлении критериев и использовании метода анализа иерархий Т. Саати.

6. Разработаны вычисляемые статистические показатели для измерения отражения научных журналов в реферативных журналах.

7. Разработан алгоритм построения экспертного рейтинга, основанный на введённых определениях тематической, суммарной и максимальной полезности журнала, а также вероятностном подходе к оцифровке (квантификации) качественных экспертных оценок.

8. Результаты разработок реализованы на практике в виде программного обеспечения, внедрённого в различные подсистемы Автоматизированной системы комплектования и регистрации ВИНИТИ РАН.

9. Для верификации экспертного рейтинга проведено исследование ранговой корреляции между экспертным рейтингом и некоторыми показателями, характеризующими качество журнала и спрос на него.

10. Предложены рекомендации использования рейтингов для оптимизации отбора журналов на основе решения задачи о ранце.

ПУБЛИКАЦИИ

1. Федорец О. В. Использование формальных критериев для первичного отбора зарубежных научно-технических журналов в автоматизированной системе комплектования // Труды 11-й международной конференции "Крым-2004: Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса". (Судак, 5-13 июня 2004 г.). - [Электронный ресурс]. -Режим доступа: http://www.gpntb.ru/win/inter-events/crimea2004/327.pdf (05.05.2011), свободный - Загол. с экрана.

2. Федорец О. В. Использование формальных критериев для автоматизации первичного отбора зарубежных научных журналов в системе комплектования // Научно-техническая информация. Сер. 2. Информационные процессы и системы.

- 2004. - № 12.-С. 1-6.

3. Федорец О. В. Основные принципы построения системы оперативного анализа данных об использовании периодических изданий в реферативных журналах ВИНИТИ // НТИ-2007. Информационное общество, интеллектуальная обработка информации, информационные технологии. Материалы международной конференции. -М.: ВИНИТИ, 2007. - С. 323-326.

4. Рейтинговая система оценивания научных журналов: математическая модель и результаты экспериментов / Федорец О. В.; ВИНИТИ. - Москва, 2007. - 75 с. -Библиогр.: 21 назв. - Рус. - Деп. в ВИНИТИ 28.12.07 № 1257-В2007.

5. Кириллова О. В., Федорец О. В. Сбор и агрегирование экспертных оценок для ранжирования научных журналов // Двенадцатая международная конференция ЫВСОМ-2008, п. Ершово, Одинцовский район, Московская область, 17-21 ноября 2008 г. [Электронный ресурс]. - Режим доступа: http://www.gpntb.ru/libcom8/22.pdf (05.05.2011), свободный. - Загол. с экрана.

6. Федорец О. В. Использование обучающей выборки для определения приоритета критериев в рейтинговой системе оценивания научных журналов. // Проблемы управления. - 2009. - № 1. - С. 59-65.

7. Федорец О. В. Статистический подход к определению приоритета критериев для рейтингового оценивания научных журналов методом анализа иерархий // Информационные технологии. - 2009. - № 4. - С. 81-85.

8. Построение экспертного рейтинга научных журналов для комплектования многоотраслевого информационного центра / Федорец О. В..; ВИНИТИ - Москва, 2010. - 59 е.: ил. - Библиогр.: 28 назв. - Рус. - Деп. в ВИНИТИ 13.05.2010 № 283-В2010.

9. Федорец О. В. Использование взвешенного импакт-фактора для создания политематического перечня наиболее цитируемых журналов // Научно-техническая информация. Сер. 1. Организация и методика информационной работы. - 2011. - № 7. - С. 22-27.

Федорец Олег Владимирович

Методы оценки журналов в области естественных I технических наук для комплектования многоотраслевого информационного центра

Автореферат диссертации на соискание ученой степени кандидата технических наук

Подписано в печать 23.09.2011. Тираж 100 экз. Заказ № 185. Объем 1,0 уч.-изд.л. Отпечатано в ВИНИТИ РАН 125190, Москва, ул. Усиевича, д. 20.

Введение.

1. ОБЗОР ПРОБЛЕМЫ.

1.1. Методы оценивания научных журналов за рубежом.

1.2. Методы оценивания научных журналов в России.

1.2.1. БЕН РАН: оценка информативности и экспертиза.

1.2.2. ВАК Минобрнауки: достаточные и необходимые критерии.

1.2.3. ВИНИТИ РАН: автоматизированное оценивание.

1.3. Базы данных цитирования, импакт-фактор и его ограничения.

1.4. Различные подходы к классификации критериев.

1.5. Понятие рейтинга.

1.5.1. Методы обработки количественных критериев.

1.5.2. Иерархический синтез приоритетов.

1.5.3. Методы обработки качественных экспертных оценок.

1.5.4. Рейтинг как инструмент сравнения журналов.

1.6. Выводы.

2. РАЗРАБОТКА ПРИНЦИПОВ ОЦЕНИВАНИЯ.

2.1. Построение иерархии критериев.

2.2. Тематически взвешенный импакт-фактор.

2.3. Мониторинг отражения статей в реферативных БД.

2.4. Рейтинг качества и рейтинг спроса.

2.5. Автоматизированное оценивание: достоверность и ограничения

2.6. Принципы оценивания научных журналов.

3. ПОСТРОЕНИЕ ФОРМАЛЬНЫХ РЕЙТИНГОВ.

3.1. Исходные данные для отбора приоритетных критериев.

3.2. Операции над статистическими выборками.

3.3. Проверка статистических гипотез о значимости критериев.

3.4. Методика вычисления весовых коэффициентов.

3.5. Выбор метода нормирования критериев.

3.6. Вычисление рейтинга качества.

3.7. Вычисление рейтинга спроса.

3.8. Вычисление общего рейтинга.

3.9. Технология оценивания журналов.

3.10. Выводы.

4. ПОСТРОЕНИЕ ЭКСПЕРТНОГО РЕЙТИНГА.

4.1. Основные положения.

4.2. Научный журнал как объект экспертной стратификации.

4.2.1. Экспертиза в интегральной информационной системе.

4.2.2. Характеристика массива экспертных оценок.

4.2.3. Понятие экспертной стратификации.

4.3. Агрегирование экспертных оценок.

4.3.1. Порядковая шкала экспертных оценок.

4.3.2. Построение функции полезности.

4.3.3. Алгоритм построения экспертного рейтинга.

4.3.4. Сравнение верхних фрагментов ранжированных списков

4.4. Сравнение ранжированных списков в целом.

4.4.1. Исследование ранговой корреляции.

4.4.2. Сравнение экспертного рейтинга с другими показателями.

4.4.3. Корреляция между формальным и экспертным рейтингом.

4.5. Технология экспертизы.

4.6. Рекомендации по использованию рейтинга для оптимизации.

4.7. Выводы.

Актуальность темы

Перевод печатных изданий в электронную форму и доступ к ним через Интернет не уменьшил роль научной периодики как важнейшего информационного ресурса науки и производства. В связи с увеличением объёма информации, доступного исследователям через поисковые службы, значимость редакционных коллегий и рецензентов возросла. Сегодня они являются фильтром, отделяющим научные публикации в журналах от обилия рекламной, популярной и не всегда достоверной информации в пространстве Интернет.

Для информационных центров (ИЦ) периодические издания, кратко именуемые журналами, являются одним из важнейших источников информационного обеспечения пользователей и производства вторичных информационных продуктов: аннотированных библиографических указателей, баз данных, реферативных журналов (РЖ) и т.д. Поэтому мониторинг мирового потока периодики и регулярное обновление перечня получаемых и обрабатываемых журналов является одной из главных функций комплектования ИЦ.

Хотя некоторые показатели оценивания научного журнала давно стали общепризнанными (соответствие тематическому профилю ИЦ, экспертные оценки, читательский спрос, показатели цитирования, обработка реферативными службами), каждый ИЦ обычно разрабатывает свою методику отбора журналов, ориентируясь на собственные информационные продукты и круг пользователей. В связи с этим можно выделить несколько проблем, с которыми приходится сталкиваться персоналу ИЦ, ответственному за комплектование: процедуры сбора и объединения данных о тысячах научных журналов из разнородных источников (справочники, каталоги издательств, подписных агентств, библиотек) весьма трудоёмки, поэтому необходимо ограничиваться набором наиболее важных элементов данных, чтобы обеспечить их полноту и точность; эмпирический и часто субъективный подход к определению множества критериев и их приоритета порождает вполне оправданную неуверенность в применяемой методике оценивания и получаемых с её помощью результатах;

- отсутствие адекватных инструментов верификации используемых методик не позволяет определить их эффективность и пути дальнейшего совершенствования.

Таким образом, актуальность темы определяется необходимостью разработки методов автоматизированного оценивания и отбора научных журналов, в том числе на основе статистических материалов, накопленных в базах данных многоотраслевого информационного центра.

Объект исследования

Объектом исследования является комплектование, которое определено согласно ГОСТ 7.76-961 как "совокупность процессов выявления, отбора, заказа, приобретения, получения и регистрации документов, соответствующих задачам библиотеки, информационного центра".

Предмет исследования

Процессы оценивания и отбора важнейших научных журналов в автоматизированной системе комплектования многоотраслевого информационного центра - генератора информационных продуктов в области естественных и технических наук.

Цель работы

Разработка методов многокритериального оценивания научных журналов и программных средств поддержки процесса оценивания.

Задачи работы

1 ГОСТ 7.76-96. Система стандартов по информации, библиотечному и издательскому делу. Комплектование фонда документов. Библиографирование. Каталогизация. Термины и определения. - М: Издательство стандартов, 1997. - 56 с.

Для достижения поставленной цели решаются следующие задачи:

1) разработка подхода к классификации критериев и определение принципов оценивания периодических изданий, позволяющих строить иерархии критериев, отражающие различные аспекты объектов оценивания;

2) разработка математической модели отбора критериев оценивания и определения их приоритета на массивах данных, характеризующихся большой размерностью (тысячи журналов, десятки критериев), неполной информацией по критериям (наличием пустых значений) и различными типами критериев (булевыми и количественными);

3) разработка методики вычисления рейтингов на основе критериев оценивания, представленных в виде иерархий и обладающих различным приоритетом;

4) разработка алгоритма агрегирования качественных экспертных оценок и построения экспертного рейтинга научных журналов;

5) применение разработанных методов в процессах комплектования крупного многоотраслевого информационного центра и выработка рекомендаций по их дальнейшему использованию.

Методологическая основа

В области комплектования и оценивания научной литературы методологической основой работы послужили публикации отечественных и зарубежных специалистов крупных информационных центров и библиотек (ВИНИТИ РАН, БЕН РАН, Thomson Reuters и др.), отражающие опыт анализа и отбора научных журналов. В качестве источников сведений о методологии исследования документальных информационных потоков использовались монографии В. И. Горьковой, Дж. Солтона, А. И. Яблонского, А. И. Михайлова, А. И. Черного, Р. С. Гиляревского. В области теории принятия решений автор опирался на учебные пособия Б. Г. Литвака, А. И. Орлова, А. В. Андрейчикова и О. Н. Андрейчиковой, а также монографии Т. Саати, Р. Л. Кини и X. Райфа.

Методы исследования

В работе используются методы теории множеств, теории вероятностей, математической статистики, теории принятия решений.

Основные результаты исследования

1. Разработан функционально-аспектный подход к классификации критериев и соответствующая ему иерархия критериев

2. Для оценивания уровня цитирования журнала применён тематически взвешенный импакт-фактор, учитывающий варьирование среднего импакт-фактора по научным дисциплинам.

3. Сформулированы принципы оценивания научных журналов для комплектования многоотраслевого информационного центра.

4. Разработан статистический метод отбора и взвешивания критериев, позволяющий определять их значимость и вес при наличии репрезентативной выборки журналов, имеющих значения взвешиваемого и эталонного критерия.

5. Разработана методика вычисления рейтинга качества, рейтинга спроса и общего рейтинга журналов, основанная на иерархическом представлении критериев и использовании метода анализа иерархий Т. Саати.

6. Разработаны вычисляемые статистические показатели для измерения отражения научных журналов в реферативных журналах.

7. Разработан алгоритм построения экспертного рейтинга, основанный на введённых определениях тематической, суммарной и максимальной полезности журнала, а также вероятностном подходе к оцифровке (квантификации) качественных экспертных оценок.

8. Результаты разработок реализованы на практике в виде программного обеспечения, внедрённого в различные подсистемы Автоматизированной системы комплектования и регистрации ВИНИТИ РАН.

9. Для верификации экспертного рейтинга проведено исследование ранговой корреляции между экспертным рейтингом и некоторыми показателями, характеризующими качество журнала и спрос на него.

10. Предложены рекомендации использования рейтингов для оптимизации отбора журналов на основе решения задачи о ранце.

Достоверность полученных результатов

Достоверность полученных результатов определяется следующими факторами:

1) обобщением опыта крупных информационных центров и библиотек, которые оценивают научные журналы по различным параметрам для принятия решений в процессе комплектования;

2) использованием статистических выборок большого объёма и широко известных статистических методов, описанных в учебной и справочной литературе (проверка статистических гипотез, исследование ранговой корреляции);

3) использованием методов теории принятия решений, которые давно и успешно применяются в других сферах деятельности (прежде всего в экономике).

Научная новизна

1. Разработанная классификация критериев по функционально-аспектному принципу впервые учитывает необходимость разделения критериев выявления и оценивания журналов, а также отделяет критерии качества от критериев спроса.

2. Разработанный статистический метод отбора критериев и определения их веса рассчитан на применение в условиях большой размерности исходных данных, впервые учитывает неполноту данных по критериям и совместное использование различных типов критериев (булевых и количественных), т.е. обладает значительной универсальностью.

3. Впервые сформулировано понятие неполной политематической экспертизы и разработан алгоритм агрегирования неполного политематического множества экспертных оценок. и

4. Применён один из методов теории принятия решений (метод анализа иерархий, разработанный Т. Саати), который для оценивания научных журналов ранее не использовался.

Теоретическая и практическая значимость результатов исследования

1. Разработанные принципы оценивания научных журналов и методика классификации критериев формируют системный подход к проблеме многокритериального оценивания журналов для комплектования многоотраслевого информационного центра.

2. Разработанный метод статистического взвешивания критериев может служить основой для разработки систем рейтингового оценивания в любой предметной области, где имеются репрезентативные статистические выборки, но регулярное получение экспертных оценок объектов затруднительно или требуется сократить количество объектов, направляемых на экспертизу.

3. Разработанный алгоритм агрегирования экспертных оценок предназначен для применения в условиях неполного политематического оценивания, которые отличаются от типовых задач экспертного оценивания, в которых каждый эксперт даёт оценку каждому объекту, и все эксперты являются специалистами в одной предметной области. Данный алгоритм позволяет строить экспертный рейтинг других политематических информационных ресурсов.

Реализация и внедрение результатов

Исследование выполнялось по темам, утверждённым планами научно-исследовательских и научно-информационных работ Всероссийского института научной и технической информации РАН (ВИНИТИ РАН).

Полученные результаты внедрены и используются для решения различных задач комплектования - загрузка и ввод данных о научных журналах из разнородных источников, отбор наиболее значимых формальных критериев и определение их приоритета, мониторинг отражения журналов в реферативных продуктах, ввод и агрегирование экспертных оценок, вычисление интегральных числовых показателей (рейтингов), автоматизация подготовки тематических и политематических перечней изданий с различным набором параметров.

В приложениях к диссертации представлены фрагменты различных рейтингов, вычисленных с помощью разработанного автором программного обеспечения. В диссертации, в виде рисунков представлены некоторые экранные и отчётные формы, внедрённые в программное обеспечение АСКР в процессе диссертационной работы.

Использование результатов работы в "Автоматизированной системе комплектования и регистрации" (АСКР) ВИНИТИ РАН подтверждается актом о внедрении, который включён в приложения к диссертации.

Апробация работы

Материалы диссертации докладывались на трёх конференциях:

11-я Международная конференции "Крым-2004: Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса" (Украина, г. Судак, 5-13 июня 2004)

7-я Международная конференция «НТИ-2007. Информационное общество, интеллектуальная обработка информации, информационные технологии» (Россия, г. Москва, 24-26 октября 2007).

12-я Международная конференция «1ЛВСОМ-2008. Информационные технологии, компьютерные системы и издательская продукция для библиотек» (Россия, Московская область, Одинцовский район, п. Ершово, 17-21 ноября 2008)

Публикации

Основные результаты изложены в 9 публикациях: 3 доклада на конференциях, 2 депонированные рукописи, 4 статьи в журналах из перечня ВАК.

Статьи в журналах, входящих в перечень ВАК:

1. Федорец О. В. Использование формальных критериев для автоматизации первичного отбора зарубежных научных журналов в системе комплектования // Научно-техническая информация. Сер. 2. Информационные процессы и системы. - 2004. - № 12. - С. 1-6.

2. Федорец О. В. Использование обучающей выборки для определения приоритета критериев в рейтинговой системе оценивания научных журналов. // Проблемы управления. - 2009. - № 1. - С. 59-65.

3. Федорец О. В1. Статистический подход к определению приоритета критериев для рейтингового оценивания научных журналов методом анализа иерархий // Информационные технологии. - 2009. - № 4. - С. 81-85.

4. Федорец О. В1. Использование взвешенного импакт-фактора для создания политематического перечня наиболее цитируемых журналов // Научно-техническая информация. Сер. 1. Организация и методика информационной работы. - 2011. - № 7. - С. 22-27.

Остальные публикации в хронологическом порядке:

5. Федорец О. В. Использование формальных критериев для первичного отбора зарубежных научно-технических журналов в автоматизированной системе комплектования // Труды 11-й международной конференции "Крым-2004: Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса". (Судак, 5-13 июня 2004 г.). -[Электронный ресурс]. - Режим доступа: http://www.gpntb.ru/win/inter-еуетз/сптеа2004/327.рс1£(05.05.2011), свободный - Загол. с экрана.

6. Федорец О. В. Основные принципы построения системы оперативного анализа данных об использовании периодических изданий в реферативных журналах ВИНИТИ // НТИ-2007. Информационное общество, интеллектуальная обработка информации, информационные технологии. Материалы международной конференции. — М.: ВИНИТИ, 2007. — С. 323326.

7. Рейтинговая система оценивания научных журналов: математическая модель и результаты экспериментов / Федорец О. В.; ВИНИТИ. — Москва,

2007. - 75 с. - Библиогр.: 21 назв. - Рус. - Деп. в ВИНИТИ 28.12.07 № 1257-В2007.

8. Кириллова О. В., Федорец О. В. Сбор и агрегирование экспертных оценок для ранжирования научных журналов // Двенадцатая международная конференция ЫВСОМ-2008, п. Ершово, Одинцовский район,-Московская область, 17-21 ноября 2008 г. [Электронный ресурс]! — Режим доступа: http://www.gpntb.ru/libcom8/22.pdf (05.05.2011), свободный. - Загол. с экрана.,

9. Построение экспертного рейтинга научных журналов для; комплектования многоотраслевого информационного центра / Федорец О. В.; ВИНИТИ; — Москва, 2010. - 59 е.: ил. - Библиогр.: 28 назв. - Рус. - Деп. в ВИНИТИ 13.05.2010 №283-В2010.

Положения;, выносимые на защиту

1. Принципы рейтингового оценивания периодических изданий в области естественных и технических наук, формирующие системный подход к построению рейтингов; научных журналов для комплектования информационного центра.

2. Статистический метод отбора и взвешивания критериев в условиях неполноты данных по критериям и различных типов критериев (количественных и булевых), позволяющий» произвести обоснованный отбор критериев оценивания; научных журналов и установить их приоритет на основании сравнения с эталонным показателем.

3. Методика построения рейтингов научных журналов на основе иерархий критериев;

4. Методика агрегирования результатов экспертной классификации научных журналов по упорядоченным классам и алгоритм построения экспертного рейтинга по результатам неполной политематической экспертизы.

Структура и объём диссертации

Диссертация включает в себя введение, перечень сокращений, четыре главы, заключение, список литературы и восемь приложений.

4.7. Выводы

Сбор экспертных оценок Предложенная порядковая шкала экспертных оценок, позволяющая эксперту выбирать одно из шести возможных значений (от 0 до 5), оказалась вполне адекватной рассматриваемой задаче - экспертной стратификации периодических и продолжающихся изданий. Принятые вербальные описания (содержательные суждения), соответствующие порядковым градациям шкалы, также не вызвали неоднозначного толкования.

Особый подход требуется к нулевым оценкам. В данной работе они не учитывались, но как показывает практика, их необходимо сохранять для последующего анализа информацию о причинах, по которым эксперт

I ' присвоил нулевую оценку. В массиве периодических и продолжающихся изданий ВИНИТИ присутствуют издания, от' которых отраслевые отделы отказываются без объявления причины, хотя данные издания имеют , неплохие формальные показатели (импакт-фактор, отражение ведущими зарубежными реферативными службами).

В идеале предполагается независимость эксперта, в т. ч. независимость его оценки от существующих технологических ограничений. Но если эксперт является редактором реферативного журнала, то он может поставить • нулевую оценку (отказ от журнала) не только по причине отсутствия научной ценности, но и в связи с текущими кадровыми проблемами своего отраслевого отдела. Причины нулевой оценки могут быть следующими:

1) журнал не соответствует тематике эксперта;

2) журнал не имеет научной ценности (например, публикует только научно-популярные статьи);

3) в отраслевом отделе нет специалистов в соответствующей журналу тематике; I

4) в отраслевом отделе нет специалистов, знающих соответствующий журналу иностранный язык.

Из этого следует, что присвоение нулевой оценки необходимо сопровождать указанием одной из перечисленных выше причин — иначе нулевые оценки порождают неопределённость и не позволяют оценивать соответствие кадрового состава информационной службы мировому потоку научно-технической литературы. Исходя из этих рассуждений, нами внедрён признак «причина нулевой оценки» в экранную форму ввода и редактирования экспертных оценок (см. рис. 4.4). Экранная форма не позволяет ввести нулевую оценку, не выбрав из списка причину её присвоения.

Агрегирование экспертных оценок

В основу разработанной процедуры агрегирования неполных результатов политематической экспертной стратификации положены следующие понятия:

1) тематическая полезность;

2) суммарная тематическая полезность;

3) максимальная тематическая полезность.

Разработана математическая модель для построения функций тематической полезности на основании отношений предпочтения, которые задаются на тематических подмножествах журналов в результате упорядочения журналов по убыванию порядковых тематических оценок. 1

Агрегирование результатов неполной политематической стратификации состоит из следующих этапов:

1) сбор тематических экспертных списков, элементами которых является пара значений (а, ,г), где а - уникальный идентификатор объекта, х - порядковый номер упорядоченного класса (страты, уровня);

2) построение тематических функций полезности на множестве порядковых экспертных оценок, позволяющих установить соответствие между номером упорядоченного класса (страты) и скалярным значением полезности в каждой тематической области;

3) построение матриц тематической полезности и вычисление на их основе критериев «суммарная полезность» и «максимальная полезность» для каждого журнала;

4) нормирование суммарной и максимальной полезности и вычисление экспертного рейтинга журнала методом линейной свёртки (взвешенной суммы) этих двух показателей полезности.

В работе проведён сравнительный анализ ранговых распределений, полученных в результате применения различных критериев ранжирования.

Проведённый статистический анализ зависимостей некоторых эталонных статистических показателей (цитирования, отражения в РЖ, включения в 7СД заказ копий оглавлений) от фрагментов ранговых распределений показывает устойчивое преимущество разработанного метода по сравнению с «наивным подходом» — ранжированием журналов по сумме порядковых тематических оценок. Сравнение с рейтингами, полученными в предыдущей главе на основании формальных критериев оценивания и импакт-фактора, доказало значимую корреляционную зависимость между экспертным рейтингом и рейтингами, построенными без участия экспертов.

Показано, что оптимизация комплектования информационного центра научными журналами может быть сведена к решению задачи о ранце. Экспертный рейтинг журнала, измеренный в шкале отношений, выражает обобщённую полезность журнала, которую необходимо максимизировать при заданных бюджетных и технологических ограничениях.

ЗАКЛЮЧЕНИЕ

1. Разработан функционально-аспектный подход к классификации критериев и соответствующая ему иерархия критериев. На первом уровне иерархии выделяются функции комплектования, при выполнении которых используются значения критериев. На втором уровне определяется, какой аспект научного журнала характеризует критерий — тематику, качество, спрос, предложение. На третьем уровне критерии разбиваются на классы в зависимости от того, деятельность каких субъектов (издателей, читателей, экспертов, поставщиков, информационных служб и т.д.) порождает значения критериев.

2. Для оценивания уровня цитирования журнала разработан тематически взвешенный импакт-фактор (ТВИФ), учитывающий значительное варьирование среднего импакт-фактора по научным дисциплинам, что позволяет сравнивать по уровню цитирования журналы различных тематик. Применение ТВИФ в качестве эталонного критерия позволило выполнить статистическое взвешивание формальных критериев на политематическом множестве научных журналов.

3. Сформулированы принципы оценивания научных журналов для комплектования многоотраслевого информационного центра, основным из которых является раздельное оценивание качества журнала и спроса на него, что означает вычисление по отдельности рейтинга качества и рейтинга спроса на основании различных подмножеств критериев.

4. Разработан статистический метод отбора и взвешивания частных критериев, позволяющий определять их значимость и вес при наличии репрезентативной выборки журналов, имеющих значение взвешиваемого и эталонного критерия. Выполнена проверка статистических гипотез и вычисление весовых коэффициентов для шести критериев на выборке объёмом более 4 тыс. журналов с использованием тематически взвешенного импакт-фактора в качестве эталонного критерия. Метод позволил впервые получить подтверждение обоснованности применения формальных критериев и определить их весовые коэффициенты. Ранее отбор критериев осуществлялся эвристически, а их веса предполагались равными.

5. Впервые применён метод анализа иерархий Томаса Саати для построения рейтинга научных журналов на основе разработанной иерархической классификации критериев. Этот метод, широко применяемый в различных областях принятия решений, ранее не использовался для оценивания научных журналов. Построены две иерархии критериев для вычисления частных рейтингов: рейтинга качества и рейтинга спроса. Общий рейтинг журнала вычисляется умножением РК на»РС.

6. Разработаны вычисляемые статистические показатели, которые более полно характеризуют отражение научных журналов в РЖ и применяются для информационного обеспечения экспертов в процессе экспертизы научных журналов.

7. Разработан алгоритм агрегирования экспертных оценок научных журналов и построения экспертного рейтинга. Известные в теории принятия решений алгоритмы рассчитаны на традиционную задачу экспертного оценивания, в которой все эксперты являются специалистами в одной предметной области, и каждый эксперт оценивает все объекты. Невыполнение этих условий потребовало разработки нового алгоритма, учитывающего политематический( и неполный характер экспертизы научных журналов. Дано математическое определение тематической полезности журнала, а также его суммарной и максимальной полезности. Используется вероятностный подход к построению функции полезности, которая позволяет сопоставить численные значения тематическим экспертным оценкам, т.е. произвести квантификацию (оцифровку) качественных экспертных оценок, измеренных в порядковой шкале.

8. Результаты разработки реализованы на практике в виде программного обеспечения, внедрённого в различные подсистемы Автоматизированной системы комплектования и регистрации входного потока ВИНИТИ РАН.

9. Проведёно исследование статистической зависимости некоторых показателей журнала (отражения в РЖ, цитирования, заказа копий оглавлений, формальных рейтингов) от экспертного рейтинга. Исследование показало значимую положительную корреляцию экспертного рейтинга с другими показателями, характеризующими качество и спрос сериального издания, а также выявило преимущество разработанного метода агрегирования экспертных оценок по сравнению с простым суммированием оценок журнала.

10. Предложены рекомендации по использованию рейтингов для оптимизации входного потока журналов на основе решения задачи о ранце. Вычисленные рейтинги измеряются в шкале отношений, поэтому их допустимо использовать в линейной целевой функции в отличие от рангов, измеряемых в порядковой шкале.

1. Алексеев, В. М. Формирование и ведение массива периодических изданий информационного центра / В. М. Алексеев, В. М. Ефременкова, О. В. Кириллова, О. А. Хачко, А. И. Чёрный // Доклады IX Междунар. конф. КРЫМ-2002. М. 2002, т. 1, С. 279-281.

2. Андрейчиков, А. В. Анализ, синтез, планирование решений в экономике: Учебник / А. В. Андрейчиков, О. Н. Андрейчикова. 2-е изд., доп. и перераб. -М.: Финансы и статистика, 2004. - 464 с.

3. Анохин, А. М. Методы определения коэффициентов важности критериев / А. М. Анохин, В. А. Глотов, В. В. Павельов, А. М. Черкашин // Автоматика и телемеханика. 1997. - № 8. - С. 3-35. :

4. Арский, Ю. М. Банк данных ВИНИТИ: состояние и перспективы развития/ Ю. М. Арский, Т. М. Леонтьева, И. Ю. Никольская, А. I I. Шогин -М.: ВИНИТИ, 2006. 242 с.

5. Беляев, М. С. Методы построения рейтингов для анализа потребителей, дистрибьюторов и поставщиков: Автореферат дис. . канд. экон. наук: 08.00.13 / М. С. Беляев. Санкт-Петербург, 2007. - 24 с.

6. И.Блюмин, С. Л. Нечеткая логика: алгебраические основы и. приложенЕСг^зг:-Монография / С. Л. Блюмин, И. А. Шуйкова, П. В. Сараев, И. В. Черпаков, — Липецк: ЛЭГИ, 2002.- 113 с. ■

7. Бочарова, Е. Н. Автоматизированная система формирования и ведексг^^с^я: тематико-типологических планов в практике комплектования ЦБС БЕН

8. Е. Н. Бочарова, Я. Я. Докторов // Информационное обеспечение науьеги. Новые технологии: Сб. науч. тр. / Калёнов Н. Е. (ред.). — М.: Научный Мз^злтдр, 2009. 342 с. - С.200-207.

9. Браунли, К. А. Статистическая теория и методология в науке; и технксг&^е: Пер. с англ. /К. А. Браунли. М.: Наука, 1977. - 408 с. х 16

10. Бронштейн, И. Н. Справочник по математике для инженеров и учащих^ся втузов / И. Н. Бронштейн, К. А. Семендяев. — Изд. 13-е, исправленное. — 1>ч/1.: Наука, 1986. 544 с.

11. Варакин, В. П. Автоматизированная система обработки статистичео:&^«зй информации ЦБС БЕН РАН / В. П. Варакин, Н Е. Калёнов // Информационное обеспечение науки: новые технологии: Сб. науч. тр; —

12. БЕН РАН, 2005. 306 с: - С.143-154.

13. Власова, С. А. Использование экспертных оценок для- комплектове^-^^зния централизованных библиотечных систем / С. А. Власова, В. В. Васильчьи&^ов,

14. Н. Е. Калёнов, М; В. Левнер // Научно-техническая информация. Сер> 1.

15. Организация и,методика информационной работы — М: ВИНИТИ. — 200"^7. — №5. С. 22-26. ' . . ' ; ' ' . . \

16. Глушановский, А. В. Формирование репертуара подписки БЕН РАН с учетом мнения институтов РАН / А. В. Глушановский // Новые технологии в информационном обеспечении науки: Сб. науч. тр. / Калёнов Н. Е. (ред.). — М.: Научный Мир, 2007.-310 с.-С. 97-102.

17. Гмурман, В. Е. Теория вероятностей и математическая статистика. Учеб. пособие для вузов / В. Е. Гмурман. — Изд. 6-е, сгер. М.: Высшая школа, 1998.-479 с.

18. Горский, И. Введение в дисциплину "Поддержка принятия решений"/ Павел; Горский. Электронный: ресурс. - Режим доступа: http://www.gorskiy.ru/Articles/Dmss/dO.html (05.05.2011), свободный. — Загол. с экрана.

19. Горькова, В. И. Информетрия (Количественные методы в научно-технической информации) / В. И. Горькова // Итоги науки и техники. Сер. Информатика. Т.10. М.: ВИНИТИ, 1988. - 328 с.

20. Грицанов, А. А. Социология: Энциклопедия / Сост. A.A. Грицанов, B.JI. Абушенко, Г.М. Евелькин, Г.Н. Соколова, О.В. Терещенко.:— Мн.: Книжный Дом, 2003. — 1312 с. (Мир энциклопедий) .

21. Игра в цыфирь, или как теперь оценивают труд учёного (сборник статей о библиометрике). М.: МЦНМО, 2011. - 72 е.: ил.

22. Кини, Р. Принятие решений при многих критериях: предпочтения и замещения: Пер. с англ. / Р. Кини. X. Райфа — М.: Радио и связь, 1981. — 560 с.

23. Кириллова, О. В. Анализ и оценка основного потока сериальных изданий России по точным, естественным и техническим наукам / О. В. Кириллова,

24. Кириллова, О. В. Периодические и продолжающиеся издания в реферативных базах данных: количественная и качественная оценки / О. В. Кириллова // НТИ. Сер. 1. Организация и методика информационной работы. 2007,-№8.-С. 26-33.

25. Кириллова, О. В. Принципы и модели формирования входного документного потока информационного центра: Автореферат дис. . канд. техн. наук: 05.25.05 / О. В. Кириллова. Химки (Моск. обл.), 2004. - 25 с.

26. Кобзарь, А. И. Прикладная математическая статистика. Для инженеров и научных работников / А. И. Кобзарь. М.: ФИЗМАТ ЛИТ, 2006. - 816 с.

27. Корнеев, В. В. Базы данных. Интеллектуальная обработка информации / В. В. Корнеев, А. Ф. Гареев, С. В Васютин., В. В. Райх. М.: Издатель Молгачева С. В., Издательство Нолидж, 2001. - 496 с.

28. Литвак, Б. Г. Экспертная информация: Методы получения и анализа / Б. Г. Литвак. -М.: Радио и связь, 1982. 184 с.

29. Литвак, Б. Г. Экспертные оценки и принятие решений / Б. Г. Литвак // Научно-техническая информация. Сер. 1. Организация и методика информационной работы. М: ВИНИТИ. - 1996. - № 11-12. - С. 1-16.

30. Литвак, Б. Г. Экспертные технологии в управлении: Учеб. пособие / Б. Г. Литвак. 2-е изд., испр. и доп. - М.: Дело, 2004. - 400 с.

31. Ллойд Э. Справочник по прикладной статистике. В 2-х т. Т. 2: Пер. с англ. / Под ред. Э. Ллойда, У. Ледермана, С. А. Айвазяна, Ю. Н. Тюрина. М.: Финансы и статистика, 1990. - 526 с.

32. Лопатников, Л. И. Экономико-математический словарь: Словарь современной экономической науки / Л. И. Лопатников. — 5-е изд., перераб. и доп. М.: Дело, 2003. - 520 с.

33. Маркусова, В. А. Статья в научном журнале как основной источник информации для выполнения фундаментальных исследований в РАН / В. А. Маркусова, А. Я. Родионов // Научно-техническая информация. Сер. 1.

34. Организация и методика информационной работы М: ВИНИТИ; — 1998: — №9.-С. 21-28.

35. Минько, А. А. Статистический анализ в MS Excel / А. Л. Минько. М.: Издательский дом «Вильяме», 2004. - 448 с.

36. Наследов, А. Д. SPSS. Компьютерный анализ, данных в психологии и социальных науках / А. Д; Наследов. СПб.: Питер, 2007. — 416 с.

37. Николаева, М. А. Методы и .алгоритмы построения рейтингов / М. А. Николаева, О; Ф. Юнцевич // Информационные технологии. 2003. - № 12. — С. 7-18.

38. Орлов, А. И. Прикладная статистика; Учебник для вузов / А. И. Орлов. — М.: Издательство «Экзамен», 2004; 656 с. ' :57.0рлов, А. И. Теория принятия решений: Учебник для вузов / А. И. Орлов. М.: Экзамен, 2006. - 576 с.

39. Подиновский, В. В. Анализ экспертных, оценок; . методами теории важности критериев / В. В. Подиновский, Ж. М. Раббот // , Научно-техническая информация. Сер. ,2. Информационные' процессы и системы. — М: ВИНИТИ. 2000. - № 2. - С. 22-26.

40. Поллард, Дж. Справочник по: вычислительным методам статистики: Пер. с англ. / Дж. Поллард. — М.: Финансы и статистика, 1982. 344 с. ■

41. Райзберг, Б. А. Современный экономический словарь / Б. А. Райзберг, Л. III. Лозовский, Е. Б. Стародубцева. 5-е изд., перераб. и доп. - М.: ИНФРА-М, 2007.-495 с. - (Б-ка словарей "ИНФРА-М").

42. Роб, П. Системы баз данных: проектирование, реализация и управление. — 5-е изд., перераб. и доп.: Пер. с англ. /:П. Роб, К. Коронел. СПб.: БХВ-Петербург, 2004. - 1040 с. .

43. Саати, Т. Аналитическое планирование. Организация систем: Пер. с англ. / Т. Саати, К. Керне,-М.: Радио и связь, 1991. 224 с.

44. Саати, Т. Принятие решений. Метод анализ иерархий: Пер. с англ. / Т, Саати.-М.: Радио и связь, 1989.-316 с.

45. Салугин, А. Н. Введение в системный анализ: Компьютерные основы принятия решений: Учебное пособие / А. Н. Салугин. ~ Вс>лсзг~оград-ВолгГАСА, 2002.- 107 с.

46. Сигал, И. X. Введение в прикладное дискретное программирование -модели и вычислительные алгоритмы: Учеб. пособ. / И. X. Сигалх^ js^ j-j-Иванова. 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2007. - 304 с.

47. Солошенко, Н. С. Научные журналы' высших учебных заведений-представление данных для внутренних и внешних пользователей

48. РАН / Н. С. Солошенко, О. В Кириллова., И. С. Соколова, O.A. Z>Ca^a:ico // Новые технологии в информационном обеспечении науки. Сб. нагу-^. ip j Калёнов Н. Е. (ред.). М.: Научный Мир, 2007. - 310 с. - С.233-240.

49. Солтон, Дж. Динамические библиотечно-информационные систетч/г:ы / дж Солтон. М.: Изд-во «Мир», 1979. - 557 с.

50. Федорец, О. В. Использование обучающей выборки для оггредд;еления приоритета критериев в рейтинговой системе оценивания научных ^еч^рналов / О. В. Федорец // Проблемы управления. — М.: 2009. № 1.-е. 59-65 .

51. Федорец, О. В. Использование формальных критериев для автоматизации первичного отбора зарубежных научных журналов в системе комплектования / О. В. Федорец // Научно-техническая информации. Сер 9

52. Информационные процессы и системы; М: ВИНИТИ. - 2004. - № 12. - С. 1-6.

53. Федорец, О. В. Построение экспертного рейтинга научных журналов для комплектования многоотраслевого информационного центра / О. В. Федорец; ВИНИТИ Москва, 2010. - 59 е.: ил. - Библиогр.: 28 назв. - Рус. - Деп. в ВИНИТИ 13.05.2010 № 283-В2010.

54. Федорец, О. В. Рейтинговая система оценивания научных журналов: \ ' математическая модель и результаты экспериментов / О. В. Федорец;

55. ВИНИТИ. Москва, 2007. - 75 с. - Библиогр.: 21 назв. - Рус. - Деп. в ВИНИТИ 28.12:07 № 1257-В2007.

56. Федорец; О. В. Статистический подход к определению приоритета критериев для рейтингового оценивания научных журналов»методом анализа иерархий / О. В. Федорец // Информационные технологии. М.: 2009. - № 4. -с. 81-85.

57. Федоров, Ю. В: Решение многокритериальной задачи оптимизации в нечеткой постановке / Ю. В. Федоров // Информационные технологии. -2005.-№7.-С. 55-60.

58. Фишберн, П. К. Теория полезности для-принятия решений: Пер. с англ. / П. К. Фишберн. М.: Наука, 1978.-352 с.

59. Чайковский, А. А. Рейтинговые оценки-и их формирование в отраслевой1 экономике: Автореферат дис. канд. экон. наук: 08.00.13 / А. А. Чайковский.1-Москва, 2008.-21 с.

60. Чеботарев П. Ю. Обобщение метода строчных сумм для неполных парных сравнений / П. Ю. Чеботарев // Автоматика и телемеханика. 1989. -№8.-С. 125-137.

61. Чеботарев, П. Ю. Метод строчных сумм и приводящие к нему модели / П. Ю. Чеботарев // Сборник трудов ВНИИ1 системных исследований 1989; №3.-С. 94-110.

62. Шанкнн, Л. В. Автоматизированная; система комплектования и регистрации входного потока. ВИНИТИ. Ч. 1, 2 / А. В: Шапкин // Научно-техническая информация. Сер. 1. Организация и < методика информационной работы.-2005. -№3. С. 8-19, № 4. - С. 16-31.

63. Яблонский, А. И. Модели и методы исследования науки» / А. И. Яблонский: М.: Едиториал УРСС, 2001. -400 с. .

64. Bordóns, М; Advantages and limitations in the use of impact factor measures for the assessment of research performance in a peripheral country / M. Bordons, M. T. Fernández, I. Gómez // Scientometrics. 2002. - Vol. 53, Iss. 2. - P. 195206.

65. Bostic, M. J. Serials Deselection7 M. J. Bostic // Librarian; 1985. - Vol. 9, No. 3.-P. 85-10.

66. Chung, H. K. Evaluating Academic Journals using Impact Factor ancl Local Citation Score / H. K. Chung // Journal of Academic Librarianship. 2007. — "Vol. 33 Issue 3.-P. 393-402.

67. Coleman, A. Assessing the Value of a Journal Beyond the Impact Factor J A. Coleman // Journal of the American Society for Information Science e; and Technology. 2007. - 58(8). - P. 1148-1161.

68. Garfield, E. How ISI selects journals for coverage. Quantitative and qualitative considerations / E. Garfield // Current Contents. 1990. - № 22. - P. 5-13.

69. Garfield, E. Is citation analysis a legitimate evaluation tool? / E. Gar-Jfxeld // Scientometrics. 1979. - Vol., No. 4. - P. 359-375.

70. Hirst, G. Described impact-factors: A method for determining core j oiarnal listings / Hirst G. // Journal of the American Society for Information Science. — 1978.-№29(4).-P. 171-172.

71. Jiii, B. Chinese Science Citation Database: its construction and application. / B. Jin, B. Wang // Scientometrics. 1999. - Vol. 45, No. 2. - P. 325-332.

72. Leydesdorff, L. Caveats for the use of citation indicators in research and journal evaluations / L. Leydesdorff // Journal of the American sociertry for information science and technology. 2008. - 59(2). - P. 278-287.

73. Negishi, M. Citation Database for Japanese Papers: A new biblioxnetric tool for Japanese academic society / M. Negishi, Y. Sun, K. Slxigi // Scientometrics. 2004. - Vol. 60, No. 3.-P. 333-351.f

74. Nisonger, T. E. JASIS and library and information science journal rankings: A review and analysis of the last half-century / T. E. Nisonger // Journal of the American Society for Information Science. 1999. - 50(11). - P. 10041019.

75. Rousseau, R. Journal Evaluation: Technical and Ргз=*см:іса1 Issues / R. Rousseau// Library Trends. 2002. - Vol. 50, No 3. - P. 418-^3 S>.

76. Rousseau, R. Journal Production and Journal Imp>act Factors / R. Rousseau, G. Van Hooydonk // Journal of the American Society for Information Science. 1996. -47(10). - P. 758-775.

77. Testa, J. The Thomson journal selection process / Testa. 2004. -Электронный ресурс. - Режим доступа: http :// ttx mrrsonreuters. com/-productsservices/science/free/essays/journalselectionjprocess-/' (05.05.2011), свободный. - Загол. с экрана.

78. Testa, J. The Thomson Reuters Journal Selection F^^cess / J. Testa. -2008. Электронный ресурс. - Ре^гжим доступа: http://www.thomsom-euters.com/businessunits/scientific/free/essays/journalselection/ (20.07.2010), свободный. 3arojrar с экрана.

79. Todorov R. Journal citation measures: A concise revie-w / R. Todorov, W. Glanzel // Journal of Information Science. 1988. - №14. - P. 56.

80. Von Ungern-Sternberg, S. Bradford's law in the conrtext of information provision / S. Von Ungern-Sternberg // Scientometrics. 2000. — y0l 49, No 1. -P. 161-186.

81. Wu, Y. China Scientific and Technical Papers and Citations (CSTPC): History, impact and outlook / Y. Wu, Y. Pan, Y. Zhang, Z. J. Pang, H. Guo, B. Xu, Z. Yang // Scientometrics. 2004. - Vol. 60, No. 3. - P. Э ^5-397.