автореферат диссертации по документальной информации, 05.25.05, диссертация на тему:Исследование и моделирование взаимодействия пользователя с информационной системой в задачах документального поиска

ВВЕДЕНИЕ.

ГЛАВА 1. Процесс документального поиска информации и интерфейсы пользователя.

1.1. Документальный поиск.

1.1.1. Деятельностные характеристики пользователя в процессе документального поиска.

1.1.2. Поисковые задачи и виды информационной неопределенности.

1.1.3. Принципиальная схема документального поиска.

1.2. Поисковый интерфейс пользователя.

1.2.1. Организующая роль интерфейса в процессе документального поиска.

1.2.2. Методы перераспределения когнитивной нагрузки в процессе поиска.

1.2.3. Функционально-сетевая модель поискового интерфейса ИПС.

ВЫВОДЫ ПО ГЛАВЕ 1.

ГЛАВА 2. Статистическое исследование характеристик поисковых сессий.

2.1. Классификация характеристик запроса и сессии.

2.2. Анализ частотных распределений характеристик поисковой сессии.

2.2.1 Показатели активности, результативности и постоянства ресурсной базы.

2.2.2. Показатели сложности, многообразия структурных элементов и поисковых операций запроса.

2.2.3. Показатели функциональной направленности используемых поисковых операций.

2.3. Исследование взаимозависимостей характеристик сессии.

2.3.1. Выявление скрытых факторов поведения пользователя средствами факторного анализа.

2.3.2. Выявление регрессионной зависимости доли запросов с успешной выдачей в сессии от факторов поведения пользователя.

2.3.3. Кластерный анализ поисковых сессий.

2.3.4. Выявление стереотипных сценариев поиска для различных типов

ВЫВОДЫ ПО ГЛАВЕ 2.70

ГЛАВА 3. Модель человеко-машинного взаимодействия в задачах документального поиска.72

3.1. Обобщенная схема взаимодействия пользователя с ИПС.73

3.2. Построение характеристик этапов человеко-машинного взаимодействия. 75

3.3. Марковская модель процесса документального поиска.80

3.3.1. Применение аппарата марковских процессов для прогнозирования успешности поиска.84

3.3.2 Применение аппарата управляемых марковских процессов для поиска оптимальной стратегии управления.86

3.4. Разработка методики управления поиском.90

ВЫВОДЫ ПО ГЛАВЕ 3.92

ГЛАВА 4. Разработка модулей анализа данных для подсистемы технологической поддержки.93

4.1. Основные поисковые технологии ИПС.94

4.1.1. Средства формирования запросов.96

4.1.2. Использование формулировок ранее сохраненных запросов.100

4.1.3. Средства и технологии поиска документов по сходству.100

4.1.4. Технологические объекты построения предложения запроса.102

4.2. Состав и структура архива поисковых сессий.105

4.2.1. Архив выражений запросов пользователей.106

4.2.2. Архив обращений пользователей на уровне выполняемых системой функций.108

4.3. Функциональная схема подсистемы технологической поддержки.110

4.4. Логические схемы модулей анализа данных подсистемы технологической поддержки.116

4.5. Представление результатов работы модулей анализа данных подсистемы технологической поддержки.119

ВЫВОДЫ ПО ГЛАВЕ 4.123

ЗАКЛЮЧЕНИЕ.124

СПИСОК ЛИТЕРАТУРЫ.127

СПИСОК ТЕРМИНОВ, УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ. 133

ПРИЛОЖЕНИЕ 1 Критерии оценки интерфейса пользователя.134

ПРИЛОЖЕНИЕ 2 Структурные элементы интерфейса пользователя и рекомендации по их использованию.138

ПРИЛОЖЕНИЕ 3. Разработка интерфейса пользователя: этапы, методы.143

ПРИЛОЖЕНИЕ 4. Таблица функциональных состояний процесса поиска.145

ПРИЛОЖЕНИЕ 5. Примеры таблиц решений функциональной сетевой модели поискового интерфейса ИПС.146

ПРИЛОЖЕНИЕ 6а. Список характеристик сессии.147

ПРИЛОЖЕНИЕ 66. Список характеристик выражения запроса.149

ПРИЛОЖЕНИЕ 7. Функциональные группы поисковых операций.150

ПРИЛОЖЕНИЕ 8а. Таблица уровней значимости корреляций для характеристик сессии, определяющих успешный поиск.151

ПРИЛОЖЕНИЕ 86. Таблица уровней значимости корреляций характеристик запроса.152

ПРИЛОЖЕНИЕ 9. Типовые сценарии этапов поиска.153 и их характеристики.153

ПРИЛОЖЕНИЕ 10. Примерные значения характеристик этапов поиска.156

ВВЕДЕНИЕ

В настоящее Бремя основным способом получения информации является обращение к электронным информационным ресурсам. Несмотря на все достижения современных технологий в области поиска информации, основная нагрузка, связанная с семантической переработкой информации в процессе поиска, тем не менее ложится на человека. Это обуславливает возрастающий интерес к проблеме усовершенствования интерфейсов пользователя как организующего компонента информационно-поисковых систем (ИПС).

Задачи поиска информации и деятельностные характеристики пользователей различны [21, 33], что однако практически не учитывается в современных реализациях интерфейсов ИПС. Работая в режиме «самообслуживания», пользователи отмечают недостаточную поддержку системы при выборе поисковых технологий и при последующей информационной оценке результатов. Это определяет потребность в теоретических разработках адаптационных средств, опирающихся на исследования человеко-машинного взаимодействия и одновременно учитывающих особенности предметной области - документального научного поиска.

Поскольку самостоятельный информационный поиск (без посредника) получил широкое распространение сравнительно недавно, рассматриваемая область изучена недостаточно. Принципиально важным аспектом, характеризующим предметную область, является общее направление развития современных информационных систем, а именно стремление к оптимизации процесса поиска путем взаимного усиления возможностей системы «пользователь-ИПС» за счет средств интерфейса пользователя поисковой системы. В частности, отмечено, что, работая в режиме «самообслуживания», пользователи испытывают затруднения в первую очередь в вопросах информационной оценки результатов поиска и выбора поисковых технологий, часто даже не осознавая, что их проблемы связаны именно с выбором технологий поиска [21. 56]. Одним из средств решения этой проблемы является контроль действий пользователя со стороны ИПС.

В связи с этим для решения задач субоптимизации интерфейса пользователя, как организущего компонента системы поиска, в данной работе рассматриваются вопросы моделирования и разработки подсистем технологической поддержки пользователя в процессе поиска.

При разработке систем поддержки особенно остро встает задача поиска обоснований для пересмотра существующих решений, а также оснований для выработки новых решении, адаптированных к специфическим условиям предметной области. Основой для моделирования таких подсистем традиционно яв- . ляется исследование поискового поведения.

В процессе поиска документальной информации пользователь совершает определенные операции - элементарные действия пользователя в ИПС, соответствующие использованию какого-либо из поисковых средств системы для получения конечного и, возможно, промежуточных результатов. Тем самым реализуется определенное поисковое поведение. Выбор каждого следующего действия пользователя в ИПС так или иначе зависит от поисковой ситуации, то есть от примененных операций и соответствующих результатов, полученных на предыдущих шагах.

Несмотря на отсутствие общепринятой терминологии, необходимо различать используемые в литературе понятия, характеризующие поведение пользователей на разном уровне детализации. Так, план последовательности поисковых операций на определенном этапе поиска назовем тактикой поиска, устойчивую последовательность тактик - сценарием поиска, а общую концепцию, или предрасположенность, ведения поиска - стратегией поиска.

С точки зрения способа, с помощью которого задается условие соответствия информационной потребности информационным ресурсам, можно говорить о двух «чистых» стратегиях [21]: вербальной и кластерной. Большинство промышленных ИПС обеспечивают поддержку традиционной вербальной стратегии, отличительной чертой которой является обязательное построение завершенного, логически и синтаксически правильного выражения запроса, посредством которого может быть получена выдача формально релевантных запросу документов. Кластерная стратегия основывается на предположении, что документ, его фрагмент или группа документов может рассматриваться не только как результат поиска, но и как средство задания запроса, то есть некоторый поисковый образ. Технологии, поддерживающие кластерные стратегии, в значительной мере позволяют сократить объем просматриваемой при поиске информации за счет определения на основе знаний пользователя в сочетании с иерархиями классификаций, рубрикаций и указателей предметной области групп документов для эффективной идентификации запрашиваемой информации. Кроме того, систематизация выдач обеспечивает пользователя дополнительной информацией, позволяющей формулировать более объективные оценки качества поиска и, соответственно, иметь более обоснованные решения о завершении процесса поиска.

Разнообразие поисковых тактик обусловлено как характером цели и типом поиска, так и системными решениями конкретной ИПС - методами и технологиями поиска, архитектурой БД. В [9, 57, 58, 69] в качестве характеристики поискового поведения используется понятие «тактика модификации запроса», описывающее последовательный поиск не как совокупность независимых запросов, а как последовательность модификаций запроса предыдущего шага поиска. При этом в [58, 69] перечислены более двадцати тактик, образующих две группы: тактики задания начального запроса и тактики модификации запроса. Тактика задания начального запроса может быть «мягкая» (запрос из одного терма) и «жесткая» (запрос из нескольких термов). Тактика модификации запроса может заключаться в уточнении запроса (пересечении с новым термом), изменении запроса (при неизменном количестве термов), усечении запроса (количество термов уменьшается) и расширении запроса (объединении с синонимами). В настоящей работе предполагается рассматривать не только тактики одной модификации запроса (от предыдущего запроса к текущему), но и сценарии поиска, то есть устойчивые последовательности тактик модификации запроса.

Сценарий документального поиска, может быть определен как набор возможных вариантов развития объекта исследований, представленных в виде ряда последовательностей событий, определенных на вероятностном операторном пространстве [30]. С точки зрения приложений сценарий поведения объекта является необходимым промежуточным звеном между этапами целеполагания и формирования конкретных планов работ.

Различаются [30] сценарии поведения системы и сценарии управления. Такое различие связано с тем, что сценарий управления формируется в зависимости от цели управления и соответствующего правила выбора управляющих, воздействий, в то время как назначение сценария поведения объекта — это исследование поведения объекта в условиях, отсутствия явных управленческих воздействий. Таким образом, основное различие в рассматриваемых понятиях заключается в присутствии в сценариях управления активных элементов изучаемой системы [10, 39], в том числе субъекта управления — оперирующей стороны, не только преследующей вполне определенную цель, но и активно ее реализующую. В настоящей работе предполагается осуществить исследование сценариев поведения системы «пользователь - ИПС» при отсутствии управленческих воздействий и предложить возможные сценарии управления документальным поиском.

В качестве предмета для исследования поведения пользователей в данной работе выступает навигация - реализации сценария поиска в виде архива поисковых сессий конкретной ИПС. Средства навигации позволяют пользователю осуществлять управление процессом поиска. Такие средства предоставляются пользователю в виде интерфейса, позволяющего организовать более или менее эффективный процесс взаимодействия с базой данных. При этом «дружественность» интерфейса характеризуется не только эргономичностыо и понятпостыо, но и вариантностью выбора операционных обьектов. Средства интерфейса должны «объяснить» существо системы, то есть обеспечить основу и поддержку определения стратегии поведения, а также соотнесения каждого действия с обобщенной моделью процесса, явно задать содержание каждого объекта и обосновать переход от предположений к действиям по реализации сценария.

Существующие па настоящий момент средства поддержки пользователя в ИПС [56, 66-67, 70-75, 81-85. 87-88] представляют собой два типа подсистем: компонентные и концептуальные. Компонентные средства поддержки характеризуются оптимизацией интерфейса определенного функционального этапа процесса поиска (например, формализации поисковой потребности пользователя или представления документов), а концептуальные средства представляют собой общесистемные интеллектуализированные решения.

Однако, практически все проанализированные в рамках этой работы средства поддержки основываются на исследовании поведения малого количества пользователей (до двадцати испытуемых) или на анализе предметной области разработчиком системы без статистического исследования реальных поисковых сессий, что безусловно снижает объективную степень соответствия разрабатываемых подсистем поддержки потребностям пользователей. Таким образом, очевидна необходимость в исследованиях поведения пользователя, использующих значительные выборки поисковых сессий.

В исследованиях, посвященных моделированию человекомашинного взаимодействия, отмечено частое обращение к такому математическому аппарату, как теория графов [29, 64], теория сетей Петри [49, 51] и теория нейронных сетей [12], что показало перспективность использования сетевых моделей в задачах проектирования интерфейсных средств.

Следует отметить, что прагматическая результативность поиска обуславливается также видом и степенью информационной неопределенности (метаин-формационной, лингвистической, семантической) [21]. При этом оценка когнитивного состояния пользователя в ИПС так или иначе связана с анализом основных объектов поиска (запросов и документов) и сводится к оценке двух аспектов: технической эффективности выражения запроса (полноты и точности представления информационной потребности в конкретной ИПС) и, собственно, информационной оценке - определению семантической значимости найденной информации, которая обычно сводится к систематизации и анализу найденных документов - результатов поиска.

В существующих исследованиях не учитываются подобные особенности процесса поиска, как н возможность применения формализованных методов для отслеживания состояний пользователя в процессе решения его основной задачи с последующим прогнозированием характера развития процесса поиска.

Соответственно, актуальной является задача моделирования взаимодействия пользователей с документальной ИПС в контексте минимизации когнитивной нагрузки на пользователя, особенно в части использования поисковых тактик.

Вышеизложенное позволяет заключить, что проблемы моделирования, проектирования и стандартизации пользовательских интерфейсов в системах поиска баз данных документальной научной информации требуют активного внимания. Сложность, многоаспектность и недостаточная разработанность целого ряда теоретических и эмпирических вопросов проектирования интерфейсов в подобных системах, объективная необходимость их научного осмысления и комплексного анализа определили выбор целей, задач, структуры и содержания исследования.

Цслыо работы является разработка методов и средств повышения эффективности взаимодействия пользователя с документальной информационно-поисковой системой.

Для достижения указанной цели были поставлены следующие основные задачи:

- исследование общих принципов функционирования поисковых систем, анализ этапов человеко-машинного взаимодействия и особенностей интерфейсов в системах научного документального поиска;

- статистический анализ поисковых сессий и выявление закономерностей в поведении пользователей при поиске;

- разработка моделей динамического взаимодействия пользователя с документальной ИПС.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы, 10 приложений и содержит 156 страниц текста, 27 рисунков и диаграмм, 16 таблиц.

ВЫВОДЫ ПО ГЛАВЕ 4

Разработана технология извлечения данных из архива обращений пользователей к поисковому серверу с целью выявления оснований для проектирования пользовательских интерфейсов ИПС.

Предложена логическая схема информационного обеспечения, схема потоков данных, средства обработки архива выражений запросов. Разработан программный модуль, реализующий расчет характеристик сессии по данным архива выражений запросов пользователей. Разработанный модуль, используемый в подсистеме технологической поддержки пользователя, позволяет выполнить расчет характеристик запроса и сессии с последующим определением типа пользователя.

Предложена функциональная схема подсистемы поддержки пользователя. Разработан программный модуль, реализующий на основании данных архива построение матрицы переходов между состояниями процесса поиска для задания марковской цепи, а также вектора вероятностей начальных состояний. В основу программного модуля положена совокупность процедур, преобразующих описание поисковых сессий в наборы значений характеристик этапов поиска.

Практическая значимость исследования состоит в применении полученных результатов в СКВ ВИНИТИ и ИНИОН РАН для проектирования подсистемы поддержки пользователя в задачах поиска документальной информации.

ЗАКЛЮЧЕНИЕ

В рамках исследования и моделирования взаимодействия пользователя с информационно-поисковой системой в процессе поиска получены следующие результаты:

1. В результате анализа архивов поисковых сессий и литературы показано, что основные проблемы пользователей, возникающие в процессе документального поиска, связаны с потерей ориентации в информационном пространстве интерфейса информационно-поисковой системы, а также с недостаточным уровнем владения теми средствами ИПС, которые ориентированы на систематизацию и оценку результатов поиска. Выдвинута гипотеза о возможности прогнозирования сценариев поиска по первым действиям пользователя в системе.

2. Систематизированы методы оптимизации интерфейсных средств на уровне диалога: произведен анализ критериев оценки интерфейса и структурных элементов интерфейса пользователя, а также исследованы этапы разработки интерфейса пользователя. Построена сетевая модель функциональных состояний процесса поиска с привязкой к интерфейсным подпространствам ИПС.

3. Определено понятие субоптимизации поисковых интерфейсов, как метода оптимизации деятельностно-ориентированной логики, представляющего собой комплекс средств поддержки пользователя. Это позволяет расширить понятие интерфейса до уровня компонента системы, организующего поиск, а в качестве одного из средств интерфейса использовать подсистему технологической поддержки пользователя.

4. Проведено исследование поведения пользователей методами статистического анализа архива выражений запросов, в результате которого получены следующие основания для моделирования человеко-машинного взаимодействия:

- определены набор и среднестатистические значения характеристик поисковой сессии пользователя при поиске в документальной информационно-поисковой системе (на основе анализа выражений запросов пользователей с учетом динамики количественных структурных характеристик выражения запроса);

- методом главных компонент факторного анализа характеристик сессии выявлены скрытые факторы, определяющие особенности поведения пользователей;

- с помощью регрессионного анализа получены значимые коэффициенты линейной зависимости характеристики «процент запросов с успешной выдачей в сессии» от факторов поведения пользователей.

- в результате кластерного анализа статистически подтверждена возможность выделения четырех типов поведения пользователя в зависимости от факторов поведения, а именно:

1-й тип поведения (28%) - не обладает ни достаточным знанием предметной области поиска, ни навыками работы в ИПС;

2-й тип поведения (23%) - обладает знанием предметной области, но плохо владеет навыками работы в ИПС;

3-й тип поведения (38%) - плохо знает предметную область поиска, но хорошо владеет навыками работы в ИПС;

4-й тип поведения (11%)- хорошо разбирается как в предметной области поиска, так и в навыках работы в ИПС.

Для каждого типа поведения выявлены наиболее часто используемые сценарии поиска.

Таким образом, с помощью статистического анализа репрезентативной выборки поисковых сессий выявлены возможности определения сценариев поиска, устойчивых для каждого типа поведения пользователей. Возможность типизации поведения пользователей определяет возможность прогнозирования характера дальнейших действий пользователя и, на основании прогноза, предлагать пользователю как информацию, позволяющую расширить круг используемых функциональных возможностей ИПС, так и информацию для предотвращения ошибок, характерных для пользователей данного типа.

5. На основе использования математического аппарата однородных поглощающих цепей Маркова построена модель, отражающая динамику взаимодействия пользователя с ИПС, которая позволяет оценивать характер будущего хода поисковой сессии по первым действиям пользователя в системе поиска. Для этого в процессе поиска были выделены этапы и выделен подэтап диагностики, определены характеристики каждого из этапов. Обоснована целесообразность использования математического аппарата однородных поглощающих цепей Маркова для прогнозирования длины поисковой сессии и характеристик возможного поиска.

6. Предложена методика управления поиском, позволяющая по первым поисковым операциям оценить вероятность и характер будущих действий, связанных с выбором поисковых средств, а также предложить возможные альтернативные сценарии поиска до того, как у пользователя возникнет чувство неудовлетворенности системой. Реализация предлагаемой методики управления поиском позволяет разработать комплекс средств субоптимизации интерфейса, организующих информационное пространство и обеспечивающих возможность эффективного поиска в документальных БД.

7. Предложена логическая схема информационного обеспечения, схема потоков данных, средства обработки архива выражений запросов. Разработан программный модуль, реализующий расчет характеристик сессии по данным архива выражений запросов пользователей. Разработанный модуль используемый в подсистеме технологической поддержки пользователя позволяет выполнить расчет характеристик запроса и сессии с последующим определением типа пользователя.

8. Предложена функциональная схема подсистемы тактической поддержки. Разработан программный модуль, реализующий на основании данных архива построение матрицы переходов между состояниями процесса поиска для задания марковской цепи, а также вектора вероятностей начальных состояний. В основу программного модуля положена совокупность процедур, преобразующих описание поисковых сессий в наборы значений характеристик этапов поиска.

Полученные результаты могут быть использованы в дальнейшем в качестве теоретических и методологических обоснований проектных решений при разработке, оптимизации и реорганизации пользовательских интерфейсов ИПС документальной информации в контексте задач максимизации полноты выдачи. Предложена функциональная схема подсистемы тактической поддержки.

1. Аветисян Д.О. Проблемы информационного поиска. М.: Финансы и статистика, 1981.

2. Андреев В. О чем надо помнить при разработке пользовательского интерфейса. Юзабилити тестирование и проектирование интерфейсов. М.2003.

3. Андреев В.Н. Психологические аспекты представления информации на экране дисплея в автоматизированных обучающих системах С-Пб, 1991

4. Бёлинг Г. Разработка сценариев и моделирование долгосрочного глобального развития в проекте ASIS. PRODUTEC Ingenieurgesellschaft mbll&CoKG, (г. Бремен, Германия).

5. Белышкин А. Особенности субъективных представлений о работе с компьютером у разных категорий пользователей. Usethics. Юзабилити тестирование и проектирование интерфейсов. 2003. (http://usethics.ru/lib/usercategoriessubjective/index.shtml)

6. Белышкин А., Бурмистров И. Влияние прерываний на работы пользователей ПК. / CNews.ru, №25 ,2001. (http://weekly.cnews.ru)

7. Белышкин А., Головач В. Проектирование интерфейса как часть разработки ТЗ. Intelligent Enterprise/Корпоративные системы № 12/77, 2003.

8. Борисова Л.Ф., Максимов И.В. Голицына O.JI. Системы и технологии распределенной обработки научно-технической информации в ВИНИТИ // НТИ. -Сер. 1,-2003,-№10,

9. Бузикашвили Н. Поисковое взаимодействие: мифы, реальность и базовые принципы. RCDL-6 Материалы конференции, Пущино, стр.226-235, 2004

10. Ю.Бурбаки II. Теория множеств. — М.: Мир. 1965.

11. Вентцель Е.С. «Теория вероятностей» Вентцель. Москва, изд. «Наука», 1969.

12. Вероятностное прогнозирование в деятельности человека. Сб. статей / АН СССР. Ин-т психологии и др. под ред. Фейгенберга И.Н. М.: Наука, 1977.

13. Волченков Е. Стандартизация пользовательского интерфейса. / Открытые системы, №04, 2002.

14. М.Вуколов Э.А. Основы статистического анализа. Практикум по статистическим методам и исследованию операций с использованием пакетов Statistica и Excel: Учебное пособие.-М.: ФОРУМ: ИНФРА-М, 2004.- 464с.

15. Вятчин К. Язык шаблонов в дизайне взаимодействия. / PC Week/RE №41, 2002. Санкт-Петербурге: СК Пресс, 2002.

16. Гиляревский Р.С., Шрейдер Ю.А. Семиотика научно-информационных процессов НТИ СЕР. 2 № 1, 1979. стр. 1-7

17. Гихман И. И., Скороход А. В., Введение в теорию случайных процессов, М., 1965.

18. Гладышев Н.И., Нурминский И.И. Статистические закономерности формирования знаний и умений учащихся. -М.:Педагогика, 1991.

19. Глухов В.А., Максимов Н.В. Голицына О.Л. Электронные библиотеки. Организация, технология и средства доступа // НТИ. -Сер. 1, -2000, №10.

20. Гнеденко Б.В. Курс теории вероятности. М.: Государственное издательство технико-теоретической литературы, 1954.

21. Голицына О.Л., Максимов Н.В. Информационные системы. Учебное пособие -М.: МГИЭФП, 2004

22. Голицына О.Л. Максимов Н.В. Человеко-машинный информационный поиск в документальных базах данных // Теория и практика общественно-научной информации. Вып. 12. -М.: ИНИОН РАН, 1996

23. Горяинов В. П. Методологические вопросы анализа деятельности пользователя в автоматизированных системах. / Системные исследования. Методологические проблемы. М.: Наука, 1991.

24. Грешиков A.A. Математические методы построения прогнозов. М.: Радио и связь, 1997.

25. Гультяев А.К., Машин В.А. Проектирование и дизайн пользовательского интерфейса. Санкт-Петербург: "КОРОНА принт", 2000.26.3абегаева H.H., Максимов Н.В. Информационный поиск и модели поведения пользователей // НТИ. Сер. 1,2001, №11.

26. Коробкина H.H. Исследование поведения групп пользователей в задачах научного поиска. RCDL-6 Материалы конференции, Пущино, стр.290-297, 2004

27. Круг С. Веб-дизайн: книга Стива Круга или «не заставляйте меня думать!» -Санкт-Петербург: Символ-Плюс, 2001.

28. Кузнецов Н.А, Кульба В.В., Ковалевский С.С., Косяченко С.А. Методы анализа и синтеза модульных информационно-управляющих систем. -М.:ФИЗМАТЛИТ, 2002, стр 106-130, 420-468.

29. Кульба В.В., Кононов Д.А., Косяченко С.А., Шубин А.Н. Методы формирования сценариев развития социально-экономических систем. Серия «Информационные технологии». — М.: СИНТЕГ, 2004,296 с.

30. Лемешко Б.Ю., Лемешко С.Б. Сравнительный анализ критериев проверки отклонения распределения от нормального закона. Метрология. 2005, №2.-с.З-23.

31. Марков А. А., Избранные труды. Теория чисел. Теория вероятностен, М., 1951;

32. Максимов Н.В. Информационный поиск и модели поведения пользователей / Н.В. Максимов, H.H. Забегаева//НТИ. Сер. l.-2001.-№ 11.-С. 10-21: ил. -Библиогр.: с. 21

33. Максимов Н.В. Исследование и моделирование систем управления доступом к гетерогенным информационным ресурсам. Дисс. на соискание ученой степени доктора техн. наук по спец. 05.25.05. М.: РГГУ, 2001.

34. Максимов Н.В., Попов И.И., Храмцов П.Б. Введение в сетевые информационные ресурсы и технологии. -М.: РГГУ, 2001.

35. Максимов Н.В., Попов И.И. Голицына О.Л. Базы данных. Учебное пособие -М.: Форум, 2003

36. Максимович Г.Ю., Романенко А.Г., Самойлюк О.Ф. Информационные системы. М.: Изд-во Рос. экон. акад., 1999.

37. Мандель И.Д. Кластерный анализ. -М.: Финансы и статистика, 1988.

38. Математика и кибернетика в экономике: Словарь-справочник. — М.: Экономика. 1975.

39. Найссер У. Познание и реальность. Смысл и принципы когнитивной психологии М.: Прогресс, 1981.

40. Нильсен Я. Веб дизайн: книга Якоба Нильсона. Санкт-Петербург: Символ-Плюс, 2001.

41. Норман, Дональд А. Дизайн привычных вещей.: Пер. с англ. -М.:Издательский дом "Вильяме", 2006. 384с.

42. Попов И.И. Информационные ресурсы и системы: реализация, моделирование, управление. М.: ТПК «Альянс», 1996.

43. Попов И.И., Храмцов П.Б. Мировые информационные ресурсы и сети. М.: Изд-во Рос. экон. акад., 1999.

44. Присняков В.Ф., Приснякова Л.М. Математическое моделирование переработки информации оператором человеко-машинных систем. М.: Машиностроение, 1990.

45. Психология индивидуальных различий. Тексты / Под ред. Ю.Б. Гиппенрейтер, В.Я. Романова. М.: Изд-во МГУ, 1982. С. 74-77.

46. Раскин Дж. Интерфейс: новые направления в проектировании компьютерных систем. Санкт-Петербург: Символ-Плюс, 2003.

47. Тихонов, В. И. Марковские процессы / В. И.Тихонов, М. А. Миронов. М., 1977.

48. Смирнова Е.И. Моделирование ограниченными сетями Петри динамических информационных структур автореф. дисс. на соискание уч. ст. кфмн, Новгород, НГУ, 1998г.

49. Торрес.Р.Дж. Практическое руководство по проектированию и разработке пользовательского интерфейса. Вильяме: Серия института качества программного обеспечения, 2002.

50. Туева Н.С. Моделирование диалоговых систем с помощью сетей Петри, ВЦРАН, Москва, 1991 г, 19 стр.

51. Феллер В., Введение в теорию вероятностей и её приложения, перевод с английского, т. 1 — 2, М., 1967;

52. Финн В.К., Черный А.И. Интеллектуальные системы и новые информационные технологии в ВИНИТИ. / Итоги науки и техники, т. 15, Информатика. -М.: ВИНИТИ, 1991.

53. Чернозатонская Е.В., Организация поиска в электронных каталогах в свете международных рекомендаций.

54. Ameritech User Interface Guidelines. Ameritech Corp. (Ы1р:/Ау\у\у.атеп1ес11.сот:1080/софога1еЛе511о\\'п/НЬгагу/51апиаг(1/1пиех.Ыт1)

55. Barnicle K.A. Evaluation of the interaction between users of screen reading technology and graphical user interface elements / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 60, № 05. - Columbia University: Proquest, 2000.

56. Bates M. Information Search Tactics.JASIS, 30(4), pages 205-214, 1979

57. Bates M. Where should the person stop and information interface start? IPM, 26(5), pages 575-591, 19909s.

58. N.J.Belkin, R.N.Oddy and H.M.Brooks. Ask for information retrieval: Part I. Background and theory. Journal of Documentation, 38(3): 145-164, 1982.

59. Brajmik G., Mizzaro G., Tasso C., Venuti F. Strategic help in user interfaces for information retrieval. Journal of American Society for Information Science & Technology, т. 53, № 5, c. 343. - Proquest ABI/INFORM, 2002.

60. Choo Ch.W., Detlor В., Turnbull D. A Behavioral Model of Information Seeking on the Web Preliminary Results of a study of How Managers and IT Specialists Use the Web. 1998 ASIS Annual Meeting Contributed Paper.

61. Coats R.B., Vlaeminke I. Man-computer interfaces, пер. под ред. В.Ф. Шань-гина, «Мир», стр. 361-384, 1990

62. Cool С., Park S., Belkin N., Koenemann J., Kwong Bor Ng. Information Seeking Behavior in New Searching Environments.

63. Downs R.R. A field study: user interface features in a web-based research library / Ph.D. Degree abstract. Dissertation Abstracts International, т. 58, № 06. - Stevens Institute of Technology: Proquest, 1998

64. Duffy S.A. Predictive processing in story comprehension / Ph.D.Degree abstracts. -Dissertation Abstracts International, т. 44, № 02. University of Michigan: Pro-quest, 1984.

65. Eskola E.L. University students' information seeking behavior in a changing learning environment. Information Research, Volume 4 No. 2 October 1998.• 69. Fidel R. Moves in Online Searching. Online Review, 9(1), pages 6.1-74, 1985

66. Gauch S.E. An expert system for searching in full-text / Ph.D.Degree abstracts. -Dissertation Abstracts International, т. 51, № 10. University of North Carolina at Chapel Hill: Proquest, 1991.

67. Golovchinsky G. From information retrieval to hypertext and back again: the role of interaction in the information exploration interface / Ph.D.Degree abstracts. -Dissertation Abstracts International, t. 59, № 06. University of Toronto: Proquest, 1999.

68. Hefley W.E., Buie E.A., Lynch G.F., Muller M.J., Hoecker D.G., Carter J., Roth T. Integrating Human Factors with Software Engineering Practices.

69. Huang J. An integrated methodology for power system restoration planning / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 55, № 06. - McGill University: Proquest, 1995.

70. Human-Computer Interaction Guidelines. IBM Corporation (http://www.ibm.com/IBM/HCI/guidelines/guidelines.html)77.1ngwersen P. Information Retrieval Interaction. Taylor Graham, London, 1992.

71. Kan M. Automatic text summarization as applied to information retrieval: using indicative and informative summaries / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 63, № 11.- Columbia University: Proquest, 2003.

72. Koenemann J., Belkin N. A case for interaction: a study of interactive information retrieval behavior and effectiveness, in Proceedings of CHI '96 (Vancouver, Canada, May 1996), ACM Press, 205-12.

73. Kuhlthau C.C., Accommodating the user's information search process: Chalenges for information retrieval system designers. Bulletin of the American Society for Information Science, Washington, Feb/Mar 1999, Vol.25 No 3, 12-16.

74. Larsson J.E. Knowledge-based methods for control systems / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 54, № 03. - Lunds Universitet: Proquest, 1994.

75. Leuski A.V. Interactive information organization: techniques and evaluation / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 62, № 04. - University of Massachusetts: Proquest, 2002.

76. Newsome M.R. A browser-based tool for designing query interfaces to scientific databases / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 58, № 02. - Oregon State University: Proquest, 1998.

77. Nuchprayoon A. Guido: A usability study of its basic information retrievial operations / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 57, № 10. -University of Pittsburgh: Proquest, 1997.

78. Ritondo M. An investigation of the end user database query process / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 58, № 12. - University of Maryland: Proquest, 1998.

79. Saracevic T., Spink A., Wu M. Users and Intermediaries in Information Retrieval: What are They Talking About? In Jameson A. Paris C., Tasso C. User Modeling: Proceedings of the Sixth International Conference, UM97. CISM,1997.

80. Schoelles M.J. Simulating human users in dynamic environments / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 63, № 06. - George Mason University: Proquest, 2003.

81. Shenouda W.A. Online search strategy modification by end users / Ph.D. Degree abstract/ Dissertation Abstracts International, t. 52, № 07. - Rutgers State University of New Jersey: Proquest, 1992.

82. Shneiderman B., Feldman D., Rose A. Vizualizing Digigtal Library Search Results with Categorical and Hierarchical Axes. HCIL Technical Report No.99-03 (June 1999).

83. Smith E.S. Search strategies for computer-stored information: a microcomputer tutorial / Ph.D.Degree abstracts. Dissertation Abstracts International, t. 51, № 01. - University of South Florida: Proquest, 1991.

84. Spink A., Goodrum A., Robins D. Elicitation behavior during mediated information retrieval. Information Processing & Management, t. 43, № 2-3, c. 257. -Pergamon, 1998.

85. Taylor R.S. Question-negotiation and information seeking in libraries. College and Research Libraries, 29:178-194, 1968.

86. Thompson R.H. The design and implementation of an intelligent interface for information retrieval / Ph.D.Degree abstract. Dissertation Abstracts International, t. 50, № 05. - University of Massachusetts: Proquest, 1990.

87. The Windows User Experience Official Guidelines for User Interface Developers and Designers © 2000 Microsoft Corporationhttp://msdn.microsoft.com/library/default.asp?url=/library/enus/dnwue/html/welco me.asp)

88. Twidale M.B., Nichols D.M. Designing Interfaces to Support Collaboration in Information Retrieval.

89. Wilson T.D. Human Information Behavior. Informing Science, volume 3 No 2, 2000.

90. СПИСОК ТЕРМИНОВ, УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ

91. АИПС автоматизированная информационно-поисковая система БД-база данных

92. ИПС информационно поисковая система

93. ИПЯ информационно-поисковый язык, совокупность терминов ИПС ИС - информационная система НТИ - научно-техническая информация ПО - программное обеспечение

94. Поисковая сессия совокупность действий пользователя в поисковой системе, реализованных пользователем с момента подключения к серверу ИПС до момента его выхода из системы поиска информации. Соответствует множеству поисковых сеансов.

95. Сеанс поиска совокупность действий пользователя в поисковой системе, реализованных пользователем в пределах большой поисковой итерации (задание запроса - поиск - оценка документов - оценка результатов поиска)