автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Разработка и исследование механизмов динамического взаимодействия различных стратегий поиска информации

На правах рукописи

АВЕТИСЯН Рубен Декартович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕХАНИЗМОВ ДИНАМИЧЕСКОГО ВЗАИМОДЕЙСТВИЯ РАЗЛИЧНЫХ СТРАТЕГИЙ ПОИСКА ИНФОРМАЦИИ

Специальность: 05.13.06 - Автоматизированные систеш

управления

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 1996

Работа выполнена в Научно-техническом центре "ИНФОРМРЕ-ГИСТР" Комитета при Президенте Российской Федерации"по политике информатизации

Научный руководитель:

доктор технических наук, профессор Романенко А.Г. Официальные оппоненты:

доктор технических наук, профессор Курочкин Е.П.,

на заседании Диссертационного совета Д163.01.01 при Всероссийском научно-исследовательском институте проблем вычислительной техники и информатизации по адресу: 113114, Москва, 2-ой Кожевнический пер., дом 4/6.

С диссертацией можно ознакомиться в научно-техническом архиве Всероссийского научно-исследовательского института проблем вычислительной техники и информатизации.

кандидат технических наук

Гитер Д.М.

Ведущая организация:

Российское объединение информационных ресурсов научно-технического развития ГКНТ РФ

Защита состоится "Об " 199бг. в часов

Автореферат

Ученый секретарь Диссертационного совета доктор технических наук

В.Л.Ольховский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Интенсивное развитие сетевых технологий в современных процессах информатизации привело к стремительному росту информационных сетей и расширению их функциональных возможностей. Наглядным примером может служить распространение глобальной сети INTERNET, успешно преодолевающей межгосударственные и иные границы. Абонентами сети стали специалисты самых различных профессий. С целью удовлетворения своих информационных потребностей они могут обращаться к различным базам данных, независимо от их местонахождения, Если еще недавно пользователи имели дело с базами данных, в состав которых входили десятки, сотни тысяч записей, то в условиях глобальных сетей это число возросло на несколько порядков. Это обстоятельство ставит перед проектировщиками современных автоматизированных систем документального поиска (АСДП) ряд новых проблем, решение которых возможно лишь путем разработки принципиально новых методов и средств информационного поиска.

Несмотря на практически уже сложившуюся традицию общения в международных сетях на английском языке, по-прежнему остается актуальным круг вопросов, связанных с созданием программных средств, выполняющих роль языкового интерфейса между абонентами сети и базами данных на различных языках. Снятие необходимости перевода всех баз данных на английский язык (или на любой иной базовый язык сети) привело бы к значительному сокращению сроков и стоимости подготовки баз данных.

Актуальность настоящей работы определяется необходимостью разработки принципиально новых методов информационного поиска в больших базах данных и создания программных средств; позволяющих осуществить автоматизированную корректировку (реформулировку) . первоначально сформулированных пользовательских запросов, сводящуюся к их привязке к тем или иным конкретно сложившимся поисковым ситуациям, включая фактор языка.

Цель работы. Целью диссертационной работы является разработка нового, эффективного метода поиска информации в больших базах данных и средств его реализации в виде программной продукции.

Задачи исследования. Реализация поставленной цели требует решения следующих основных задач:

- разработка научно обоснованной схемы взаимодействия различных поисковых стратегий;

■ - выбор и обоснование состава и содержания критериев оценки степени близости различных подмножеств, определенных на универсальных множествах документов и терминов;

- разработка и исследование математической модели взаимодействия различных поисковых стратегий;

- разработка, отладка и ввод в эксплуатацию программно-алгоритмического комплекса - автоматизированной системы документального поиска, реализующей динамическое взаимодействие различных поисковых стратегий.

Объект исследования. Объектом исследования являются механизмы динамического взаимодействия различных стратегий поиска в больших, а также в многоязычных базах данных.

Методика исследования. В исследованиях были применены

методы теории вероятностей, корреляционного и энтропийного анализа, методы прикладной теории информации, методы оптимизации и системного программирования.

Научная новизна диссертационной работы заключается в следующем:

- разработан метод энтропийного отображения ( Н -отображения) и отражения ( Ц -отражения) различных подмножеств, определенных на универсальных множествах документов и терминов;

- разработан метод -кратного корреляционного отображения ( й. -отображения) и отражения ( Ц -отражения) различных (в том числе, нечетких) подмножеств, определенных на универсальных множествах документов и терминов, получены формулы, определяющие характер поведения -I -кратного (I -отражения при неограниченном росте параметра ;

- разработана математическая модель динамического взаимодействия различных стратегий поиска.

Практическая значимость результатов, полученных в диссертационной работе, заключается в следующем:

- разработана и внедрена в эксплуатацию автоматизированная система документального поиска "Бумеранг", реализованная на языке СИ и отличающаяся высокими скоростными показателями;

- разработан и реализован в рачках системы "Бумеранг" механизм автоматизированной корректировки пользовательских запросов, учитывающий конкретно сложившиеся эксплуатационные условия путем динамического взаимодействия различных поисковых стратегий;

- автоматизированная реформулировка запросов в системе

"Бумеранг" сводится к машинной генерации их семантических эквивалентов, сформулированных лексическими средствами других языков, позволяя, тем самым, работать с базами данных на этих языках без помощи каких-либо словарей;

- система "Бумеранг" позволяет осуществить автоматизированное рубрицирование пользовательских запросов путем отображения различных подмножеств на множество рубрик.

Реализация и внедрение результатов работы. Результаты, полученные в диссертационной работе, внедрены в

- ЦНИИ "Комета" Миноборонпрома РФ;

- ТОО "Мультимедиа Технологии".

Публикации. Основные результаты диссертационной работы опубликованы в 7 научных работах.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы (83 наименования) и приложений. Работа выполнена на 113 страницах машинописного текста, содержит 11 рисунков. Общий объем работы, включая приложения, составляет 122 страницы машинописного текста.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается выбор темы диссертационной работы, определены цели и задачи исследования, кратко изложено содержание диссертации по главам.

В первой главе осуществлен сопоставительный анализ существующих методов бестезаурусной корректировки и терминологического наращивания пользовательских запросов. Рассмотрены существующие критерии - формальные количественные меры по

- -

оценке близости подмножеств, определенных на универсальных множествах документов и/или запросов. Поскольку в контексте диссертационной работы эти критерии предполагается использовать в качестве параметров оптимизации, то одноаспектные критерии, такие как коэффициенты полноты, точности и специфичности, заведомо не могут считаться приемлемыми. Из наиболее ранних критериев, призванных осуществить интегральную оценку близости различных подмножеств, большой интерес представляет критерий, рассмотренный Г.Стайлзом еще в 1956 г.. Ему -удалось сформулировать требования, которым должны удовлетворять критерии, используемые в качестве параметров оптимизации. Однако, саму формулу, которой пользуется Г.Стайлз, нельзя признать корректной. В диссертационной работе на конкретных примерах показано, что использование этой формулы не может привести к удовлетворительным результатам.

Более продуктивными оказались энтропийный и корреляционный критерии оценки близости различных подмножеств, причем корреляционный критерий может применяться для оценки близости не только обычных, но и нечетких (размытых) подмножеств. Был проведен подробный анализ свойств этих критериев, после чего они были выбраны для использования в качестве параметров оптимизации.

В первой главе осуществлен также анализ различных алгоритмов, реализующих опосредствованный поиск информации. В частности, проанализированы алгоритмы Г.Стайлза, линейного ассоциативного поиска (Г.Сэлтон), а также алгоритмы, базирующиеся на энтропийном и корреляционном критериях - параметрах оптимизации. В главе обосновывается настоятельная необходимость дальнейшего развития и совершенствования механиз-

мов опосредствованного поиска с целью создания комплекса поисковых инструментов, повышающих функциональную эффективность автоматизированных систем документального поиска. Исследования в этом направлении представляются особенно актуальными на фоне интенсивно развивавшихся сетевых технологий, когда базы данных, доступные пользователям, насчитывают миллионы записей.

Во второй главе разработаны и исследованы различные математические модели документального поиска. После основных определений, сформулированных в начале главы, осуществлен анализ энтропийной модели документального поиска. Вводятся понятия до- и послепоисковых неопределенностей угадывания того, является ли наугад взятый документ релевантным или нет. Разница этих неопределенностей (энтропий), собственно, и есть то количество информации, которое получают пользователи в результате работы с АСДП. Рассмотрен также коэффициент (96-) проводимости АСДП, определенный как отношение количества информации, полученной в результате информационного поиска, к исходной допоисковой неопределенности, присущей поисковой среде. Значения этого коэффициента нормированы в интервале [0,11, причем значение № = 1 соответствует идеальному качеству работы АСДП. Введено в рассмотрение понятие согласованности поисковой среды с характеристиками АСДП.

При анализе корреляционной модели документального поиска рассмотрены функции релевантности и выдачи, определенные на элементах множества документов. В соответствии с этим рассмотрены п -мерные векторы релевантности и выдачи, где "VI -число документов этого множества. Далее проанализированы

значения коэффициентов корреляции между этими векторами, или, что то же самое, между подмножествами исходного множества, с функциями принадлежности, совпадающими с функциями релевантности и выдачи. При этом использована известная формула по вычислению статистического коэффициента линейной корреляции между двумя случайными величинами на основе п независимых экспериментов, проведенных в одинаковых условиях. На конкретных примерах указывается на корректность использования этого критерия в качестве параметра оптимизации. Как и при рассмотрении энтропийной модели, здесь также рассматривается понятие согласованности поисковой среды со свойствами АСДП.

В этой главе рассмотрены также матричные модели документального поиска. На основе анализа линейного ассоциативного поиска, рекомендуемого американскими специалистами в качестве механизма опосредствованного поиска, указывается на неправомочность применения матричных моделей документального поиска с использованием операции умножения матриц. Это обусловлено тем, что умножение матриц сводится к вычислению скалярных произведений различных векторов, а значения скалярных произведений векторов не могут служить критериями близости подмножеств, представленных этими векторами. Исходя из этого формулируется необходимость введения в рассмотрение К, -произведения матриц ( 1?. -аналога обычного произведения матриц).

В третьей главе проанализирована теорема транзитивности на предмет ее использования при построении механизма динамического взаимодействия различных стратегий поиска. Показано, что теорема транзитивности может служить отправной точкой

при построении такого механизма. В частности, использование этой теоремы естественным образом приводит к необходимости рассмотрения операций -к -кратных Ц -отображений и Ц -отражений различных подмножеств (в общем случае нечетких). Для анализа поведения -кратных Ц -отображений и |2_ -отражений различных подмножеств введено в рассмотрение -произведение матриц и далее с использованием теоремы Сильвестра осуществлен анализ поведения системы при

Пусть, к примеру, рассматриваются универсальные множества документов ( и/ ) и терминов ( Т ), содержащие соответственно п и ул элементов. Пусть далее, С некоторая прямоугольная матрица смежности между элементами этих множеств. Очевидно, эта матрица будет иметь размерность п х -т

Однократным К. -отображением на множество л/ подмножества , определенного на множестве Т , называется подмножество Л ^ множества и/ , представленное у\ -мерным вектором

Л-С*

(1)

где:

- 'М -мерный вектор, представляющий подмножество а(0) ;

С Ь - матрица С , после центрирования всех ее строк, достигаемого путем умножения матрицы С на матрицу

5 ;

' вектор , после его центрирования,

достигаемого путем умножения матрицы 5 на этот вектор;

Н с С 5 ~ матрица С Ь , после нормирования всех

ее строк, достигаемого путем умножения матрицы ¡-¡^ на матрицу С 5 ;

5 М " вект°Р » после его нормиро-

вания, достигаемого путем умножения вектора 5 на скалярную величину •^Се) .

В диссертации приведен подробный анализ свойств матрицы 5 . осуществляющей центрирование векторов, а также матриц типа и скаляров типа , осуществляющих нормирова-

ние соответствующих векторов.

Однократным й -отражением от множества У" подмножества называется подмножество множества Т , представленное -мерным вектором

где С - матрица, транспонированная относительно матрицы

с .

4; -кратным отражением подмножества называет-

ся однократное р. -отражение подмножества , т.е.

подмножество

Из приведенных определений легко заметить: символ '*' в формулах (1) и (2) означает, что вместо обычных произведений матриц на векторы рассматриваются их Я -произведения, т.е. вместо значений скалярных произведений соответствующих векторов вычисляются значения коэффициентов их корреляции.

В диссертации приведено доказательство того, что с неограниченным ростом параметра процесс

ан)=сч/в\

^ 7 (3)

« • '

сходится. В частности, доказано, что при достаточно больших значениях 4 имеет место

где ^ <з - старшее по модулю собственное значение матрицы ^ - \\стСЬ Не- ' Исходя из того> что спектр собственных значений этой матрицы с точностью до нулевых собственных значений совпадает со спектром собственных значений матрицы г /"/(■, С 3 Не.7 СГ > Делается вывод о том, что о является старшим по модулю собственным значением также матрицы .

Иными словами, доказано, что при достаточно больших значениях параметра -¿- имеют место

Ян,= «я

т.е. векторы и Л^^ стремятся к собственным

направлениям соответственно матриц $ и /- и не зависят от первоначально сформулированного пользователем запроса . Отсюда следует нецелесообразность чрезмерного увеличения параметра ~Ь . Более того, чтобы избегать сходимости к соответствующим собственным векторам, предлагается осуществить однократную работу АСДП (под контролем или без контроля со стороны пользователя) с последующим переключением системы на другие матрицы, соответствующие другим поисковым стратегиям.

Аналогично с операциями И -отображения и И -отражения вводятся в рассмотрение также операции Н -отображения и }-| -отражения.

Однократные Р. - и /-/ -отображения реализованы в виде программной продукции ~ автоматизированной системы документального поиска "Бумеранг".

В четвертой главе осуществлен анализ результатов, полученных в процессе эксплуатации системы "Бумеранг" в режиме опосредствованного поиска документов. Эксперименты проводились с базой данных из 36566 вторичных документов - фрагментом базы данных ИНИОН РАН. Форматом этой базы данных предусмотрено наличие во вторичных документах фамилий авторов документов, заглавий первоисточников на русском языке и на языке первоисточников, краткой аннотации, списков ключевых слов на русском и английском языках, а также рубрик ИНИОН РАН. При проведении экспериментов были активизированы три поисковых поля:

- поле русских слов, куда вошли фамилии авторов документов, все слова, фигурирующие в заглавии на русском языке и аннотации, а также ключевые слова на русском языке;

- 14 -

- поле иностранных слов, куда вошли все слова, фигурирующие во вторичных документах на латинском алфавите. Сюда входят ключевые слова на английском языке, а также слова заглавий первоисточников, приведенные на латинском алфавите;

- поле рубрик ИНИОН РАН, куда вошли все рубрики вторичных документов.

На этапе подготовки базы данных были составлены инверсные списки соответственно русских и английских слов, а также списки рубрик ИНИОН РАН, которые встречались в документах базы данных. В этих списках оказались 57273 русских и 52886 английских слов, а также 1466 рубрик. О характере участия этих списков во взаимодействии трех стратегий поиска можно судить по следующему примеру общения пользователя с системой "Бумеранг".

Пользователя интересовали все документы, где речь шла об охране окружающей среды. Первоначально был сформулирован запрос N1

ОХРАН* & ОКРУЖАЛИ* & СРЕД*. Наличие символа '*' в конце каждого набора букв воспринимается системой как интерес пользователя ко всем словоформам, которые начинаются с этого набора. Например, выражение ОХРАН* системой воспринимается как интерес пользователя ко всем словоформам типа ОХРАНа, ОХРАНОЙ, ОХРАНные т.д.. В рассматриваемом смысле логическим эквивалентом запроса N1 может служить запрос N1.1, сформулированный как ( ОХРАНА I ОХРАНОЙ I ОХРАННЫЕ I ... ) & & ( ОКРУЖАЮЩЕЙ I ОКРУЖАЩИМИ I ОКРУЖАЮЩИЕ I ... ) & & ( СРЕДА I СРЕДОЙ I СРЕДЫ I ... ). Символы 'Г и '&' воспринимаются системой как логические

операторы ИЛИ и И, т.е. как операторы логического сложения и умножения. Оператор логического отрицания НЕ высказывания У^ в запросах выражается путем взятия этого высказывания в жесткие скобки: ЗС ~ [ЭС ]

Из списка рубрик на запрос N1 рекомендуются следующие Номер Рубрика Коэфф.рел.

1. А105391 25

2. А1221278787 17

Рис.1

В режиме обычного прямого поиска в ответ на запрос N1 система выдала пользователю 638 документов. Подмножество выданных документов подверглось ¡-{ -отображению на множество рубрик. Результатом этого отображения явилось нечеткое подмножество, определенное на инверсном списке рубрик. Система вывела на экран рубрики, ранжированные в порядке убывания их коэффициентов релевантности (рис.1). Меры принадлежности остальных 1464 рубрик оказались меньше порогового значения коэффициента релевантности, принятого в системе равным 0.14. Наименования этих рубрик приведены на рис.2. В общем же слу-

I I

|А105391 - ПРАВОВЫЕ ПРОБЛЕМЫ ОХРАНЫ ОКРУЖАЮЩЕЙ СРЕДЫ В | | ОТДЕЛЬНЫХ СТРАНАХ |

1А1221278787 - ЭКОЛОГИЧЕСКИЕ ПРОБЛЕМЫ |

I_1

Рис.2

чае предполагается, что пользователь не имеет доступа к этим комментариям и при формулировке очередного запроса руководс-

твуется лишь значениями коэффициентов релевантности этих рубрик ( 25, 17 ). Так, с использованием информации, приведенной на рис.1, пользователем был сформулирован запрос N2 в виде

А105391 I AI221278787. В ответ на этот запрос система выдала 286 релевантных документов, из коих 155 - новые, не оказавшиеся в ответе на запрос N1. В ответе на запрос N3

( запрос N1 ) I ( запрос N2 ), объединяющий выдачи на запросы N1 и N2, оказалось 793 документа.

Подмножество этих документов подверглось Н -отображению на множество - инверсный список слов английского языка. В результате такого отображения было получено нечеткое подмножество, определенное на множестве английских слов. Система вывела на экран список этих слов, ранжированных в порядке убывания их коэффициентов релевантности (рис.3).

На основе этой информации пользователем был сформулирован запрос N4

NATUR* & P0LLUT* , в ответ на который система выдала 25 релевантных документов.

Из списка англ.слов на запрос N3 рекомендуются следующие

Номер Термин 1. NATURAL

2. POLLUTION

3. EXPLOITATION

Коэфф.рел. 22 17 14

РИС.3

Из них 13 оказались новыми, т.е. не вошедшими в ответ на запрос N3. В ответе на запрос N5, сформулированный как

( запрос N3 ) I ( запрос N4 ), оказалось 806 документов. Эти документы подверглись Н -отображению на множество - инверсный список русских слов. В результате такого отображения было получено нечеткое подмножество, определенное на множестве русских слов. Элементы этого множества, ранжированные в порядке убывания их коэффициентов релевантности (меры принадлежности), приведены на рис.4.

Обращает внимание то обстоятельство, что в этом списке исходные (порождающие) слова ОХРАН*, ОКРУЖАВД* и СРЕД* не всегда опережают новые слова, порожденные системой в результате поиска по другим стратегиям (в данном случае -- стратегиям поиска документов по рубрикам ИНИОН РАН и английским словам). Так, коэффициенты релевантности порожденных слов ЗАГРЯЗНЕНИЕ (22), ЭКОЛОГИЧЕСКАЯ (20) и др. оказались больше коэффициента релевантности порождающего слова СРЕДЕ (14). Что же касается другого порождающего слова ОКРУЖАЮЩ*, то его коэффициент релевантности и вовсе оказался меньше порогового. На основе информации, приведенной на рис.4, был сформулирован новый запрос N6

ЗАГРЯЗ* I ЭКОЛ* I ПРИРОДО* , в ответ на который система выдала 1487 документов. Из них 1011 документов оказались новыми, т.е. не выданными в ответ на запрос N5. В ответе на запрос N7, сформулированный как

( запрос N5 ) I ( запрос N6 ), оказалось 1817 документов.

Таким образом, именно благодаря механизму динамического

Из списка русск. слов на запрос рекомендуются следующее |

| Номер Термин . Коэфф.рел.|

| 1. ОХРАНЫ 36 |

| 2. ОХРАНЕ 28 |

| 3. ЗАГРЯЗНЕНИЕ 22 |

| 4. ЭКОЛОГИЧЕСКАЯ 20 |

| 5. ПРИРОДОПОЛЬЗОВАНИЕ 20 |

| 6. ЭКОЛОГИЯ 14 |

| 7. СРЕДЕ 14 |

| 8. ПРИРОДЫ 14 |

I__'

РИС. 4

взаимодействия различных стратегий поиска, конкретнее - благодаря (-] -отображению, число найденных релевантных документов возросло с 638 документов, выданных АСДП в ответ на запрос N1, до 1817 документов, оказавшихся в выдаче на запрос N7.

Эксперименты показали, что, как правило, эффективность взаимодействия различных поисковых стратегий оказывается тем выше, чем сильнее различаются принципы построения этих стратегий. Например, во время экспериментов с базой данных ИНИОН РАН наибольший эффект получался от взаимодействия дескрип-торных языков (английский и русский языки) с языком иерархической структуры (язык рубрик ИНИОН РАН).

В приложении к диссертации приведены распечатки текстов вторичных документов, найденных системой "Бумеранг" в ответ на различные запросы.

Там же приведены копии актов о внедрении результатов,

- 19 -

полученных в диссертационной работе.

Основные результаты и выводы

1. Разработан метод поиска информации в больших, а также в многоязычных базах данных, позволяющий осуществить автоматизированную корректировку (реформулировку) пользовательских запросов, их привязку к конкретно сложившимся поисковым ситуациям путем динамического взаимодействия различных поисковых стратегий.

2. Обоснован выбор состава и содержания критериев оценки степени близости различных подмножеств, определенных на универсальных множествах документов и терминов.

3. Разработаны корреляционная и энтропийная модели динамического взаимодействия поисковых стратегий в больших базах данных. На основе исследования этих моделей предложены формулы, позволяющие оценить функциональную эффективность такого взаимодействия.

4. Разработаны операции корреляционного и энтропийного отображений различных подмножеств, определенных на множествах документов и терминов. Обосновано применение этих операций в качестве базовых средств при реализации динамического взаимодействия различных поисковых стратегий.

5. Разработан и реализован механизм автоматизированного бессловарного перевода пользовательских запросов на иностранные языки и языки иерархического типа (автоматизированное рубрицирование пользовательских запросов), что значительно повышает функциональную эффективность общения пользователей с системой.

6. разработана, отлажена и введена в эксплуатацию авто-

матизированная система документального поиска "Бумеранг", характеризующаяся высокими показателями функциональной и технической эффективности и приспособленная к работе с большими базами данных. Посредством операций корреляционного и энтропийного отображения система "Бумеранг" осуществляет автоматизированную корректировку (реформулировку) пользовательских запросов, их привязку к конкретно сложившимся поисковым ситуациям.

Основные положения диссертации опубликованы в следующих работах:

1. Аветисян Р.Д., Аветисян Д.0. К оценке устойчивости линейных динамических системотехнические средства и математическое обеспечение вычислительных систем/Межвузовский сборник научных трудов Ереванского политехнического института, Ереван, 1988.-С.13-17.

2. Аветисян Д.О., Аветисян Р.Д. О некоторых замечательных свойствах компонентов матриц/Ереванский политехнический институт.-Ереван, 1990.- с.5.-Деп. в АрмНШНТИ, 14 февраля 1990 г., N6(224), с.145, N603.

3. Аветисян Д.О., Аветисян Р.Д. К альтернативным представлениям функции от матриц/Ереванский политехнический институт.-Ереван,1990.-с.8.-Деп. в АрмНИИНТИ, 8 октября 1990 Г., N10(228), С.145, N462.

4. Аветисян Д.О., Аветисян Р.Д. Автоматизированная информационно-поисковая система "Бумеранг"//Информационные ресурсы России.-1995. -N2.-с.32-33.

5. Аветисян Р.Д. Об одном методе построения многоязычного лексико-семантического интерфейса в автоматизиро-

- 21 -

ванных ИПС//НТИ.- Сер.2.-1996.-N1.-0.7-10.

6. Аветисян Р. Д. 0 моделях документального поиска //НТИ. Сер.2.-1996.-N4.-с.12-20.

7. Аветисян Р.Д. Экспериментальное исследование эффективности И- и Н-отображений на примере эксплуатации АСДП "Бумеранг1"//НТИ. Сер.2.-1996.-N10.-С.14-21.