автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Исследование и организация эффективных вычислений в параллельных системах баз данных на основе сетей ЭВМ

Введение.

1. Состояние вопроса.

1.1. Обзор литературы.

1.2. Применение баз данных с распределенной обработкой в АСУ учебным процессом.

1.3. Выводы.

2. Математическая модель задачи оптимизации вычислительного процесса в однородных параллельных вычислительных системах и многопользовательских системах обработки информации и управления

2.1. Статические методы оценки производительности.

2.2. Проведение экспериментов и статистическая обработка результатов.

2.3. Динамический метод оценки производительности и практическое применение математической модели задачи оптимизации параллельного вычислительного процесса.

2.4. Математическая модель задачи снижения влияния перекосов на равномерную загрузку процессоров в однородных вычислительных системах.

2.5. Выводы.

3. Программное обеспечение задачи организации параллельных вычислительных систем на базе ЛВС для обработки баз данных большого объема.

3.1. Общие сведения о программной системе.

3.2. Спецификация используемых файлов.

3.3. Определение основных видов параллелизма в реляционных БД и алгоритм их использования.

3.4. Описание основных методов программной системы организации распределенных вычислений.

3.5. Особенности использования программной системы организации распределенных вычислений.

3.6. Выводы.

4. Практическая реализация предложенных методов организации распределенных вычислений в однородных ЛВС.

4.1. Описание программы, использовавшейся в экспериментах по хронометрированию производительности ЛВС.

4.2. Параллельное решение задачи расчета учебной нагрузки.

4.3. Выводы.

На сегодняшний день, подавляющее большинство персональных компьютеров в мире работают в сетях. Локальные вычислительные сети (ЛВС) персональных компьютеров получили очень широкое распространение, так как 80-90% информации циркулирует вблизи мест ее появления и только 10-20% связано с внешними взаимодействиями. Локальные сети связывают компьютеры, размещенные на небольшом расстоянии друг от друга. Главная отличительная особенность локальных сетей — единый высокоскоростной канал передачи данных и малая вероятность возникновения ошибок в коммуникационном оборудовании. В качестве канала передачи данных используются витая пара, коаксиальный или оптоволоконный кабель и др. Расстояния между ЭВМ в локальной сети небольшие — до 10 км, при использовании радиоканалов связи — до 20 км. Каналы в локальных сетях являются собственностью организации, и это упрощает их эксплуатацию. Основное назначение любой компьютерной сети — предоставление информационных и вычислительных ресурсов подключенным к ней пользователям. С этой точки зрения локальную вычислительную сеть можно рассматривать как совокупность серверов и рабочих станций. Сервер — компьютер, подключенный к сети и обеспечивающий ее пользователей определенными услугами. Серверы могут осуществлять хранение данных, управление базами данных, удаленную обработку заданий, печать заданий и ряд других функций, потребность в которых может возникнуть у пользователей сети. Особое внимание следует уделить одному из типов серверов — файловому серверу (File Server). В распространенной терминологии для него принято сокращенное название — файл-сервер.

Файл-сервер хранит данные пользователей сети и обеспечивает им доступ к этим данным, при этом выполняет следующие функции: хранение данных, архивирование данных, синхронизацию изменения данных различными пользователями, передачу данных. Для многих задач использование одного файл-сервера оказывается недостаточным. Тогда в сеть могут включаться несколько серверов.

Рабочая станция — персональный компьютер, подключенный к сети, через который пользователь получает доступ к ее ресурсам. Рабочая станция сети функционирует как в сетевом, так и в локальном режиме и оснащена собственной операционной системой.

Компьютеры, входящие в состав ЛВС, могут быть расположены самым случайным образом на территории, где создается вычислительная сеть. Для управления сетью небезразлично, как расположены абонентские ЭВМ. Поэтому имеет смысл говорить о топологии ЛВС. Топология сети — это. физическое расположение компьютеров, кабелей и других компонентов сети. Топологии вычислительных сетей могут быть самыми различными, но для ЛВС типичными являются всего три: кольцевая, шинная, звездообразная [1, 2, 3].

Любую компьютерную сеть можно рассматривать как совокупность узлов. Узел — любое устройство, непосредственно подключенное к передающей среде сети.

Кольцевая топология предусматривает соединение узлов сети замкнутой кривой — кабелем передающей среды. Выход одного узла сети соединяется с входом другого. Информация по кольцу передается от узла к узлу. Последовательная дисциплина обслуживания узлов такой сети снижает ее быстродействие. Каждый компьютер выступает в роли репитера (повторителя), усиливая сигналы и передавая их следующему компьютеру.

Шинная топология — одна из наиболее простых и наиболее распространенных. Она связана с использованием в качестве передающей среды общей шины. Данные от передающего узла сети распространяются по шине в обе стороны. Промежуточные узлы не транслируют поступающих сообщений. «Шина» — пассивная топология. Это значит, что компьютеры только «слушают» передаваемые по сети данные, но не перемещают их от отправителя к получателю. Так как данные в сеть передаются лишь одним компьютером, ее производительность зависит от количества компьютеров, подключенных к шине.

Звездообразная топология базируется на концепции центрального узла, к которому подключаются периферийные узлы. Каждый компьютер имеет свою отдельную линию связи с центральным узлом. Вся информация передается через центральный узел, который ретранслирует, переключает и маршрутизирует информационные потоки в сети. Звездообразная топология значительно упрощает взаимодействие узлов сети друг с другом, позволяет использовать более простые сетевые адаптеры. В то же время работоспособность ЛВС со звездообразной топологией целиком зависит от центрального узла (концентратора).

Основной целью создания локальных компьютерных сетей является совместное использование ресурсов и осуществление интерактивной связи как внутри одной фирмы, так и за ее пределами. Ресурсы — это данные и приложения (программы), хранящиеся на дисках сети, и периферийные устройства. Понятие интерактивной связи компьютеров подразумевает обмен сообщениями в реальном режиме времени.

Основными преимуществами работы в локальной сети являются:

1. возможность хранения данных персонального и общего использования на дисках файлового сервера. Благодаря этому обеспечивается одновременная работа нескольких пользователей с данными общего применения, создание и обновление общих данных сетевыми, прикладными программными продуктами.

2. возможность постоянного хранения программных средств, необходимых многим пользователям, в единственном экземпляре на дисках файлового сервера. Следует отметить, что такое хранение программных средств не нарушает привычных для пользователя способов работы.

3. обмен информацией между всеми компьютерами сети. При этом обеспечивается диалог между пользователями, представленный в различных реализациях: начиная от электронной почты и заканчивая распределенной обработкой данных [4].

Компьютерные сети весьма эффективно реализуют распределенную обработку данных. Можно выделить два объекта распределенной обработки данных: клиент и сервер.

Клиент — задача, рабочая станция или пользователь компьютерной сети. В процессе обработки данных клиент может сформулировать запрос на сервер для выполнения сложных процедур. Сервер выполняет запрос, поступивший от клиента. Результаты выполнения запроса передаются клиенту. Сервер обеспечивает хранение данных общего пользования, организует доступ к этим данным и передает данные клиенту. Клиент обрабатывает полученные данные и представляет результаты обработки в виде, удобном для пользователя. В принципе обработка данных может быть выполнена и на сервере. Для подобных систем приняты термины — система клиент-сервер или архитектура клиент-сервер. Архитектура клиент-сервер может использоваться как в одноранговых локальных вычислительных сетях, так и в сети с выделенным сервером.

В связи с этим остро встает проблема повышения производительности таких систем. В современной практике эта задача решается чаще всего за счет повышения эффективности обработки информации в базах данных. Существенно повышается интерес к созданию высокопроизводительных программ параллельной обработки информации, хранящейся в крупных базах данных. В соответствии с этим возникает целый ряд очевидных вопросов:

1. Во-первых, насколько трудоемкой должна быть программа в сравнении с производительностью используемого оборудования, чтобы ее имело смысл распараллеливать?

2. Какой эффект следует ожидать от использования параллельной программы (оптимальная конфигурация аппаратуры, прогнозируемая производительность и загрузка процессоров, время расчета)?

3. Как эффективно организовать переносимость программного обеспечения с одной аппаратной платформы на другую, и максимально снизить время настройки таких программ?

Все указанные проблемы достаточно эффективно решаются с использованием динамических методов анализа характеристик параллельных программ, так как они достаточно универсальны и используют данные о конкретных запусках исследуемой программы. Следует заметить, что при проектировании систем такого рода именно технологические аспекты, такие как скорость передачи данных, "эффект замера", анализ исходного кода программы мешают созданию полнофункциональных программных комплексов динамического анализа параллельного ПО [5]. Некоторые существующие системы имеют широкий круг возможностей, но зависят от конкретного класса программно-аппаратных платформ, так система Vampir, разработанная германской фирмой Pallas имеет обширный инструментарий, но ориентирована только на библиотеку MPI, а комплекс HP Рак поставляемый компанией Hewlett-Packard, может работать только на платформах этой фирмы. Другие системы претендуют на универсальность, но решают только некоторые задачи анализа динамических характеристик -примером может служить программный комплекс Pablo Performance Analysis Toolkit Software, разработанный в университете штата Иллинойс. Этот комплекс имеет развернутые средства визуального анализа различных характеристик программы, но не имеет автоматизированных средств сбора статистики. Кроме того, системы динамического анализа параллельных программ обработки баз данных должны обладать некоторым набором специфических функций. В таких программах отдельные процессы, как правило, слабо связаны между собой. Поэтому, основой программной системы анализа должен служить не механизм временной оценки скорости выполнения отдельных процессов в составе параллельной программы и обменов ими, а механизм оценки равномерности загрузки вычислительных узлов данными и хронометрирования времени обработки и передачи отдельных записей БД между вычислительными узлами. Программные системы подобного рода принято именовать промежуточным программным обеспечением (middleware) или мониторами транзакций. К современным мониторам транзакций относятся: TUXEDO фирмы USL, CICS корпорации IBM, Transaction Server for Windows NT версии 4 корпорации IBM, Microsoft Transaction Server 1.1 корпорации Microsoft, TOP END корпорации NCR. Рассмотрим принцип работы монитора транзакций на примере масштабируемой среды для распределенных вычислений TOP END [6]. Основная задача TOP END — выравнивание нагрузки при распределенной обработке. Под выравниванием нагрузки понимается трансляция запросов от большего числа клиентов к меньшему числу серверных приложений, функционирующих на одном или нескольких серверах. Важнейшей функцией TOP END является автоматическая оптимизация числа выполняющихся серверных приложений в зависимости от числа клиентских запросов. Для реализации данных функций в системе реализован следующий подход. Скорость обработки транзакций напрямую зависит от числа запущенных серверных приложений. Чем больше приложений одновременно обслуживают запросы, тем выше пропускная способность при условии достаточности других ресурсов вычислительной системы. Это увеличение наиболее заметно на многопроцессорных системах, где каждое приложение может работать на отдельном процессоре. В идеале для эффективного использования системных ресурсов нужно по мере необходимости увеличивать или уменьшать число серверных приложений в зависимости от числа обрабатываемых запросов. Для решения этой задачи мониторы транзакций периодически измеряют отношение числа запросов в очереди к числу работающих серверных приложений. Если это отношение превышает некоторое пороговое значение (maximum watermark), то запускается дополнительная копия серверного приложения. Если это отношение падает ниже минимального порогового значения (mimmum watermark), то одна из копий завершается. К недостаткам метода следует отнести неоднозначность определения величин maximum watermark и minimum watermark для конкретных аппаратных платформ, т.к. данные величины зависят от характеристик оборудования, и в таких случаях настройку описываемой программной системы следует проводить администратору вычислительной системы. Другим недостатком является пошаговое определение требуемого числа запущенных серверных приложений. Если вычислительному процессу присущи резки скачки числа обрабатываемых запросов, то монитору транзакций приходится столько раз выполнять программу анализа, на сколько должно измениться число запушенных серверных приложений. В идеале монитор транзакций должен мгновенно реагировать на изменения загруженности серверов. Одним из путей решения данной проблемы является снижение общего числа шагов настройки параллельной системы. Для этого достаточно знать функцию производительности системы от числа серверных приложений, числа и трудоемкости запросов клиентов.

Целью диссертационной работы является разработка математической модели описания параллельного вычислительного процесса, описывающей основные типы производительности ВС от числа процессоров, разработка методов и алгоритмов оптимизации вычислительного процесса и настройки однородных параллельных ВС на основе сетей ЭВМ.

Для достижения указанной цели были решены следующие задачи:

1. Проведен критический анализ известных формул и методик оценки производительности параллельных ВС с точки зрения области их применения.

2. Экспериментально получены и исследованы зависимости производительности от числа процессоров и трудоемкости этапов параллельной программы.

3. Построена математическая модель задачи оптимизации вычислительного процесса в однородных параллельных вычислительных системах и многопользовательских системах обработки информации и управления.

4. Создано программное обеспечение, позволяющее распараллеливать программы пользователя, написанные на языке СУБД FoxPro 5.0.

5. Созданы параллельные программы, применяемые в АСУ учебным процессом.

При решении поставленных в диссертационной работе задач использовались: методы теории вероятностей, математической статистики, математического моделирования, построения вычислительных систем и программирования.

Научная новизна работы состоит в следующем:

1. Построена математическая модель динамического анализа производительности однородной ЛВС, позволяющая определять оптимальные характеристики функционирования ВС:

• число процессоров;

• загрузка процессоров;

• время окончания вычислительного процесса;

• степень фрагментации таблиц данных и трудоемкость отдельных заданий.

2. Разработан алгоритм настройки однородной ЛВС для организации эффективных распределенных вычислений на основе построенной математической модели:

• в качестве целевой функции выбрана функция производительности от числа процессоров;

• в качестве ограничений выбраны ограничения по эффективности параллельной программы (загрузке одиночных процессоров).

3. Разработан алгоритм динамического распределения вычислений в сетях ЭВМ, реализующий функции монитора транзакций с фиксированным числом шагов настройки.

Практическая ценность работы заключается в создании программных средств распределенной обработки БД. Внедрение разработанных программ требует минимальных временных затрат, при этом модель данных БД остается неизменной. Тем самым существенно повышается скорость работы без материальных затрат на обновление аппаратуры и среды разработки программного обеспечения.

На защиту выносятся:

1. Математическая модель задачи оптимизации вычислительного процесса по числу процессоров в однородных параллельных вычислительных системах и многопользовательских системах обработки информации и управления.

4.3. Выводы

1. Рассмотрены некоторые параллельные алгоритмы, реализованные применительно для использования в однородных ЛВС и использующие в этапе настройки математическую модель, описанную в главе 2.

2. В алгоритме расчета определенного интеграла реализован механизм изменения степени приближения результата, поэтому программа, реализующая данный алгоритм использовалась в значительном числе экспериментов по хронометрированию производительность различных ЛВС.

3. Реализована параллельным алгоритмом задача «Расчета учебной нагрузки» в составе АСУ учебным процессом. При этом для равномерной загрузки ЛВС, определены правила формирования равносложных заданий единичным ПЭВМ.

107

Заключение

Основными научными результатами диссертационной работы являются:

• Построенная на основе анализа литературных источников, временных диаграмм и результатов экспериментов по хронометрированию производительности ЛВС математическая модель задачи оптимизации вычислительного процесса в однородных параллельных вычислительных системах и многопользовательских системах обработки информации и управления. Использование предлагаемой математической модели позволяет:

1. Определять оптимальное число вычислительных узлов в составе однородных многопроцессорных ВС, требуемое для решения задач пользователя. В качестве целевой функции выбрана функция производительности от числа процессоров, в качестве ограничений выбраны ограничения по эффективности параллельной программы (загрузке одиночных процессоров).

2. Прогнозировать производительность ВС и время окончания вычислительного процесса как функции от числа используемых вычислительных узлов и степени фрагментации таблиц данных.

3. Определять оптимальные характеристики распределенного выполнения запросов к БД — коэффициента фрагментации таблиц данных, соотношение времени настройки и решения задачи.

• Разработан алгоритм настройки однородной ЛВС для организации эффективных распределенных вычислений на основе построенной математической модели

• Разработан алгоритм динамического распределения вычислений в сетях ЭВМ, реализующий функции монитора транзакций с фиксированным числом шагов настройки.

Широкий спектр экспериментальных исследований показал преимущества разработанной математической модели по сравнению с существующими формулами и методиками оптимизации. Сравнение показало, что предложенная математическая модель имеет более обширную область применения, так как позволяет получать приемлемые результаты при анализе основных видов функции производительности, а алгоритмы, используемые в настройке локальных вычислительных сетей для распределенной обработки информации, позволяют выполнить процесс настройки за меньшее число этапов по сравнению с существующими методиками.

Основные практические результаты диссертационной работы заключаются в следующем.

• На основе построенной математической модели и разработанных алгоритмов создано программное обеспечение распределенной обработки

БД

• Создано программное обеспечение, для параллельного расчета учебной нагрузки для ВУЗа и формирования штатного расписания кафедр.

• Результаты диссертационной работы внедрены в Северо-Кавказском Государственном техническом университете.

Актуальность темы диссертационной работы и ее многогранность представляют широкое поле для дальнейших исследований в данной области. Предполагается продолжить работу по следующим направлениям.

• Аналитически описать зависимость характеристик неоднородных многопроцессорных ВС как функции от числа вычислительных узлов и их производительности.

• Разработать алгоритм составления учебного расписания ВУЗа на основе расчета учебной нагрузки. Применить разработанный механизм параллельной обработки информации при составлении учебного расписания ВУЗа.

109

1. Тербер К.Дж., «Архитектура высокопроизводительных вычислительных систем» /Пер.с англ.—М.:Наука, 1985 г.

2. Новиков Ю.В., Карпенко Д.Г., «Аппаратура локальных сетей. Функции, выбор, разработка», М., Эком, 1998 г.

3. Г.Т. Артаманов, В.Д. Тюрин, «Топология сетей ЭВМ и многопроцессорных систем», 1991 г.

4. Э.В. Евреинов, «Распределенная обработка информации и распределенные вычислительные системы», М., Знание, 1983 г.

5. Вл.В. Воеводин, М.П. Филамофитский, «Анализ динамических характеристик параллельных программ», научно-практическая конференция в Черноголовке, 2000 г.

6. В.В. Корнеев, А.Ф. Гарев и др., «Базы данных. Интеллектуальная обработка информации.», М., Нолидж, 2000 г.

7. С. Болонья, У. Эренбер, П. Пур-Вестерхейд и др., «Проверка и утверждение программ реального времени», перевод с английского А.А. Стукаленко под редакцией А.И. Никитина, Киев, Наукова Думка, 1990 г.

8. В.А. Вальковский, Н.Э. Малышкин, «Элементы современного программирования и суперЭВМ», Новосибирск, «Наука», 1990 г.

9. Г.И. Шпаковский, «Архитектура параллельных ЭВМ», Минск, Университетское, 1989 г.

10. Ю.Корнеев В.В., «Параллельные вычислительные системы», М., Нолидж, 1999 г.

11. Р. Хокни, К. Джессхоуп, «Параллельные ЭВМ. Архитектура, программирование и алгоритмы.» /перевод с английского Д.И. Абашкина под редакцией Е.П. Курочкина, М., Радио и связь, 1986 г.

12. В.В. Воеводин, Курс лекций: «Параллельная обработка данных», http ://parallel.ru/vvv/13. «Рынок аппаратных средств. Векторные суперкомпьютеры», www.parallel.ru. по материалам: ШЕЕ Computer. June 1989. Cray Channels. Spring 1991 г.

13. Д. Арапов, «Можно ли превратить сеть в суперкомпьютер?», Журнал «Открытые системы», «Открытые системы», №4/1997 г.15.«Что такое Beowulf?», http://parallel.ru/computers/reviews/beowulf.html

14. М. Там ер Оззу, П. Валдуриз, «Распределенные и параллельные системы баз данных», Журнал «СУБД», «Открытые системы», №4/1996 г.

15. Д.Г. Колесников, «Оптимизация распределения информационных файлов в сетях ЭВМ с параллельной обработкой», диссертация на соискание ученой степени к.т.н, Ростов-на-Дону, 1999 г.

16. Д. Девитт, Д. Грэй, «Параллельные системы баз данных: будущее высоко эффективных систем баз данных», журнал «СУБД», «Открытые системы», №2/1995 г.

17. JI.A. Березко, И.М. Вишенчук, В.В. Троценко «Принципы функционирования параллельных вычислительных машин и систем», Киев, УМК ВО, 1989 г.

18. Г.П. Васильев, В.Е. Горский и др., «Программное обеспечение неоднородных распределенных систем: анализ и реализация», М., Финансы и статистика, 1986 г.

19. В.А. Вальковский, «Распараллеливание алгоритмов и программ: структурный подход», М., Радио и связь, 1989 г.

20. В.А Фурсов, В.А. Шустов, С.А. Скуратов, «Технология итерационного планирования распределения ресурсов гетерогенного кластера», научно-практическая конференция в Черноголовке , 2000 г.

21. Б.М.Каган, «Электронные вычислительные машины и системы», М., Энергоатомиздат, 1991 г.

22. В.В. Васильев, В.В. Кузьмук, «Сети Петри, параллельные алгоритмы и модели мультипроцессорных систем», АН УССР институт проблем моделирования в энергетике, Киев, Наукова Думка, 1990 г.

23. А.А. Денисов, Д.Н. Колесников, «Теория больших систем управления», Ленинград, Ленинградское отделение Энергоиздата, 1982 г.

24. И.Н. Альянах, «Моделирование вычислительных систем», Ленинград, «Машиностроение» ленинградское отделение, 1988 г.

25. В.Е. Гмурман «Теория вероятностей и математическая статистика», М., «Высшая школа», 1977 г.

26. В. Мантуров «Курс высшей математики», М., «Высшая школа», 1991 г.

27. Р.С. Гутер, Б.В. Овчинский, «Элементы численного анализа и математической обработки результатов опыта», М., «Наука», 1970 г.

28. Е.Н. Львовский, «Статистические методы построения эмпирических формул», М., «Высшая школа», 1982 г.

29. А.А. Гусак, «Высшая математика», Мн., «ТетраСистемс», 1998 г.

30. С.И. Архангельский, «Учебный процесс в высшей школе, его закономерные основы и методы», М., «Высшая школа», 1980 г.

31. Е.Н. Шиянов, Н.И. Каргин, Л.И. Сербина, Е.А. Чеботарев «Требования к организации учебного процесса и научной работы в Ставропольском государственном техническом университете», Ставрополь, 1998 г.

32. С. Арженовский, «Индикаторный анализ развития системы высшего образования», журнал «Высшее образование в России» №5, 2000 г.

33. В. Шадриков, Е. Геворкян, В. Наводнов и др., «О видах высших образовательных учреждений», журнал «Высшее образование в России» №3, 2000 г.

34. С. Каратыгин, А.Тихонов, Л.Тихонова «Visual FoxPro 6. Полное руководство пользователя с примерами», М., «Издательство Бином»,1999 г.

35. Менахем Базиян и др. «Использование Visual FoxPro 6. Специальное издание.», пер. с англ.- М., «Вильяме», 1999 г.

36. С. Смирнов, Н. Шелихова, «Преемственность стандартов», журнал «Высшее образование в России» №4, 2000 г.

37. М. Гэри, Д. Джонсон «Вычислительные машины и труднорешаемые задачи», пер. с англ.- М., «Мир», 1982 г.

38. А.П. Пятибратов, Л.П. Гудыно, А.А. Кириченко, «Вычислительные системы, сети и телекоммуникации», М., «Финансы и статистика», 1998 г.

39. С.В. Глушаков, Д.В. Ломотько, «Базы данных», Харьков, Фолио,2000 г.

40. Л.Б. Соколинский, «Проектирование и анализ архитектур параллельных машин баз данных с высокой отказоустойчивостью», научно-практическая конференция в Черноголовке, 2000 г.

41. Т. Аксинрод, М. Беккерман и др. под редакцией Б. Бебба, «Программирование на параллельных вычислительных системах», М., Мир, 1991 г.

42. Н. А. Коновалов, В А. Крюков, «DVM-система разработки параллельных программ», научно-практическая конференция в Черноголовке, 2000 г.

43. В.В. Воеводин, «Информационная структура алгоритмов», М., Издательство МГУ, 1997 г.59. «Параллельные алгоритмы и программы для ЭВМ с общим управлением», сборник трудов АН СССР институт проблем управления, отв. редактор Ю.М. Шурайц, М., ИПУ, 1991 г.

44. В.Н. Белецкий, «Многопроцессорные и параллельные структуры с организацией асинхронных вычислений», АН УССР институт проблем моделирования в энергетике, Киев, Наукова Думка, 1988 г.

45. А.Б. Барский, «Параллельные процессы в вычислительных системах», М., Радио и связь, 1990 г.

46. С.М. Ачасова, О.Л. Бандман и др. под редакцией О.Л. Бандмана, «Методы параллельного микропрограммирования», Новосибирск, Наука Сибирское отделение, 1981 г.

47. Г.И. Шпаковский, А.С. Липницкий, Г.Н. Черников, «Параллельная обработка структур данных», Минск, Университетское, 1988 г.

48. М.А. Фрумкин, «Систематические вычисления», АН СССР научный совет по комплексным проблемам кибернетики, М., Наука, 1990 г.

49. А.В Маликов. Человек в информационном обществе (данные по России). — В кн. «Профессиональная коммуникация и деятельность в развитии личности специалиста. Материалы научно-практической конференции. Выпуск 1», Ставрополь.СевКавГТУ, с. 119-120.

50. А.В Маликов. Параллельные машины и структура алгоритмов. — В кн. «Материалы XXX научно-технической конференции по результатам работы профессорско-преподавательского состава, аспирантов и студентов СевКавГТУ за 1999 год», Ставрополь .СевКавГТУ, с. 62.

51. А.В. Маликов, Организация параллельных вычислительных систем на базе ЛВС для обработки баз данных большого объема. Ставрополь, СевКавГТУ, деп. ВИНИТИ № 754-В2001, 28.03.01.

52. А.В. Маликов, О некоторых задачах, решаемых параллельными алгоритмами. Ставрополь, СевКавГТУ, деп. ВИНИТИ № 753-В2001, 28.03.01.

53. В.И. Кириченко, А.В. Маликов, А.А Евдокимов, Автоматизация учебного процесса в ВУЗе, там же, с.224-227.

54. А.В. Маликов, А.Г. Чефранов, В.И. Лебедев, Анализ функционирования реальных параллельных систем. — В кн. «Известия ТРТУ. Специальный выпуск, материалы научной конференции.», Таганрог, 2001 г.