автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование методов организации и выполнения параллельных вычислений в сети

Содержание.

Сокращения и условные обозначения.

Введение.

Глава 1. Анализ типовых технологий решения задач в сети.

1.1 Введение.

1.2 Parallel Virtual Machine (РVM).

1.3 Dynamite.

1.4 Application Data Movement (ADM).

1.5 Condor.

1.6 Piranha.

1.7 NetSolve.

1.8 Sun Grid Engine Enterprise Edition.

1.9 Pipelined Network Computing.

1.10 Distributed Shell Tools System.

1.11 Выводы по главе.

Глава 2 Технология решения переборных задач в сети.

2.1 Введение.

2.2 Обобщенная структура программы.

2.2.1 Процесс решения переборной задачи в сети.

2.3 Специфика сетевых вычислений.

2.4 Метод декларативного описания задачи.

2.4.1 Определение списка имен доступных компьютеров

2.4.2 Описание метода и параметров решения.

2.4.3 Описание способа получения переборных последовательностей.

2.4.4 Описание формата решающей функции и способа получения результата.

2.5 Решающая функция.

2.6 Декомпозиция задач переборного класса.

Формальная постановка задачи.

2.6.1 Генерация переборных последовательностей, получаемых сочетанием без повторяющихся элементов с длиной получаемых последовательностей от 1 до п.

2.6.2 Генерация переборных последовательностей, получаемых сочетанием без повторяющихся элементов с определенной длиной получаемых последовательностей.

2.6.3 Генерация переборных последовательностей, получаемых перестановками без повторяющихся элементов с определенной длиной получаемых последовательностей.

2.6.4 Особенности генерации переборных последовательностей, получаемых размещением и переборных последовательностей с повторяющимися элементами.

2.7 Подготовка вычислений. Административный этап реализации.

2.8 Выводы по главе.

Глава 3 Разработка динамических методов распределения нагрузки.

3.1 Введение.

3.2 Статический метод.

3.3 Динамический адаптивный метод.

3.3.1 Алгоритм работы адаптивного метода.

3.3.2 Определения размера подзадачи для адаптивного метода.

3.4 Динамический директивный метод.

3.4.1 Алгоритм работы директивного метода.

3.4.2 Описание коэффициентов и параметров директивного метода.

3.4.3 Решение проблемы рассогласования нагрузки для директивного метода.

3.4.4 Определение базового размера подзадачи для директивного метода.

3.4.5 Расчет длительности импульса нагрузки достаточного для изменения производительности компьютера.

3.5 Отказоустойчивость координатора и рабочего процесса.

3.6 Экспериментальная проверка динамических методов и технологии решения переборных задач в сети.

3.6.1 Условия постановки экспериментов и методика оценки эффективности вычислений.

3.6.2 Сравнение времени решения задачи на нескольких компьютерах по сравнению с одним для различных методов распределения нагрузки.

3.6.3 Сравнение работы различных методов распределения нагрузки при появлении фоновых процессов

3.6.4 Определение размера подзадачи для адаптивного метода, обеспечивающего минимальное время решения задачи.

3.6.5 Влияние коэффициента мощности на работу директивного метода распределения нагрузки.

3.6.6 Влияние коэффициента приращения на работу директивного метода распределения нагрузки.

3.6.7 Определение влияния коэффициента инертности на работу директивного метода распределения нагрузки.

3.7 Выводы по главе.

Глава 4. Конвейер сетевых вычислений.

4.1 Введение.

4.2 Обобщенная структура программы.

4.3 Особенности декларативного метода описания задачи для сетевого конвейера.

4.4 Решающая функция.

4.5 Условия целесообразности использования конвейера в сети.

4.6 Конфигурирование сетевого конвейера.

4.6.1 Алгоритм конфигурирования конвейера.

4.6.2 Некоторые особенности реконфигурирования сетевого конвейера.

4.7 Особенности тактирования сетевого конвейера.

4.8 Особенности диспетчеризации сетевого конвейера.

4.9 Алгоритм работы координатора.

4.10 Формальная постановка задачи с использованием сетей Петри.

4.11 Реализация работы конвейера для задачи фильтрации изображений.

4.11.1 Сравнение времени решения задачи на одном компьютере и конвейере в зависимости от количества ступеней конвейера

4.11.2 Зависимость времени решения задачи на конвейере от трудоемкости операций, выполняемых конвейером.

4.11.3 Реконфигурирование конвейера путем замены компьютера на ступени с низкой производительностью.

4.12 Выводы по главе.

Актуальность работы. Повышение производительности вычислительных систем - это задача, которая всегда была и остается актуальной. С одной стороны увеличение производительности возможно за счет повышения тактовой частоты процессора, а с другой стороны, за счет применения структурных методов, к которым и относится параллелизм. Параллельные вычисления играют большую роль в современном мире. Для решения вычислительноемких задач традиционно используются специализированные многопроцессорные системы. Данные системы обладают четко определенным составом и структурой, что с одной стороны обеспечивает простоту их использования, но с другой стороны они достаточно дороги.

Быстрое развитие вычислительной техники и сетевых средств в последнее время привело к увеличению потенциальной вычислительной мощности сосредоточенной в компьютерных сетях. Следовательно, все большее количество вычислительноемких задач можно решать за приемлемое время с использованием компьютерной сети. А с точки зрения стоимости вычислений, а так же возможностям масштабирования, бесспорно предпочтительнее использование сетей.

В современном мире все больше возрастает потребность в решении таких актуальных и трудоемких задач, как предсказание прогноза погоды, моделирование физических процессов, аэродинамических свойств объектов и др. Многие из них относятся к задачам, решение которых возможно путем применения методов параллельной обработки данных. В данной диссертационной работе исследуются методы и программные средства предназначенные для решения задач параллелизма данных в компьютерной сети.

Решение задач в компьютерной сети возможно путем применения методов параллельного программирования. Причем разработка приложений является достаточно сложной задачей. Трудоемкость разработки прикладных программ для многопроцессорных систем с распределенной памятью является главным препятствием для их широкого внедрения. Гетерогенность состава вычислительных узлов и непредсказуемые изменения вычислительной среды во время решения задачи приводят к проблеме рационального использования вычислительной мощности, сосредоточенной в сети. Следовательно, разработка методов позволяющих упростить процедуру написания сетевых приложений, а так же методов, позволяющих эффективно использовать вычислительные ресурсы является актуальной задачей.

Целью работы является исследование и разработка методов организации и выполнения параллельных вычислений в сети, которые существенно снижают трудоемкость разработки приложений и обеспечивают рациональное использование ресурсов сети.

Поставленная цель достигается решением следующих задач: исследовать способы снижения трудоемкости написания параллельных программ для сети и определить критерии рационального использования ресурсов сети; - для переборного класса задач разработать метод декомпозиции этих задач, который позволит делить решаемую задачу на любое количество независимых частей, размеры которых могут соотноситься в любой пропорции; разработать динамические методы распределения нагрузки, которые смогут распределять нагрузку на вычислительные узлы в сети таким образом, чтобы обеспечить рациональное использование вычислительных ресурсов с учетом непредсказуемых изменений в сети во время вычисления; разработать декларативный метод описания задачи, предназначенный для постановки задачи, выбора метода ее решения и способа формирования результата; на основе предложенных методов описания и декомпозиции задачи, а так же методов распределения нагрузки разработать технологию для решения задач в сети на примере переборных задач; с использованием метода декларативного описания задачи разработать метод организации конвейера вычислений в сети на примере задачи фильтрации изображений разработать пакет программ, реализующий предложенную технологию для решения переборных задач в локальной сети и экспериментально проверить полученные результаты; разработать пакет программ для решения задачи фильтрации изображений на программном конвейере в локальной сети и экспериментально проверить полученные результаты.

Предметом исследования являются методы и программные средства разработки распределенных приложений.

Методы исследования базируются на теории множеств, сетей Петри и методах проектирования программного обеспечения.

Научная новизна результатов, полученных автором, заключается в следующем:

1. Разработаны два динамических метода распределения нагрузки адаптивный и директивный. В отличие от известных методов распределения, данные методы распределяют нагрузку, учитывая текущую реальную производительность компьютеров во время вычисления, не требуя при этом специального мониторинга ресурсов, что позволяет использовать эти ресурсы рационально.

2. Предложена технология для решения задач в сети, которая, в отличие от существующих, предполагает использование методов декомпозиции задачи и распределения нагрузки, а так же средств организации вычислений в сети, что обеспечивает снижение трудоемкости написания приложений в сетевой среде.

3. Предложен метод организации программного конвейера вычислений в сети, который, в отличие от существующих методов организации потоковых вычислений в сети, включает вопросы диспетчеризации и конфигурирования конвейера с целью повышения производительности.

Достоверность результатов подтверждена экспериментальными исследованиями и результатами практической апробации.

Практическая значимость

1. Предложенная технология позволяет уменьшить трудоемкость написания параллельных программ при решении задач в сетевой среде.

2. Предложенные критерии рационального использования ресурсов сети позволяют определять способность методов максимально выгодно использовать доступные ресурсы.

3. Разработан пакет программ, реализующий разработанную технологию решения задач в среде PVM на примере решения переборных задач.

4. Разработан и программно реализован конвейер вычислений в среде PVM для задачи фильтрации изображений.

Апробация работы. Основные положения работы докладывались на следующих конференциях:

Научно-технические конференции профессорско-преподавательского состава СПбГЭТУ, 2001-2002г.

Международной научно-технической конференции по мягким вычислениям SCM, 2002г., Санкт-Петербург.

Публикации. По теме диссертации опубликовано 4 печатные работы, из них 2 статьи, 1 депонированная рукопись и тезисы к одному докладу на международной научно-технической конференции.

4.12 Выводы по главе

Разработанный метод позволяет разрабатывать приложения для решения задач на сетевом конвейере. При этом пользователь избавлен от вопросов организации вычисления, конфигурирования и диспетчеризации конвейера. Для решения задачи достаточно дать описание задачи предлагаемым декларативным методом и написать функции ступеней конвейера.

Рациональное использование вычислительных ресурсов позволяет решать задачу за минимальное время и обеспечивается за счет:

- конфигурирования конвейера, которое минимизирует простои компьютеров

- мониторинг изменения производительности ступеней на каждом шаге вычислений и при необходимости проведение реконфигурирования

- исключения столкновений объектов в конвейере за счет использования свободных ступеней

Производительность ступени может меняться во время вычисления, что приводит к тому, что заранее рассчитать длительность синхросигнала достаточно сложно. Для обеспечения минимизации потерь, тактирующий сигнал в сетевом конвейере целесообразно вырабатывать по готовности ступеней. Следовательно, длительность синхросигнала может меняться во время вычисления, отражая тем самым текущее состояние вычислительных ресурсов

Использование сетевого конвейера целесообразно только для задач с большим временем обработки объектов. Время обработки объекта должно быть больше времени передачи объекта по сети на величину, зависящую от количества ступеней конвейера.

При решении задачи фильтрации изображений конвейер дает заметный выигрыш во времени вычисления по сравнению с последовательным решением. А в случае потери производительности одним из компьютеров производится реконфигурирование конвейера и вычисления продолжаются. Эксперименты показали достоверность предложенных алгоритмов и методов организации конвейерных вычислений в сети для задачи фильтрации изображений.

Заключение

В заключении перечислим основные результаты, полученные в данной работе:

1. Исследованы способы снижения трудоемкости написания параллельных программ для сетей, которые, как правило, сводятся к предоставлению средств распределения нагрузки. Так же определены критерии рационального использования ресурсов сети, которые определяют оценку эффективности методов на предмет их способности максимально выгодно использовать доступные ресурсы.

2. Разработаны и исследованы два динамических метода распределения нагрузки адаптивный и директивный, которые выполняют автоматическое распределение нагрузки во время вычисления. В отличие от известных методов распределения, данные методы обеспечивают компьютеры в сети постоянной загрузкой, исключая простои в их работе, что позволяет рационально использовать вычислительные ресурсы сети, несмотря на непредсказуемые изменения в сети во время решения задачи.

3. Разработан метод декомпозиции переборных задач, который позволяет использовать предложенные динамические методы распределения нагрузки.

4. Разработан метод декларативного описания задач, с помощью которого осуществляется постановка задачи, выбирается метод ее решения, способ формирования результата и задаются необходимые параметры и коэффициенты.

5. На основании методов декларативного описания задачи, декомпозиции задачи, а так же динамических методов распределения нагрузки, на примере переборных задач разработана и реализована технология решения задач в сети, которая существенно сокращает трудоемкость разработки приложений, а так же обеспечивает рациональное использование ресурсов сети.

6. С использованием метода декларативного описания задачи, разработан и реализован метод конвейерных вычислений в сети на примере задачи фильтрации изображений. В отличие от существующих методов организации потоковых вычислений в сети, данная реализация включает такие вопросы как организация вычислений, диспетчеризация и конфигурирование конвейера с учетом специфики сети, что позволяет повысить производительность за счет рационального использования ресурсов сети.

1. Список коммуникационных библиотек и интерфейсов (API) параллельного программирования. Лаборатория Параллельных Информационных Технологий, НИВЦ МГУ http://parallel.ru/tech/techdev/ifaces.html

2. Список параллельных расширений и диалектов языка С и С++. Лаборатория Параллельных Информационных Технологий, НИВЦ МГУ. http://parallel.ru/tech/techdev/cc++.html

3. А1 Geist, Adam Beguelin, Jack Dongarra, Weicheng Jiang, Robert Manchek, Vaidy Sunderam. PVM: Parallel Virtual Machine. A User's Guide and Tutorial for Networked Parallel Computing. The MIT Press Cambridge, Massachusetts 1994.

4. William Gropp, Ewing Luck. User's Guide for mpich, a portable implementation of MPI. Argonne National Laboratory, University of Chicago ANL/MCS-TM-000.

5. Remote Method Invocation (RMI). Sun Microsystems, Inc. 2003. http://java.sun.com/ products/jdk/rmi/

6. Роберт Орафли, Дэн Харки. Java и CORBA в приложениях клиент-сервер. М: Лори 2000г.

7. Dynamite Technical Description. The Dynamite Consortium and Genias. Benelux1999. http://www.hoise.com/dynamite/

8. Condor Version 6.1.15 Manual. Condor Team, University of Wisconsin-Madison2000.

9. David Gelernter and David Kaminsky. Supercomputing our of Recycled Garbage: Preliminary Experience with Piranha. Technical Report 883, Yale University, Dec 1991.

10. User's Guide to Netsolve VI.4 / Dorian Arnold, Susan Blackford, Jack Dongarra etc. Department of Computer Science, University of Tennessee 2001.

11. Sun Grid Engine, Enterprise Edition 5.3 Manual. Sun Microsystems Inc. 901 San Antonio Road Palo Alto, CA 94303-4900 U.S.A 2001.

12. Илья Евсеев. Использование PVM. Введение в программирование. 1999. http://www.csa.ru:8 l/~il/pvmtutor/

13. Parallel Virtual Machine (PVM). Mathematics and Computer Science. Oak Ridge National Laboratoiy. http://www.epm.ornl.gov/pvm/

14. Red Hat -- Linux, Embedded Linux and Open Source Solutions. Red Hat, Inc. 2003. http://www.redhat.com/

15. А. В. Комолкин, С. А. Немнюгин. Программирование для высокопроизводительных ЭВМ. УНЦ ИВР. http://www.hpc.nw.ru/COURSES/HPC/

16. Linda User's guide and Reference manual. SCIENTIFIC computing Associates One Century Tower, 265 Church Street New Haven, CT 06510-7010 U.S.A. 1994 http://www.lindaspaces.com/products/linda.html

17. The Condor Project Homepage. Condor Team, Computer Sciences Department University of Wisconsin http://www.cs.wisc.edu/condor/

18. Ahmed, S. and Gelernter, D. A CASE Environment for Parallel Programming. Proceedings of the Fifth International Workshop on Computer-Aided Software Engineering, IEEE here Computer Science Press, July 6-10, 1992.

19. Home page of NetSolve. Innovative Computing Laboratory, Department of Computer Science, University of Tennessee. 2002. http://www.cs.utk.edu/netsolve/

20. Home page of GridEngine. Sun Microsystems, Inc. 2001. http://gridengine.sunsource.net/project/gridengine/documentation.html

21. Кнут Д.Э. Искусство программирования. Том 1,2,3 М: Вальяж 2000г.

22. Кузнецов О. П. Адельсон-Вельский Г. М. Дискретная математика для инженера. М.: Энергоатомиздат, 1988, 480с.

23. Clementin Tayou Djamegni and Maurice Tchuente. A cost-optimal pipeline algorithm for permutation generation in lexicographic order. Journal of Parallel and Distributed Computing, 44(2): 153-159, August 1997.

24. A.H. Ширяев. Вероятность. M: Наука, 1989. 640с.

25. В.Г. Олифер Н.А Олифер Компьютерные сети. Принципы, технологии протоколы. Спб.: Питер, 2001. 672с.

26. Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982, 416с.

27. Коуги П. М. Архитектура конвейерных ЭВМ. М: Радио и связь, 1985. 357с.

28. Топорков В.В. Реализуемость потоковых моделей распределенных программ. Программирование №5 М: Наука, 2001г. С. 18-25.

29. Guru Parulkar. Protocols for Network Computing. Computer and Communications Research Center Department of Computer Science Washington University, St. Louis 631304899http://www.arl.wustl.edu/~guru/g-troup-short-fix/g-troup-short-fix.html

30. Krzysztofa Kwapienia DSHTS Distributed Shell Tools System. 1998. http://rainbow.mimuw.edu.pl/SR/prace-mgr/kwapien

31. Shao Dong Chen, Hong Shen and Rodney Topor. An efficient algorithm for constructing Hamiltonian paths in meshes. Parallel Computing Volume 28, Issue 9 (September 2002) Pages 1293-1305

32. Yuan-Shin Hwang. Parallelizing graph construction operations in programs with cyclic graphs. Parallel Computing Volume 28, Issue 9 (September 2002) Pages 1307-1328

33. Jeffrey Nesheiwat and Boleslaw K. Szymanski. Instrumentation database system for performance analysis of parallel scientific applications. Parallel Computing Volume 28, Issue 10, (October 2002) Pages 1409-1449

34. Andreas Uhl and Peter Zinterhof. Parallel computing in image and video processing. Parallel Computing Volume 28, Issues 7-8, (August 2002), Pages 941-943

35. F. J. Seinstra, D. Koelma and J. M. Geusebroek. A software architecture for user transparent parallel image processing. Parallel Computing Volume 28, Issues 7-8, (August 2002), Pages 967-993

36. Kleanthis Psarris. Program analysis techniques for transforming programs for parallel execution. Parallel Computing Volume 28, Issue 3, (March 2002) Pages 455-469

37. Laurent Hascoet. A method for automatic placement of communications in SPMD parallelization. Parallel Computing Volume 27, Issue 13, (December 2001), Pages 16551664

38. Alexandre Alves. Parallel Virtual Machine for Microsoft Windows Version 2.0. http://pandora.uc.pt/

39. Cherri M. Pancake. Performance tools for today's HPC: Are we addressing the right issues? Parallel Computing Volume 27, Issue 11, (October 2001) Pages 1403-1415

40. Ralph Butler, William Gropp and Ewing Lusk. Components and interfaces of a process management system for parallel programs. Parallel Computing Volume 27, Issue 11, October 2001, Pages 1417-1429

41. С. Немнюгин, О. Стесик Параллельное программирование для многопроцессорных вычислительных систем. СПб: "БХВ-Петербург" 2002г.

42. Distributed processing of very large datasets with DataCutter / Michael D. Beynon, Tahsin Kurc, Umit Catalyurek, etc. Parallel Computing Volume 27, Issue 11, October 2001 Pages 1457-1478

43. Graham E. Fagg, Antonin Bukovsky and Jack J. Dongarra. Harness and fault tolerant MPI. Parallel Computing Volume 27, Issue 11, (October 2001) Pages 1479-1495

44. The Common Object Request Broker Architecture and Specification. OMG Document, http://www.omg.org.

45. Jeff Boleng and Manavendra Misra. Load balanced parallel QR decomposition on shared memory multiprocessors. Parallel Computing Volume 27, Issue 10, (September 2001) Pages 1321-1345

46. Ivan Foster. Designing and Building Parallel Programs. 1995. http://www-unix.mcs.anl. gov/dbpp/text/book. html

47. Nicholas Carriero, David Gelernter, David Kaminsky and Jeffery Westbrook. Adaptive Parallelism with Piranha. Technical Report 954, Yale University, Feb 1993. http://www.cs.yale.edu/Linda/piranha.html

48. Nick Carriero, Eric Freeman, David Gelernter and David Kaminsky. Adaptive Parallelism and Piranha. Yale University, Feb 1994. http://www.cs.yale.edu/Linda/piranha.html

49. Технологии параллельного программирования. Лаборатория Параллельных Информационных Технологий, НИВЦ МГУ. http://parallel.ru/tech/

50. X. Lin. A unifying graph model for designing parallel algorithms for tridiagonal systems. Parallel Computing Volume 27, Issue 7, (June 2001) Pages 925-939H.

51. Antonio Corradi, Letizia Leonardi and Franco Zambonelli. Parallel object allocation via user-specified directives: A case study in traffic simulation. Parallel Computing Volume 27, Issue 3, (February 2001), Pages 223-241

52. Masayoshi Aritsugi, Hiroki Fukatsu and Yoshinari Kanamori. Several partitioning strategies for parallel image convolution in a network of heterogeneous workstations. Parallel Computing Volume 27, Issue 3, (February 2001), Pages 269-293

53. Avi Kavas, David Er-El and Dror G. Feitelson / Using multicast to pre-load jobs on the ParPar cluster/Parallel Computing Volume 27, Issue 3, (February 2001) Pages 315-327

54. E. Gutierrez, R. Asenjo, O. Plata and E. L. Zapata. Automatic parallelization of ^ irregular applications. Parallel Computing Volume 26, Issues 13-14, (December 2000),1. Pages 1709-1738.

55. F. Warren Burton and David J. Simpson. Memory requirements for parallel programs. Parallel Computing Volume 26, Issues 13-14, (December 2000) Pages 1739-1763

56. Thomas Decker. Virtual data space load balancing for irregular applications. Parallel Computing Volume 26, Issues 13-14, (December 2000) Pages 1825-1860

57. Bruce Hendrickson and Tamara G. Kolda. Graph partitioning models for parallel computing. Parallel Computing Volume 26, Issue 12, (November 2000) Pages 1519-1534

58. N. Touheed, P. Selwood, P. K. Jimack and M. Berzins. A comparison of some dynamic load-balancing algorithms for a parallel adaptive flow solver. Parallel Computing

59. Volume 26, Issue 12, (November 2000) Pages 1535-1554

60. Ralf Diekmann, Robert Preis, Frank Schlimbach and Chris Walshaw. Shape-optimized mesh partitioning and load balancing for parallel adaptive FEM. Parallel Computing Volume 26, Issue 12, (November 2000) Pages 1555-1581

61. Leonid Oliker, Rupak Biswas and Harold N. Gabow. Parallel tetrahedral mesh adaptation with dynamic load balancing. Parallel Computing Volume 26, Issue 12, (November 2000) Pages 1583-1608

62. The Message Passing Interface (MPI) standard. Mathematics and Computer Science Argonne National Laboratory, University of Chicago, http://www-unix.mcs.anl.gov/mpi/

63. Writing message-passing parallel programs with MPI / Neil MacDonald, Elspeth Minty, Tim Harding, etc. Edinburgh Parallel Computing Centre. The University ofИ1. Edinburgh

64. Minyi Guo, Ikuo Nakata and Yoshiyuki Yamashita. Contention-free communication scheduling for array redistribution. Parallel Computing Volume 26, Issue 10, (August 2000), Pages 1325-1343

65. Chams Lahlou. Approximation algorithms for scheduling with a limited number of communications. Parallel Computing Volume 26, Issue 9, (July 2000), Pages 1129-1162

66. Luis Miguel Campos and Isaac D. Scherson. Rate of change load balancing in distributed and parallel systems. Parallel Computing Volume 26, Issue 9, (July 2000) Pages 1213-1230

67. Arjen Schoneveld, Peter M. A. Sloot, Martin Lees and Erwan Karyadi. A framework for dynamic load balancing: A case study on explosive containment simulation. Parallel Computing Volume 26, Issue 6, (May 2000) Pages 737-751

68. Taesoon Park and Heon Y. Yeom. Application controlled checkpointing coordination for fault-tolerant distributed computing systems. Parallel Computing Volume 26, Issue 4, (March 2000) Pages 467-482

69. A. Bevilacqua and E. Loli Piccolomini. Parallel image restoration on parallel and distributed computers. Parallel Computing Volume 26, Issue 4, (March 2000), Pages 495506

70. Mohammed Atiquzzaman Pradip K. Srimani. Parallel computing on clusters of workstations. Parallel Computing Volume 26, Issues 2-3, (February 2000) Pages 175-177

71. N. Melab and E. -G. Talbi. Parallel adaptive computing on meta-systems including NOWs. Parallel Computing Volume 26, Issues 2-3, (February 2000) Pages 267-284

72. Edward K. Blum, Xin Wang and Patrick Leung. Architectures and message-passing algorithms for cluster computing: Design and performance. Parallel Computing Volume 26, Issues 2-3, (February 2000) Pages 313-332

73. Крюков В.А. Разработка параллельных программ для вычислительных кластеров и сетей. Институт прикладной математики им. М.В. Келдыша РАН http://www.parallel.ru/

74. The marketplace of high-performance computing / Erich Strohmaier, Jack J. Dongarra, Hans W. Meuer and Horst D. Simon Parallel Computing Volume 25, Issues 1314, (December 1999) Pages 1517-1544

75. Performance evaluation of parallel systems / Paolo Cremonesi, Emilia Rosti, Giuseppe Serazzi and Evgenia Smirni. Parallel Computing Volume 25, Issues 13-14, (December 1999) Pages 1677-1698

76. V. S. Sunderam and G. A. Geist. Heterogeneous parallel and distributed computing. Parallel Computing Volume 25, Issues 13-14, (December 1999) Pages 1699-1721

77. Andrea Clematis and Angelo Corana. Modeling performance of heterogeneous parallel computing systems. Parallel Computing Volume 25, Issue 9, (September 1999) Pages 1131-1145

78. Franco Zambonelli. Exploiting biased load information in direct-neighbour load balancing policies. Parallel Computing Volume 25, Issue 6, (June 1999) Pages 745-766

79. Aspects of computational mode and data distribution for parallel range image segmentation / Nicholas Giolmas, Daniel W. Watson, David M. Chelberg, Peter V. Henstock, etc. Parallel Computing Volume 25, Issue 5, (May 1999) Pages 499-523

80. OpenMP Fortran Application Program Interface, Version 1.0, OpenMP Consortium, October 1997. http://www.openmp.org/

81. Alexey Lastovetsky. Parallel computing on common networks of computers with mpC. Tutorial, http://www.parallel.ru

82. The mpC Parallel Programming Environment. The Institute for System Programming of the Russian Academy of Sciences, http://www.ispras.ru/

83. Y. F. Hu and R. J. Blake. An improved diffusion algorithm for dynamic load balancing. Parallel Computing Volume 25, Issue 4, (April 1999) Pages 417-444

84. Галатенко B.A., Костюхин K.A. Отладка и мониторинг распределенных разнородных систем. Программирование №1 М: Наука, 2002г. С. 27-37.

85. Гроппен В.О. Мирошников А.С. Управление системой оптимальной параллельной обработки информации в ЛВС. Модели, алгоритмы, интерфейс. Автоматика и телемеханика №6 МгНаука, 2001г. С. 151-167.

86. Бочаров Н.В. Технологии и техника параллельного программирования М: Программирование, 2003, 1. С.3-18 http://dks.pochtamt.ru/Articles/10.htm

87. Топорков В.В. Топоркова А.С. Оптимизация характеристик вычислительных процессов в масштабируемых ресурсах. Автоматика и телемеханика №7 М:Наука, 2002г. С. 149-157.

88. Воеводин В.В. Воеводин Вл. В. Параллельные вычисления. СПб: "БХВ-Петербург". 2002.

89. Шиханович Ю.А. Введение в современную математику. М.:Наука, 1965. 376 с.

90. Куратовский К., Мостовой А. Теория множеств М.:Мир 1970. 416 с.

91. Липский В. Комбинаторика для программистов М.:Мир 1988.

92. Кузюрин Н.Н. Сложность комбинаторных алгоритмов. 2003г. http://discopal.ispras.ru/lectures/cs-isp.pdf

93. Успенский В. А. Труды по нематематике. М: Оги 2002г.1409 с.

94. About the climateprediction.net experiment. Climateprediction.net Team, http://www.climateprediction.net/project.php, 2003.

95. Александр Палладии, Всеволод Семенцов. Распределенные вычисления в одноранговых сетях и высокопроизводительные вычислительные системы на базе архитектуры Intel. http://www.intel.eom/ru/Pressroom/2002/l 12502.htm.

96. Александр Палладии, Всеволод Семенцов. Корпорация Intel и объединение серверов в кластеры. http://www.inteI.eom/ru/Pressroom/2002/l 12702.htm.

97. Смирнов А.Н., Фомичев B.C. Реализация параллельных вычислений в сети для переборного класса задач на основе PVM // Изв. СПбГЭТУ "ЛЭТИ" 2'2002. С. 43-46

98. Смирнов А.Н., Фомичев B.C. Распределенный решатель переборных задач. //Изв. СПбГЭТУ "ЛЭТИ" 3'2002. С. 137-141

99. Смирнов А.Н. Реализация распределенных сетевых вычислений в среде PVM. Деп. ВИНИТИ № 659-В 2002.

100. Смирнов А.Н., Фомичев B.C. Методы динамической загрузки компьютеров при параллельном решении задач в сети // Сб. докл. V междунар. конф. по мягким вычислениям (SCM-2002), СПб "Гидромегеоиздат", 2002. Том 1. С. 274-277.