автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Построение корпоративной сети университетского кампуса С распределенными вычислительными ресурсами на примере сети СПбГУ в Петродворце

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи УДК 621.315.592

РГБ ОД

Золотарев Валерий Иванович / двг ?поэ

ПОСТРОЕНИЕ КОРПОРАТИВНОЙ СЕТИ УНИВЕРСИТЕТСКОГО КАМПУСА С

РАСПРЕДЕЛЕННЫМИ ВЫЧИСЛИТЕЛЬНЫМИ РЕСУРСАМИ НА ПРИМЕРЕ СЕТИ СПБГУ В ПЕТРОДВОРЦЕ

05.13.16. Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по физике)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико - математических наук

Санкт-Петербург 2000

Работа выполнена на кафедре вычислительной физики НИИ физики Санкт-Петербургского государственного университета.

Научный руководитель: Доктор физико-математических наук,

Славянов С.Ю.

Официальные оппоненты: Доктор физико-математических наук,

Овсянников Д.А. Кандидат технических наук,

Космачев В.М.

Ведущая организация: Институт высокопроизводительных вычислений и баз данных Министерства Науки и технологий РФ.

Защита диссертации состоится « У » 2000 г.

в /3 часов в ауд. На заседании диссертационного совета К 063.57.56 по защите диссертации на соискание ученой степени кандидата физико-математических наук в Санкт-Петербургском государственном университете по адресу: 199034, Санкт-Петербург, Университетская наб., 7/9

С диссертацией можно ознакомиться в библиотеке СПбГУ. Автореферат разослан «_»_2000 г.

Ученый секретарь диссертационного совета, "" С.А. Немнюгин

к.ф.-м.н.

^ еМЧ °

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

В настоящее время жизнь научной корпорации немыслима без развитой компьютерной сети, обеспечивающей доступ, как к общим корпоративным ресурсам, так и к ресурсам сети Интернет. Сеть можно представить базовой несущей конструкцией, которая обеспечивает поддержку основной деятельности университета: современного учебного процесса, научных исследований, автоматизацию управленческой и хозяйственной деятельности.

Для многих научных исследований в областях естественных наук необходимы высокопроизводительные ресурсы, имеющие вычислительные мощности более Гфлоп или млрд. операций с плавающей запятой в секунду. Серверы такой мощности стоят около миллиона долларов и недоступны российским исследователям. Проведение работ за рубежом неэффективно из-за отсутствия сопровождения пользователей и возможности использования дополнительных технических и программных систем. В сложившейся ситуации возникает необходимость построения мощного вычислительного комплекса на базе относительно дешевых персональных компьютеров, объединенных в кластеры. Цель работы

1. Разработка и реализация структуры корпоративной сети.

2. Исследование поведения кластеров комплекса для базовой задачи моделирования сложных квантово - физических систем и специального набора тестов.

3. Разработка методики выбора оборудования для кластеров комплекса.

4. Реализация комплекса и разработка системы обслуживания пользователей, экспериментальное исследование характеристик комплекса.

Научная новизна

1. Предложена и реализована структура корпоративной сети, имеющая оригинальные характеристики и обеспечивающая масштабируемость, управляемость, распределенное администрирование и поддержку совместной работы разнородных тер-риториально-распределенных вычислительных ресурсов.

2. Разработана архитектура и оптимизирован Unix - кластер на базе персональных компьютеров.

3. Исследовано поведение кластера для базовой задачи моделирования сложных квантово - физических систем.

4. На основе результатов исследований построен высокопроизводительный комплекс, на котором получено ускорение вычислений базовой задачи в несколько раз.

Основные результаты диссертации являются новыми.

Основные положения, выносимые на защиту

1. Разработана структура корпоративной сети, имеющая единую коммуникационную среду и позволяющая обеспечить:

• разграничение доступа к основным информационным и высокопроизводительным ресурсам путем организации необходимых виртуальных сетей;

• централизованное обслуживание распределенных по территории вычислительных ресурсов;

• создание необходимых условий работы для специализированных сетей корпорации;

• организацию объединения информационных ресурсов корпорации.

2. В соответствии с разработанной структурой построена корпоративная сеть, подтверждающая правильность выбранных методов.

3. Разработана концептуальная модель сложной иерархической высокопроизводительной системы вычислителей, обеспечивающая подготовку специалистов и большие расчетные задачи

при оптимальных финансовых затратах.

4. Реализован способ организации доступа к системе высокопроизводительных ресурсов на базе территориально - распределенных интеллектуальных узлов удаленного доступа и точек присутствия.

5. Разработана методика выбора аппаратного состава высокопроизводительных кластеров, позволяющая более качественно осуществлять комплектацию оборудования вычислительных систем.

6. Создана модель комплекса высокопроизводительных вычислений, реализованная в крупной корпоративной сети, получены результаты исследований вычислительных кластеров комплекса и их основные характеристики.

7. Найден способ организации разнородных вычислительных систем с возможностью проведения пакетной и интерактивной работы пользователей на базе свободно распространяемого программного продукта PBS.

Практическая ценность работы

- Корпоративная сеть, построенная по предлагаемой методике, обеспечивает доступ большого числа пользователей к информационно-вычислительным ресурсам корпорации и сети Интернет, имеет высокую надежность.

- Совмещение нескольких функций учебных классов позволяет получить большую вычислительную мощность и эффективно организовать учебный процесс по обучению новейшим информационным технологиям.

Апробация работы

Основные результаты докладывались:

1) VII Всесоюзная конференция «Планирование и автоматизация эксперимента в научных исследованиях», Ленинград, 1986 г.

2) Конференция «Теоретическая, прикладная и вычислитель-

ная небесная механика»,

ИТА РАН, Санкт-Петербург, 1993 г.

3) Конференция Ассоциации научных и учебных организаций-пользователей сетей передачи данных 11ЕЬА1Ш, Москва, 1994 г.

4) Всероссийская научно-методическая конференция «Теле-матика-9б», Санкт-Петербург, 1996 г.

5) Всероссийская научно-методическая конференция «Теле-матика-97», Санкт-Петербург, 1997 г.

6) Всероссийская научно-методическая конференция «Теле-матика-98», Санкт-Петербург, 1998 г.

7) Пятая конференция Ассоциации научных и учебных организаций-пользователей сетей передачи данных ЛЕЬАКЫ, Самара, 1998 г.

8) Всероссийская научно-методическая конференция «Теле-матика-99», Санкт-Петербург, 1999 г.

Материалы исследования являются составной частью следующих проектов РФФИ:

1) № 94-07-90034 «Создание информационной сети СПбГУ», исполнитель;

2) № 96-07-90009 «Развитие информационно-вычислительной сети Петродворцового учебно-научного комплекса Санкт-Петербургского государственного университета для создания распределенной серверной поддержки информационных систем и баз данных»,

1998 год, руководитель проекта;

3) № 98-07-90360 «Развитие в Санкт-Петербургском государственном университете интеллектуального узла удаленного доступа (точки присутствия) к ресурсам суперкомпьютерного кластера Института высокопроизводительных вычислений и баз данных Министерства науки и технологий РФ», исполнитель;

Публикации

По материалам диссертации опубликованы 11 работ. Объем и структура диссертации

Диссертация состоит из введения, трех глав, заключения, списка литературы, содержащего 87 наименований, содержит 33 рисунка. Объем работы 125 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ.

Во введении дана общая характеристика работы, постановка задачи и изложено краткое содержание диссертации. Первая глава посвящена разработке корпоративной сети университетского кампуса. В ней изложены основные принципы построения корпоративной сети:

• всеобъемлющий характер;

Область действия корпоративной сети распространяется на все подразделения университета в ПУНК. В каждом подразделении имеется хотя бы один сегмент корпоративной сети. Отсутствуют ограничения на количество подключаемых компьютеров и используемых сетевых протоколов.

• интеграция;

В сети обеспечивается равная возможность доступа (в рамках политики информационной безопасности). Делегируются права подразделениям на поддержку серверов имен, сопровождение зон третьего уровня.

• глобальный характер;

Корпоративная сеть должна иметь общеуниверситетские сетевые, информационные и вычислительные ресурсы, доступные всем студентам и сотрудникам университета. Возможности этих ресурсов существенно выше, а спектр (разнообразие) неизмеримо шире, чем в рамках локальной сети одного из подразделений.

• адекватные эксплуатационные характеристики;

Сеть обладает свойством управляемости и имеет высокий уровень RAS- безотказность, живучесть, обслуживаемость при поддержке критически важных сервисов и приложений. Обеспечивается маршрутизация (связность) как по вертикали - между автономными системами, так и по горизонтали - между подразделениями СПбГУ (единая политика маршрутизации без установки ограничений). Осуществляется защита основных сетевых сервисов от атак хакеров. Реализуется общая система учета трафика и использования сетевых разделяемых ресурсов, централизованный мониторинг сети.

На основе изложенных принципов и основных характеристик подразделений университета, находящихся в Петродворцовом учебно-научном комплексе (Петродворцовый кампус СПбГУ), были определены технические и организационные решения при проектировании и реализации корпоративной сети:

• разработана и построена оптоволоконная опорная сеть, соединяющая здания университета (в опорной сети 16 сегментов, соединяющих коммутаторы Catalyst 2924М XL, Catalyst 2912MF XL, Catalyst 1924);

» спроектированы и реализованы распределительные сети в каждом здании кампуса;

• с учетом опыта эксплуатации выбрано радиорелейное оборудование для высокоскоростного магистрального канала связи, объединяющего сети кампусов корпорации (отечественная радиорелейная станция Радан-15М и маршрутизаторы CISCO-3620 с высокоскоростным интерфейсом HSSI);

• разработана логическая структура всей корпоративной сети, включая сети каждого подразделения (имеется 101 ЛВС, объединяющих 1100 компьютеров, 81 сервер);

• произведен выбор технологии передачи данных и сетевого оборудования для реализации сети кампуса с возможностью

организации виртуальных локальных сетей (VLAN). На основе имеющегося опыта работы с оборудованием фирмы CISCO и с учетом имеющегося задела в программном обеспечении мониторинга и управления сетями используется однородное оборудование этой фирмы; • созданы общесистемные сервисы, обеспечивающие работу электронной почты, информационной системы UseNet - телеконференций. Построена почтовая система, позволяющая существенно упростить процедуру регистрации и улучшить доступ к сообщениям (в локальной сети используют информационные ресурсы 1870 сотрудников и 3937 студентов; пользуются удаленным доступом для получения почты по протоколу UUPC - 633 пользователя, а в режиме On-Line - 1133).

В конце главы рассматриваются локальные вычислительные ресурсы физического учебно-научного центра и построение интеллектуального узла удаленного доступа к ресурсам суперкомпьютерного кластера Института высокопроизводительных вычислений и баз данных Министерства науки и технологий РФ (ИВ-ВиБД). Особое внимание уделяется реализации канала связи, построенного по технологии виртуальной частной сети (VPN). Во второй главе рассмотрена организация корпоративных высокопроизводительных ресурсов. При проектировании учитывались основные требования, необходимые для создания условий максимально эффективного использования.

В первом разделе разработана концептуальная база построения системы высокопроизводительных ресурсов. Приводится классификация параллельных систем, анализируется структура компьютерных кластеров типа Беовульф и коммуникационные среды, применяемые для их построения. На основе требований:

• максимальная пропускная способность;

• минимальная задержка при передаче;

• минимальное количество соединительных линий интер-

фейса,

проводится сравнительный анализ основных коммуникационных технологий - SCI, Myrinet, Gigabit Ethernet, Fast Ethernet для построения сети кластеров.

В следующем разделе приводится методика выбора компьютерного оборудования кластеров. Она основывается на выполнении тестовых расчетов различного характера при изменении аппаратных конфигураций кластера с использованием одной и той же операционной системы. Выбор тестов связан со специализацией кластера, которую следует оговорить отдельно. Универсальных вычислительных систем не бывает, каждый суперкомпьютер так или иначе строится для выполнения задач определенного типа. Конкретная программа пользователя может потребовать такого сочетания ресурсов, которое для данного компьютера невыполнимо. В работе анализируется класс задач по расчету квантово-физических систем, для которых требуются очень большие объемы дисковой памяти для хранения массивов временных данных. Возможность использования такого объема памяти на суперкомпьютерах, сконфигурированных под выполнение задач другого типа, не предусмотрена, что не давало возможности получения результатов отличных от выполнения тестов на функциональность. Эти обстоятельства определили специализацию создаваемого кластера и, соответственно, подбор тестов для оценки его свойств. Измерения проводились при изменении:

• набора жестких дисков (IDE+SCSI, SCSI 4.5Gb, SCSI 9.1Gb);

• объема оперативной памяти (512Mb, 256Mb, 128Mb);

• скорости передачи информации в сети (Ethernet 10Mbps, Fast Ethernet, Gigabit);

• типа процессоров (Dual Pentium III 500 МГц, Dual Xeon 500 МГц).

Все используемые тестовые программы делятся на три группы,

определяющие производительность:

- одного процессора;

- мультипроцессорной системы и эффективности сети;

- кластера при выполнении базовой прикладной программы.

Сгу5(а!95 ВМо2рг рут Бег! ЭЙВ Эиа! Реп«ит111/500/512/

Рис Л

В результате измерений получено следующее:

• при изменении скорости передачи сообщений от 10 Мбайт/с до 100 Мбайт/с происходит уменьшение времени выполнения базовой задачи более чем в 2 раза;

• при увеличении до 1000 Мбайт/с изменения значительно меньше, от 14% до 24% (Рис.1);

• применение более мощных процессоров приводит к пропорциональному уменьшению времени расчетов по программе;

• увеличение оперативной памяти от 128 Мбайт до 512 Мбайт дает ускорение расчетов от 2 до 5 раз, а дальнейшее расширение - практически не влияет на тестовые расчеты (1 и 2 кривые

на рис. 2, оперативная память 512 МБайт и 256 Мбайт соответственно);

Crystal95 80to2pr. Сравнение файловых систем.

6000

5000

к 4000

ш и

I 3000 о о. ш

2000

1000 0

Число процессоров

Рис. 2

• существенное влияние оказывает тип применяемого жесткого диска и конфигурация файловой системы. Как видно из графика, установка второго дисковода привела к уменьшению времени счета в два раза (2 и 3 кривые рис.2)!

В третье главе описывается комплекс, который состоит из высокопроизводительного кластера и пяти учебных. Учебные кластеры установлены на всех факультетах Петродворцового кампуса СПбГУ и объединены выделенными оптоволоконными каналами с центральным коммутатором. К центральному коммутатору подключен и высокопроизводительный кластер. В качестве коммуникационной среды выбрана технология Fast Ethernet. Комплекс связан виртуальным каналом с суперкомпьютерным кластером ИВ-ВиБД. Со всех компьютеров учебных кластеров можно получить доступ к ресурсам разных суперкомпьютеров ИВВиБД. Закрытая

ел------------ —1-общий диск 1процессор —А— 2-общий диск 2процессора —3-два диска 2процессора X 4-два диска 1 процессор

1 д Л \

1 2 3 4 5 б 7 в 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

сеть комплекса связана с корпоративной сетью через шлюз, на котором установлен защитный межсетевой экран. Комплекс может осуществлять не только расчетные работы, но и поддержку баз данных и информационных систем. Высокопроизводительный кластер состоит из 12 узлов:

• 2 CPU Intel Pentium III 600 MHz ;

• Материнская плата GA-6BXDU,chipset Intel 440ВХ, 2 Ultra II SCSI ;

• 2 DIMM PC100ECC 256 Mb 8ns SAM;

• 2 жестких диска 4.55 Gb Fujitsu MAC3045SP Ultra-Wide SCSI;

• Видеокарта ATI Match 3D PCI 2Mb;

• Сетевая карта 3COM 905B-TX PCI 10/1 OOBase;

а все учебные кластеры имеют 8 узлов в следующей комплектации:

• CPU Celeron 400 MHz;

• Материнская плата GA-6VA7,chipset VIA Apollo Pro AGPset;

• DIMM PC 100ЕСС 64 Mb 8ns S AM ;

• 1 жесткий диск 6.5 Gb Fujitsu MPE3064AT;

• Видеокарта S3 Trio3D/2X;

• Сетевая карта DFE-538TX lO/lOOBase;

• Монитор HYUNDAI DeluxScan S570;

• Клавиатура, мышь.

Компьютеры соединяются через коммутаторы Cisco Catalyst WS-C2924-XL-EN и 3Com SuperStack 3300.

Базовыми операционными системами комплекса являются свободно распространяемые версии UNIX - FreeBSD и Linux. На FreeBSD 3.3 работают компьютеры кластера высокопроизводительных вычислений и учебно-вычислительного кластера ПТЦ. В учебном кластере физического факультета используется Linux Mandrake 7.0. Параллелизация поддерживается программными пакетами Mpich 1.2.0 и Pvm 3.4.3. Программы, с которыми работают пользо-

ватели комплекса - редакторы, компиляторы, графические оболочки - поставляются вместе со свободно распространяемым системным программным обеспечением.

На учебном кластере преподаватели тех подразделений, где он установлен, ведут занятия со студентами, сотрудники проводят отладочные расчеты. Таким образом, группы пользователей различных кластеров практически не пересекаются и это отражено в сетевой структуре комплекса и в предоставляемых сетевых сервисах. Для каждого кластера в закрытой сети комплекса выделена подсеть, которая обслуживается отдельным доменом информационного сетевого сервиса (NIS). Каталоги пользователей экспортируются файловым сервером комплекса только для подсети того кластера, в котором они зарегистрированы. Пользователи, получившие право на доступ к ресурсам нескольких (или всех) кластеров, регистрируются в NIS-доменах каждого кластера. NIS и NFS сервисы поддерживаются вспомогательными серверами комплекса - сервером связи и сервером сетевых сервисов.

Главным элементом в механизме кластеров является беспарольный rsh - очень уязвимый с точки зрения системной безопасности сервис. Однако именно этот сервис и обеспечивает эффективность во взаимодействии компонентов кластера. Система сетевой безопасности комплекса должна обеспечить полную недоступность для несанкционированного доступа снаружи и полную недопустимость несанкционированных действий изнутри. Для защиты сети комплекса были применены следующие меры:

• сеть комплекса закрыта от прямого доступа из Internet;

• на сервере связи установлен защитный программный экран (TIS-firewall);

• сведены к минимуму сетевые сервисы, поддерживаемые в сети комплекса;

• установлены пароли на доступ к BlOS'y и на переход в однопользовательскую моду компьютеров учебных кластеров;

• исключена загрузка компьютеров с дискеты.

Таблица 1. Сравнительные характеристики кластеров (в сек.) на NPB 2.3

LU SP ВТ ЕР MG FT IS CG

Кластер ИВ-ВиБД - PII/450, Fast Ethernet 4 проц. 611 987 1106 93 48 32 33

Кластер ИВ-ВиБД- Р1Г/450, Myrinet 4 процессора 593 824 1019 94 43 6.7 21

ВВ 4 проц. 417 666 1080 101 36 110 24 20

УК 4 проц. - - - 152 - - 25 32

ВВ 8 проц. 197 - 700 50 17 83 19 13

УК 8 проц. - - - 76 271 362 20 18

ВВ16 проц. 113 254 410 25 10 53 14 13

Максимальная производительность по тесту Linpack, достигнутая на 24-х процессорах высокопроизводительного кластера на матрице 25000*25000 - 4.308 Гфлоп, а на учебном кластере на матрице 6000*6000 - 0.7346 Гфлоп. В таблице 1 приведены результаты измерений характеристик комплекса на тестах NBP 2.3 УК -учебный кластер, ВВ - высокопроизводительный кластер.

Для организации массового доступа к ресурсам комплекса и поддержания режима последовательного монопольного их использования применяется система очередей отложенных заданий. На комплексе установлена свободно распространяемая сетевая система очередей PBS - Portable Batch System версии 2.2, которая поддерживает работу кластеров и выполнение параллельных вычислений, обеспечивает распределение заданий на разнородных вычислителях и имеет возможность организации интерактивного режима.

В рамках системы очередей пользователь получает в свое распоряжение кластер (или его часть) на время, определяемое параметрами очереди, в которую было поставлено задание. В работе описывается построение системы очередей, приводятся конкретные рекомендации по работе пользователя.

В заключении, на основе проведенных исследований рассмотрены направления работ по развитию комплекса и улучшению его характеристик.

Основные результаты опубликованы в следующих работах;

1. Золотарев В.И.

Система управления реляционными базами данных СПД для микро-ЭВМ.

Тезисы докладов VII Всесоюзной конференции «Планирование и автоматизация эксперимента в научных исследованиях, Ленинград, 1986 г.

2. Славянов С.Ю., Золотарев В.И.

Принципы организации базы знаний по специальным функциям.

Вестник СПбГУ, сер. мат., 1993г.

3. Акопян A.M., Пирожников A.B., Славянов С.Ю., Золотарев В.И.

Элементы базы знаний по специальным функциям. Конференция «Теоретическая, прикладная и вычислительная небесная механика», ИТА РАН, Санкт-Петербург, 1993 г.

4. Борисов Н.В., Золотарев В.И., Лазо О.И.

Опорный узел сети RELARN в Петродворце на базе НИИ Физики СПбГУ.

Сборник докладов конференции Ассоциации научных и учебных организаций-пользователей сетей передачи данных RELARN, Москва, 1994 г.

5. Золотарев В.И., Ловчиков В. А.

Базовая телекоммуникационная компьютерная сеть СПбГУ.

Сборник докладов Всесоюзной научно-методической конференции Телематика-96, Санкт-Петербург, 1996 г.

6. Золотарев В.И., Ловчиков В.А.

Развитие региональных сетей и их использование в интересах науки, образования и культуры.

Сборник докладов Всесоюзной научно-методической конференции Гелематика-97, Санкт-Петербург, 1997 г.

7. Золотарев В.И., Гирько О.Ю., Дейкало Г.Ф., Лазо О.И., Ушаков В.Е., Шауман A.M.

Развитие информационно-вычислительной сети Петродворцо-вого учебно-научного комплекса СПбГУ для создания распределенной серверной поддержки информационных систем и баз данных.

Отчет по проекту РФФИ № 96-07-90009, 1997 г.

8. Эварестов P.A., Борисов Н.В., Верязов В.А., Золотарев В.И. Создание в СПбГУ информационно-вычислительной среды на базе интеллектуальных узлов удаленного доступа к ресурсам СКЦ.

Сборник докладов Всесоюзной научно-методической конференции Телематика-9 8, Санкт-Петербург, 1998 г.

9. Золотарев В.И., Ловчиков В.А., Лазо О.И.

Основные направления развития компьютерной сети СПбГУ в Петро дворце.

Сборник докладов 5 конференции Ассоциации научных и учебных организаций-пользователей сетей передачи данных RELARN, Самара, 1998 г.

10. Эварестов P.A., Золотарев В.И., Стесик О.Л., Галюк Ю.П. Основные направления развития в СПбГУ интеллектуального узла удаленного доступа к высокопроизводительным вычислительным ресурсам Института высокопроизводительных вычислений и баз данных.

Сборник докладов Всесоюзной научно-методической конфе-

ренции Телематика-99, Санкт-Петербург, 1999 г. 11. Троян В.Н., Эварестов P.A., Золотарев В.И.

Комплекс высокопроизводительных вычислений СПбГУ. Сборник докладов Всесоюзной научно-методической конференции Телематика-2000, Санкт-Петербург, 2000 г.

ЛР № 040815 от 22.05.97.

Подписано к печати 25.05.2000 г. Формат бумаги 60X90 1/16. Бумага офсетная. Печать рюографическая. Объем 1 п.л. Тираж 100 экз. Заказ 1401. Отпечатано в отделе оперативной полиграфии НИ ИХ СПбГУ с оригинал-макета заказчика. 198904, Санкт-Петербург, Старый Петергоф, Университетский пр. 2.

Заключение

4. Возможное направление работ по развитию комплекса.

Построенный комплекс можно по своей организационной структуре отнести к кластеру кластеров, очень сложной системе высокопроизводительных вычислений, которая сегодня только начинает изучаться.

Так как данный комплекс объединяет однородные вычислители, реализованные по кластерной технологии Беовульф, коммуникационные среды кластера и комплекса построенные с использованием Fast Ethernet, то комплекс может быть представлен как единое вычислительное устройство. Структура комплекса должна соответствовать ранее описываемому кластеру. В состав комплекса должен входить единый узел управления и сервер управления очередями заданий, файловый и информационный серверы. Узлом управления комплексом может быть достаточно мощный коммутатор-маршрутизатор. Например, CISCO-5509, который должен быть шлюзом для всей сети, иметь возможность коммутации произвольного состава логических сетей. Сетевая структура комплекса должна состоять из трех сетей, каждая из которых выполняет свою функцию. Высокопроизводительная сеть, обеспечивающая коммутацию вычислителей, построенная по наиболее широко используемой технологии. Это связано с тем, что в состав комплекса должны легко включаться не только кластерные, но и другие вычислители. Наиболее приемлемой коммутационной средой является Gigabit Ethernet. Адаптеры такой сети имеют все мощные серверные устройства. Сетью, осуществляющей начальную загрузку, может быть сегмент сети Fast Ethernet, из корпоративной сети ПУНК. Сеть, контролирующая каждый узел - сеть серверов, обеспечивающая функции удаленной консоли. В качестве серверов можно использовать компьютеры с мультиплексорами RS-232.

5. Основные положения диссертации, выносимые на защиту.

1. Разработана структура корпоративной сети, имеющая единую коммуникационную среду и позволяющая обеспечить:

• Разграничение доступа к основным информационным и высокопроизводительным ресурсам путем организации необходимых виртуальных сетей.

• Централизованное обслуживание распределенных по территории вычислительных ресурсов.

• Создание необходимых условий работы специализированных сетей корпорации.

• Организацию объединения информационных ресурсов корпорации.

2. В соответствии с разработанной структурой построена корпоративная сеть, подтверждающая правильность выбранных методов.

3. Разработана концептуальная модель сложной иерархической высокопроизводительной системы вычислителей, обеспечивающая подготовку специалистов и большие расчетные задачи при оптимальных финансовых затратах.

4. Реализован способ организации доступа к системе высокопроизводительных ресурсов на базе территориально - распределенных интеллектуальных узлов удаленного доступа и точек присутствия.

5. Разработана методика выбора аппаратного состава высокопроизводительных кластеров, позволяющая более качественно осуществлять комплектацию оборудования вычислительных систем.

6. Создана модель комплекса высокопроизводительных вычислений, реализованная в крупной корпоративной сети, результаты исследований вычислительных кластеров комплекса и их основные характеристики.

7. Найден способ организации разнородных вычислительных систем с возможностью проведения пакетной и интерактивной работы пользователей на базе свободно распространяемого программного продукта PBS 2.2.

1. Золотарев В.И.,

2. Система управления реляционными базами данных СПД для микро-ЭВМ. Тезисы докладов VII Всесоюзной конференции «Планирование и автоматизация эксперимента в научных исследованиях, Ленинград, 1986 г.

3. Славянов С.Ю., Золотарев В.И.

4. Принципы организации базы знаний по специальным функциям. Вестник СПбГУ, сер. мат., 1993г.

5. Акопян A.M., Пирожников A.B., Славянов С.Ю., Золотарев В.И. Элементы базы знаний по специальным функциям.

6. Конференция: Теоретическая, прикладная и вычислительная небесная механика, ИТА РАН, Санкт-Петербург, 1993г.

7. Борисов Н.В., Золотарев В.И., Лазо О.И.

8. Опорный узел сети RELARN в Петродворце на базе НИИ Физики СПбГУ. Сборник докладов конференции Ассоциации научных и учебных организаций-пользователей сетей передачи данных RELARN, Москва, 1994 г.

9. Золотарев В.И., Ловчиков В.А.

10. Базовая телекоммуникационная компьютерная сеть СПбГУ.

11. Сборник докладов Всесоюзной научно-методической конференции Телематика-96, Санкт-Петербург, 1996 г.

12. Золотарев В.И., Ловчиков В.А.

13. Развитие региональных сетей и их использование в интересах науки, образования и культуры. Сборник докладов Всесоюзной научно-методической конференции Телематика-97, Санкт-Петербург, 1997 г.

14. Золотарев В.И., Ловчиков В.А., Лазо О.И.

15. Основные направления развития компьютерной сети СПбГУ в Петродворце.10