автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Разработка и исследование методического и программно-алгоритмического обеспечения АСУ предприятия на базе компонент с открытой структурой



На правах рукописи

Шмелев Василий Александрович

Разработка и исследование методического

ТГ * УГН ГТТЛ г* ттллтлттт* гтгтгппгттт

111. 11]ЛЛ р01Ш»Ш.и-0Л1 ири 1ШИ ЧС1,Ли1 и

обеспечения АСУ предприятия на базе компонент с открытой структурой

Специальность 05.13.06 — «Автоматизация и управление технологическими процессами и производствами (в энергетике)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук.

1 9 МАЙ 2011

Москва — 2011

4846881

Работа выполнена в Московском Энергетическом Институте (Техническом Университете) на кафедре Автоматизированных систем управления технологическими процессами.

Научный руководитель: канд. техн. наук, доцент

Мухин Виктор Степанович

Официальные оппоненты: докт. техн. наук

Солдатов Виктор Владимирович

канд. техн. наук

Тарасов Дмитрий Викторович

Ведущая организация: ОАО «НИИТеплоприбор»

Защита диссертации состоится «9» июня 2011 г. в 16 ч. 00 мин. в аудитории Б-205 на заседании диссертационного совета Д 212.157.14 при Московском энергетическом институте (Техническом Университете) по адресу: 111250, Москва, Красноказарменная ул., д.17.

Отзывы в двух экземплярах, заверенные печатью организации, просим присылать по адресу: 11250, Москва, Красноказарменная ул., дом 14, Ученый совет МЭИ (ТУ).

С диссертационной работой можно ознакомиться в библиотеке МЭИ

(ТУ).

Автореферат разослан «..-?...» .-^¿г?..2011 года.

Ученый секретарь диссертационного '7.14

к.т.н., доцент Зверьков В.П.

Общая характеристика работы

Актуальность работы. Надежное, полнообъемное энергообеспечение потребителей, эффективность энергопроизводства предопределяется состоянием основных производственных фондов. Учитывая, что основной ввод энергетических мощностей был осуществлен в 1960-70 г.г., в последние годы в электроэнергетике России неуклонно обостряется проблема физического и морального старения оборудования электростанций, тепловых и электрических сетей.

Очевидно, что внедрение систем автоматизации на различных уровнях предприятия позволяет в значительной мере оптимизировать бизнес-процессы и сократить время на принятие решений. Однако на сегодняшний день в теплоэнергетике основное внимание уделяется разработке и внедрению современных АСУ ТП, в то время, как верхний уровень управления фактически отделен от нижнего как в информационном плане, так и в постановке и решении оптимизационных задач общестанционного и системного характера.

Верхний уровень АСУ предприятия используется в основном для снижения доли рутинной работы, что дает руководству несколько преимуществ: во-первых, уменьшается время принятия решений, т.к. информационной системе нужно немного времени для подготовки аналитического отчета, основанного на первичной информации; во-вторых, снижается доля ручного труда в общем объеме работ, следовательно, снижается и стоимость этого труда для компании, и штат сотрудников.

Как отмечают эксперты, основными особенностями рынка автоматизации энергетических компаний является большое количество разрозненных систем, работающих на предприятиях ранее, и сложность их интеграции друг с другом, в том числе существует проблема автоматизации обмена информацией внутри слабосвязанных систем. С другой стороны, особенностью управления генерирующими энергетическими компаниями в России заключается в территориальной удаленности объектов управления (электростанций) друг от друга и от управляющей компании, что требует повышенных требований к надежности и защищенности систем обмена информацией.

Традиционно на всех уровнях автоматизации предприятий, в том числе и энергетических, используется программное обеспечение с закрытым исходным кодом и закрытой же моделью разработки. Очевидно, у такого подхода есть свои преимущества, в том числе: большой штат программистов, работающих на компанию-разработчика решения; подробная техническая документация и руководства пользователей; «известность» и опыт работы производителя программного обеспечения (ПО) в этой области и т.д. Вместе с тем, у закрытой модели есть ряд и существенных недостатков. Самые главные: отсутствие исходных кодов всей системы и, как следствие, невозможность свободной модификации

под конкретные нужды энергетического предприятия. У открытого программного обеспечения также есть свои недостатки, однако, в стратегически важных отраслях, к которым относится и энергетика, целиком полагаться на закрытое информационное обеспечение зарубежных производителей было бы неразумно.

Эффективность работы системы в целом обеспечивается путем объединения в единую локальную вычислительную сеть (ЛВС) всей вычислительной техники при помощи физическиз линий связи, или среды передачи данных. При рассмотрении процедур межсетевого взаимодействия всегда опираются на стандарты базовой эталонной модели взаимодействия открытых систем (OSI), разработанные International Standard Organization (ISO). Несмотря на огромную популярность и широкое использование эталонной модели OSI вместе со стандартными высокоуровневыми протоколами обмена информацией эта модель и протоколы изначально проектировались без учета вопросов информационной надежности как передаваемых по сетям данных, так и непосредственно инфраструктуры сети. Эти особенности проектирования со временем привели к открытию целого ряда недостатков эталонной модели, присущих ей по «проекту», что накладывает определенные ограничения на применение стандартных протоколов внтури разработанной методологии построения автоматизированных систем управления предприятием в отрасли энергетики. Для предотвращения подобных ситуаций необходим определенный комплекс мер, направленных на снижение риска компроментирования системы в целом.

В связи с вышеуказанным, создание АСУ П, состоящей целиком из открытых программных компонент, проработка методологии построения таких систем и ее реализация на примере энергетического предприятия представляет большой научный и практический интерес. Вместе с тем очевидно, что существует ряд проблем, решение которых представляет собой непростую задачу. Например, сегодня на рынке энергетики практически полностью отсутствует оборудование с открытыми спецификациями, а также соответствующее программное обеспечение. С другой стороны, открытые инструменты проектирования таких систем также практически отсутствуют, как отсутствует и понимание необходимости создания этих инструментов.

Естественно, задачу подобного масштаба невозможно решить на всех уровнях автоматизации в рамках одного исследования, поэтому также стоит задача объединения независимых специалистов для разработки полномасштабной полностью открытой системы АСУ П и АСУ ТП в энергетике. Подобная система позволяет значительно снизить издержки на лицензионные отчисления, а также избавиться от недостатков, присущих закрытым продуктам.

Цель диссертационной работы Разработка и исследование методического и программно-алгоритмического обеспечения информационной системы АСУ энергетического предприятия на базе открытых программных компонент.

Задачи, требующие решения в рамках поставленной цели:

• Обзор стандартных алгоритмов передачи данных в локальных вычислительных сетях;

• анализ систем ввода исходных данных в систему, выбор свободного программного обеспечения для создания электронных документов и форм реквизитов;

• выбор открытой операционной системы, на базе которой обеспечивается функционирование компонент АСУ;

• создание методологии построения единой системы управления предприятием и комплекса открытого информационного обеспечения для реализации этой методологии;

• обеспечение надежности на всех этапах движения информации внутри единой информационной системы энергетической компании;

• реализация информационной системы на базе открытых компонентов на примере создания модели надежности энергетической компании.

Научная новизна работы.

• Разработана методология построения единой системы управления предприятием и выбран комплекс открытого информационного обеспечения для реализации этой методологии;

• решена задача обеспечения надежности на всех этапах движения информации в единой информационной системе открытыми и свободными средствами;

• решена задача создания отдельных элементов модели надежности энергетической компании, которая использует только открытые компоненты.

Практическая значимость работы.

• Решена задача выбора свободного программного обеспечения для создания электронных документов и форм реквизитов;

• создана методология построения единой системы управления предприятием и выбран комплекс открытого информационного обеспечения для реализации этой методологии;

• решена задача обеспечения надежности на всех этапах движения информации в единой информационной системе открытыми и свободными средствами;

• решена задача создания отдельных элементов модели надежности энергетической компании, которая использует только открытые компоненты.

К результатам этой работы проявляют интерес российские генерирующие и сетевые энергетические компании.

Достоверность и обоснованность результатов. В основе работы лежат как теоретические, так и экспериментально-практические исследования, в которых используются методы вероятностно-статистического моделирования, структурный и системный анализ, а также методы идентификации и компьютерного моделирования.

Апробация работы. Материалы, основные разделы и положения диссертации докладывались и обсуждались на XII и XIII Международной научно-технической конференции студентов и аспирантов «Радиотехника, электротехника и электроника» в марте 2006 и 2007 года. Также отдельные результаты работы внедрены в следующих организациях:

1. ООО «Аи-Мед», Россия;

2. ООО «Пульсар-Инжиниринг», Россия;

3. ООО «Пульсар-Трейдинт», Россия;

4. «Waygate Publishing» LTD, Великобритания.

Публикации. По материалам диссертации опубликовано пять работ, среди которых две статьи в рецензируемых изданиях.

Структура и объем диссертации. Работа состоит из введения, четырех глав, заключения, списка литературы, включающего 77 наименований, содержит 214 стр. печатного текста, 25 рисунков.

Содержание работы

Во введении и первой главе обоснована актуальность, научная и практическая значимость темы, сформулированы цель и задачи работы, а также ее научная новизна. Приведен обзор технической литературы по теме диссертации, рассмотрены основные проблемы существующей инфраструктуры, в частности, проблема надежности типовых протоколов информационного обмена высокого уровня.

Во второй главе рассмотрены основные логические элементы АСУ П энергетической компании, а также типовые способы построения интегрированных систем управления верхнего уровня. Определены критерии выбора операционной системы в качестве платформы обработки данных для верхнего уровня системы автоматизированного управления энергетическим предприятием. Для получения, обработки, передачи и хранения поступающих данных необходимо использовать специальные операционные системы, называемые сетевыми. Очевидно, что ОС, используемая в системе управления, должна отвечать определенным требованиям, а также быть открытой и свободной, что вытекает из целей работы. В этой главе рассмотрены наиболее значимые характеристики операционных систем, проведено сравнение возможностей различных ОС.

С учетом особенностей информационной системы, в качестве основной ОС как для серверного оборудования, так и для рабочих мест пользователей, мной выбрана ОС GNU/Linux, т.к. она в наибольшей степени удовлетворяет требованиям к операционной системе, поставленным в рамках решаемой задачи.

В качестве дистрибутива, то есть, поставщика операционной системы и окружения, выбран Debian GNU/Linux, т.к. этот дистрибутив хорошо поддерживается, в него включены все распространенные и поддерживаемые программные пакеты окружения пользователя и серверных сетевых служб, а также средства разработки. Кроме того, сообщество пользователей Debian весьма обширно, а выявленные в программном обеспечении проблемы исправляются довольно оперативно.

Выбор системы управления баз данных (СУБД), которая является неотъемлемой частью современных информационных систем, представляет собой сложную многопараметрическую задачу и является одним из важных этапов при разработке приложений АСУ П, использующих базы данных. Выбранный программный продукт должен удовлетворять как текущим так и будущим потребностям предприятия, при этом следует учитывать финансовые затраты на приобретение необходимого оборудования, самой системы, разработку необходимого программного обеспечения на ее основе, а также обучение персонала. Кроме того, необходимо убедиться, что использование СУБД способно принести финансовую выгоду енергетическому предприятию. Можно выделить несколько групп критериев отбора СУБД:

• Моделирование данных;

• особенности архитектуры и функциональные возможности;

• контроль работы системы;

• особенности разработки приложений;

• производительность;

• надежность;

• требования к рабочей среде.

В энергетике основной проблемой всегда являлись значительные объемы информации, которую необходимо собирать, надежно хранить и оперативно обрабатывать. Появление информационных систем, основным назначением которых является решение отмеченной проблемы, явилось ответом компьютерной индустрии на требования мира бизнеса. Кроме этого, у аналитических отделов предприятия и у высшего звена управляющего состава имеются и другие задачи: выработка тактики и стратегии компании на основе анализа поведения на рынке с учетом сопутствующих внешних факторов и прогноза хотя бы на ближайшее будущее. Речь идет о так называемых OLAP-системах (On-Line Analitical Processing), т.е. аналитических системах, помогающих принимать бизнес-решения за счет динамически производимых анализа, моделирования и/или прогнозирования данных, например, для решения задачи обеспечения требуемого уровня надежности работы энергетического оборудования без необходимости осуществления плановых ремонтов.

Основными элементами этой технологии являются:

1. Основным источником информации, поступающей в оперативную базу данных, является деятельность корпорации.

2. Если для оперативной обработки, как правило, требуются свежие данные, то в складе данных нужно поддерживать хранение информации о деятельности корпорации и состоянии рынка на протяжении нескольких лет.

3. На энергетическом предприятии как правило одновременно существует несколько оперативных информационных систем с собственными базами данных. Оперативные базы данных могут содержать семантически эквивалентную информацию, представленную в разных форматах, с разным указанием времени ее поступления, иногда даже противоречивую (например, из-за ошибок ввода данных). Склад данных предприятия должен содержать единообразно представленные данные из всех оперативных баз данных.

4. Набор запросов к аналитической базе данных предсказать невозможно. Склады данных создаются, чтобы отвечать на неожиданные запросы аналитиков.

5. Оперативные базы данных по своей природе являются сильно изменчивыми. Это учитывается в используемых СУБД. Аналитические базы данных меняются только тогда, когда в них загружается оперативная или внешняя информация.

6. Если для оперативных информационных систем обычно хватает защиты информации на уровне таблиц (по правилам SQL-ориентированных баз данных), то информация аналитических баз данных настолько критична для корпорации, что для ее защиты требуются более тонкие приемы.

Предложенная технология позволяет интегрировать в единую ин-

формациоиную среду разнотипные информационные системы, цифровые библиотеки, и обеспечить логическую связанность данных этой среды. Хотя в различных случаях степень интеграции может быть разной, в целом качество информации в подобной распределенной системе существенно превышает текущий уровень развития технологий. В этом случае проявляется синергетический эффект, который значительно увеличивает возможности каждой отдельно взятой технологии из комплекса.

Третья глава посвящена описанию методики защиты информации на всех этапах хранения, обработки и передачи данных. Настоящая работа не ставит своей целью создание или доработку способов защиты информации, однако, при решении поставленных задач необходимо учитывать аспекты безопасности на всех этапах работы с данными. Сегодня s ноуке все большее Епим&тт1*е уделстетс51 процессз-м ттередз.тти и Q^pт* данных, растет популярность глобальных вычислительных сетей, предназначенных для проведения распределенных вычислений, моделирования сложных процессов или хранения данных в базах знаний и обмена ими. Обычно предполагается, что зашифрованная информация передается по общедоступному каналу связи так, что все пользователи (законные и незаконные) имеют к ней свободный доступ, причем, это характерно для сетей TCP/IP, которые используются повсеместно.

На верхнем уровне в системах автоматизированного управления возникает задача разработки такого механизма электронной защиты, который бы смог заменить подпись и печать на бумажных документах. Т.е. необходимо разработать механизм цифровой подписи, которая представляет собой дополнительную информацию, приписываемую к защищаемым данным. Цифровая подпись зависит от содержания подписываемого документа и определенного секретного элемента (ключа), которым обладает только лицо, участвующее в защищенном обмене. Анализ цифровой подписи на основе криптосистем с открытыми ключами показывает, что она полностью удовлетворяет требованиям, предъявляемым к ней. В настоящий момент широко известны цифровые подписи, построенные по алгоритмам RSA, Эль-Гамаля, Шнорра, Рабина и математического аппарата эллиптических кривых.

В результате применения ПО, основанного на этих алгоритмах, построена защищенная сеть, в которой данные передаются по открытым каналам связи в шифрованном виде, а независимый узел доступен из любой точки мира с использованием персонального сертификата и программного обеспечения с поддержкой стандартных алгоритмов защиты SSL/TLS.

В четвертой главе на базе разработанных методических положений решена типовая задача создания модели надежности энергетической ком-

пании с использованием открытых компонент.

Основная цель реформирования электроэнергетики России — повышение эффективности предприятий отрасли, создание условий для ее развития на основе стимулирования инвестиций, обеспечение надежного и бесперебойного энергоснабжения потребителей. В связи с этим в электроэнергетике России произошли радикальные изменения: изменилась система государственного регулирования отрасли, функционирует и развивается конкурентный рынок электроэнергии, создаются новые компании.

В ходе реформы исчезает прежняя, монопольная структура электроэнергетики: большинство вертикально-интегрированных компаний сходят со сцены, на смену им появляются новые компании целевой структуры отрасли. Тем не менее, для эффективного управления энергосистемой в целом необходим достаточно высокий уровень централизации именно управляющих функций. При такой схеме вопросы передачи, обработки и хранения информации приобретают гораздо большее значение, т.к. существенно повышают конкурентоспособность компании.

На рис. 1 показана общая схема программных средств, необходимых для работы модели надежности. Программное обеспечение (ПО) — это место создания, использования и учета алгоритмов модели. Использование открытых средств в этом случае достаточно затруднительно, так как доступные открытые библиотеки могут не обеспечивать минимально необходимую функциональность, что приведет к неоправданно длительным срокам разработки модели. Кроме того, следует учитывать квалификацию разработчиков и привычный инструментарий.

В качестве свободной среды разработки может быть использовано, например, окружение Python (Пайтон) — высокоуровневый язык программирования общего назначения с акцентом на производительность разработчика и читаемость кода. Синтаксис ядра Python минималисти-чен. В то же время стандартная библиотека включает большой объём полезных функций.

Python поддерживает несколько парадигм программирования, в том числе структурное, объектно-ориентированное, функциональное, императивное и аспектно-ориентированное. Основные архитектурные черты — динамическая типизация, автоматическое управление памятью, полная интроспекция, механизм обработки исключений, поддержка многопоточных вычислений и удобные высокоуровневые структуры данных. Код в Python организовывается в функции и классы, которые могут объединяться в модули (которые в свою очередь могут быть объединены в пакеты).

Тем не менее, необходимо использовать такое программное обеспечение, чтобы создание необходимых алгоритмов модели надежности было максимально удобным, поэтому для решения основных задач проектирования предлагается использовать проприетарное программное обеспе-

Рис. 1. Инструментарий работы с моделью надежности, чение, в котором:

• Алгоритмы динамического сценарного моделирования поведения системы при определенных условиях (сценариях) — среда программирования POWERSIM.

• Алгоритмы обработки временных рядов, статистика — среда программирования Fuzzy XL (возможно использование схожих программ). Кроме того, при обработке данных используются также методы экспертных оценок.

• Алгоритмы проектирования нейронных сетей — среда программирования BrainMaker.

В качестве основы построения программного комплекса заложена трехзвенная архитектура информационной системы, как наиболее гибкая и универсальная. Она включает в себя операционную систему, набор общих системных средств, необходимый для обеспечения работы ОС, а также три основных компонента, предоставляющие возможность реализации модели надежности.

1. Сервер доступа (Web-сервер).

2. Сервер приложений.

3. Сервер управления базами данных.

Web-сервер — это сервер, принимающий HTTP-запросы от клиентов, обычно веб-браузеров, и выдающий им HTTP-ответы. Вместе с ответом может быть отдана практически любая статическая информация, которая затем обрабатывается клиентом (браузером) для визуального отображения.

В результате такого подхода становится возможным доступ к любым реализованным функциям модели с использованием любого устройства, которое имеет доступ в интернет: от стационарных компьютеров до мобильных телефонов. Клиентом в данном случае выступает браузер, который используется только для отображения информации и передачи управляющих команд на сервер. Использование web-сервера в качестве основного сервера доступа клиентов оправдано для систем управления высокого уровня (ERP, MES), т.к. не требует постоянного оперативного контроля и оперирует в большей степени с наглядной информацией.

Существует несколько развитых свободных программных продуктов, которые реализуют функциональность web-сервера. Наиболее распространены Apache Web Server, Nginx и lighttpd.

Сервер приложений — это ключевой элемент программного обеспечения модели надежности, который содержит в себе все алгоритмы и методы модели. Это программная платформа (software framework), предназначенная для эффективного исполнения процедур (программ, механических операций, скриптов), которые поддерживают построение приложений. Сервер приложений действует как набор компонент, доступных разработчику программного обеспечения через API, определенный самой платформой.

Для создания общего хранилища учетной информации разумно использовать одну из свободных реализаций сервера LDAP протокола — Openldap. Это решение базируется на опыте в решении данной задачи, LDAP давно используется в Windows Active Directory, в E-Directory от Novell. Кроме того, существуют готовые решения для того, чтобы клиенты гетерогенной сети, находящиеся под управлением различных операционных система, использовали учетную информацию пользователей в LDAP директориях.

Такой подход позволяет создать единую базу информации о пользователях системы и предоставлять доступ, основанный на групповых политиках в зависимости от набора привилегий.

В модели надежности групповые политики разделяются на территориальные (уровня станции, уровня компании) и персональные (операторы системы, администраторы, управляющий персонал). В зависимости от сочетания групповых политик на конкретном автоматизированном рабочем месте конкретному пользователю предоставляется определенный набор привилегий.

Рассмотрим механизм авторизации пользователей системы с использованием браузера в качестве клиента. Процесс авторизации состоит из нескольких этапов:

1. Установка защищенного соединения между клиентом и сервером доступа.

2. Проверка наличия реквизитов доступа на стороне клиента. Если пользователь уже прошел процедуру авторизации, то он должен иметь уникальный идентификатор сессии, который посылается в ответ на запрос сервера приложений.

3. В случае, если реквизиты не обнаружены, происходит возврат страницы ввода параметров доступа (логина и пароля). В качестве идентификатора и аутентификатора может быть использован цифровой сертификат.

4. Проверка подлинности реквизитов через Ы)АР-сервер.

5. Формирование сессии пользователя и отправка уникального идентификатора сессии клиенту. Этот идентификатор является сеансовым реквизитом доступа и авторизует пользователя при дальнейших запросах без необходимости повторного ввода логина и пароля.

В результате такого процесса мы получаем защищенное и авторизованное соединение клиента с серверным оборудованием, которое гарантирует подлинность полномочий пользователя, а также защиту от модификации содержимого и прослушивания при передаче по каналам связи.

Простейхная структура реализации хранилища данных модели надежности включает в себя два сервера СУБД, один из которых выполняет роль оперативного и принимает данные с нижних уровней АСУ. Т.к. количество оперативной информации велико, генерация каких-либо отчетов и выборок непосредственно на оперативной СУБД затруднена, поэтому используется второй аналогичный сервер СУБД, на который реплицируется информация из оперативной БД. В каждый момент времени оба сервера содержат полную информацию, однако второй сервер можно использовать для генерации отчетов без опасности потери оперативных данных. Создаваемые отчеты сохраняются в отдельную базу

данных, которая может находиться как под управлением той же СУБД, либо, если это необходимо, сохраняться на отдельный сервер.

Предлагаемая структура позволяет осуществлять гибкое масштабирование ресурсов при росте объемов информации, а также централизованно осуществлять сбор отчетов модели надежности, что, в свою очередь, позволяет оперативно принимать решения о корректировке модели либо следовать рекомендациям.

Для связи с центральным офисом компании в модели, которая запущена на сервере приложений, реализованы методы внешнего доступа, которые выделены в отдельный модуль. Эти методы при помощи механизма удаленного вызова процедур (ИРС) передаются либо на АРМ операторов, либо на центральный диспетчерский узел.

Узлы модели уровня станции Узлы модели уровня станции

шхз

Центральное хранилище данных

Интерфейс связи с АРМ

Ядро сервера приложений.

Методы бизнес-логики

Удаленные клиенты, стационарные и мобильные

Сервер внешнего

доступа ▲

¿г"" ▼

Защищенное соединение

Рис. 2. Схема центрального узла.

На рис. 2 показана схема включения центрального узла в общую структуру модели надежности. Станционные узлы при помощи открытых средств объединяются в единую виртуальную частную сеть, вся информация в которой защищена от перехвата и модификации в процессе передачи извне этой сети, даже если данные передаются по открытым

каналам связи (через интернет).

Внешние же подключения к системе модели разрешены только через центральный узел внешнего доступа, который осуществляет дополнительную проверку полномочий клиента. Управляющие команды и результаты выполнения обрабатываются на центральном сервере приложений и передаются узлам уровня станции по защищенной сети.

В случае дублирования наиболее нагруженных элементов узла возникает необходимость использования дополнительного устройства либо специализированного ПО, которое осуществляет распределение запросов между масштабируемыми элементами. Таким устройством может быть обычный сервер с установленным nginx, haproxy, либо кеширующим прокси-сервером SQID, настроенным в режиме обратного proxy. Преимуществом такого подхода является: во-первых, возможность практически неограниченного горизонтального масштабирования вычислительной мощности узла при незначительном изменении исходной конфигурации системы. Во-вторых, увеличивается общая надежность модели, т.к. в случае выхода одного компонента из строя все запросы будут перенаправлены на оставшийся в строю. В-третьих, используются возможности ргоху-сервера по кешированию запросов клиентов, что при правильном проектировании интерфейса позволяет снизить нагрузку на сервер приложений и web-сервер.

К недостаткам же можно отнести:

1. Некоторое усложнение конфигурации системы, связанное с введением нового элемента в существующую инфраструктуру.

2. Увеличение вероятности отказа, связанного с выходом из строя балансировщика нагрузки.

С учетом указанных недостатков горизонтальное масштабирование является одним наиболее простых методов увеличения мощности модели с ростом вычислительной нагрузки на нее.

Для надежной и безотказной работы всех компонент узлов модели требуется специализированное современное аппаратное обеспечение, которое поддерживает резервирование и горячую замену основных комплектующих. В частности, все используемые сервера должны быть снабжены:

• Резервным блоком питания с возможностью горячей замены без отключения сервера и сигнализацией о выходе из строя.

• Контроллером привода несъемных жестких магнитных дисков (HDD) с возможностью горячей замены.

Дисковая подсистема всех узлов аппаратного комплекса поддержива ет программную защиту данных RAID уровня 1,1+0 или 5 в зависимости от задач.

Для серверов СУБД с оперативными БД используем RAID10 в сочетании с высокопроизводительными SAS-дисками, которые оптимизированы на большое число параллельных запросов. Для серверов архивов допустимо использовать SATA-II диски в конфигурации RAID5. Такое сочетание позволяет получать отказоустойчивые тома большой емкости (до 12 Тб на сервер 2U) там, где не требуется высокая скорость доступа к дисковой подсистеме. Для серверов приложений используем RAIDI в сочетании с SAS-дисками, т.к. объем постоянно хранимой информации относительно невелик. Для серверов внешнего доступа и ргоху-серверов также используем RAIDI и SAS-диски.

Использование открытых, широко поддерживаемых программных компонент гарантирует также высокий уровень поддержки и скорость разработки самой модели надежности, которая будет получена в результате дальнейших исследований.

Основные выводы и рекомендации

1. Предложена и реализована концепция построения и функционирования информационной системы верхнего уровня АСУ П на базе открытых компонент, что позволяет, в частности в энергетике, решить проблему объемов информации, которую необходимо собирать, надежно хранить и оперативно обрабатывать.

2. Предложены пути решения проблем защищенности стандартных протоколов передачи данных в автоматизированных системах управления предприятий.

3. Предложен и обоснован новый подход к построению АСУ П как открытой структуре, где, в отличие от традиционных методов, учитывается ряд дополнительных факторов, что позволит корректно и эффективно решать стратегические задачи управления потоками информации на уровне АСУ П и АСУ ТП в форме электронных документов.

4. Рассмотрена задача создания модели надежности крупной энергетической компании, которая включает в себя географически распределенную структуру узлов уровня станции и центральных узлов, объединенных в единую автоматизированную систему. Определены основные функции модели надежности и источники данных, на основании которых происходит принятие решений.

5. Предложены и описаны свободные программные платформы, на базе которых возможна реализация алгоритмов модели надежности. Также рассмотрены программные средства, предназначенные для проектирования моделей, содержащих элементы систем искусственного интеллекта (нейросетей), нечеткой логики и систем поддержки принятия решений.

6. Предложена структура программного комплекса модели надеж-

ности, основанная на трехзвенной архитектуре: хранилище данных, сервер приложений и модуль удаленного доступа, для которых предложены надежные свободные программные средства, разработана оптимальная конфигурация этих средств и описаны области их применения.

7. Разработана принципиальная структура хранилища данных для модели надежности, которая обеспечивает как сбор информации в реальном времени, так и возможность параллельной обработки данных и генерации отчетов. Рассмотрены способы масштабирования хранилища информации при необходимости, что значительно снижает капитальные затраты на создание системы.

8. Предложены структуры: узла модели надежности уровня станции, которая позволяет интегрировать открытые решения в общую структуру автоматизации энергетической компании; узла уровня центра, которая объединяет все станционные узлы в единую информационную систему, даже если они географически разделены.

9. Решена задача масштабирования основных составляющих модели при увеличении нагрузки. При использовании предложенного подхода полная модернизация аппаратного комплекса не требуется, достаточно при необходимости вводить в эксплуатацию новые дублирующие компоненты.

10. Предложена структура аппаратного обеспечения модели надежности с учетом особенностей отдельных компонент и функциональности, а также используемого программного обеспечения.

11. Решенная задача является частью комплекса аппаратно-программных средств комплексной информационной системы АСУ П, спроектированного с использованием только открытого и свободного программного обеспечения (ПО). Предложенная в работе методика позволяет значительно снизить издержки на лицензионные отчисления, а также избавиться от недостатков, присущих закрытым продуктам.

Основные результаты работы отражены в следующих публикациях

1. Шмелев, В. А. Программно-ориентированная концепция АСУП верхнего уровня / В. А. Шмелев, В. С. Мухин // Вестник МЭИ. — 2009.

- № 1. - С. 111-116.

2. Шмелев, В. А. Концепция открытой комплексной структуры АСУП /

В. А. Шмелев, В. С. Мухин // Новое в российской электроэнергетике.

- 2009. - № 2. - С. 5-16.

3. Шмелев, Б. А. Типовые информационные потоки на промышленном предприятии, проектирование стандартных маршрутов документов. / В. А. Шмелев, В. С. Мухин // Радиоэлектроника, электротехника и энергетика: двенадцатая Междунар. науч.-техн. конф. студентов и аспирантов: Тез. докл. В 3-х т. - М.: МЭИ, 2006. - Т. 3. - С. 241-242.

4. Шмелев, В. А. Обоснование выбора программных компонент при построении корпоративного хранилища информации. / В. А. Шмелев, В. С. Мухин // Радиоэлектроника, электротехника и энергетика: тринадцатая Междунар. науч.-техн. конф. студентов и аспирантов: Тез. докл. В 3-х т. - М.: Издательский дом МЭИ, 2007. - Т. 3. - С. 220221.

5. Шмелев, В. А. Проектирование комплексной информационной си-

лиахлт ттт"\ Л ттГттлтгг-ттлттгт »»лтгпт ^ ггтт^'% г» тт/лтттггт пл гтпттЛ» пт / О Л ТТТ1/ППЛП V А \Jk4LtM. И^^^-И-^хт Л. 11/15 у осу^съ ШЛИХ- / . I 1>

В. С. Мухин // Радиоэлектроника, электротехника и энергетика: тринадцатая Междунар. науч.-техн, конф. студентов и аспирантов: Тез. докл. В 3-х т. - М.: Издательский дом МЭИ, 2007. - Т. 3. - С. 221222.

Подписано в печать Шо^ ///. Зак. Тир. юо Полиграфический центр МЭИ(ТУ) Красноказарменная ул.,д.13

Введение

1 Обзор технической литературы по теме диссертации

1.1 Проблемы современной энергетики России.

1.2 Структура верхнего уровня управления энергетической компании

1.3 Обзор существующих типовых информационных систем верхнего уровня.

1.4 Обзор стандартов передачи данных в информационных системах

1.5 Обзор средств первичного ввода данных в АСУ П.

1.6 Постановка задачи.

2 Основные элементы АСУ П энергетической компании

2.1 Сетевые операционные системы.

2.2 Особенности архитектуры современных операционных систем

2.3 Системы управления базами данных

2.4 Типовые способы реализации информационной системы

Человечество организовалось как биологический вид примерно 100 тыс. лет назад и в течение 94 тыс. лет знания (информация) передавались устно. С открытием письменности началась новая, историческая эпоха развития, когда информацию стало возможным накапливать и копировать, а с изобретением книгопечатания и тиражировать. Наша эра, вплоть до конца XX века, характеризуется в информационном плане дальнейшим накоплением и структурированием письменной информации, зафиксированной на бумаге на одном из известных языков. В конце XX века, как это обычно бывает на заключительной фазе периода развития, налицо предельное выражение идей эры бумажных носителей информации. Книга является общепринятым свидетельством создания, накопления и передачи знания. Вся документация на предприятии производится, обрабатывается и хранится в бумажной форме. Развивается сеть библиотек, предназначенная прежде всего для уменьшения стоимости обмена знаниями путем увеличения количества потребителей без увеличения тиража. С целью облегчения поиска информации разрабатываются бумажные же каталоги.

С момента изобретения компьютера начинается постепенный процесс перевода знаний в электронную форму для ее дальнейшего тиражирования и обработки. Этот процесс набирает обороты и к началу XXI века происходит качественный переход на электронную основу. Появилась глобальная сеть Интернет, персональные компьютеры получили широкое распространение, вычислительные мощности возросли в десятки раз. Все эти факторы привели к изменению парадигмы обработки информации: сегодня предпочтение отдается электронным способам получения, хранения и обработки информации, а твердые копии документов на бумажных носителях носят исключительно архивную и подтверждающую функции и являются уже своего рода атавизмом.

Несомненно, у электронного способа передачи информации существует масса достоинств. В первую очередь, это возросшая скорость обмена данными между людьми — сегодня доставка письма редко занимает больше нескольких минут. Далее, благодаря использованию систем автоматизации, заметно выросла производительность человеческого труда, т.к. компьютер берет на себя большую часть рутинной работы и справляется с ней в сотни раз быстрее человека.

Рис. 1. Темпы роста объема ииформации в сети Интернет.

Однако распространение электронного способа передачи и хранения знаний — информационной составляющей научного знания поставило ряд проблем, однозначное решение которых не найдено до сих пор. Основной проблемой является лавинообразный рост количества ииформации, которая производится и передается человечеством в единицу времени. На рис. 1 показано, как изменяется объем информации, накопленный в сети Интернет во времени. Сегодня человек уже не способен «переварить» все поступающие данные, а вынужден отсеивать из всего объема только полезную и актуальную информацию.

Для решения этой проблемы также используется вычислительная техника. Информация сортируется в системах представления данных и отображается в наиболее удобной форме в виде сводных отчетов с возможностью детализации, активно используется диалоговый режим работы с ЭВМ.

Также на первые позиции выходят проблемы защиты данных от несанкционированного доступа. В век цифровых технологий процесс копирования занимает считанные секунды и может быть выполнен практически из любой точки Земли. Использование компьютеров открыло новые горизонты в промышленном шпионаже и методах защиты от него. Следует отметить, что не существует универсального способа защиты информации, представляющей ценность. Для каждого случая необходимо использовать свой комплекс мер по предотвращению несанкционированного доступа.

Немаловажную роль играет и квалификация пользователя. Набор навыков, необходимых для успешной работы, заметно увеличился. Для обслуживания вычислительной техники также необходимы квалифицированные специалисты.

Таким образом, чтобы построить надежную, защищенную, комфортную для работы и производительную среду, необходимо решить комплекс задач, сведя к минимуму негативные эффекты от использования вычислительной техники.

Актуальность и перспективность разработок в области информационных технологий последние два года мало у кого вызывают сомнения. Человечество в целом все активнее использует компьютеры, как для решения повседневных задач дома, так и для создания сложных систем управления. Управление бизнес-процессами — это еще одна задача, которую можно во многом доверить компьютерам. Вычислительные устройства были изобретены и применяются, в основном, чтобы уменьшить объем рутинной работы, что дает руководителю несколько преимуществ: во-первых, уменьшается время принятия решений, т.к. информационной системе нужно немного времени для подготовки аналитического отчета, основанного на первичной информации; во-вторых, снижается доля ручного труда в общем объеме работ, следовательно, снижается стоимость этого труда для компании, а также, нет необходимости «раздувать» штат сотрудников. Есть у информационных систем и недостатки. Прежде всего, их использование подразумевает высокий уровень подготовки пользователей этих систем, чего, в условиях невысокой общей компьютерной грамотности населения России, тяжело добиться. Во-вторых, для успешного функционирования системы, необходимо еще до ее внедрения произвести тщательное планирование и моделирование требуемых функций, с тем, чтобы система выдавала актуальные и достоверные отчеты. Для этого необходимо активное участие в разработке любой автоматизированной системы управления предприятием (АСУ П) экспертов в заданной предметной области, а также экспертов по информационным технологиям, что также случается очень редко. И, в-третьих, после ввода системы в эксплуатацию, ее необходимо обслуживать, для чего также требуется квалифицированный персонал.

Следует отметить, что на рынке существует множество готовых информационных систем, а также платформ для быстрой разработки подобных систем, распространяемых на коммерческой основе. Стоимость лицензионных отчислений для таких решений, как правило, измеряется миллионами рублей, при этом внутренние алгоритмы функционирования системы остаются закрытыми для заказчика.

В этой работе приведен альтернативный подход к построению единой информационной системы предприятия. За основу системы взяты программные средства с открытым исходным кодом, доступным для изучения, хорошо документированные и безопасные.

Идеалы программного обеспечения open source можно объяснить четырьмя основными правами, которые воплощены в Free Software Foundation's General Public License (GPL):

• Право использовать программное обеспечение для любых целей.

• Свободно распространять программное обеспечение бесплатно или за плату.

• Иметь доступ к полному исходному коду программы.

• Право изменять любую часть исходного кода, или частично использовать его в других программах.

Другое представление этой философии можно получить из Определения Open Source:

Основная идея open source очень проста: Когда программисты могут читать, распространять и модифицировать исходный код программного продукта, программное обеспечение развивается. Люди улучшают его, люди приспосабливают его, люди исправляют ошибки.»

Для построения системы также использованы стандартные описанные методики проектирования и разработки. Полученная система легко масштабируема, полностью открыта с точки зрения базовых алгоритмов, но в то же время, данные в ней надежно защищены.

Настоящая работа началась более пяти лет назад и первоначально ставила перед собой гораздо более узкие цели, но в итоге посвящена одному из возможных способов решения указанной проблемы, который в настоящее успешно применяется в различных видах деятельности.

Основные результаты, полученные в работе, а также выводы могут быть сформулированы следующим образом:

1. Предложена и реализована концепция построения и функционирования информационной системы верхнего уровня АСУ П на базе открытых компонент, что позволяет, в частности в энергетике, решить проблему объемов информации, которую необходимо собирать, надежно хранить и оперативно обрабатывать.

2. Предложены пути решения проблем защищенности стандартных протоколов передачи данных в автоматизированных системах управления предприятий.

3. Предложен и обоснован новый подход к построению АСУ П как открытой структуре, где, в отличие от традиционных методов, учитывается ряд дополнительных факторов, что позволит корректно и эффективно решать стратегические задачи управления потоками информации на уровне АСУ П и АСУ ТП в форме электронных документов.

4. Рассмотрена задача создания модели надежности крупной энергетической компании, которая включает в себя географически распределенную структуру узлов уровня станции и центральных узлов, объединенных в единую автоматизированную систему. Определены основные функции модели надежности и источники данных, на основании которых происходит принятие решений.

5. Предложены и описаны свободные программные платформы, на базе которых возможна реализация алгоритмов модели надежности. Также рассмотрены программные средства, предназначенные для проектирования моделей, содержащих элементы систем искусственного интеллекта (нейросетей), нечеткой логики и систем поддержки принятия решений.

6. Предложена структура программного комплекса модели надежности, основанная на трехзвенной архитектуре: хранилище данных, сервер приложений и модуль удаленного доступа, для которых предложены надежные свободные программные средства, разработана оптимальная конфигурация этих средств и описаны области их применения.

7. Разработана принципиальная структура хранилища данных для модели надежности, которая обеспечивает как сбор информации в реальном времени, так и возможность параллельной обработки данных и генерации отчетов. Рассмотрены способы масштабирования хранилища информации при необходимости, что значительно снижает капитальные затраты на создание системы.

8. Предложены структуры: узла модели надежности уровня станции, которая позволяет интегрировать открытые решения в общую структуру автоматизации энергетической компании; узла уровня центра, которая объединяет все станционные узлы в единую информационную систему, даже если они географически разделены.

9. Решена задача масштабирования основных составляющих модели при увеличении нагрузки. При использовании предложенного подхода полная модернизация аппаратного комплекса не требуется, достаточно при необходимости вводить в эксплуатацию новые дублирующие компоненты.

10. Предложена структура аппаратного обеспечения модели надежности с учетом особенностей отдельных компонент и функциональности, а также используемого программного обеспечения.

11. Решенная задача является частью комплекса аппаратно-программных средств комплексной информационной системы АСУ П, спроектированного с использованием только открытого и свободного программного обеспечения (ПО). Предложенная в работе методика позволяет значительно снизить издержки на лицензионные отчисления, а также избавиться от недостатков, присущих закрытым продуктам.

1. Воропай, Н.И. Современное состояние и проблемы электроэнергетики России / Н.И. Воропай, С.И. Паламарчук, С.В. Подковальни-ков // Энергорынок. — 2001. — № 2.

2. Никитин, А.В. Управление предприятием с использованием информационных систем / А.В. Никитин, И.А. Рачковская, И.В. Савченко.- М.: Инфра-М, 2009.

3. Grant, Gerald. ERP and Data Warehousing in Organizations: Issues and Challenges / Gerald Grant. IRM Press, 2003.

4. Новиков, Ю.В. Основы локальных сетей. Курс лекций. Учебное пособие / Ю.В. Новиков, С.В. Кондратенко. — М.: Интернет-университет информационных технологий, 2005.

5. Рошаи, Педжман. Основы построения беспроводных локальных сетей стандарта 802.11 / Педжман Рошан, Джонатан Лиэри. — Вильяме, 2004.

6. Информационная безопасность открытых систем. В 2 томах. Том 2. Средства защиты в сетях / С.В. Запечников, Н.Г. Милославская, А.И. Толстой, Д.В. Ушаков. — М.: Горячая линия Телеком, 2008.

7. Медведовский, И.Д. Атака на Internet / И.Д. Медведовский, П.В. Се-мьянов, Д.Г. Леонов. М.: ДМК, 1999.

8. Платонов, В. В. Программно-аппаратные средства обеспечения информационной безопасности вычислительных сетей / В.В. Платонов.1. Академия, 2006.

9. Berners-Lee, Т. RFC1738: Uniform Resource Locators (URL), 1994.

10. Fielding, R. — RFC1808: Relative Uniform Resource Locators, 1995.

11. Braden, R. — RFC1123: Requirements for Internet Hosts — Application and Support, 1989.

12. Carpenter, B. — RFC1900: Renumbering Needs Work, 1996.

13. Crocker, David H. — Standard for the format of ARPA Internet text messages, 1982.

14. Козодаев, P. OpenOffice.org 3. Полное руководство пользователя / P. Козодаев, А. Маджугин. — СПб.: БХВ-Петербург, 2010.

15. Шелухин, О.И. Моделирование информационных систем / О.И. Ше-лухин, A.M. Тенякшев, А.В. Осин. — М.: Радиотехника, 2005.

16. Карпов, В.Е. Основы операционных систем. Курс лекций. Учебное пособие / В.Е. Карпов, К.А. Коньков. — М.: Интернет-университет информационных технологий, 2005.

17. Интероперабельные информационные системы: архитектуры и технологии / Д.О. Брюхов, В.И. Задорожный, JI.A. Калиниченко и др. // СУБД. 1995. - № 4.

18. Bowman, С. Harvest: A Scalable, Customizable Discovery and,.Access System technical report CU-CS-732-94 / C. Bowman. — University of Colorado, 1995. http://www.tardis.ed.ac.uk/harvest/.

19. Фороузап, Б.А. Криптография и безопасность сетей / Б.А. Фороузан.— Бином. Лаборатория знаний, 2010.

20. Menezes, A. J. Handbook of applied cryptography / A. J. Menezes, P.S. van Oorshot, Vanstone. — CRC Press, 1997.

21. Koblitz, N. Algebraic Aspects of Cryptography / N. Koblitz. — Springer, 1997.

22. Beker, H. Cipher System / H. Beker, F. Piper. — Northwood Books, 1982.

23. Чмора, А. Современная прикладная криптография / А. Чмора. — Гелиос АРБ, 2001.

24. Luby, М. Pseudorandmness and cryptographic applications / M. Luby. — N.Y.: Princeton Univ. Press, 1996.

25. Шеннон, К. Э. Теория связи в секретных системах / К. Э. Шеннон // Работы по теории информации и кибернетике. — М.: ИЛ, 1963.

26. Сидельников, В. М. Системы открытого распределения ключей на основе некоммутативных полугрупп / В. М. Сидельников, М. А. Черепнев, В. В. Ященко // Доклады РАН. — 1993. — Т. 332, № 5.

27. Сидельников, В. М. Открытое шифрование на основе двоичных кодов Рида — Маллера / В. М. Сидельников // Дискретная математика. — 1994. — Т. 6, № 2. — 3-20 с.

28. Сидельников, В. М. О безопасности системы шифрования, построенной на основе обобщенных кодов Рида — Соломона / В. М. Сидельников, С. О. Шестаков // Дискретная математика. — 1994. — Т. 4, № 3.

29. Защита информации / ТИИЭР. № 5. Т.78, 1988.

30. Мельников, Ю. Электронная цифровая подпись: всегда ли она подлинная / Ю. Мельников // Банковские технологии. — 1995. — № 5.

31. Schneier, В. Applied Cryptography / В. Schneier. — Second edition edition. — John Wiley and Sons, 1986. , .

32. Шнайер, В. Слабые места криптографических систем / Б. Шнайер // Открытие системы. — 1999. — № 1.

33. RFC 3280: Internet Х.509 Public Key Infrastructure Certificate and Certificate Revocation List (CRL) Profile, 2002.

34. Макаров, A.A. Электроэнергетика России в период до 2030 года. Контуры желаемого будущего / A.A. Макаров. — ИНЭИ РАН, 2007.

35. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, JI. Рутковский. — М.: Горячая линия Телеком, 2007.

36. Сериков, A.B. Компьютерное моделирование бизнес-процессов / A.B. Сериков, Н.В. Титов. — Харьков: Бурун Книга, 2007.

37. Саркисян, P.E. Модели многокритериальных задач и принципы выбора рациональных решений для реструктуризации объектов энергетики / P.E. Саркисян, Э.К. Аракелян, A.A. Алиев // Теплоэнергетика. 2004. - № 10. - С. 22-27.

38. Дубов, Ю.А. Многокритериальные модели формирования и выбора вариантов систем / Ю.А. Дубов, С.И. Травкин, В.Н. Якимец. — М.: Наука, 1986.

39. Круглое, В.В. Нечеткая логика и искусственные нейронные сети / В.В. Круглов, М.И. Дли, Р.Ю. Годунов. М.: ФИЗМАТЛИТ, 2001.

40. Пикина, Г.А. Математические методы оптимизации и оптимального управления: Учебное пособие / Г.А. Пикина. — М.: Изд. МЭИ, 2000.

41. Аракелян, Э.К. Оптимизация и оптимальное управление: Учебное пособие / Э.К. Аракелян, Г.А. Пикина. — М.: Изд. МЭИ, 2003.

42. Наумова, Е.А. Методы динамического программирования в задачах управления производством / Е.А. Наумова. — СПб.: Изд. центр СПб МТУ, 1996.

43. Vercellis, Carlo. Business Intelligence: Data Mining and Optimization for Decision Making / Carlo Vercellis. — A John Wiley and Sons, LTD Publications, 2009.

44. Grant, Gerald. ERP and Data Warehousing in Organizations: Issues and Challenges / Gerald Grant. IRM Press, 2003.

45. Еременко, Алексей. Разработка бизнес-приложений в Microsoft Business Solutions Axapta версии 3.0 / Алексей Еременко, Руслан Шашков. — М.: Алытина Бизнес Букс, 2005.

46. Гриф, A. Microsoft Dynamics АХ 4.0 / А. Гриф, М. Понтоппидан, Л.Д. Олсен. — М.: ЭКОМ Паблишерз, 2008.

47. Teufel, Thomas. SAP Business One: Simple But Powerful / Thomas Teufel, Monika Nguyen Nam, Roland Heun. — NY, 2005.

48. Елашкин, Михаил. SAP Business One. Строим эффективный бизнес / Михаил Елашкин. М.: КУДИЦ-Пресс, 2007.

49. Куин, Лаем. Fast Ethernet / Лаем Куин, Ричард Рассел. — СПб.: BHV, 2004.

50. Халсалл, Фред. Передача данных, сети компьютеров и взаимосвязь открытых систем / Фред Халсалл. — М.: Радио и связь, 1995.

51. Фриман, Р. Волоконно-оптические системы связи / Р. Фриман. — М.: Техносфера, 2007.

52. Скляров, О. К. Волоконно-оптические сети и системы связи / О. К. Скляров. — М.: Солон-Пресс, 2004.

53. Новиков, Ю. В. Основы локальных сетей. Курс лекций. Учебное пособие / Ю. В. Новиков, С. В. Кондратенко. — М.: Интернет-университет информационных технологий, 2005.

54. Поляк-Брагинский, Александр. Локальные сети. Модернизация и поиск неисправностей / Александр Поляк-Брагинский. — СПб.: BHV, 2007.

55. Рошан, Педэюман. Основы построения беспроводных локальных сетей стандарта 802.11 / Педжман Рошан, Джонатан Лиэри. — М.: Вильяме, 2004.

56. Брокмайер, Джо. Маршрутизация в Linux / Джо Брокмайер, Ди-Эн Лебланк, Рональд Маккарти. — М.: Вильяме, 2002.

57. Gourley, David. HTTP: The Definitive Guide / David Gourley, Brian Totty. Sebastopol: O'reily, 2002.

58. Олифер, В. Г. Сетевые операционные системы / В. Г. Олифер, Н. А. Олифер. СПб.: Питер, 2007.

59. Stuart, Brian L. Principles of Operating Systems: Design + Applications / Brian L. Stuart. — Course Technology, 2009.

60. Столлингс, Вильям. Операционные системы / Вильям Столлингс.- М.: Вильяме, 2004.

61. Таненбаум, 9. Современные операционные системы / Э. Таненбаум.- СПб.: Питер, 2010.

62. Архитектуры и топологии многопроцессорных вычислительных систем. Курс лекций / А. В. Богданов, В. В. Корхов, В. В. Мареев, Е. Н. Станкова. — М.: Интернет-университет информационных технологий, 2004.

63. Роб, Питер. Системы баз данных: проектирование, реализация и управление / Питер Роб, Карлос Коронел. — СПб.: BHV, 2004.

64. Греку л, В. И. Проектирование информационных систем / В. И. Гре-кул, Г.Н. Денищенко, H.JI. Коровкина. — М.: Бином. Лаборатория знаний, 2008.

65. Александрович, А. Е. Проектирование высоконадежных информационно-вычислительных систем / А. Е. Александрович, Ю. В. Бородакий, В. О. Чуканов. — М.: Радио и связь, 2004.

66. Семенов, А. Б. Проектирование и расчет структурированных кабельных систем и их компонентов / А. Б. Семенов. — М.: ДМК Пресс, Компания АйТи, 2008.

67. Imhoff, Claudia. Mastering Data Warehouse Design: Relational and Dimensional Techniques / Claudia Imhoff, Nicholas Galemmo, Jonathan G. Geiger. — Hoboken, NJ: Wiley, 2003.

68. Inmon, W.H. Building the Data Warehouse / W.H. Inmon. — Hoboken, NJ: Wiley, 2005.

69. Ganczarski, Joe. Data Warehouse Implementations / Joe Ganczarski. — WDM, 2010.

70. Хайкин, Саймон. Нейронные сети. Полный курс / Саймон Хайкин.1. М.: Вильяме, 2006.

71. Галушкин, А.И. Нейронные сети. Основы теории / А.И. Галушкин.

72. М.: Горячая Линия Телеком, 2010.

73. Яхъяева, Г.Э. Нечеткие множества и нейронные сети / Г.Э. Яхъяева.1. М.: Бином, 2008.

74. Кои, Xuekun. GlassFish Administration / Xuekun Kou. — Birmingham, UK: Packt Publishing, 2009.

75. Douglas, Korry. PostgreSQL / Korry Douglas, Susan Douglas. — Canada: Sams, 2006.

76. Уорсли, Дою. PostgreSQL. Для профессионалов / Дж. Уорсли, Дж. Дрейк. СПб.: Питер, 2003.

77. Howes, Timothy A. Understanding and Deploying LDAP Directory Services / Timothy A. Howes, Mark C. Smith, Gordon S. Good. — NY: Addison-Wesley Professional, 2003.

78. Voglmaier, Reinhard E. The ABCs of LDAP: How to Install, Run, and Administer LDAP Services / Reinhard E. Voglmaier. — AUERBACH,2003.