автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Модель распределенного хранилища в глобальной сети

Содержание

Введение

Актуальность темы

Цель работы

Методы исследования

Научная новизна

Практическое применение

Краткое описание диссертации

Состояние рассматриваемых вопросов И

Оценки существующих систем

Глава 1. Модель распределенного хранения данных.

1.1. Представление данных в системе. Постановка задачи.

1.2. Основные понятия

1.3. Метод распределенного хранения данных с регулируемой избыточностью.

Глава 2. Особенности реализация (N,k) - пороговой схемы.

2.1. Реализация математических операций в конечных полях

2.2. Анализ производительности модели.

Глава 3. Архитектура распределенного хранилища в глобальной сети.

3.1. Свойства системы.

3.2. Компоненты системы.

3.3. Топологический сервер.

3.4. Архитектура директорного сервера.

3.5. Транзакционная модель изменений.

3.6. Клиентский сервер.

3.7. Файловый сервер.

3.8. Сервер кэширования

3.9. Оценка производительности операций чтения и записи в системе

Диссертация посвящена исследованию ряда задач, возникающих при построении распределенных информационных систем в глобальных сетях.

Актуальность темы

Задача построения систем в сети компьютеров возникла сразу с появлением возможностей соединения машин между собой. Традиционно она решалась методом выделения соответствующего сервиса на одну из участвующих в сети машин, т.е. организацией файлового сервера. Такая централизованная система позволяет множеству пользователей, работающих на одной системе, разделять доступ к ресурсам, хранящихся локально на этой машине. Распределенная система расширяет эти возможности, позволяя объединять ресурсы разных компьютеров, соединенных между собой с помощью сети.

На фоне стремительного развития Internet-технологий за последнее десятилетее все более актуальной становится задача построения системы, которая бы предоставляла различные сервисы через Internet (от глобальных поисковых систем, электронных библиотек, до универсальных супермаркетов и электронных бирж, банков и т.д.)

Такие системы должны обеспечивать возможность управления огромными объемами информации, которая может быть распределена по всему миру, гарантировать стабильное время доступа к информационному ресурсу, включать в себя механизмы обеспечения безотказного доступа к информации, механизмы разграничения прав доступа, системы защиты от несанкционированного доступа и взлома. Системы должны обладать высокими показателями масштабируемости и отказоустойчивости, а также позволять легко добавлять в себя новые сервисы.

Актуальность перечисленных проблем, связана с тем, что системы, предоставляющие различные Internet-сервисы, управляют различными информационными ресурсами в среде, которая характеризуется незащищенными каналами связи, с обычно невысокой пропускной способностью. Любой пользователь сети должен иметь возможность пользоваться системой, в то же время он, как потенциальный злоумышленник не должен иметь возможность нарушить целостность ее работы. Например, при построении таких систем одной из проблем является обеспечение стабильного времени выполнения пользовательских запросов в условиях загруженной сети. С одной стороны, из-за высокой внешней загруженности сети часть серверов системы может быть просто недоступна, с другой из-за неравномерного доступа пользователей к информации в некоторый момент времени может сложиться ситуация, при которой очень много клиентских запросов будут направлены к одному и тому же информационному ресурсу. Это приведет к существенной загрузке сети, вокруг серверов, содержащих интересующий ресурс. Некоторые сервера системы становятся недоступными, хотя к другим доступ свободен.

Перечисленные проблемы создают ряд неудобств пользователям, которые не могут вовремя получить необходимую информацию. Так ряд популярных серверов часто в часы пиковой нагрузки, когда к ним одновременно пытаются доступится сотни тысяч пользователей, становятся недоступными из-за того, что либо не справляются с обработкой необходимого числа запросов, либо не успевают передавать по каналам связи (не хватает пропускной способности каналов) огромное количество запрашиваемой информации. Например, сервер службы новостей CNN во время событий в США 11 сентября не был доступен в течение 3 часов.

Цель работы

Диссертация направлена на исследование ряда задач, возникающих при построении различных распределенных систем в глобальных сетях:

• обеспечение отказоустойчивой работы системы (fault tolerance)

• обеспечение доступности системы (availability)

• масштабируемость

• открытость системы для добавления новых серверов и сервисов Основное внимание уделено: постановке задачи распределенного хранения данных, решение которой позволяет обеспечивать высокие показатели доступности, отказоустойчивости и масштабируемости путем регулирования степенью избыточности хранения данных в системе. разработке метода распределенного хранения данных с регулируемой избыточностью, позволяющего динамически контролировать уровень избыточности данных в зависимости от конкретных потребностей пользователей в информационном ресурсе. разработке архитектуры системы и алгоритмов работы директорного сервиса, позволяющего динамически добавлять в систему новые информационные услуги

Методы исследования

Построение высоко масштабируемого сетевого хранилища информации в одноранговой глобальной сети с общим пространством имен и само- оптимизируемой моделью доставки данных осуществляется методом регулирования избыточности в распределенном представлении данных. Для построения распределенного хранения данных разработан новый метод, основанный на использовании (N,k) - пороговых схем. Оптимизация доставки данных осуществляется с помощью введения метрики на графе серверов системы. Для исследования эффективности использования предлагаемых методов используется сравнительный анализ результатов, полученных при использовании разработанного программного комплекса на модели загруженной сети с существующими системами. При построении системы защиты от несанкционированного доступа используется метод ACL (Access Control List) и методы шифрования с открытым ключом.

Научная новизна

Построение глобальных информационных систем является одной из областей, где необходимо применение распределенных хранилищ данных. Это направление исследований в настоящее время начинает активно развиваться. В представленной работе: ставится задача распределенного хранения данных, решение которой позволяет обеспечивать высокую степень доступности и отказоустойчивости системы. предлагается метод распределенного хранения данных, основанный на применении (N,k)-n0p0r0B0ft схемы, решающий задачу распределенного хранения данных. вводится понятие активной директории, рассматривается ее архитектура, позволяющая динамически добавлять в систему новые информационные сервисы. на основе свойств предлагаемых методов формулируются требования к сопряженным задачам, связанным с обеспечением безопасности ресурсов системы, поддержанием актуальности топологии сети и кэшированию данных др.

Практическое значение

Разработанный метод распределенного хранения данных может быть использован для применения в системах управления большими информационными ресурсами в глобальных сетях. Он позволяет регулировать во времени степень избыточности информационного ресурса в зависимости от потребности пользователей системы, при этом равномерно распределяя нагрузку по передаче данных между компьютерами сети. Он позволяет обеспечивать надежность работы системы и стабильное время доступа к информации. Существенным преимуществом метода является тот факт, что он дает возможность доступа к фрагменту файла без необходимости получения всего файла целиком. Это дает возможность асинхронного доступа к данным. Применение такого метода позволяет существенно увеличить скорость доступа к информации в условиях загруженной сети по сравнению с существующими аналогами. Полученные оценки практического использования метода свидетельствуют об увеличении скорости доступа к ресурсу, размер которого равен среднестатистическому размеру ресурса в сети (что составляет 5-7 Кб) в 5 раз.

Предложенный метод активной директории для организации управления информационными ресурсами позволяет динамически добавлять в систему новые виды информационных услуг с новыми (ранее не содержавшимися в системе) алгоритмами их управления. Это имеет практическое значение для построения единой распределенной системы, управляющей одновременно такими различными Internet-ресурсами, как FTP, HTTP и др.

На основе свойств метода распределенного хранения данных сформулированы требования к системе разграничения прав доступа, к системе кэширования, механизмам обеспечения актуальности топологии сети. Выполнение данных требований позволяет обеспечивать защиту от несанкционированного доступа к информации в условиях, когда любые части системы, даже сами хранилища информационных ресурсов могут находиться в руках у злоумышленника. Это позволяет применять метод для создания распределенных систем, в которые каждый пользователь может добавлять собственный компьютер и предоставлять его для размещения ресурсов системы. При этом, не смотря на то, что таким образом потенциальный злоумышленник будет иметь полный доступ к некоторым частям системы, он не сможет нарушить ее целостность.

Краткое описание диссертации

Структура и объем работы. Диссертация состоит из введения, трех глав и заключения. Изложена на 96 страницах, содержит 19 рисунков, 3 таблицы и список литературы из 88 наименований в алфавитном порядке.

Основные результаты диссертации

В работе получены следующие новые результаты: сформулирована задача распределенного хранения данных, решение которой позволяет обеспечивать высокую степень доступности и отказоустойчивости системы. для решения задачи разработана математическая модель распределенного хранения данных, основанная на применении (Ы,к)-пороговой схемы. на основе разработанной модели реализована система распределенного хранения данных в глобальной сети. Получены результаты практического использования метода для обеспечения стабильного времени отклика системы в условиях загруженной сети. Показано, что с использованием данного метода доступность системы существенно выше, чем у существующих аналогов. введено понятие активной директории; предложена и реализована ее архитектура, позволяющая динамически добавлять в систему новые информационные сервисы. на основе свойств предлагаемых методов сформулированы требования к сопряженным задачам, связанным с обеспечением безопасности ресурсов системы, поддержанием актуальности топологии сети и кэшированию данных и др. разработан комплекс программ, позволяющий оценивать эффективность практического применения предлагаемых методов и подходов.

По сравнению с существующими аналогами (xFS, Zebra) реализованная система преднаначена для работы в глобальной сети, a xFS и Zebra ориентированы на работу в LAN. Система обладает более высокой отказоустойчивостью. Количество компьютеров, после выхода из строя которых система может оставаться работоспособной, не ограничено и может задаваться наперед до инсталляции системе. Это свойство является существенным для работы в сети Интернет. Система обладает более высокими параметрами масштабируемости и доступности, поскольку позволяет динамически создавать новые слайсы, уменьшая тем самым объем сетевого траффика в системе и увеличивая скорость выполнения запросов. Сложность алгоритмов системы линейна относительно роста числа компьютеров системы. Система обладает возможностью гибкой конфигурации (установки различного набора компонент) на компьютеры системы. Она представляет собой не просто распределенную файловую систему, а хранилище данных, которое позволяет динамически менять существующие и добавлять новые алгоритмы управления данными в ней.

Перспективы дальнейшего развития системы

К сожалению, на данный момент разработка распределенного хранилища для промышленного использования не завершена.

В системе отсутствует сервер кэширования. Сервер кэширования необходим для построения системы равномерного распределения сетевого траффика, связанного с изменением интенсивности обращения к тому или иному файлу в системе. Динамическое адаптирование системы к изменению частоты запросов стало возможным благодаря свойству динамического регулирования степенью избыточности, которым обладает предложенный автором метод распределенного хранения данных в системе. Проектировать сервер кэширования предлагается на основе механизмов нейронных сетей. Разработке сервера кэширования планируется посвятить одну из последующих работ.

Кроме этого, текущая версия системы не защищена от злоумышленников. Разработке системы защиты будет посвящена одна из дальнейших работ. Ниже приведены принципы, на которых, по мнению автора, должна быть построена системы защиты.

Для построения защищенной распределенной системы в глобальной сети с незащищенными каналами связи необходимо соблюдение следующих принципов:

• Любая информация о данных, хранящихся в системе, передается только в зашифрованном виде.

• Декодирование содержимого файлов происходит только на клиенте.

• Все секретные ключи хранятся только в зашифрованном открытыми ключами пользователей виде.

• Простого знания ключей недостаточно для получения содержимого файла - еще необходимо подтверждение санкционированного доступа.

• Доступ санкционируется только группой серверов. Взлома одного сервера недостаточно для имитации подтверждения санкционированного доступа.

В текущей работе автором не рассматривается защита системы от атак по стратегии DoS (Denial of Service). DoS-атака представляет собой поток ложных запросов, которые автоматически генерируются на нескольких компьютерах, принадлежащих злоумышленникам. При достаточном количестве таких запросов доступ к системе может быть полностью блокирован. Подробнее DoS-атаки описаны в [55, 62].

Защищенное хранение данных в системе предлагается осуществить с помощью шифрования открытым ключом [2,39,45]. Для каждого файла, хранящегося в директории, файл ее содержимого содержит запись со следующим содержимым:

• имя файла - FileName

• идентификатор файла - FilelD

• список пользователей U; , имеющих права на его чтение. Здесь и далее - если список пустой - то все пользователи имеют доступ к соответствующей операции.

• для каждого такого пользователя Uj запись содержит Uj(k). Ui(k) -это зашифрованный открытым ключом пользователя U; секретный ключ (private key) к для чтения (дешифрации) файла FileName. Здесь и далее подразумевается, что в случае пустого списка пользователей, имеющих доступ к операции (то есть операция доступна всем) - ключи хранятся просто в незашифрованном виде. Кроме этого, всегда вместо списка может быть указана ссылка на соответствующий список другого файла.

• список пользователей Uj, имеющих права на его запись.

• для каждого такого пользователя U; она содержит Uj(k) (зашифрованный открытым ключом пользователя Ui открытый ключ (public key) к для записи (шифрования) файла FileName).

Здесь и далее введем следующие обозначения: щ - открытый ключ пользователя Ui; Uj - секретный ключ того же пользователя.

Вообще всегда в наших обозначениях для ключей (секретного и открытого), принадлежащих к одной паре, будет использован один и тот же символ, только когда мы будем подразумевать под ним секретный ключ пары - он будет выделен жирным шрифтом, а когда он будет обозначать открытый ключ пары - он будет написан обычным шрифтом. Через А(В) мы будем обозначать информацию В, зашифрованную ключом А.

Опишем, как происходит чтение и обновление файлов. Когда пользователь хочет прочитать файл, клиентский сервер отправляет запрос с логическим именем файла на получение идентификатора файла и открытого ключа для чтения этого файла в зашифрованном открытым ключом пользователя виде. Если у пользователя есть права на чтение, то существует Uj(k), который вместе с идентификатором файла передается клиенту. Тот расшифровывает ключ, собирает через сервер сборки/разборки файл по идентификатору, расшифровывает файл. Когда пользователь хочет записать файл, он отправляет запрос директорному серверу на получение идентификатора файла и секретного ключа для шифрования этого файла в зашифрованном открытым ключом пользователя виде. Если есть права на запись, то существует Uj(k), который вместе с идентификатором файла передается клиенту. Расшифровав секретный ключ, и создав новую версию файла, клиент шифрует файл полученным ключом и кладет его через сервер сборки/разборки.

Когда пользователь хочет изменить набор прав доступа к данному файлу, он просто вносит изменения в файл содержимого директории (иногда ему, возможно, приходится создавать и новую версию файла - если речь идет о смене ключа). Для этого он готовит на клиентском сервере перечисленные выше атрибуты файла и команду об изменении файла содержимого директории. Сформированный запрос отправляется директорному серверу.

Когда происходит создание нового файла, происходит запрос к директорному серверу на генерацию нового идентификатора, затем выполняется запрос на добавление новой записи в файл содержимого ( запрос об изменении файла содержимого) и, наконец, запрос серверу сборки/разборки о размещении файла в системе.

Утверждение 1 . При предложенной схеме хранения данных для доступа (чтения) файла необходимо и достаточно знать: а)идентификатор файла; б)открытый ключ для дешифрации.

Доказательство. Необходимость. Для того чтобы прочитать файл, нужно сначала его собрать, затем расшифровать. Достаточность.

Если есть идентификатор файла, можно через сервер сборки/разборки его собрать. Зная ключ, полученные данные расшифровать.

Утверждение 2 . Несанкционированное чтение файла возможно только при подборе ключа и одновременном взломе директорного сервера.

Доказателъство. Утверждение 2 основано на том, что для несанкционированного получения идентификатора файла необходимо и достаточно взломать директорный сервер, а несанкционированно получит ключ нельзя. Действительно, пользователи в нашей системе характеризуются своими секретными ключами uf. Знание этого ключа равносильно обладанию полномочиями пользователя. Поэтому несанкционированное чтение файла означает чтение файла пользователем, который не знает ни одного из секретных ключей пользователей, имеющих доступ к данному файлу. Но необходимый ключ, хранящийся в системе, передавался только в зашифрованном открытым ключом одного из перечисленных пользователей виде.

Аналогичные утверждения верны и для доступа на запись файла. Теперь вернемся к вопросу о взломе директорного сервера. Взлом директорного сервера - это внесение изменений/подмена файла содержимого с кодом. Для защищенности директорного сервера предлагается использование комбинации подходов. Первый из них основан на шифровании открытым ключом. Суть его заключается в том, что файл содержимого директории для дочерней директории (поддиректории) содержит следующую информацию:

• имя поддиректории DirName;

• идентификатор файла содержимого;

• список платформ , поддерживаемых данной директорией;

• для каждой из поддерживаемых платформ идентификатор файла с исполняемым кодом на этой платформе;

• открытые ключи К и К', которыми можно расшифровать слагаемые (как говорилось выше, файл содержимого состоит из первоначального состояния директории и последовательности внесенных изменений; эти части здесь названы слагаемыми, все они шифруются одним и тем же ключом, но каждое слагаемое шифруется отдельно) файла содержимого и проверить электронную подпись файлов с исполняемыми кодами соответственно. ( Все файлы с исполняемыми кодами подписываются одной и той же парой ключей);

• список пользователей U;, имеющих права на ее запись;

• для каждого такого пользователя Uj она содержит Ui(K) и и;(К') (зашифрованные открытым ключом пользователя U; секретные ключи К и К', которыми была создана электронная подпись файла содержимого и файлов с исполняемыми кодами соответственно). Опишем, как происходит запуск поддиректории. Родительская директория сначала собирает по идентификатору файла с кодом для данной платформы. Далее происходит проверка ключом К' электронной подписи, для того чтобы убедиться, что прислан санкционированный файл. Далее происходит запуск собранного кода, и в качестве параметров ему передается идентификатор файла содержимого, открытый ключ К для дешифрации слагаемых файла содержимого, и в случае, когда пользователь имеет права на запись передается и;(К). Последний параметр пользователь (клиентский сервер) запрашивает в случае, когда он хочет вносить изменения в файл содержимого.

Подмена файла с кодом для директории осуществляется запросами к родительской директории, так же, как и в случае записи версии нового файла, с той лишь разницей, что файл с кодом не шифруется, а подписывается.

Изменение файла содержимого данной директории происходит следующим образом: клиентским сервером готовится соответствующая команда, параметрами ее являются атрибуты изменяемого файла/поддиректории. Весь пакет шифруется ключом К (клиент запрашивает у директории Ui(K) и расшифровывает) и отправляется родительскому директорному серверу. Родительский директорный сервер просто добавляет изменения в файл содержимого и создает новую его версию (попутно проверяя права пользователя и то, что изменение расшифровывается).

Из описанного алгоритма следует:

Утверждение 3. Подменить несанкционированно файл с кодом ( или, что равносильно, заставить исполняться другой файл) можно только или при подборе ключа для подписи, или при взломе родительского директорного сервера.

Утверждение 4. Изменить файл содержимое можно только при подборе ключа и одновременном сломе родительского директорного сервера.

Утверждение 5. Несанкционированно просмотреть файл содержимое директории можно, сломав родительский директорный сервер.

Эти утверждения доказываются полностью аналогично утверждениям 1,2.

Второй подход основывается на том, что все изменения в директории (слагаемые файла содержимого и сами файлы с кодами) подписываются электронной подписью сразу некоторым множеством директорных серверов, запущенных на различных компьютерах (кворумом) [40]. И каждый раз при сборке файла с кодом или разборе слагаемого просто с некоторой вероятностью происходит проверка подлинности подписи - обращение к произвольному запущенному компьютеру из кворума. Причем компьютеры из кворума должны быть географически достаточно удалены, чтобы избежать имитации кворума в одной области сети.

Ясно, что если внесено несанкционированное изменение (имитация кворума с одного сервера), то при первой же проверке подписи, которая наступит довольно скоро, это окажется выявленным.

Кворумное подтверждение необходимо для устранения недостатка первого подхода, связанного с тем, что для чтения содержимого директории достаточно взлома одного директорного сервера. Исходя из того, что любой желающий может предоставить свой компьютер для работы системы, можно предположить, что, запустив правильный код, он может просматривать данные и менять код прямо в оперативной памяти компьютера. Кроме этого, без кворумного подтверждения авторизованный пользователь мог бы сломать систему следующим образом: получив на основе собственных полномочий доступ к содержимому, он, сломав один директорный сервер, сможет внести изменения в содержимое от имени других пользователей.

Кворумная проверка прав данного пользователя на чтение.

Сборка файла содержимого и файла с кодом.

Проверка подписей собранных файлов ключами К], К2.

Запуск директории SubDir.

Директорный сервис SubDir

Список пользователей Ui,имеющих доступ на запись FileName + (К).

Список пользователей Uj,имеющих доступ на чтение FileName + щ (К)

Идентификатор файла содержимого.

К, К) -ключи для кодирования файла содержимого

Условные обозначения: Ui - пользователи системы. к(В) -информация В, закодированная ключем к. kj( - пара ключей: к- для чтения,- для записи. щ, «i - пара ключей для пользователя Ц. Основные принципы построения системы безопасности: 1. Любая информация о данных, хранящихся в системе, передается только в закодированном виде 2 Декодирование содержимого файлов происходит только на клиенте.

3. Все секретные ключи хранятся только в зашифрованном открытыми ключами пользователей виде.

4. Простого знания ключей недостаточно для получения содержимого файла -еще необходимо подтверждение санкционированного доступа.

5. Доступ санкционируется только группой серверов. Слома одного сервера недостаточно для имитации подтверждения санкционированного доступа.

На схеме показан механизм доступа пользователей к файлам системы.

Заключение

1.E. Ackermann, К. Hartman. Searching and Researching the 1.ternet & WWW. 2nd Bk&Dk edition, 2000.

2. J. Adamek, Foundations of Coding, John Wiley & Sons,1994.

3. A. Alexandrov, M. Ibel, K. Schauser, C. Scheiman Extending the Operating System at the User Level: the Ufo Global File System, Proceeding of the conference USENIX'97,1997.

4. Application Environment Specification (AES). Distributed Computing RPC Volume. Open Software Foundation Staff,1969.

5. L. Arnston, K. Berkemeyer, K. Halliwell, T, NeuBurger, Internet: E-mail & FTP, DDC Publishing Inc, 1997.

6. T. Baak, Virtual Disk: A New Approach to Disk Configuration// Proceeding the conference USENIX'87 (Winter Technical Conference), pp.145-146,1987.

7. M. Bach, M. Bach: Design of Unix Operation System, Prentice Hall Ptr, 1987.

8. D. Barret, R. Silverman. SSH: The Secure Shell.The Definitive Guide. О'Reilly&Associates, 2001.

9. D. Bitton, J. Gray, Disk shadowing, VLDB'88 conference proceeding, pp.331-338,1988.

10. G. Blakley. Safeguarding cryptographic keys // Proceeding of AFIPS vol. 48. pp. 313-317,1979.

11. C. Braun, UNIX System Security Essentials, Addison-Wesley, 1995.

12. E. Brickell, D. Devenport, On the classification of ideal secret schemes, Journal of Cryptology, vol. 4, pp. 123-134,1991.

13. G. Bruce, R. Dempsy, Security in Distributed Computing: Did You Lock the Door? Prentice Hall,l 997.

14. R. Buyya: High Perfomance Cluster Computing. Vol 1 .Architectures and Systems, Prentice Hall PTR., 1999.

15. B. Callaghan, NFS Illustrated, Addison-Wesley Pub Co, 1999.

16. R. Campbell, Managing AFS: Andrew File System, Prentice Hall, 1998.

17. S. Chutani.O. Anderson, M. Kazar, B. Leverett, W. Mason, R. Sidebotham, The Episode File System, USENIX'92 Winter Conference Proceedings, pp.43 60,1992.

18. R. Davis, VAXcluster Principles, Butterworh-Heinemann,1993.

19. L. Fausett, Fundamental of Neural Networks, Prentice Hall,1994.

20. J. Hartman , J. Ousterhout. The Zebra Striped Network File System// ACM Transactions on Computer Systems, vol 13,N 3 pp. 264-310, 1995.

21. J. Hartman. The Zebra File System. PhD thesis, University of California at Berkeley, 1994.

22. T. Anderson, D. Culler, D.Patterson, A Case for NOW (Networks of Workstations), IEEE Micro, pp. 54-64, February 1995.

23. J. Howard, M. Kazar, S. Menees, D. Nichols, M. Satyanarayanan, R. Sidebotham, M. West, Scale and performance in a distributed file system // ACM Transactions on Computer Systems, vol. 6 pp. 51-81, 1988.

24. L. Huston, P. Honeyman, Disconnected Operations for AFS // Proceedings of the USENIX Mobile and Location-independent Computing Symposium, August ,1993.

25. IEEE Standart For Information Technology Posix-Based Supercomputing Application Environment Profile (EEE Std. 1003.10-1995), Inst ofElect& Electronic, 1995.

26. Intel Architecture Software Developer's Manual

27. D. Julin, The Mach 3.0 Multi-Server System Overview, Carnegy Melon University, 1991.

28. R. Kain, C. Landwehr, On Access Checking in Capability-Based Systems, IEEE Transactions on Software Engineering vol.13 pp.202-207,1987.

29. M. Kazar, B. Leverett, O. Anderson, V. Apostolides, B. Bottos, S. Chutani, C. Everhart, W. Mason, S. Tu, E. Zayas, DEcorum File System Architectural Overview, Proceeding 1990 Summer USENIX Conf. pp. 151-163,1990.

30. Kernel Extention and Device Support Programming Concepts, IBM Corporation, 1997.

31. M. Khassine, Technique of data storing with adjustable redundancy. Вестник НТУ ХПИ. Системный анализ, управление и информационные технологии, сс. 93-103, Харьков 2001.

32. М. Khassine, A. Tormasov. Providing availability of Internet Resources with adjustable redundancy/ Virtual enviroment on a PC cluster, Workshop proceedings, pp. 127-137, Protvino 2001.

33. J. Kistler, M. Satyanarayanan, Disconected Operation in the Coda File System, ACM Transactions on Computer Systems, vol. 10 pp.3-25,1992.

34. P. Kleinmann, L.Bernstein, Lecture course of Florida State University, 2000.

35. B. Krishnamurthy, J. Rexford, Web Protocols and Practice: HTTP/1.1, Networking Protocols, Caching, and Traffic Measurement, Addison-Wesley Pub Co, 2001.

36. E. Krol, B. Klopfenstein, Whole Internet: Users's Guide and Catalog, Wadsworth Pub Co, 1995.

37. N. Kronenberg, H Levy, W. Strecker, VAXclusters: A Closely-Coupled Distributed System, ACM Transactions on Computer System, vol. 4, pp.130-146,1986.

38. M. McKusick, K. Bostic, M. Karels, The Design and Implementation of the 4.4BSD Operation System, Addison-Wesley Pub Co, 1996

39. R. Merkle, Secure communications over insecure channels, // Communications of the ACM, vol. 21, pp. 294-299,1978.

40. M. Naor, A. Wool: Access Control and Signatures via Quorum Secret Sharing. Technical Report CS95-19. The Weizman Institute of Science. Revoot, Israel, 1995.

41. D. Patterson, G. Gibson, R. Katz. A Case for Redundant Arrays of Inexpensive Disks (RAID). University of California, Berkeley 1987.

42. B. Pawlowski, C. Juszczak, P. Staubach, C. Smith, D. Lebel, D. Hitz: NFS Version 3: Design and Implementation. // Proceeding the conference USENIX'94 (Summer Technical Conference), pp.137-152, 1994.

43. E. Ravin, D. Dougherty, G. Todino, Using And Managing UUCP, O'Reilly, 2001

44. M. Raynal, J.-M. Helary Synchronization and Control of Distributed Systems and Programs, Wiley Series in Parallel Computing, 2001.

45. R. Riverst, A. Shamir, L. Adleman, A method for obtaining digital signatures and public key cryptosystems // Communications of the ACM, vol. 21, pp.120-126,1978.

46. D. Robinson, All about Internet Ftp: Learning and Teaching to Transfer Files on the Internet, Library Solution Press, 1995.

47. M. Rosenblum, J. Ousterhout. The Design and Implementation of a Log-Structured File System. Proceedings of the 13 th Symposium on Operating System Principles, pp. 1-15, October 1991.

48. R. Sandberg, D. Goldberg, S. Kleiman, D.Wash, Design and Implementation of the Sun Network File system // Proceeding of the USENIX Summer Conference, Portland, pp. 119-130,1985.

49. B. Schneier, "Section 18.7 Secure Hash Algorithm (SHA),"Applied Cryptography, Second Edition, John Wiley & Sons, 1996

50. M. Seltzer, K. Smith, H. Balakrishnan, J. Chang, S. McMains, V. Padmanabhan, File System Logging Versus Clustering: A Performance Comparison // Proceedings of the Usenix Winter Conference, pp. 249264,1995.

51. A. Shamir. How to share a secret // Communications of the ACM vol. 24. pp. 612-613,1979.

52. G. Simmons, An introduction to shared secret and/or shared control schemes and their applications, Contemporary Cryptology, IEEE Press, Piscataway, NY, pp.441-497, 1992.

53. D. Skapura, Building Neural Networks, Addison-Wesley, 1996.

54. W. Stallings, Cryptography & Network Security: Principles & Practice, Prentice Hall, 1998.

55. L. Stein, The World Wide Web Security FAQ, 1997. (http://fadr.msu.ru/manuals/www-sequrity/www-security-faq.html)

56. H. Stern, M. Eisler, R. Labiaga, Managing NFS and NIS, 2nd Edition, 0'Reilly&Associates,2001.

57. W. Stevens, TCP/IP Illustrated vol. 1-3, Addison-Wesley Pub Co. 1994.

58. Thomas E. Anderson, M. Dahlin, J. Neef, D. Patterson, D. Roselli, R. Wang,

59. Serverless Network File Systems, //Proceeding of 15th Symposium on Operation System Principles, 1995.

60. A. Tanenbaum, Distributed Operation Systems, Prentice Hall,1995.

61. A. Tanenbaum Modern Operation Systems, Prentice Hall,1992.

62. A. Tanenbaum, A. Woodhull, Operation Systems: Design And Implementation, 2nd Edition, Prentice Hall, 1997.

63. B. Todd, Distributed Denial of Service Attacks, 2000.http://www.opensourcefirewall.com/ddoswhitepaper copy.html')

64. A. Tormasov, M. Khassine, S. Beloussov, S. Protassov, US-regular patent application, number 60/269452,31.07.2001, Fault Tolerant Storage System and Method.

65. B.Tung, Kerberos: A network Authentication System, Addison-Wesley Pub Co, 1999.

66. The Virtual File System(VFS), (http://www.science.unitn.it/~fiorella/guidelinux/tlk/ nodel02.html).

67. Z. Wang, Internet QoS: Architectures and Mechanism for Quality of Service, Morgan Kaufman Publisher, 2001.

68. E. Win, A. Bosselaers, S. Vanderberghe, P. Gersem, J. Vandewalle: A Fast Software Implementation for Arithmetic Operations in GF(2n). Katholieke Universiteit Leuven, 1997.

69. D. Young, D. Young, X Window System, The Programming and Applications with Xt, OSF/Motif, Prentice Hall, 1994.

70. П. Александров, Курс аналитической геометрии и линейной алгебры М.: Наука, 1979.

71. Б. Ван дер Варден, Алгебра, М. Наука, 1979.

72. Р. Ильин, Топологический сервер файловой системы TORFS. Дипломная работа. МФТИ, Долгопрудный, 2001 г.

73. Р. Ильин, Сервер поддержки топологии распределенной файловой системы TorFS, труды 1-ой международной конференции по системам виртуального окружения на кластерах персональных компьютеров, сс.138-159, 2001.

74. С. Клименко, В. Уразметов, INTEKNET-среда обитания информационного общества, 1995.

75. В. Коваленко: Проблемы сетевых файловых систем// журнал "Открытые системы" N 3, 1999.

76. А. Курош, Курс высшей Алгебры, М. Наука, 1977

77. А. Тормасов, М. Хасин, Математическая модель хранения данных на слабосвязанных серверах/ 8 международная конференция "Математика, компьютер, образование", тезисы докладов, с. 237 Москва, Прогресс-традиция, 2001.

78. А. Тормасов, М. Хасин, Математическая модель хранения данных на слабосвязанных серверах./ 8 международная конференция "Математика, компьютер, образование", сборник научных трудов. Часть 1, сс. 168-176, Москва, Прогресс-традиция, 2001.

79. А. Тормасов, М. Хасин, Ю. Пахомов, Модель распределенного хранения данных с регулируемой избыточностью// Электронный журнал "Исследовано в России" N 35 сс. 355-364 2001.

80. А. Тормасов, М. Хасин, Ю. Пахомов, Обеспечение отказоустойчивости в распределенных средах// журнал "Программирование" N 5 сс. 26-34 2001.

81. М. Хасин, Распределенная файловая система в глобальной сети Интернет, дипломная работа, Долгопрудный, 1998.

82. М. Хасин, Принципы построения распределенных файловых систем, вестник ДонДУ, N 1, серия А: Естественные науки, сс.199-204, Донецк, 2000г.

83. М. Хасин, Применение (N^-пороговых схем для обеспечения доступности Интернет-серверов, научные труды ДГТУ, выпуск 29, серия: Проблемы моделирования и автоматизации проектирования динамических систем, сс. 285-291,Севастополь-ВЕБЕР, 2001.

84. М. Хасин, Методы распределенного хранения информации, XLIII научная конференция МФТИ. Современные проблемы фундаментальной и прикладной физики и математики. Тезисы докладов. Часть VII. Прикладная математика и экономика, с. 23 Долгопрудный. 2000.

85. М. Хасин, Методики хранения информации с регулируемой избыточностью/ Моделирование моделирование обработки информации и процессов управления, сс. 23-34, Москва, 2001.

86. К. Шеннон Теория связи в секретных системах/ В сборнике "Работы по теории информации и кибернетике",- М.: ИЛ. 1963,- сс. 333-402.