автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Моделирование и исследование распределенной системы хранения данных на основе TCP/IP

ВВЕДЕНИЕ.

ГЛАВА 1 Литературный обзор.

Раздел 1 Распределенные системы хранения данных.

1Л. NAS - Сетевые файловые системы.

1ЛЛ. NFS.

1.1.2. RNFS.

1.1.3. HA-NFS.

1.1.4. Harp.Л

1.1.5. FT-NFS.

1.1.6. Deceit.

1.1.7. Swift.

1.1.8. Zebra.

1.1.9. xFS.

1.1.10. Coda.

1.1.11. Torfs.

1.1.12. DAFS.

1Л.13. CIFS.

1.2. SAN - Сетевые блочные устройства.

1.2.1. RAID-II.

1.2.2. Fibre Channel.

1.2.3. Tertiary Disk.

1.2.4. NBD.

1.2.5. IP-storage.

Раздел 2 RAID.

2.1. RAID-0.

2.2. RAID-1.

2.3. RAID-2.

2.4. RAID-3.

2.5. RAID-4.

2.6. RAID-5.

2.7. RAID-6.

2.8. RAID 1+0 и RAID 0+1.

ГЛАВА 2 Дизайн и реализация.

1.1. Критерии оценки систем и существующие решения.

1.2. Требования к системе.,.

1.3. Определение основных технологий и протоколов.

1.4. Прототип.

1.5. Реализованные конфигурации.

1.6. Области применения.

ГЛАВА 3 Модель.

Раздел 1 Модель системы.

1.1. Моде ль IP- storage.

1.2. Модель RAID-0.

1.3. Модель RAID-1.

1.4. Модель RAID-5.

1.5. Модель RAID-6.

1.6. Перенос модели на случай с общим каналом до клиента

1.7. Введение элементов теории массового обслуживания.

Раздел 2 Параметры модели.

2.1. Определение параметров модели.

2.2. RAID-0-6 при определенных параметрах.

2.3. Случай с общим каналом.

ГЛАВА 4 Измерение производительности.

1.1. Предмет измерений.

1.2. Проблемы.

1.3. Существующие тесты.

1.4. Критика существующих тестов.

1.5. Тест SpeedBench.

1.6. Методика.

1.7. Исследование прототипа системы.

1.8. Анализ полученных экспериментальных данных.

В последние годы рост Интернет и расширяющееся применение Интранет привело к возникновению проблемы высоконадежного хранения данных и обеспечения удаленного высокоскоростного доступа к ним. Наблюдающийся в настоящее время и прогнозируемый рост объемов и стоимости хранимой информации требует, в частности, совершенствования методов построения распределенных систем хранения данных. Традиционные распределенные системы хранения данных используют технологии Fibre Channel и RAID для решения проблем надежного, отказоустойчивого хранения информации и обеспечения высокоскоростного доступа. В то же время, существует ряд проблем, которые не могут быть решены в рамках традиционного подхода. Для решения этих проблем предлагается использовать концепцию IP-storage, заменив в традиционной схеме Fibre Channel на IP. В связи с новизной такого решения, становится актуальной задача построения математической модели распределенных систем хранения данных, построенных в соответствии с концепцией IP-storage.

Целью диссертационной работы являются создание распределенной системы хранения данных на основе технологий локальных сетей передачи данных, протокола TCP/IP и технологии RAID и построение математической модели для скоростей чтения и записи распределенной системы хранения данных, основанной на IP-storage и RAID. Для достижения поставленной цели в работе решались следующие задачи: создание математической модели для скоростей чтения и записи распределенной системы хранения данных, основанной на IP-storage и RAID; оценка с помощью данной модели эффективности различных уровней RAID в случаях с общим и выделенными каналами; создание прототипа распределенной системы хранения данных, основанной на IP-storage и RAID; создание тест-программы для определения скорости чтения и записи данных прототипа системы при различных размерах блока данных; анализ полученных на прототипе системы результатов и оценка соответствия полученных из модели данных данным, полученным на прототипе.

Основные положения и результаты, выносимые на защиту, состоят в следующем:

1. Предложена математическая модель, связывающая скорость чтения и записи данных с размером блока данных, уровнем RAID, числом IP-storage, задействованных в распределенной системе, константами, характеризующими канал связи (для случая Fast Ethernet) и другими величинами.Произведена оценка эффективности применения различных уровней RAID в случаях с общим и выделенными каналами связи;

2. На платформе ОС Linux создан прототип распределенной системы хранения данных, основанной на IP-storage и RAID;

3. Созданы программы для определения интересующих характеристик прототипа системы (скоростей чтения, записи). Произведена оценка соответствия полученных на прототипе системы результатов, данным, полученным из модели;

4. На прототипе системы для случая RAID-1 проведено исследование отказоустойчивости системы. На основании полученных результатов предложено решение для организации распределенного отказоустойчивого хранилища данных.

Научная новизна результатов, полученных в диссертационной работе, состоит в следующем:

1. Построена математическая модель зависимости скорости чтения и записи данных от размера блока данных для распределенной системы хранения данных на основе IP-storage и RAID. Произведена оценка эффективности применения различных уровней RAID для случаев с общим и выделенными каналами;

2. Создан прототип распределенной системы хранения данных на основе TCP/IP. На прототипе продемонстрирована отказоустойчивость распределенной системы хранения данных в случае использования RAID-1;

Достоверность полученных результатов подтверждается тем, что скорости чтения и записи для различных конфигураций системы, полученные из модели и полученные на прототипе системы, хорошо согласуются.

Практическая значимость полученных в диссертации результатов, состоит в следующем:

1. Получение ощутимого экономического эффекта в случае построения сетей хранения данных (SAN) на основе традиционных технологий передачи данных и протокола TCP/IP, по сравнению с традиционными SAN на основе Fibre Channel;

2. Существенное расширение области применения за счет освобождения от свойственных Fibre Channel ограничений;

3. Реализация отказоустойчивой распределенной системы хранения данных;

4. Модель и следствия из нее могут быть использованы для определения оптимальных параметров при создании распределенных систем хранения данных.

ЗАКЛЮЧЕНИЕ

Целью настоящей работы являлись создание высокопроизводительной распределенной системы хранения данных на основе технологий локальных сетей передачи данных, протокола TCP/IP и технологии RAID и построение математической модели для скоростей чтения и записи. В работе были получены следующие результаты:

Предложена математическая модель, связывающая скорость чтения и записи данных с размером блока данных, уровнем RAID, числом IP-storage, задействованных в распределенной системе, константами, характеризующими канал связи (для случая Fast Ethernet) и другими величинами; На платформе ОС Linux создан прототип распределенной системы хранения данных, основанной на IP-storage и RAID; Разработана методика и созданы программы для определения интересующих характеристик прототипа системы (скоростей чтения, записи);

Произведена оценка соответствия полученных на прототипе системы результатов, данным, полученным из модели; На прототипе системы для случая RAID-1 проведено исследование отказоустойчивости системы, на основании полученных результатов предложено решение для организации распределенного отказоустойчивого хранилища данных.

Апробация результатов работы проводилась на конференциях и семинарах. По материалам диссертации были опубликованы 7 работ, из них 5 статей и 2 тезисов докладов.

БЛАГОДАРНОСТИ

В заключение хочу выразить глубокую благодарность за общее научное руководство и поддержку моему научному руководителю кандидату физико-математических наук Тормасову А.Г. и заведущему кафедрой информатики доктору физико-математических наук Петрову И.Б, коллегам по работе за конструктивную критику и ценные замечания, а также Фадеевой Н.В. за большую помощь при выполнении работы и полезные обсуждения. Отдельно хочу выразить благодарность заведующему лаборатории телекоммуникационных систем (МФТИ-телеком) Данилину Н.А. за предоставленное для создания прототипа системы и проведения исследований оборудование.

1. Allied Telesyn, (2003), AT-8700XL, Advanced Layer 2 to 4 Access Switch, Datasheet 617-00479-00 Rev. F, http://www.alliedtelesyn.com.

2. Anderson Т., Dahlin M., Neefe J., Roselli D., Wang R., Patterson D., (1998), Serverless Network File Systems, Tech. Rep. CSD-98-983, University of California Berkeley, Computer Science Division.

3. Anderson D., Chase J. S., Gadde S., Gallatin A., Yocum K., (1998) Cheating the I/O Bottleneck: Network Storage with Trapeze/Myrinet. In Proc. Of Usenix Technical Conference, New Orleans, LA, June 1998.

4. Anon and et al., (1985), A Measure of Transaction Processing Power, Datamation, 31, 7(April 1985), 112-118.

5. Asami S., (2000), Reducing the Cost of System Administration of a Disk Storage System Built from Commodity Components, Tech. Rep. CSD-00-1100, University of California Berkeley, Computer Science Division (EECS).

6. Aversa L., Bestavros A., (1999), Load Balancing a Cluster of Web Servers using Distributed Packet Rewriting, Tech. Rep. 1999-001, Boston University, Computer Science Department.

7. Baker M., (1994), Fast Crash Recovery in Distributed File Systems, Tech. Rep. CSD-94-787, University of California at Berkeley, Computer Science Division.

8. Bernstein P. A., Goodman N., (1981), Concurrency Control in Distributed Database Systems, ACM Computing Surveys 13,2.

9. Bestavros A., Mehrotra S., (2001), DNS-based Internet Client Clustering and Characterization, Tech. Rep. 2001-012, Boston University, Computer Science Department.

10. Bhide A., Elnozahy E.N., Morgan S.P., (1991), A highly available network file server. In Proc. of Winter 1991 Usenix Technical Conference, Dallas, pages199.205.

11. Birman K.P., Joseph Т.A., (1984), Low Cost Management of Replicated Data in Fault-Tolerant Distributed Systems, Tech. Rep. 84-644, Cornell University, Department of Computer Science.

12. Birman K. and Renesse R.V., (1994), Reliable distributed computing with ISIS toolkit. IEEE Computer Society Press.

13. Biswas P., Ramakrishnan К. K., Towsley D., Krishna C.M., (1994), Performance Benefits of Non-Volatile Caches in Distributed File Systems, Tech. Rep. UM-CS-1994-019, University of Massachusetts Amherst, Computer Science Department.

14. Blakley G., (1979), Safeguarding cryptographic keys. Proceeding of AFIPS // vol.48. 1979.—pp. 313-317.

15. Blackmon S. and John N., (2001), High-Availability File Server with heartbeat, SysAdmin, September 2001 Volume 10 Number 9.

16. Boden N., Cohen D., Felderman R., Kulawik A., Seitz C., Seizovic J., Su W., (1995), Myrinet A Gigabit-per-Second Local-Area Network. IEEE Micro, February 1995, pages 29-36.

17. Borovick L., Gray R., Sheppard E., Strauss P., Turner V., (2001), Reweaving SAN Fabrics: Worldwide Open Systems SAN Interconnect Fabric Forecast and Analysis, 2001-2005. IDC, 25016.

18. Box G. E. P. and Muller M. E., (1958), A Note on the Generation of Random Normal Deviates. Ann. Math. Stat. 28, pp. 610-611.

19. Bressoud T.C., (1997), Building a Virtually Fault-Tolerant System, Tech. Rep. 971618, Cornell University, Department of Computer Science, Dissertation for the Degree of Doctor of Phylosophy.

20. Breuer P. Т., Lopez A.M. and Ares A.G., (2000), The Network Block Device, Linux Journal, №73.

21. Brown A., Oppenheimer D., Keeton K., Thomas R., Kubiatowicz J. and Patterson DA., (1998), ISTORE: Introspective Storage for Data-Intensive Network Services, Tech. Rep. CSD-98-1030, University of California Berkeley, Computer Science Division.

22. Brown A.B., (2001), Towards Availability and Maintainability Benchmarks: a Case Study of Software RAID Systems, Tech. Rep. CSD-01-1132, University of California Berkeley, Computer Science Division.

23. Brown M.R., Kolling K., Taft E.A., (1985), The Alpine file system, ACM Transactions on Computer Systems, Vol. 3 No. 4.

24. Burdsall В., Giraud-Carrier C., (1997), Evolving Fuzzy Prototypes for Efficient Data Clustering, Tech. Rep. CS-EXT-1997-103, University of Bristol, UK, Department of Computer Science.

25. Cabrera L., Long D.D.E., (1991), Exploting Multiple I/O Streams to Provide High Data-Rates, Tech. Rep. UCSC-CRL-91-08, University of California at Santa Cruz.

26. Cabrera L., Long D.D.E., (1991), SWIFT: Using Distributed Disk Striping to Provide High I/O Data Rates, Tech. Rep. UCSC-CRL-91-46, University of California at Santa Cruz.

27. Carrera E.V., Bianchini R., (1999), Analytical and Experimental Evaluation of Cluster-Based Network Servers, Tech. Rep. 718, University of Rochester, Department of Computer Science.

28. Chase J. S., Gallatin A. J., Yocum K.G., (2001), End system optimizations for high-speed TCP. IEEE Communications, Special Issue on TCP Performance in Future Networking Environments, 39(4):68-74, April 2001.

29. Chen K., Bunt R.B., Eager D.L., (1994), Write Caching in Distributed File Systems, DR-94-5, University of Saskatchewan, Saskatoon, Canada.

30. Chen P. M., Gibson G.A., Patterson D.A., Katz R.H., Schulze M.E., (1988), Two Papers on RAIDs, Tech. Rep. CSD-88-479, University of California Berkeley, Computer Science Division.

31. Chen P. M. and Patterson D.A., (1993), Storage Performance—Metrics and Benchmarks, Computer Science Division, Dept. of EECS, University of California, Berkeley.

32. Chen P. M., Lee E.K., Gibson G.A., Katz R.H., Patterson D.A., (1994), RAID: High-Performance, Reliable Secondary Storage, Tech. Rep. CSD-93-778, University of California Berkeley, Computer Science Division, ACM Computing Surveys, 26(2): 145-185.

33. Chen P. M., Patterson D.A., (1992), A New Approach to I/O Performance Evaluation-Self-Scaling I/OBenchmarks, Predicted I/O Performance, Tech. Rep. CSD-92-679, University of California Berkeley, Computer Science Division.

34. Chen S., Towsley D., (1992), A Performance Evaluation of RAID Architectures, Tech. Rep. 92-67, University of Massachusetts Amherst, Department of Computer Science.

35. Chen Y., Burkhard W., Palmer J., (2001), Improved Linux File System Hashing, In Proc. of the First Conference on File and Storage Technologies (FAST'02), Monterey, California, January 28-29.

36. Chervenak A.L., (1990), Performance Measurements of the First RAID Prototype, Tech. Rep. CSD-90-574, University of California Berkeley, Computer Science Division.

37. Chun B.N., Mainwaring A.M., Culler D.E., (1998), Virtual Network Transport Protocols for Myrinet, Tech. Rep. CSD-98-988, University of California Berkeley, Computer Science Division.

38. Dahlin M., Wang R., Anderson Т., Patterson D., (1994), Cooperative Caching: Using Remote Client Memory to Improve File System Performance. In Proc.of the First Symp. on Operating Systems Design and Implementation, pages 267-280, November 1994.

39. Denning P.J., (1991), Queueing In Networks Of Computers, American Scientist, May & September 1991. Available from NEC CiteSeer.

40. Denning P.J., (1978), Performance Modeling: Experimental Computer Science at its Best, Communications of ACM, November 1981.

41. Denning P.J. and Buzen J., (1978), The operational analysis of queueing network models, Computing Surveys 10, 3 (September 1978), 225-261.

42. Floyd R., Ellis S.C., (1991), Pushing the Limits of Transparency in Distributed File Systems, Tech. Rep. DUKE-TR-1991-06, Duke University.

43. Friedman R., Mosse D., (1996), Load Balancing Schemes for High-Throughput Distributed Fault-Tolerant Servers, Tech. Rep. 96-1616, Cornell University, Department of Computer Science.

44. Gray C.G., Cheriton D.R., (1990), Leases: an efficient fault-tolerant mechanism for distributed file cache consistency, Tech. Rep. STAN-CS-W-1298 (CSL-TR-go-409), Stanford University, Department of Computer Science.

45. Hartman J.H., (1995), The Zebra Striped Network File System, Tech. Rep. CSD-95-867, University of California Berkeley, Computer Science Division.

46. Hartman J.H., Ousterhout J.K., (1992), Zebra: A Striped Network File System, Tech. Rep. CSD-92-683, University of California Berkeley, Computer Science Division (EECS), in Proceedings of the USENIX Workshop on File Systems, May 1992.

47. Holland M., (2001), On-Line Data Reconstruction in Redundant Disk Arrays, Tech. Rep. CS-94-164, Carnegie Mellon University, School of Computer Science.

48. Jurgens C., (1995), Fibre Channel: A Connection to the Future. IEEE Computer, 28(8):88-90, August 1995.

49. Kendall D. G., (1951), Some problems in the theory of queues. Jornal of the Rojal Statistical Society, 13:151-185.

50. Magoutis K., (2002), Design and Implementation of a Direct Access File System (DAFS) Kernel Server for FreeBSD. In Proc. of USENIX BSDCon Conference, San Francisco, CA, February 2002.

51. Major D., Minshall G., Powell K., (1994), An Overview of the NetWare Operating System. In Proc. of the 1994 Winter USENIX, pages 355-72.

52. Malhotra M., (1993), Specification and Solution of Dependability Models of Fault-tolerant Systems, Tech. Rep. 1993-12, Duke University.

53. Miller E. L. and Katz R. H., (1991), Input/Output Behavior of Supercomputing Applications, Proceedings of Supercomputing '91, 567-576.

54. Montague, B.R., (1993), The SWIFT/RAID Distributed Transaction Driver, Tech. Rep. UCSC-CRL-93-03, University of California at Santa Cruz.

55. Mummert L., Satyanarayanan M., (1994), Large Granularity Cache Coherence for Intermittent Connectivity, Proceedings of 1994 Summer USENIX1. Conference.

56. Nelson M., Welch В., Ousterhout J., (1988), Caching in the Sprite Network File System. ACM Trans, on Computer Systems, 6(1), February 1988.

57. B. Nelson, B. Lyon, M. Wittle and B. Keith, (1992), LADDIS- A Multi-Vendor & Vendor-Neutral NFS Benchmark, UniForum Conference, January 1992.

58. Nilsen F. В., (1998), Queuing systems: Modeling, analysis and simulation, Research Report 259, UNIVERSITY OF OSLO, Department of Informatics.

59. Noble B.D., Satyanarayanan M., (1994), An Empirical Study of a Highly Available File System, In Proceedings of ACM SIGMETRICS'1994.

60. Pai V., Druschel P., Zwaenepoel W., (1999), IO-Lite: A Unied I/O Buering and Caching Scheme. In Proc. of Third USENIX Symposium on Operating System Design and Implementation, New Orleans, LA, February 1999.

61. Palekar A.A. and Russel R.D. (2001), Design and Implementation of a SCSI Target for Storage Area Networks, IETF.

62. Park A. and Becker J. C., (1990), IOStone: A synthetic file system benchmark, Computer Architecture News 18, 2 (June 1990), 45-52.

63. Pasquale J., Fall K.R. and Forrest J., (1992), Sequoia 2000 Network (S2Knet) Handbook, S2K-92-15, University of California at Berkeley, Computer Science Division.

64. Patterson D.A., Gibson G.A., Katz R.H., (1987), A Case for Redundant Arrays of Inexpensive Disks (RAID), Tech. Rep. CSD-87-391, University of California Berkeley, Computer Science Division.

65. Pawlowski В., Juszczak C., Staubach P., Smith C., Lebel D., Hitz D.,(1994), NFS Version 3 Design and Implementation. In Proc. of USENIX Technical Conference, Boston, MA, June 1994.

66. Paxson V. and Floyd S., (1995), Wide-Area Traffic: The Failure of Poisson Modeling.IEEE/ACM Transactions on Networking, 3(3), pp. 226-244.

67. Peyrouze N., Muller G., (1996), FT-NFS: an Efficient Fault Tolerant NFS Server

68. Designed for Off-the-shelf Workstations, Raport de recherche, № 2897, INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE.

69. Plank J.S., (1996), A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems, Tech. Rep. UT-CS-96-332, University of Tennessee, Department of Computer Science.

70. Plaxton C.G., Rajmohan R., (1997), Fast Fault-Tolerant Concurrent Access to Shared Objects, Tech. Rep. CS-TR-96-21, University of Texas at Austin.

71. Plummer D.C., (1982), An Ethernet address resolution protocol. RFC 826.

72. Rangarajan S., Fussell D.S., (1990), Rectifying Corrupted Files in Distributed File Systems, Tech. Rep. CS-TR-90-11, University of Texas.

73. Roe P., Szyperski C., (1997), Gardens: High Performance Objects, Tasking and Migration for Cluster Computing, Tech. Rep. FIT-TR-1997-03, Queensland University of Technology, AU, School of Computer Science.

74. Rosenblum M., Ousterhout J. K., (1991) The Design and Implementation of a Log-Structured File System, Proc. of the 13th Symp. on Operating Sys. Prin. (SOSP), Oct. 1991, 1-15. Published as ACM SIGOPS Operating Systems Review 25,5.

75. Sandberg R., Goldberg D., Kleiman S.,Walsh D., Lyon B. , (1985), Design and Implementation of the Sun Network Filesystem. In Proc. of the Summer 1985 USENIX, pages 119-130.

76. Satyanarayanan M., Kistler J. J., Kumar P., Okasak M. E., Siegel E. H., Steere D.C., (1990) Coda a highly available file system for a distributed workstation environment., IEEE Trans, on Computers 39,4 (Apr. 1990), pages 447-459.

77. Schulze M.E., (1988), Considerations in the Design of a RAID Prototype, Tech. Rep. CSD-88-448, University of California Berkeley, Computer Science Division.

78. Seltzer M., Bostic К., McKusick M.K., Staelin С.,(1993), An implementation of a log- structure file system for UNIX. In Proc. of Winter 1993 Usenix Technical Conference, pages 307-326.

79. Seshan S., (1993), An Efficient Network Interface for the RAID-II File Server, Tech. Rep. CSD-93-769, University of California Berkeley, Computer Science Division.

80. Shamir A., (1979), How to share a secret. Communications of the ACM // vol. 24. 1979.—pp. 612-613.

81. Shepler S., Callaghan В., Robinson D., Thurlow R., Beame C., Eisler M., Noveck D., (2000), NFS Version 4 Protocol. RFC 3010, December 2000.

82. Shirriff K.W., (1995), Sawmill: A Logging File System for a High-Performance RAID Disk Array, Tech. Rep. CSD-95-862, University of California Berkeley, Computer Science Division.

83. Siegel A., (1992), Performance in Flexible Distributed File Systems, Ph.D Thesis, Tech. Rep. TR-92-1266, Cornell University, Department of Computer Science.

84. Siegel A., Birman K.P., Marzullo K., (1989), Deceit: A Flexible Distributed File System, Tech. Rep. 89-1042, Cornell University, Department of Computer Science.

85. Steere D.C., (1997), Exploiting Non-Determinism in Set Iterators to Reduce I/O Latency, Tech. Rep. CSE-97-002, Oregon Graduate Institute School of Science & Engineering, Department of Computer Science and Engineering.

86. Stodolsky D., Holland M., Courtright W.V.II, Gibson G.A., (1993), A Redundant Disk Array Architecture for Efficient Small Writes, Tech. Rep. CMU-CS-93-200, Carnegie Mellon University, School of Computer Science.

87. Talagala N., (2000), Characterizing Large Storage Systems: Error Behavior and Performance Benchmarks, Tech. Rep. CSD-99-1066, PhD, University of California Berkeley, Computer Science Division.

88. Talagala N., Arpaci-Dusseau R. and Patterson D., (2000), Micro-Benchmark Based Extraction of Local and Global Disk Characteristics, Tech. Rep. CSD-99-1063, University of California Berkeley, Computer Science Division.

89. Talagala N., Asami S., Anderson T. and Patterson D., (1998), Tertiary Disk: Large Scale Distributed Storage, Tech. Rep. CSD-98-989, University of California Berkeley, Computer Science Division.

90. Talagala N., Patterson D., (1999), An Analysis of Error Behaviour in a Large Storage System, Tech. Rep. CSD-99-1042, University of California Berkeley, Computer Science Division.

91. Transaction Processing Performance Council, (1992), TPC Benchmark С Standard Specification, http://www.tcp.org.

92. Vaziri-Farahani M., (1995), Model Checking Cache Coherence Protocols for Distributed File Systems, Tech. Rep. CMU-CS-95-156, Carnegie Mellon University, School of Computer Science.

93. Wang R. Y., Anderson Т. E., (1993), xFS: A Wide Area Mass Storage File System, University of California, Berkeley, Computer Science Division, In Proc. of the Fourth Workshop on Workstation Operating Systems, pages 7178, October 1993.

94. Welch B.B., Ousterhout J.K., (1989), Pseudo-File-Systems, Tech. Rep. CSD-89-499, University of California at Berkeley, Computer Science Division.

95. Wu C., (1993), Replica control protocols that guarantee high availability and low access cost, UIUCDCS-R-93-1817, University of Illinois at Urbana-Champaign.

96. Yun K.Y., (1994), Synthesis of Asynchronous Controllers for Heterogeneous Systems, Tech. Rep. CSL-TR-94-644, Stanford University, Department of Computer Science.

97. Вентцель E.C., (1964), Теория вероятностей//Наука.-М. 1964, 576 с.

98. Кульгин М., (2000), Технологии корпоративных сетей.

99. Энциклопедия//Питер.-СПб. 2000, 704 с.

100. Семенов Ю.А., (2003), Telecommunication technologiesтелекоммуникационные технологии (v2.1) // ГНЦ ИТЭФ-http://book.itep.ru.

101. Тормасов А .Г., Хасин М.А., (2001), Providing Availability of Internet Resources with Adjustable Redundancy. In Proc. of Virtual Environment on PC Cluster 2001. Protvino-Baikal Lake, pages 127-137.

102. Тормасов А.Г., Хасин M.A., Пахомов Ю.И., (2001), Модель распределенного хранения данных с регулируемой избыточностью, электронный журнал "ИССЛЕДОВАНО В РОССИИ" 355http://zhurnal.ape.relarn.ru/articles/2001 /03 5 .pdf.

103. Фадеев А.Ю., (2002b), Распределенные системы хранения данных прошлое, настоящее, будущее. In Proc. of Virtual Environment on PC Cluster 2002. Protvino-St. Petersburg, pages 145-155,http://viswiz.imk.fraunhofer.de/VEonPC/2002/proceedings/23-l.pdf.

104. Фадеев А.Ю., (2002c), Применение концепции IP-Storage для создания распределенных систем хранения данных высокой степени готовности, электронный журнал "ИССЛЕДОВАНО В РОССИИ" 1226 http://zhurnal.ape.relarn.rU/articles/2002/l 12.pdf.

105. Фадеев А.Ю., (2002d), Распределенные системы хранения данных на основе ТСРЯР, Обработка информации и моделирование, сборник научных трудов МФТИ, стр. 339-345.

106. Фадеев А.Ю., (2002е), SAN против NAS следующий раунд, журнал «Сети и системы связи», №13, стр. 52-55.

107. Феллер В., (1964), Введение в теорию вероятностей и ее приложения//Мир-М. 1964, 498 с.

108. Хасин М.А., (2001), Методики хранения информации с регулируемой избыточностью, Управление и обработка информации: модели процессов, сборник научных трудов МФТИ, стр. 23-33.