автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Применение автоассоциативных искусственных нейронных сетей для сжатия информации

Введение.

Глава 1. Искусственные нейронные сети и задача сжатия информации.

1.1. Основные парадигмы искусственных нейронных сетей (ИНС).

1.2. Задача сжатия информации.

1.3. Анализ возможностей использования ИНС для сжатия информации.

1.4. Основные направления исследования.

Выводы по главе 1.

Глава 2. Сопоставительный анализ статистического и нейросетевого варианта сжатия информации.

2.1. Постановка задачи и метод исследования.

2.2. Анализ преобразования исходных данных.

2.3. Анализ коррелированности сжатых данных.

2.4. Анализ информативности сжатия информации с помощью автоассоциативной ИНС.

2.5. Методика построения ИНС.

Выводы по главе 2.

Глава 3. Нелинейное сжатие информации.

3.1. Нейросетевая редукция размерности данных с нелинейными зависимостями.

3.2. Нейросетевое сжатие информации при анализе свойств нелинейных динамических систем.

Выводы по главе 3.

Глава 4. Сжатие стохастических сигналов и их спектров с помощью автоассоциативных ИНС.

4.1. Применение искусственных нейронных сетей для сжатия стохастических сигналов.

4.2. Выбор структуры автоассоциативной ИНС при сжатии стохастических сигналов.

4.3. Применение автоассоциативной ИНС для сжатия спектральной информации.

Выводы по главе 4.

Глава 5. Применение автоассоциативной ИНС для решения прикладных задач.

5.1. Сжатие информации с помощью искусственных нейронных сетей применительно к алгоритмическому обеспечению анализаторов типа "Искусственный нос".

5.2. Применение автоассоциативных ИНС для анализа вариабельности ритма сердца.

Выводы по главе 5.

Представленная работа посвящена исследованию возможностей применения автоассоциативных искусственных нейронных сетей для решения задачи сжатия информации. Сжатие информации является одним из распространенных способов обработки данных. Оно используется, например, при организации хранения больших массивов информации, в системах передачи информации по каналам связи, в качестве одной из процедур обработки экспериментальных данных, при построении математических моделей объектов и явлений и т.д.

Различные виды информации (данные, речь, изображение) имеют избыточность, которую можно устранить при помощи специальных методов сжатия информации. Использование этих методов позволяет:

• снизить стоимость хранения и передачи информации;

• увеличить количество каналов связи при сохранении заданной скорости передачи;

• хранить больший объем информации.

Существует два принципиально различных подхода к проблеме сжатия информации, а именно сжатие без потерь, когда обязательными являются выполнение требования безошибочного восстановления исходных данных по их сжатому отображению, и сжатие информации с потерями части информации, несущественной с точки зрения пользователя или относящейся к помеховой (шумовой) части сигнала. Данная работа посвящена вопросам сжатия информации в рамках второго подхода.

Известны различные варианты задачи сжатия информации с частичными потерями. К наиболее известными из них относятся:

• Задача редукции (уменьшения) размерности исходного многомерного пространства информативных признаков (факторов) характеризующих свойства объекта исследования;

• Задача нахождения характеристических параметров нелинейных динамических систем, определяющих ключевые особенности их динамики.

Для решения перечисленных задач используются различные математические методы - в частности, метод главных компонент (МГК) в задаче редукции размерности. Однако в последнее время наряду с прочно устоявшимся и широко применяемыми методами обработки информации все шире развиваются и используются другие нетрадиционные методы и алгоритмы. Один из них связан с искусственными нейронными сетями (ИНС).

Разработка искусственных нейронных сетей началась еще на заре XX столетия, но только в 90-х годах, когда были преодолены некоторые теоретические барьеры, а вычислительные системы стали достаточно мощными, нейронные сети получили широкое признание. Слово "искусственные" в данном контексте иногда используется для того, чтобы подчеркнуть, что речь идет об искусственном устройстве, а не о реальных биологических нейронных системах, которыми обладает человек. Создание искусственных нейронных сетей было инспирировано попытками понять принципы работы человеческого мозга и, без сомнения, это будет влиять на дальнейшее их развитие. Однако, в сравнении с человеческим мозгом, искусственные нейронные сети сегодня представляют собой весьма упрощенные абстракции.

Искусственные нейронные сети по своей сути - это устройства параллельных вычислений, состоящие из множества взаимодействующих простых процессоров. Такие процессоры, обычно, исключительно просты, особенно в сравнении с процессорами, используемыми в персональных компьютерах. Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам, и, тем не менее, будучи соединенными в достаточно большую сеть с управляемыми взаимосвязями, такие локально простые процессоры в совокупности способны выполнять довольно сложные задачи.

Хотя нейронные сети могут быть реализованы в виде быстрых аппаратных устройств (и такие реализации действительно существуют), большинство исследований выполняется с использованием программного моделирования на обычных компьютерах. Программное моделирование обеспечивает достаточно дешевую и гибкую среду для поиска и проверки исследовательских идей, а для многих реальных приложений такое моделирование оказывается вполне адекватным и достаточным. Хотя решение на основе нейронной сети может выглядеть и вести себя как обычное программное обеспечение, они различны в принципе, поскольку большинство реализаций нейронных сетей "обучается", а не программируется: сеть учится выполнять задачу, а не программируется непосредственно. На самом деле в большинстве случаев нейронные сети используются тогда, когда невозможно написать подходящую программу, или по причине того, что найденное нейронной сетью решение оказывается более эффективным.

Решения на основе нейронных сетей становятся все совершеннее. Уже сегодня имеется немало впечатляющих разработок. База приложений нейронных сетей просто огромна: выявление фальшивых кредитных карточек, прогнозирование изменений на фондовой бирже, составление кредитных планов, оптическое распознавание символов, профилактика и диагностика заболеваний человека, наблюдение за техническим состоянием машин и механизмов, автоматическое управление движением автомобиля, принятие решений при посадке поврежденного летательного аппарата и т.д.

Дальнейшие успехи в разработке искусственных нейронных сетей будут зависеть от дальнейшего понимания принципов работы человеческого мозга, но здесь имеется и обратная связь: искусственные нейронные сети являются одним из средств, с помощью которых совершенствуется наше представление о процессах, происходящих в нервной системе человека, выступая в качестве моделей соответствующих процессов.

Нейросетевые технологии представляют сегодня широкие возможности и для решения задач прогнозирования, обработки сигналов и распознавания образов. По сравнению с традиционными методами математической статистики, классификации и аппроксимации, эти технологии обеспечивают достаточно высокое качество решений при меньших затратах. Они позволяют выявлять нелинейные закономерности в сильно зашумленных неоднородных данных, дают хорошие результаты при большом числе входных параметров и обеспечивают адекватные решения при относительно небольших объемах данных. Сейчас уже накоплен богатый опыт успешного использования нейронных сетей в практических приложениях.

Возможность применения одной из разновидностей ИНС — автоассоциативных искусственных нейронных сетей как средства сжатия информации в задаче редукции размерности исследуется в ряде работ [6, 7, 8, 26]. Однако в известных публикациях рассматривается применение лишь двухслойных сетей, содержащих линейные функции активации во всех слоях и выполняющих линейное преобразование аналогичное методу главных компонент. В некоторых работах указывается на возможность усложнения сети, с помощью замены линейных функций активации на нелинейные и добавления дополнительных слоев с целью преодоления ограничений, присущих линейным методам. Предполагается, что усложненная сеть способна обнаруживать существующие нелинейные закономерности в данных и осуществлять нелинейное преобразование при сжатии исходной информации, тем самым преобразуя информацию эффективнее существующих статистических методов. Но рассмотрение данной задачи слабо освещено в литературе. В частности, отсутствуют рекомендации по синтезу автоассоциативных ИНС для решения конкретных задач, не проведено конкретное сопоставление эффективности автоассоциативной ИНС по сравнению с МГК, не выполнены возможности автоассоциативных ИНС при сжатии нелинейно структурированных данных.

Потенциальные возможности ИНС, их универсальность как средства обработки данных, делает перспективным анализ применимости ИНС и для решения других задач сжатия информации, где ранее искусственные нейросети не использовались. Это задачи, связанные с анализом поведения нелинейных динамических систем, выявления скрытых (латентных) переменных, сжатие реализаций сигналов стохастического типа при условии пренебрежимо малого искажения их основных статистических характеристик. Учитывая, что перечисленные вопросы еще не нашли должного отражения в научных публикациях, становится очевидной актуальность темы данной диссертационной работы.

Целью диссертационной работы является исследование возможности использования автоассоциативных ИНС как универсального средства сжатия информации с частичными потерями, а также их применение для разного рода прикладных задач.

Для достижения поставленной цели необходимо решить следующие основные задачи:

- предложить универсальную структуру автоассоциативной ИНС, способную решить задачу редукции размерности в условиях как линейно, так и нелинейно структурированных данных;

- провести для предложенной автоассоциативной ИНС полный сопоставительный анализ с МГК, когда исходные данные обладают линейной структурой; проанализировать возможности использования предложенной сети для решения задачи редукции размерности данных, обладающих нелинейной структурой;

- исследовать возможности применения автоассоциативных ИНС для анализа нелинейных динамических систем типа странных аттракторов;

- рассмотреть применение автоассоциативных ИНС для анализа статистических данных, содержащих некоторую скрытую (латентную) переменную;

- разработать процедуры, реализующие сжатие стохастических сигналов и спектральной информации с помощью автоассоциативных ИНС.

Основные положения диссертационной работы докладывались и обсуждались на XIV и XV научно-технических конференциях по датчикам и преобразователям информации систем измерения, контроля и управления (Украина, Крым, Судак, 2002 и 2003); на XXIX и XXX конференциях по информационным технологиям в науке, образовании, телекоммуникации и бизнесе (Украина, Крым, Ялта-Гурзуф, 2002 и 2003); на международном форуме информатизации (МФИ) по информационным средствам и технологиям (Москва, 2001 и 2003).

Диссертация состоит из введения, пяти глав и заключения.

Основные выводы и полученные результаты работы заключаются в следующем:

1. Предложена и обоснована структура универсальной многослойной автоассоциативной ИНС, способной эффективно решать задачу редукции размерности данных, обладающих как линейной, так и нелинейной структурой;

2. Проведено полное сопоставление свойств преобразования, осуществляемого предложенной универсальной автоассоциативной ИНС с методом главных компонент по показателям линейности, ортогональности и информативности для многомерной гауссовской совокупности. Предложены два показателя информативности для нейросетевого алгоритма редукции размерности данных и выработаны рекомендации по топологии нейронной сети;

3. Доказана возможность и эффективность использования автоассоциативной ИНС для решения задачи редукции размерности данных в условиях нелинейной структуры многомерной совокупности данных. Выработаны рекомендации по топологии сети для этого случая;

4. Показана возможность анализа с помощью автоассоциативной ИНС статистических данных, содержащих скрытую (латентную) переменную;

5. Впервые разработан нейросетевой метод, позволяющий с помощью автоассоциативной ИНС вычислять приближенную оценку (с точностью до целого числа) фрактальной размерности нелинейных динамических систем, относящихся к категории странных аттракторов по реализациям относительно малой длины;

6. Разработана оригинальная процедура синтеза автоассоциативной ИНС, реализующей сжатие стохастических сигналов с заданной степенью искажения корреляционной функции исходного сигнала. Выведены формулы, позволяющие теоретически рассчитать степень искажения корреляционной функции и дисперсии исходного сигнала, что позволяет обоснованно осуществлять синтез соответствующей автоассоциативной ИНС;

7. Предложено использование АИНС для сжатия спектральной информации; разработаны две рабочие процедуры и выработаны рекомендации по их применению в зависимости от длины реализации и вида спектра;

8. Обоснована возможность использования автоассоциативной ИНС для редукции размерности данных как составной части алгоритмического обеспечения приборов типа "Искусственный нос". На реальных измерениях показано, что автоассоциативная ИНС позволяет правильно подразделять наблюдения на отдельные классы, причем сеть выполняет редукцию размерности гораздо эффективнее, чем метод главных компонент;

9. Показана перспективность использования автоассоциативной ИНС для целей диагностики сердечно-сосудистой системы путем определения размерности странного аттрактора, определяющего динамику сердечных сокращений.

Автор выражает глубокую благодарность своему научному руководителю д.т.н. Филаретову Г.Ф. за постоянную заботу, помощь и консультации при обсуждении различных вопросов, возникших при разработке диссертационной работы.

Заключение

1. McCulloch W.W., Pitts W. 1943. A logical calculus of the ideas imminent in nervous activity. Bulletin of Mathematical Biophysics 5: 115-33.

2. Minsky M.L., Papert S. 1969. Perseptrons. Cambridge, MA: MIT Press. (Русский перевод: Минский M.Jl., Пайперт С. Персептроны. М: МИР.-1971 г.)

3. Rumelhart D.E., Hinton G.E., Williams R.J. 1986. Learning internal representations by error propagation. In Parallel distributed processing, vol. 1, pp. 318-62, Cambridge, MA: MIT Press.

4. Большаков A.A., Каримов P.H. Методы сжатия информации. Сарат. политехи, инст-т, Саратов, 1991. — 88с.

5. Е. Oja. Principal components, minor components, and linear neural networks. Neural Networks, 5: 927-935, 1992.

6. Cristopher M. Bishop. Neural Networks for Pattern Recognition. Oxford University Press. 1995.

7. Fredric M. Ham, Ivica Kostanic. Principles of Neurocomputing for Science and Engineering. McGraw-Hill, INC. 2001.

8. K.I. Diamantaras, S.Y. Kung. Principal Component Neural Networks. Theory and Application. John Wiley & Sons, Inc. 1996.

9. H. Bourland, Y. Kamp. Auto-association by Multilayer Perceptrons and Singular Value Decomposition. Biological Cybernetics, 59:291-294, 1988.

10. Г.Г. Малинецкий, А.Б. Потапов. Современные проблемы нелинейной динамики. Эдиториал УРСС, Москва, 2000 г.

11. Greenside H.S., Wolf A., Swift J., Pignataro Т., Impracticality of a box counting algorithm for calculating the dimensionality of strange attractors.// Phys. Rev. A.25 (1982). №6. P. 3453-3456.

12. Grassberger P., Procaccia I., Estimation of the Kolmogorov entropy from a chaotic signal //Phys. Rev. A.28 1983. №4. P.2591-2593; Grassberger P., Procaccia I. Measuring the strangeness of strange attractors // Physica D.9 (1983). № 1,2. P. 189-208.

13. Г.Г. Малинецкий, А.Б. Потапов. О вычислении размерностей странных аттракторов // Журн. вычисл. матем. и матем. физ. 1988 г., Т 28, №7, с 1021-1037.

14. Mandelbrot В.В. Fractals. Form, chance and dimensions. San Francisco: W.H. Freeman, 1977.

15. Странные аттракторы. M: Мир, 1981 г.

16. Takens F. Detecting strange attractors in turbulence // Dynamical Systems and Turbulence. Lect. Nothes in Math. Berlin: Springer, 1981. V. 898. P. 366-381.

17. Ахромеева T.C., Курдюмов С.П., Малинецкий Г.Г., Самарский А.А. Двухкомпонентные диссипативные системы в окрестности точки бифуркации // Матем. моделирование. Процессы в нелинейных средах. М.: Наука, 1986. С. 7-59.

18. Russel D.A, Homson J.D., Ott Е. Dimension of strange attractors // Phys. Rev. Letters. 1980. V. 45. № 14. P. 1175-1178.

19. Дж. Бокс, Г. Дженкинс. Анализ временных рядов. Прогноз и управление. Выпуск 1, М: Мир, 1974 г.

20. Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. Учебник для вузов. -М.: ЮНИТИ, 1998. 1022 с.

21. Сошникова JI.A., Тамашевич В.Н., Уебе Г., Шефер М. Многомерный статистический анализ в экономике: учеб. пособие для вузов. — М.: ЮНИТИ-ДАНА, 1999. 598 с.

22. Sanger T.D. Optimal unsupervised learning in single layer linear feedformed neural network//Neural networks, 1989. -Vol. 2. -Pp.459-473.

23. Мун Ф. Хаотические колебания: вводный курс для научных работников и инженеров, М: Мир, 1990.

24. Takens F., Detecting strange attractors in turbulence, Lecture Notes in Mathematics, 898, 366-381, 1981.

25. Russell D. Reed, Robert J. Marks II. Neural smithing: supervised learning in feedforward artificial neural networks. A Bradford Book. The MIT Press 1998.

26. Goldberger A.L., and West B.J. Physica 17D: 198-210,1985.

27. Zweiner U., Hoyer D., Lauthke В., et al. Relations between parameters of spectral power densities and deterministic rart9flles of heart rate variability // J. Auton Nerv Syst. -1996. -3. -P132-137.

28. Михайлов B.M. Вариабельность ритма сердца: опыт практичкеского применения метода. Изд. Второе, перераб. и доп.: Иваново: Иван. гос. мед. академия, 2002. 290 с.

29. Katona P. G., Jih R. Respiratore sinus arrhytmia: noninvasive measure of parasympathetic cardiac control // J. Appl. Physiol. 1975. -39. -P. 801-805.

30. Sayers B. Mc. A. Analysis of heart rate variability // Ergonomics. -1973. -16, N 1 P. 17-32.

31. Коркушко О. В., Шатало В.Б., Шатало Т.В. и др. Анализ вегетативной регуляции сердечного ритма на различных этапах индивидуального развития человека// Физиология человека. -1991ю-17, N2. С. 31-39.

32. Левин Б.Р. Теоретические основы статистической радиотехники. Книга первая. Изд. 2-е, перераб. и доп., М., "Сов. радио", 1974, 552 стр.

33. Дженкинс Г., Ватте Д. Спектральный анализ и его приложения. Выпуск 2, издательство "Мир", М. 1972.

34. Митропольский А.К. Техника статистических вычислений. Изд. "Наука", М., 1971, 576 стр.

35. Власов Ю.Г., Легин А.В., Рудницкая A.M., Электронный язык -мультисенсорная система на основе массива неселективных сенсоров и методов распознавания образов. Датчики и системы, №6, с. 3-9.

36. Филаретов Г.Ф., Житков А.Н., Применение искусственных нейронных сетей в сенсорных системах. Датчики и системы, 1999, №5, с. 2-9.

37. Филаретов Г.Ф., Кабанов В.А., Вигойя Э., Житков А.Н. Алгоритмическое обеспечение приборов-идентификаторов качества. Вестник МЭИ, 2001, №4, с25-32.

38. Кнут Д.Е. Искусство программирования, т.2. Получисленные алгоритмы. 3-е издание. Вильяме, Спб., 2000 г.,828 с.

39. Blackman an R.B., Tukey J.W., The Measurement of Power Spectra from the point of View of Communications Engineering, Dover, New York, 1958.

40. Lomnicki A.A., Zaremba S.K., On estimating the spectral density function of a stochastic process, J. Roy. Stat. Soc., В19,13 (1957).

41. David M. Skapura. Building Neural networks. Brightware Corporation and Adjunct Faculty, School of Natural Applied Sciences, University of Houston at Clear Lake. ACM Press New York. 1995.

42. Kevin Swingler. Applying Neural Networks. A Practical Guide. Centre for Cognitive and Computational Neuroscience. University of Stirling. Academic Press. -1996.

43. Fausett, Laurene V. Fudamentals of neural networks: architectures, algorithms, and applications. Florida Institute of Technology. Prentice-Hall. -1994.

44. Simon Haykin. Neural Networks: A Comprehensive Foundation. Second Edition. McMaster University. Prentice-Hall. 1999.

45. Медведев В. С., Потемкин В. Г. Нейронные сети. MATLAB 6/ Под общ. ред. к.т.н. В. Г. Потемкина. -М.: ДИАЛОГ-МИФИ, 2002. -496 с.

46. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. -М.: Финансы и статистика, 2002. -344 с.

47. Бэстенс Д.Э., ван ден Берг В.М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. Москва: ТВП, 1997. 236 с.

48. Елисеева И.И., Юзбашнв М.М. Общая теория статистики: Учебник / Под ред. чл. -корр. РАН И.И. Елисеевой. 4-е изд., перераб. и доп. — М.: Финансы и статистика, 2000. - 480 с.

49. Нейронные сети: история развития теории. Кн.5: Учеб. пособие для вузов. / Под общей ред. А.И. Галушкина, Я.З. Цыпкина. М.: ИПРЖР, 2001.-840 с.

50. Роберт Каллан. Основные концепции нейронных сетей.: Пер. с англ.- М.: Издательский дом. "Вильяме", 2001.

51. Кроновер P.M. Фракталы и хаос в динамических системах. Основы теории. Москва: Постмаркет, 2000. -352 с.

52. Сергиенко А.Б. Цифровая обработка сигналов. Спб.: Питер, 2003.- 608 с.

53. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: ДИАЛОГ-МИФИ, 2002. -384 С.

54. Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов / Общая ред. А.И. Галушкина. М.: ИПРЖР, 2000, - 416 с.

55. Галушкин А.И. Нейрокомпьютеры. Кн. 3: Учеб. пособие для вузов / Общая ред. А.И. Галушкина. -М.: ИПРЖР, 2000, 528 с.

56. Агеев А.Д., Балухто А.Н., Бычков А.В. и др. Нейроматематика. Кн. 6: Учеб. пособие для вузов / Общая ред. А.И. Галушкина. М.: ИПРЖР, 2002, -448 с.

57. Боровиков В.П., Боровиков И.П. STATISTICA Статистический анализ и обработка данных в среде Windows. Издание 2-е, стереотипное — М.: Информационно-издательский дом «Филинъ», 1998. — 608 с.

58. Боровиков В.П., Ивченко Г.И. Прогнозирование в системе STATISTICA в среде Windows. Основы теории и интенсивная практика на компьютере: Учеб. пособие. -М: Финансы и статистика, 2000.-384 с.

59. Головко В.А. Нейронные сети: обучение, организация и применение. Кн. 4: Учеб. пособие для вузов / Общая ред. А.И. Галушкина. — М.: ИПРЖР, 2001, -256 с.63. http://reylab.bidmc.harvard.edu/DynaDx/case-study/hrv/

60. С кур их ин А.Н. Нейронные сети: определения, концепции, применение. М.: ЦНИИ управления экономики и информатики, 1991.

61. Elman J. Finding structure in time // Cognitive Science, 1990, №14, pp. 179-211.

62. Беркиинблит М.Б. Нейронные сети. M.: МИРОС, 1993.

63. Круглов В.В. Борисов В.В. Искусственные нейронные сети. Теория и практика. -М.: Горячая линия-Телеком, 2001. 382 с.

64. Анил К. Джейн, Жианчанг Мао, Моиуддин К.М. Введение в искусственные нейронные сети // Открытые системы. П— 1997. — №4.

65. Горбань А.Н. Обучение нейронных сетей. -М.: СП ПараГраф, 1991.

66. Morrison D. F. Multivariate Statistical Methods, 3rd ed., New York: McGraw-Hill, 1990.

67. Joliffe I.T. Principal Component Analysis. New York: Springer-Verlag, 1986.

68. Hertz J., Krogh A., and Palmer R.G., Introduction to the Theory of Neural Computation, Redwood City, CA: Addison-Wesley, 1991.

69. Oja E., Ogawa H., and Wangviwattana J. Principal Components Analysis by Homogeneous Neural Networks, Part II: Analysis and Extensions of the1.arning Rule. Ш1СЕ Transactions of Information and Systems (Japan), vol. E75-D, 1992 pp. 376-82.

70. Розенблатт. Ф. Принципы нейродинамики: персептроны и теория механизмов мозга. М.: Мир, 1965.

71. Дунин-Барковский B.JI. Информационные процессы в нейронных структурах. М. Наука, 1978.

72. Нидеккер И.Г. Проблема математического анализа сердечного ритма. // Физиология человека 1993; 3: 19: 80-84.

73. Пархоменко А.Н. "Детерминированный хаос" и риск внезапной смерти. //Тер. Архив 1996; 4: 43-44.

74. Писарук А.В. Вариабельность ритма сердца при старении. // Нарушения ритма сердца: возрастные аспекты. Материалы I Украинской научно-практической конференции с международным участием. Киев 19-20 октября 2000 г. с. 176-182.

75. Рябыкина Г.В. Анализ вариабельности ритма сердца. // Кардиология 1996; 10: 87-97.

76. Рябыкина Г.В., Соболев А.В. Вариабельность ритма. сердца. М.: Стар'Ко, 1998.200 с.

77. Fraser A.M. Reconstructing attractors from scalar time series: a comparisonof singular systems and redundancy criteria // Physica D.34 (1989) P. 391.

78. Packard N.H., Crutchfield J.P., Farmer J.D., Shaw R.S. Geometry from a time series //Phys. Rev. Lett. 45 (1980). P. 712.

79. Айвазян C.A, Бухштабер B.M., Енюков И.С., Мешалкин Д.Д. Прикладная статистика. Классификация и снижение размерности. — М.: Финансы и статистика, 1989.

80. Айвазян С.А. Статистическое исследование зависимостей. — М.: Металлургия, 1968.

81. Левин Б.Р. Теория случайных процессов и ее применение в радиотехнике. М., "Сов. радио", 1957.

82. Андерсон Т., Введение в многомерный статистический анализ. Перев. с англ. под ред. Б.В. Гнеденко, М., Физматгиз, 1963.

83. Джордж Ф. Люгер. Искусственный интеллект: стратегии и методы решения сложных проблем , 4-е издание.: Пер. с англ. — М.: Издательский дом "Вильяме", 2003. в 864 с.

84. Мкртчян С.О. Нейроны и нейронные сети. (Введение в теорию формальных нейронов) М.: Энергия, 1971. - 232 с.

85. Суровцев И.С., Клюкин В.И., Пивоварова Р.П. Нейронные сети. — Воронеж: ВГУ, 1994. 224 с.

86. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. Пер. с англ. М.: Мир, 1992. - 240 с.

87. Филаретов Г.Ф., Джордан Б. Нейросетевое сжатие информации в нелинейных динамических системах. XXIX международная конференция. Информационные технологии в науке, образовании, телекоммуникации, бизнесе. Украина, Крым, Ялта-Гурзуф, 20-30 мая 2002 г.

88. Филаретов Г.Ф., Джордан Б. Применение искусственных нейронных сетей для сжатия стохастических сигналов. Сборник материалов XV Научно-технической конференции с участием зарубежных специалистов. М.: МГИЭМ, 2003 г.

89. Филаретов Г.Ф., Джордан Б. Применение автоассоциативных нейронных сетей для сжатия информации. XXX международная конференция. Информационные технологии в науке, образовании, телекоммуникации, бизнесе. Украина, Крым, Ялта-Гурзуф, 19-28 мая 2003 г.

90. Тейксейра С., Пачеко К. Delphi 5. Руководство разработчика, том. 1. Основные методы и технологии программирования : Пер. с англ.: Уч. пос. М.: Издательский дом "Вильяме", 2000. - 832 с.

91. Архангельский А.Я. Приемы программирования в Delphi. М.: ООО «Бином-Пресс», 2003 г. - 784 с.

92. Гофман В.Э., Хомоненко А.Д. Delphi 5. Спб.: БХВ - Санкт-Петербург, 1999 г.-800 с.

93. Фаронов В.В. Delphi 5. Учебный курс. М.: «Нолидж», 2000. - 608 с.