автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Применение нейрокомпьютеров для представления и визуализации статических и динамических трехмерных данных

ВВЕДЕНИЕ.

ГЛАВА 1. ПРЕДПОСЫЛКИ К ПРИМЕНЕНИЮ НЕЙРОКОМПЬЮТЕРОВ ДЛЯ ПРЕДСТАВЛЕНИЯ И ВИЗУАЛИЗАЦИИ ТРЕХМЕРНЫХ ДАННЫХ.

1.1. Общий вид процесса визуализации трехмерных данных различной природы.

1.2. Вычислительная сложность процесса синтеза 2Т> проекций.

1.3. Предпосылки к применению нейрокомпьютеров на этапе синтеза 20 проекций.

ГЛАВА 2. ПОСТАНОВКА ЗАДАЧИ НЕЙРОСЕТЕВОГО ПРЕДСТАВЛЕНИЯ И ВИЗУАЛИЗАЦИИ ТРЕХМЕРНЫХ ДАННЫХ

2.1. Обзор основных способов представления трехмерных данных.

2.2. Математическая формулировка нейросетевого представления трехмерных данных, заданных в различных форматах.

2.3. Алгоритмы визуализации на основе нейросетевого представления трехмерных данных.

2.3.1. Визуализация триангулированных трехмерных объектов, заданных нейросетевым представлением.

2.3.2. Визуализация воксельных данных в нейросетевом представлении.

ГЛАВА 3. ВАРИАНТЫ НЕЙРОСЕТЕВОЙ ПОСТАНОВКИ ЗАДАЧИ.

3.1. Входной сигнал нейронной сети.

3.2. Типовые входные сигналы.

3.3. Варианты требуемого (желаемого) выходного сигнала.

3.4. Выходной сигнал нейронной сети.

3.5. Функция ошибки.

3.6. Функция активации.

3.7. Структура нейронной сети.

3.8. Функционал оптимизации.

3.9. Выбор обучающей последовательности.

3.10. Алгоритм настройки весовых коэффициентов.

3.11. Выбор начальных значений весовых коэффициентов сети.

ГЛАВА 4. МОДЕЛИРОВАНИЕ НЕЙРОСЕТЕВОГО ПРЕДСТАВЛЕНИЯ ТРЕХМЕРНЫХ ДАННЫХ.

4.1. Исследование алгоритмов настройки весовых коэффициентов.

4.1.1. Простой градиентный спуск групповой.

4.1.2. Простой градиентный спуск - последовательный.

4.1.3. Последовательный градиентный спуск с использованием функционала целевой ошибки. ф 4.1.4. Групповой градиентный спуск с алгоритмом адаптивной настройки шага - метод RPROP.

4.1.5. Метод сопряженных градиентов (Scaled Conjugate Gradient)

4.1.6. Методы настройки сети с переменной структурой.

4.1.7. Комбинированные методы.

4.1.8. Характеристики методов.

4.1.9. Выводы по характеристикам методов.

4.2. Исследование влияния масштабирования входного сигнала на скорость настройки.

4.3. Исследование влияния структуры нейронной сети на скорость и качество обучения.

4.4. Исследование влияния выбора начальных весовых коэффициентов на скорость настройки.

4.4.1. Метод случайных значений.

4.4.2. Метод «simulated annealing».

4.4.3. Метод «касательных плоскостей».

4.4.4. Метод «от простого к сложному».

4.4.5. Сравнение методов инициализации весовых коэффициентов.

4.5. Исследование влияния параметров обучающей последовательности на качество нейросетевого представления поверхностей триангулированных тел.

4.6. Оценка качества получаемого изображения в зависимости от величины достигнутой ошибки.

4.7.Нейросетевое представление динамических триангулированных тел.

4.8. Описание компьютерной модели.

4.8.1. Общая структура программы.

4.8.2. Скорость работы и оптимизирование алгоритмов.

ГЛАВА 5. ПРЕДВАРИТЕЛЬНЫЕ РАСЧЕТЫ ПО РАЗРАБОТКЕ % АППАРАТНОГО УСКОРИТЕЛЯ НЕЙРОСЕТЕВОГО АЛГОРИТМА

ТРАССИРОВКИ ЛУЧЕЙ.

5.1. Принципиальная схема аппаратного ускорителя нейросетевого алгоритма трассировки лучей.

5.2. Теоретические оценки требований к рабочим параметрам системы и расчет возможной эффективности.

5.3. Распараллеливание НС алгоритмов на несколько СБИС плат.

5.4. План работ с модулем СуперНК.

В настоящее время нейросетевые технологии активно используются в различных областях науки и техники, промышленности для решения широкого спектра проблем: распознавания образов, решения различных математических задач, сжатия изображения, прогнозирования, управления и др. [1].

Данная работа направлена на исследование возможности применения нейрокомпьютеров (искусственных нейронных сетей) для решения задачи представления и визуализации трехмерных данных. Данная задача возникает во многих областях деятельности человека: наблюдение в системах виртуальной реальности, моделирование трехмерных объектов, визуализация медицинских данных, полученных из томографов различного рода, рентгеноскопия, а также в различного рода исследованиях, таких как: визуализация плазмы, различных полей, материалов, и т.п.

Алгоритмы для задач представления и визуализации трехмерных данных вычислительно-интенсивны [2]. В настоящий момент эти задачи решаются, как правило, при помощи однопроцессорных и многопроцессорных ЭВМ, а также некоторых специализированных вычислительных устройств. Применение вычислительных средств малой производительности приводит к большим временным затратам или низкому качеству получаемых изображений, а применение суперкомпьютеров ограничивается их высокой стоимостью.

Сравнение нейрокомпьютеров с другими типами Супер-ЭВМ по критерию отношения производительности к стоимости были произведены известным разработчиком нейрокомпьютеров в США Хехт-Нильсеном и детально проанализированы в работе проф. А. И. Галушкина «О современных направлениях развития нейрокомпьютеров» [3]. Высокая производительность и относительно низкая цена нейрокомпьютеров позволяет предполагать, что применение нейрокомпьютеров позволит снизить цену и улучить качество систем представления и визуализации трехмерных данных.

Целью работы является:

1) Построение математических моделей и методик исследования процессов нейросетевого представления и визуализации трехмерных данных на базе многослойных нейронных сетей прямого распространения сигнала1 с нелинейной функцией активации;

2) Поиск адекватных нейросетевых постановок задачи, изучение закономерностей процессов настройки коэффициентов нейронной сети для представления статических трехмерных данных в зависимости от конфигурации сети, алгоритма настройки весовых коэффициентов, обучающей последовательности, начальных значений коэффициентов, и других параметров. Установление оптимальных параметров, позволяющих сократить время настройки весовых коэффициентов нейронной сети и повысить качество получаемого изображения;

3) Исследование способности нейронной сети к быстрому дообучению в задаче представления и визуализации динамических трехмерных данных.

4) Создание расширяемой, оптимизированной, целевой программной среды с графическим интерфейсом для моделирования процессов нейросетевого представления и визуализации трехмерных данных;

5) Предварительные исследования по возможности создания нейросетевого программно-аппаратного комплекса для решения В зарубежной литературе также обозначаются как MLP (Multi-Layer Perceptron) и Feed-Forward Neural Networks задачи визуализации трехмерных данных в режиме реального времени.

Апробация результатов. Результаты диссертационной работы докладывались на следующих отечественных и зарубежных конференциях:

1) VI Всероссийская конференция «Нейрокомпьютеры и их применение», Москва, 16-18 Февраля 2000г.

2) VIII Всероссийская конференция «Нейрокомпьютеры и их применение», Москва, 21-22 Марта 2002г.

3) International Conference on Neural Processing (ICONIP), Singapure, 1820 November, 2002

4) International Conference on Neural Processing (ICONIP), Istambul, 2003

5) 5-ая Международная научно-техническая конференция и выставка "Цифровая обработка сигналов и её применение" ИЛУ РАН, г. Москва, 12-14 марта 2003 г.

6) Научные конференции Московского Физико-Технического Института, 2000-2002 гг.

На защиту выносятся:

1) Результаты теоретического исследования преимуществ нейросетевого представления трехмерных объектов по сравнению с другими рассмотренными видами представлений (триангуляция, вокселизация);

2) Методика моделирования и исследования нейросетевого представления и визуализации трехмерных данных на базе многослойных нейронных сетей (нейросетевая постановка задачи, компьютерная модель);

3) Практические результаты детальных исследований выбранных нейросетевых задач. Достаточность этих результатов для того, чтобы утверждать о возможности эффективно использовать нейрокомпьютеры для представления статических и динамических трехмерных данных; 4) Методика построения и возможные варианты принципиальной схемы аппаратного ускорителя нейросетевого алгоритма представления и визуализации трехмерных данных.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ:

1. Осуществлено моделирование процессов представления многослойной нейронной сетью различных по сложности примеров трехмерных объектов, поверхности которых были изначально описаны триангуляционным представлением, при различных параметрах выбранной нейросетевой постановки задачи. Исследовались различные алгоритмы настройки и инициализации весовых коэффициентов, исследовались различные конфигурации сетей (как по числу слоев, так и по количеству нейронов в слое), исследовались различные параметры функционала оптимизации и меры ошибки;

2. Установлены оптимальные параметры рассмотренного метода решения нейросетевой задачи аппроксимации функции расстояния C(x,y,z) описывающей свойства геометрического трехмерного пространства вокруг триангулированных объектов: (а) вид итеративного алгоритма настройки весовых коэффициентов, (б) вариант алгоритма инициализации начальных значений весов, (в) конфигурация сети при фиксированном числе слоев и суммарном числе нейронов, (г) параметры масштабирования входного сигнала нейронной сети, (д) вид обучающей последовательности;

3. Установлены значения допустимой ошибки нейронной сети для получения качественных изображений (проекций) трехмерных объектов. Установлено, что нейросетевой алгоритм трассировки лучей очень чувствителен к ошибке обучения нейронной сети. Недостаточно точная настройка весовых коэффициентов нейронной сети (при ошибке обучения более 10%) будут приводить к нежелательным визуальным эффектам, что недопустимо при реальном использовании этого алгоритма на практике. При этом важную роль играет оценка ошибки выходного сигнала сети по проверочной последовательности, а не только по обучающей, т.к. при продолжительной настройке может иметь место рост ошибки по вспомогательной ошибке при убывании ошибки по обучающей последовательности;

4. Исследован процесс перенастройки нейронной сети для представления трехмерных объектов с малыми изменениями формы, положения, масштаба; установлено, что для малых изменений требуется незначительное число итераций алгоритма настройки весовых коэффициентов нейронной сети, что показывает возможность использования нейронной сети для эффективного представления динамических трехмерных данных;

5. Предложена возможная принципиальная схема работы аппаратного ускорителя визуализации трехмерных данных в нейросетевом представлении на базе параллельных СБИС-модулей аппаратного ускорения нейросетевого алгоритма;

6. Установлено, что применение нейрокомпьютера для визуализации трехмерных данных в нейросетевом представлении позволит использовать алгоритм трассировки лучей для создания фотореалистичных изображений трехмерных объектов в реальном масштабе времени; поскольку нейросетевой алгоритм трассировки лучей достаточно прост, его аппаратная реализация будет существенно проще классических многопроцессорных решений задачи трассировки лучей [9,10]; таким образом, показана принципиальная возможность построения эффективного нейросетевого алгоритма решения задачи трассировки лучей [2];

7. Разработана оригинальная, специализированная под задачи данного исследования, компьютерная модель с графическим пользовательским интерфейсом и методикой моделирования процессов нейросетевого представления и визуализации трехмерных данных различного типа. Большая

часть программы модели выполнена на платформено-независимом языке Java, что позволяет сделать модель доступной через internet, а также производить многие исследования на различных платформах без перекомпиляции программы. Внутренняя архитектура программы реализована в стиле ООП (объектно-ориентированного программирования), что позволяет легко расширять модель, добавляя новые алгоритмы, примеры трехмерных данных, средства анализа, и т.п. В дополнение, в программе модели критические участки кода, кроме языка Java реализованы еще и на языке assembler и оптимизированы путем использования технологии SIMD [114] для получения возможности проведения экспериментов на персональной ЭВМ с Pentium-Ill совместимым процессором с большими сетями или большого количества итераций алгоритма настройки весовых коэффициентов сети с приемлемым для исследований временем. При этом для процессора с тактовой частотой 1.3ГГц получена производительность порядка 2G FLOPS.

Направления дальнейших исследований, с целью практического применения нейрокомпьютеров для представления и визуализации статических и динамических трехмерных данных:

• дальнейшие исследования по уменьшению вычислительных затрат на настройку весовых коэффициентов сети: модернизация алгоритма TEL для ускорения сходимости при низких уровнях ошибки, разработка не итеративных алгоритмов для настройки весовых коэффициентов сети, позволяющих рассчитывать весовые коэффициенты, исходя из данных о желаемом выходном сигнале (обучающей последовательности) и конфигурации сети [124-126]; исследование возможности построения алгоритма настройки весовых коэффициентов сети с переменной структурой и последовательным усложнением желаемого выходного сигнала; дальнейшие исследования комбинированных методов настройки, экспериментирование с различными видами функционала оптимизации, например, учитывающими относительную ошибку выхода нейронной сети; исследование послойного обучения сети с последовательным усложнением (уточнением) желаемого выходного сигнала; дальнейшие исследования по определению минимального необходимого количества точек обучающей последовательности для представления трехмерных данных определенной сложности с заданным уровнем качества (детализации), в том числе исследование адаптивных алгоритмов генерации обучающей последовательности, позволяющих уменьшить кол-во точек обучающей последовательности без уменьшения ее информативности, и учитывающих относительные геометрические размеры объектов для определения адекватного шага решетки; исследования по уменьшению времени генерации обучающей последовательности для случая варианта желаемого сигнала N2 (оптимизация алгоритма расчета функции расстояния), в том числе исследование применения нейросетевой аппроксимации функции расстояния от заданной точки до поверхности произвольного треугольника; дальнейшие исследования по подбору\определению минимально необходимой структуры сети для представления трехмерных данных определенной сложности с заданным уровнем качества (детализации), в том числе исследования возможности применения генетических алгоритмов [121]; дальнейшее развитие метода «касательных плоскостей» для инициализации начальных значений весовых коэффициентов сети. В данный момент метод «касательных плоскостей» определяет значения только первого слоя сети; исследования по повышению точности нейросетевого представления трехмерных данных путем кластеризации. Представление объема несколькими нейронными сетями, дает возможность упростить желаемый выходной сигнал для каждой сети; исследования иных нейросетевых архитектур для представления трехмерных данных: сетей с перекрестными связями, сетей с радиальными базисными функциями, сетей СМАС [123].

ЗАКЛЮЧЕНИЕ

Научная новизна работы. В соответствии с поставленными задачами, в работе впервые:

1. Осуществлено моделирование процессов представления многослойной нейронной сетью различных по сложности трехмерных объектов. Исследовались алгоритмы настройки и инициализации весовых коэффициентов, конфигурации нейронных сетей, различные параметры функционала оптимизации и меры ошибки;

2. Установлены оптимальные значения следующих параметров решения нейросетевой задачи аппроксимации функции расстояния С(х,у,г): (а) вид итеративного алгоритма настройки весовых коэффициентов, (б) вариант алгоритма инициализации начальных значений весов, (в) конфигурация сети при фиксированном числе слоев и суммарном числе нейронов, (г) параметры масштабирования входного сигнала нейронной сети, (д) вид обучающей последовательности;

3. Установлены требования по величине ошибки для получения качественных изображений (проекций) трехмерных объектов;

4. Исследован процесс перенастройки нейронной сети для представления трехмерных объектов с малыми изменениями формы, положения, масштаба;

5. Предложена возможная принципиальная схема работы аппаратного ускорителя визуализации трехмерных данных в нейросетевом представлении на базе параллельных СБИС-модулей аппаратного ускорения нейросетевого алгоритма.

Научное и практическое значение диссертационной работы состоит в том, что полученные в ней результаты говорят о возможности построения качественных систем представления и визуализации трехмерных данных на основе нейрокомпьютеров. Полученные в работе результаты дают рекомендации по выбору оптимальных алгоритмов и параметров, необходимых для успешного решения поставленной в работе нейросетевой задачи. Данная работа может являться отправной точкой для дальнейших исследований по построению опытного образца специализированного нейрокомпьютера для хранения и фотореалистичной визуализации трехмерных данных методом трассировки лучей (ray tracing).

Материалы диссертации используются в рамках работ по созданию Супер Нейро Компьютера СуперНК для решения научных задач в рамках программы «Научная Технологическая База» и российско-белорусской программы СКИФ по созданию современных суперкомпьютеров, а также в международном проекте ИНТАС.

1. Галушкин А.И. Теория нейронных сетей . // Радиотехника , Москва . 2000

2. Andrew Glassner An Introduction to Ray Tracing . // Academic Press , August. 1989 .ISBN -0-12-286160-4

3. Галушкин А.И О современных направлениях развития нейрокомпьютеров . // Нейрокомпьютер 1,2 , Радиотехника . 1997 .- стр. 5-22

4. А.В.Захаров, П.П.Кольцов, Н.В.Котович, А.А.Кравченко, А.С.Куцаев, В.К.Николаев Виртуальная Реальность. Методы реализации . // Вопросы Кибернетики. Распознавание. Нейросети. Виртуальная Реальность , РАН, Научный Совет по кибернетике . 1997

5. Ron Wodalski, Donna Brown Virtual Realisty Madness and More . II SAMS; Book and CD edition , October . 1996

6. Евгений Хухлаев Аппаратное ускорение для OpenGL . // Открытые Системы N2(22) , Москва . 1997

7. Ландсберг Г.С. Оптика . // Гостехиздат , Москва-Ленинград . 1976

8. Kurt Akeley , David Kirk, Larry Seiler, Philipp Slusallek When Will Ray-Tracing Replace Rasterization . // SIGGRAPH, San Antonio, 12-26 July . 2002

9. Steven Parker, Michael Parker, Yarden Livnat, Peter-Pike Sloan, Charles Hansen Interactive Ray Tracing for Volume Visualization . // IEEE Transactions on VISUALIZATION AND COMPUTER GRAPHICS, July-September . 1999 .- vol. 5, no. 3

10. Harvey Ray, Hanspeter Pfister, Todd Cook Ray Casting Architectures for Volume Visualization . И IEEE Transactions on VISUALIZATION AND COMPUTER GRAPHICS , July-September . 1999 .- vol. 5, no. 3

11. Адамович А.И., Коваленко M.P., Конышев А.П. Реализация в Т-системе задачи построения качественных изображений трехмерных сцен методом трассировки лучей. . // Программные системы. Теоретические основы и приложения. Ин-т. прогр. систем

12. РАН М. . 1999 .- С. 224-233.313

13. Timothy J. Purcell, Ian Buck, William R. Mark, Pat Hanrahan Ray Tracing on Programmable Graphics Hardware . // Proceedings of ACM SIGGRAPH, 21 (3). 2002 .- pp. 703-712

14. Галушкин А.И Нейрокомпьютеры . II Радиотехника , Москва . 2002

15. А. И. Галушкин, Я.З. Цыпкин Нейронные сети: история развития теории . // Радиотехника , Москва . 2001

16. Andreas Nürnberger, Witold Pedrycz Neural Network Approaches . II Handbook of Data Mining and Knowledge Discovery, Sect. 16.1.8 , Oxford University Press . 2002

17. Dan Hammerstrom Working with neural networks . II IEEE SPECTRUM, July . 1993 .-p.46

18. Xiong Yingen and Zhang Guangzhao New 3D reconstruction approach for 3D object recognition in neuro-vision system . // SPIE Vol. 3307 , * 0277-786X/98 . 1998

19. Yuji Iwahori, Robert Woodham, Hidekazu Tanaka, Naohiro Ishii Neural Network to Reconstruct Specular Surface Shape from Its Three Shading Images . // Proceedings of International Joint Conference on Neural Networks , USA . 1993 .- p 1181-1184

20. J. Cronemeyer, R. Orglmeister 3D Reconstruction of Tree Structures from Biplane Pictures . // Proceedings of International Joint Conference on Neural Networks , USA . 1993 .- p 1185-1188

21. En Cao, Peng Seng Toh A neural network model for objects with freeform surfaces . //. Integr. Computer-Aided Eng. , USA . 1995 .- vol.2, no.4, p281-289

22. Wang, J.-Y, Cohen, F.S. 3D object recognition and shape estimation from image contours using B-splines, unwarping techniques and neural network . // IEEE International Joint Conference on Neural Networb , 18-21 Nov . 1991 Page(s): 2318 -2324 vol.3

23. Ichihara, A., Mitsukura, Y., Fukumi, M., Akamatsu, N., Yasutomo, M. Automatic extraction of tumors by using neural computation . // IEEE International Joint Conference on Neural Networks , 15-19 July .2001 .-Page(s): 2981 -2984 vol.4

24. Neubert, J., Hammond, Т., Guse, N., Do, Y., Hu, Y., Ferrier, N. Automatic training of a neural net for active stereo 3D reconstruction . // IEEE International Joint Conference on Robotics and Automation , Volume: 2 . 2001 .- Page(s): 2140-2146

25. Siu-Yueng Cho, Chow, T.W.S. Neural computation approach for developing a 3D shape reconstruction model . // IEEE Transactions on Neural Networks , Volume: 12, Issue 5, Sept. .2001 .- Page(s): 1204 -1214

26. Ковальчук Д.В. Применение клеточных нейронных сетей для решения комплексных задач обработки изображений . // Труды VIIIВсероссийской конференции «Нейрокомпьютеры и их применение» , Москва . 2002 .- ISBN 5-201-14935-9

27. Yuan Fing A neural network measuring the intersection of m-dimensional convex polyhedra . // Automatica , 31, N4 . 1995 .- C. 517-529

28. Emtnanouil Piperakis, Itsuo Kumazawa Affine Transformations of 3D Objects Represented with Neural Networks . // Proceedings of the Third International Conference on 3-D Digital Imaging and Modeling (3DIM '01) , IEEE . 2001

29. Emtnanouil Piperakis 3D Graphics with Neural Networks . // Thesis , February 13 . 2002

30. Krzysztof S. Klimaszewski, Thomas W. Sederberg Faster Ray Tracing Using Adaptive Grids . // IEEE Computer Graphics and Applications 17(1) , Jan/Feb . 1997 .- p. 42-51

31. Скрибцов П.В. Применение нейронных сетей для представления трехмерного пространства . // Труды VII Всероссийской конференции «Нейрокомпьютеры и их применение» , Москва . 2002 .- ISBN 5-201-14935-9

32. Скрибцов П.В. Применение нейронных сетей для решения задачи трассировки лучей . // Труды VIII Всероссийской конференции «Нейрокомпьютеры и их применение» , Москва . 2001 .- ISBN 5-201-09606-9

33. Takeshi Naemura, Takahide Takano, Masahide Kaneko, Hiroshi Harashima Ray-based Creation of Photo-Realistic Virtual World . // Virtual Systems and MultiMedia'97 , Proceedings of PALEXPO, ROOM G, Geneva, 10-12 September . 1997 .- IEEE 0-81868150-0

34. Ming Wan, Huamin Qu, Arie Kaufman Virtual Flythrough over a Voxel-Based Terrain . // IEEE Virtual Reality , Houston, Texas, March . 1999 p. 53

35. Claudio Silva Volume Graphics . // IEEE Computer,, Vol. 26, No. 7, July . 1993 .- pp. 5164

36. Matthias Unbesheiden, Andrzej Trembilski Cloud Simulation in Virtual Environments, Department for Visualization & Virtual reality . // Proceedings of IEEE Virtual Reality Annual International Symposium (VRAIS) , March . 1998

37. Yan Chen, Qing-hong Zhu, Arie Kaufman, Shigeru Muraki Physically based Animation of Volumetric Objects . // Technical Report TR-CVC-980209 , SUNY Stony Brook, February . 1998 .-IEEE 1087-4844/98

38. Михаил Цыганков Иерархическая дискретная трассировка лучей в октантных деревьях . // The 8-th International Conference on Computer Graphics and Visualization , Moscow . 1998

39. Milos Sramek, Arie E. Kaufman Alias-Free Voxelization of Geometric Objects . // IEEE Transactions on VISUALIZATION AND COMPUTER GRAPHICS, July-September . 1999 .- vol. 5, no. 3

40. Attali J-G. and G. Pages Approximations of functions by a multilayer perceptron a new approach . II Neural Networks, volume 10 , N6 . 1997

41. Niyogi P., Girosi F. Generalization bounds for function approximation from scattered noisy data. /I Adv. Comput. Math. {Netherlands), vol.10, no.l, 1999 (p.51-80).

42. Schraudolph N.N. A fast, compact approximation of the exponential function. //Neural Comput. (USA), vol.11, no.4, 15 May 1999 (p.853-62).

43. Feuring Т., Lippe W.-M. The fuzzy neural network approximation lemma. // Fuzzy Sets Syst. (Netherlands), vol. 102, no. 2, 1 March 1999 (p. 227-36).

44. Citterio C., Pelagotti A., Piuri V., Rocca L. Function approxirnation-fast-convergence neural approach based on spectral analysis. //IEEE Trans. Neural Netw. (USA), vol.10, no.4, July 1999 (p. 725-40).

45. Kim Wonil, Mehrota K., Mohan C.K. Fuzzy adaptive multi-module approximation network. // 18th International Conference of the North American Fuzzy Information Processing Society NAFIPS, New York, USA, 10-12 June 1999 (p. 615-19).

46. Yeun Y.-S., Lee K.-H., Yang Y.-S. Function approximations by coupling neural networks and genetic programming trees with oblique decision trees. II Art if. Intell. Eng. (UK), vol. 13, no. 3, July 1999 (p. 223-39)

47. Gelenbe E., Map Zhi-Hong, Li Yan-Da. Function approximation with spiked random networks. //IEEE Trans. Neural Netw. (USA), vol. 10, no. 1, Jan. 1999, p. 3-9.

48. Thawomnas R., Abe S. Function approximation based on fuzzy rules extracted from partitioned numerical data. // IEEE Trans. Syst. Man Cybern. В (USA), vol. 29, no. 4, Aug. 1999 (p. 525-34).

49. Kainen P.C., Vogt A. Approximation by neural networks is not continuous. // Neurocomputing (Netherland), vol. 29, no. 1-3, Nov. 1999 (p. 47-56).

50. Pincus A. Approximation theory of the MLP model in neural networks. II Acta Numer. (UK), vol. 8, 1999 (p. 143-95).

51. Townsend N.W., Tarassenko L. Estimations of error bounds for neural network function approximators. // IEEE Trans, on Neural Networks, v. 10, no. 2, March 1999 (p. 217-230).

52. Vijayakumar S., Wu S. A gradient base techniques for generating sparse representation in function approximation. // Int. Conf. on Neural Information Processing, 1999 (p. 314-319).

53. Tanaka T. A formulation of mean-field approximation for layered feedforward stochastic networks. //Int. Conf on Neural Information Processing, 1999 (p. 544-549).

54. Eppler W., Beck H.N. Piecewise linear networks (PLN) for function approximation. //Int. Conf. on Neural Networks, Washington, 1999.

55. Zhang M., Xu S., Lu B. Neuron adaptive higher order neural network group models. //Int. Conf. on Neural Networks, Washington, 1999.

56. Abe S. Fuzzy function approximator with ellipsoidal regions. II IEEE Trans. Syst. Man Cybern. B (USA), vol 29, no. 5, Oct. 1999 (p. 654-61).

57. Tanaka T. Exploration of mean-field approximation for feedforward networks. // Proc. of Int. Jt. Conf. on Neural Networks, Washington, USA, 10-16 July 1999, vol. 1 (p. 506-9).

58. Ritter G. Eficcient estimation of neural weights by polynomial approximation. //IEEE Trans. Inf. Theory (USA), vol. 5, no. 5, July 1999 (p. 1541-50).

59. Morgan P., Curry B., Beynon M. Comparing neural network approximations for different functional forms. I 1 Expert Syst. (UK), vol.16, no. 2, May 1999 (p.60-71).

60. Basson E., Engelbrecht A.P. Approximation of a function and its derivatives in feedforward neural networks. // IJCNN'99. International Joint Conference on Neural Networks. Proceedings, Washington, DC, USA, 10-16 July 1999, vol. 1 (p. 419-21).

61. Dingankar A.T. The unreasonable effectiveness of neural network approximation. //IEEE Trans. Autom. Control (USA), vol.44, no. 11, Nov. 1999 (p.2043-4).

62. Jiang Wenxin, Tanner M.A. On the approximation rate of hierarchical mixtures-of-experts for generalized linear models. II Neural Comput. (USA), vol.11, no.5, 1 July 1999 (p.l 18398).

63. Andras P. Orthogonal RBF neural network approximation. //Neural Process. Lett. (Netherlands), vol. 9, no. 2, April 1999 (p. 141-51).

64. Beynon M., Curry B., Morgan P. Neural networks and finite-order approximations. //IMA J. Math. Appl. Bus. Ind. (UK), vol 10, no. 3, July 1999 (p. 225-44).

65. Nauck D., Kruse R. Neuro-fuzzy systems for function approximation. // Fuzzy Sets Syst. (Netherlands), vol 101, no. 2, 16 Jan. 1999 (p. 261-71).

66. Liu Puyin. Analyses of regular fuzzy neural networks for approximation capabilities. // Fuzzy Sets Syst. (Netherlands), vol 114, no. 2, 1 Sept. 2000 (p. 329-38).

67. Shiqian Wu, Meng Joo Er. Dynamic fuzzy neural networks a novel approach to function approxmiiation. II IEEE Trans. Syst. Man Cybern. B, Cybern. (USA), vol.30, no. 2, April 2000 (p.358-64).

68. Mingjie Zhao, Jing Zhu. The approximation ability of fuzzy neural networks. // Acta Autom. Sin. (China), vol26, no.2, March 2000 (p.206-11).

69. Castro J.L., Mantas C. J., Benitez J.M. Neural networks with a continuous squashing function in the output are universal approximators. //NeuralNetw. (UK), vol.13, no.6, July 2000 (p. 561-3).

70. Buckley J.J. Universal approximators for fuzzy functions. // Fuzzy Sets Syst. (Netherlands), vol.113, no. 3, 1 Aug 2000 (p.411-15).

71. Meir R., Maiorov V.E. On the optimality of neural-network approximation using incremental algorithms. // IEEE Trans. Neural Netw. (USA), vol 11, no.2, March 2000 (p.323-37).

72. Daniel Cohen, Zvi Sheffer Proximity Clouds An Acceleration Technique for 3D Grid Traversal . // Technical report FC 93-01 , Math & Computer Science, Ben Gurion University, Beer-Sheva. 1993

73. Gardaliaguet Pierre, Euvrard Guillaume Approximation of a function and its derivative with a neural network . // Neural Networks , 5, no.2 . 1992 .- p. 207-220

74. Kolmogorov, A. N. On the Representation of Continuous Functions of Several Variables by Superposition of Continuous Functions of One Variable and Addition . II Доклад Акад. Наук СССР , V 114 . 1957 .- pp. 953-956

75. Xinghuo Yu A Backpropagation Learning Framework For Feedforward Neural Networks . // IEEE International Symposium on Circuits and Systems , Sydney, Australia, May 6 9 . 2001

76. Barak A. Pearlmutter Fast Exact Multiplication by the {H}essian . // Neural Computation , Volume 6, Issue 1 . 1994 .- p. 147-160

77. A.J. F. van Rooij, L. C. Jain, R. P. Johnson Neural network training using genetic algorithms . // World Scientific , Singapore . 1996

78. Головко B.A. Нейронные сети: обучение, организация и применение . // Радиотехника , Москва. 2001

79. Аведьян Э.Д. Каскадные нейронные сети . II Автоматика, телемеханика , N3 . 1999

80. Martin F. Moller A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning . // Neural Networks , Volume 6 . 1993 p. 525-533

81. В. M. Wilamowski, Yixin Chen, and Aleksander Malinowski Efficient Algorithm for Training Neural Networks with One Hidden Layer . // IEEE International Joint Conference on Neural Networb , July . 1999 .- p. 1725-1728

82. Jacobs R. A. Increased rates of convergence through learning rate adaptation . // Neural Networks , Volume 1 , Issue 4 . 1988 .- p. 295-308

83. Salvetti A., B. Wilamowski Introducing Stochastic Process within the Backpropagation Algorithm for Improved Convergence . // Artificial Neural Networks in Engineering , St. Luis, USA, November 13-16 . 1994

84. Leon Bottou Online Algorithms and Stochastic Approximations . // Online Learning and Neural Networks , Cambrige, UK . 1998

85. Petrovic, M. Baotic, N. Peric An Efficient Newton-type Learning Algorithm for MLP Neural Networks . // Natural and Artificial Intelligence Systems Organization , Canada . 1998

86. N. Ampazis, S.J. Perantonis Levenberg-Marquardt Algorithm with Adaptive Momentum for the Efficient Training of Feedforward Networks . // IEEE-INNS-ENNS International

87. Joint Conference on Neural Networb (IJCNN'OO)-Volume 1 , Como, Italy , July 24-27 . 2000 .-p. 1126

88. N. N. R. Ranga Suri and Dipti Deodhare and P. Nagabhushan Parallel Levenberg-Marquardt-based Neural Network Training on Linux Clusters . // Centre for Artificial Intelligence & Robotics , Bangalore . 2001

89. Brijesh Verma Fast Training of Multilayer Perceptrons . // IEEE TRANSACTIONS ON NEURAL NETWORKS , VOL. 8, NO. 6, NOVEMBER . 1997

90. Precup, D., Sutton, R. S Exponentiated Gradient Methods for Reinforcement Learning . // Proceedings of the 14th International Conference on Machine Learning, ICML'97 , Morgan Kaufmann . 1997 .-pp.272-277

91. Silvia Ferrari, Robert F. Stengel Algebraic Training of a Neural Network . // Proc. American Control Conference , Arlington, VA, June . 2001

92. Wee Sun Lee Agnostic Learning and Single Hidden Layer Neural Networks . // Thesis, BE. University of Queensland, February . 1996

93. John J. Shynk Performance Surfaces of a Single-Layer Perceptron . // IEEE Transactions on Neural Networb , Vol. 1, N3, September . 1990

94. S. J. Perantonis, V. Virvillis and N. Ampazis Recent Advances in Neural Network Training Using Constrained Optimization Methods . // APMOD ' 98 , Limassol, Cyprus . 1998

95. Vladimir Golovko,Yury Savitsky,T, Laopoulo, A, Sachenko, L. Grandinetti Technique of Learning Rate Estimation for Efficient Training of MLP . // Laboratory of Artificial Neural Networks, Brest Polytechnic Institute , Belarus . 2000

96. Daohang Sha, Vladimir B. Bajic on-line adaptive learning rate bp algorithm for mlp and application to an identification problem . // Centre for Engineering Research, Technikon Natal, P.O. Box 953, Durban 4000 , South Africa . 1999

97. Martin Riedmiller, Heinrich Braun A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP algorithm . // Proc. of the {IEEE} Intl. Conf on Neural Networks , San Francisco, CA . 1993 .- pp. 586-591

98. Christian Igel, Michael Husken Improving the Rprop Learning Algorithm . // Proceedings of the Second International Symposium on Neural Computation, NC'2000 , ICSC Academic Press . 2000

99. Галушкин А.И., Шмид A.B Оптимизация структуры многослойных нейронных сетей с перекрестными связями . // Нейрокомпьютер 3,4 , Радиотехника . 1992 .- стр. 7-11

100. Leandro Nunes de Castro, Fernando José Von Zuben An Immunological Approach to Initialize Feedforward Neural Network Weights . // Int. Conf. on Artificial Neural Networks and Genetic Algorithms , Prague/C.R., 22-25 April . 2001

101. D. Nguyen and B. Widrow Improving the learning speed of 2-layer neural network by choosing initial values of the adaptive weights . // IEEE Proc. 1st Int. Joint Conf. Neural Networks , vol. 3 . 1990 .- pp. 21-26

102. Partha Niyogi and Federico Girosi Generalization bounds for function approximation from scattered noisy data . II Advances in Computational Mathematics , Vol. 10 . 1999 .-pp. 51-80

103. M. Kon and L. Plaskota Complexity of neural network approximation with limited information: a worst case approach . // Complexity 17, Vol. 17 . 2001 .- pp. 345-365

104. V. Maiorov and A. Pinkus Lower bounds for approximation by MLP neural networks . // Neurocomputing , N25 . 1999 .- pp. 81-91

105. Allan Pinkus Approximation theory of the MLP model in neural networks . II Acta Numerica , Cambrige University Press . 1999 .- pp. 143-195

106. Michael J. Turmon, Terrence L. Fine Sample Size Requirements For Feedforward Neural Networks . // In Advances in Neural Information Processing Systems 7 , edited by G. Tesauro, D. Touretzky, and T. Leen. Cambridge, Mass: MIT Press . 1995

107. Виктор Юров Assembler: Специальный справочник . II СПб: Питер , Санкт-Петербург . 2001

108. Виктор Юров Assembler: Практикум . // СПб: Питер , Санкт-Петербург . 2002

109. Михаил Гук, Виктор Юров Процессоры Pentium 4, Athlon и Duron . II СПб: Питер , Санкт-Петербург . 2002

110. Jihan Zhu and Peter Sutton FPGA Implementations of Neural Networks a Survey of a Decade of Progress . // Proceedings of 13th International Conference on Field Programmable Logic and Applications (FPL 2003) , Lisbon, Sep . 2003

111. E. Vonk, L.C. Jain, R.P. Johnson Automatic Generation of Neural Network Architecture Using Evolutionary Computation . II Advances in Fuzzy Systems Applications and Theory Vol. 14 , World Scientific . 1997

112. Srinivasa V. Chakravarthy, Joydeep Ghosh Function emulation using radial basis function networks . II Neural Networks , Volume 10, Issue 3 . 1997 .- p. 459-478

113. Eldracher M., Staller A. & Pompl R Function Approximation With Continuous-Valued Activation Functions in CMAC . // Forschungsbericht Künstliche Intelligenz FKI-199-94 , Technische Universität München . 1994

114. H. N. Mhaskar NEURAL NETWORKS FOR OPTIMAL APPROXIMATION OF SMOOTH AND ANALYTIC FUNCTIONS . // Neural Computation , N8 . 1996 .- pp. 164177

115. Krzysztof Ciesielski, Jaroslaw P. Sacha Synthesis of Feedforward Networks in Supremum Error Bound . // IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 11, NO. 6, NOVEMBER . 2000 .- p. 1213