автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Разработка и исследование маршрута проектирования нейросетевого приложения с аппаратной поддержкой

На правах рукописи

Казанцев Павел Александрович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ МАРШРУТА ПРОЕКТИРОВАНИЯ НЕЙРОСЕТЕВОГО ПРИЛОЖЕНИЯ С АППАРАТНОЙ ПОДДЕРЖКОЙ

Специальность 05 13 17 - Теоретические основы информагики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

-"^хйьэ 17"

Москва 2008

003168917

Работа выполнена на кафедре «Нейрокомпьютеры» Московского Физико-Технического Института (государственного университета)

Научный руководитель

доктор технических наук, профессор Галушкин Александр Иванович Официальные оппоненты

доктор физико-математических наук Редько Владимир Георгиевич доктор технических наук, профессор Борисов Вадим Владимирович

Ведущая организация

Институт Радиоэлектроники РАН

Защита состоится «10» июня 2008 г в 17 часов

на заседании диссертационного совета Д212 156 04

Московского физико-технического института (ГУ) по адресу

141700, г Долгопрудный Московской обл , Институтский переулок, д 9 , Новый

корпус, ауд 204

С диссертацией можно ознакомиться в библиотеке Московского физико-технического института

С

Автореферат разослан « ' » мая 2008 г

Ученый секретарь диссертационного совета Д 212 156 04 ктн, доцент

Куклев Леонид Петрович

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы Нейросетевые технологии на сегодняшний день зарекомендовали себя как эффективное средство решения многих инженерных и производственных задач Нейросегевые решения успешно применяются в системах безопасности, системах динамического управления сложными объектами, проектах интеллектуальных зданий, медицинской технике, системах контроля качества на производстве, системах энергосбережения, и многих других

Одной из причин успешного применения нейросетевых технологий является то, что в настоящее время расчет сложных производственных и инженерных задач требует больших вычислительных мощностей Характерной особенностью некоторых современных практических задач является то, что далее кластерные конфигурации с числом процессоров до нескольких сотен, не позволяют получать требуемое время счета Выигрыш по производительности нейросетевых систем обуславливается принципиально отличной от классических алгоритмизацией этих систем

Реализация сверхвысоких вычислений для ресурсоемких вычислительных задач все чаще осуществляется на основе использования нейроматематики - новом разделе математики, интенсивно развивающемся в настоящее время как у нас в стране, так и за рубежом Использование методов нейроматематики позволяет изначально определить параллельный алгоритм -нейросетевой алгоритм решаемой задачи и, в зависимости от требований производительности и других ограничений, использовать для его реализации соответствующие вычислительные мощности, специально ориентированные на параллельные вычисления, включая кластеры

Помимо алгоритмической эффективности, нейросетевой подход обладает существенным уровнем универсализации Он позволяет обеспечить эффективное решение не только сложных прикладных задач, реализация которых представляет трудность по критерию отношения производительности к стоимости для вычислительных средств с традиционной многопроцессорной архитектурой, но и задач среднего класса сложности, решение которых целесообразно выполнять на кластерных конфигурациях с небольшим числом узлов (до нескольких десятков) Кроме того, для относительно небольших задач возможно использование традиционных ПЭВМ с применением нейроускорителей

Как отмечалось выше, в настоящее время известно множество применений нейросетевых технологий, как у нас в стране, так и за рубежом, однако, попытки построения единой методологии разработки нейросетевых приложений, в тч с аппаратной поддержкой, практически отсутствуют Это вызвано, в первую очередь тем, что нейросетевые приложения носят, по своей сути, специализированный характер

Разработка единой методологии проектирования нейросетевых приложений позволит повысить эффективность разрабатываемых решений, снизить время разработки, а также обеспечит единый базис для сравнения различных нейросетевых решений

Цель работы состоит в исследовании и разработке маршрута проектирования нейросетевых приложений с аппаратной поддержкой и решении трех практических задач

- гидроакустики с учетом рельефа дна,

- синтеза микрополосковых антенн,

- распознавание гранулометрического состава набора шарообразных тел применительно к горнорудному производству,

Задачи исследования. Конкретными задачами, решенными в данной работе, являются

1) разработка основ единого маршрута проектирования нейросетевых приложений,

2) решение практических задач

- гидроакустики с учетом рельефа дна,

- синтеза полосковых антенн,

- распознавание гранулометрическою состава набора шарообразных тел применительно к горнорудном}' производству,

3) классификация средств аппаратной поддержки нейросетевых приложений, Методы исследования. В процессе работы были использованы методы теории нейронных сетей, теории вычислительных машин и систем, модечирование на ЭВМ

Научная новизна работы. В результате выполнения работы был получен ряд новых научных результатов, позволяющих более эффективно решать сложные инженерные задачи в нейросетевом логическом базисе, а также

1) предложен маршрут проектирования нейросетевых приложений,

2) предложена классификация средств аппаратной поддержки нейросетевых приложений,

3) проведена апробация разработанного маршрута проектирования при решении конкретных задач

- гидроакустики с учетом рельефа дна,

- синтеза полосковых антенн,

- распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству

Практическая ценность диссертации Предложенный маршрут проектирования нейросетевых приложений использовался при создании программного комплекса «Нейроматематика», предназначенного для решения сложных инженерных задач, в том числе задач гидроакустики и синтеза микрополосковых антенн Программный комплекс «.(Нейроматематика» является конечным результатом опытно-конструкторских работ по теме ИТ-13.3/001 «Разработка прикладных технологий для инженерных задач с плотными системами уравнений и сверхбольшим числом неизвестных» по заказу Федерального агенте гва по науке и инновациям Разработанные нейросетевые алгоритмы решения задач гидроакустики с учетом рельефа дна, синтеза микрополосковых антенн и оценки гранулометрического состава шарообразных тел применительно к горнорудному производству используются

в разработках систем, проводящихся различными организациями Российской Федерации, о чем свидетельствуют соответствующие Акты внедрения Научные положения, выносимые на защиту

1) маршрут проектирования нейросетевых приложений,

2) классификация средств аппаратной поддержки нейросетевых приложений,

3) экспериментальные результаты применения нейросетевых алгоритмов в решении задач гидроакустики с учетом рельефа дна, синтеза микрополосковых антенн, распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству,

Апробация работы Основные положения диссертационной работы докладывались и обсуждались на научно-техническом совете МФТИ при защите эскизного и технического проектов ОКР по теме ИТ-13.3/001 «Разработка прикладных технологий для инженерных задач с плотными системами уравнений и сверхбольшим числом неизвестных» (Москва 2006г ), на научной конференции «Развитие вычислительной техники в России и странах бывшего СНГ история и перспективы» (г Петрозаводск 2006), на международном конгрессе по интеллектуальным вычислениям IEEE WCCI'2006 (г Ванкувер, 2006), на научной конференции «Нейроннформатика» (г Москва, 2006), на научной конференции «Нейросетевые технологии и их применение» (г Краматорск, 2006), на Международной научно-технической конференции «Интеллектуальные машины и системы» (г Дивноморск, 2006), в международном научном журнале Applied and Computational Mathematics (2003 г), в научно-техническом журнале «Нейрокомпьютеры и их применение» (Москва, 2005г), в отчете по НИР «Разработка системы нейроуправления чашевыми окомкователями» (Научный центр нейрокомпьютеров, Москва, 2004г), в отчете по НИР по гранту РФФИ № 03-07 90159 (Москва, 2005г), на научных конференциях Московского физико-технического института (Москва, 2003-2005гг), на международной конференции «International Conference on Pattern Recognition and Image Analysis» (Санкт-Петербург, 2004г), на международной научно-технической конференции «DSPA-2004» (Москва 2004г), в отчете по НИР по проекту «Нанонейроэлементы» программы «Научные исследования высшей школы по приоритетным направлениям науки и техники» (подпрограмма «Электроника», раздел «Микро- и наносистемная техника», Москва 2003 г ), на международных рабочих совещаниях российской секции IEEE по интеллектуальным вычислениям (Russian Section of IEEE CIS, Москва 2006г )

Структура и объем работы. Диссертационная работа содержит введение, четыре главы, заключение, приложение, библиографию работ по теме диссертации Диссертация содержит 29 рисунков и 11 таблиц Общий объем диссертации составляет 135 страниц Содержание работы распределено по отдельным разделам следующим образом

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, ее практическое значение, сформулирована цель и определены задачи исследования, а также даны основные положения, выдвигаемые на защиту

В первой главе рассмотрены основы построения нейросетевых приложений В данной главе приводится структура процесса выбора задач, адекватных нейросетевому логическому базису, а также структура маршрута проектирования нейросетевого приложения

Всегда актуален вопрос для каких задач наиболее эффективно применение нейросетевых технологий? Ответ на этот вопрос дает преде гавленная на Рис 1 структура процесса выбора задач, адекватных нейросетевому логическому базису

Не?*ро компьютеры Кластерные с> перЭВГ \ г ^ ПЭВМ

Не^орл*}». ^ Форма/шз}

НС а. »г ори г на ПЗВ\|

Анализ времени решения нэЩЗ&М

3

|11 о у л овл ет во р я'ет| | ^ тшу1етноряст]

А ггорит%г тля псевдотраяс-пьнл ерной суперЭВМ |

Анализ ноимости и габаритов

Ра зрабо'ска ¿Траста-"

[ I и- 1И!1<1ИШ' т-И!»-»-.; Р5• [ > довлетворяет | ¡ЧЧ4'Д>»1« it.11 11.-^ ............ ............... '..... ...... | ~

^.1К<ЧМ<мр«тт.И>|(.1>- I HJ.it р. „ч и-дт!» Л «оршч '.¡ий-1 т-й «-ч пер >ВУТ • | мгпгщциутру¿кя иррцес1 "¡»н^

| 1.4« решени» кц»*|)>.{\ тчтмоим 11с|нЧ»» V ; _^^ в т'нртч1 ^Ч'"" югм'пч'ь ни Г»а.(|к ' |

Рис 1 Структура процесса выбора задач, адекватных нейросетевому логическому базису

Основой маршрута проектирования нейросетевого приложения является методика синтеза алгоритмов адаптации многослойных нейронных сетей Одной из предпосылок разработки данного маршрута является тот факт, что зачастую разработчики нейросетевых приложений выбирают структуры, алгоритмы настройки и прочие параметры нейронной сети не адекватные решаемой задаче Это связано в первую очередь с тем, что в процессе разработки не учитывается разного рода априорная информация, которая, по сути дела, и определяет специфику задачи В п 13 представлен перечень априорной информации, наличие или отсутствие которой, необходимо учитывать при разработке нейросетевого приложения Далее, в этом разделе

приводится графическое изображение структуры маршрута проектирования нейросетевого приложения и необходимые к ней комментарии

В п 14 главы 1 описывается алгоритм обратного распространения ошибки для нейронных сетей прямого распространения, используемый для решения прикладных задач, рассматриваемых в Главе 2 Данный алгоритм является упрощенной версией обобщенного алгоритма настройки нейронных сетей, наиболее полная версия которого входит в состав маршрута проектирования нейросетевого приложения представленного в данной главе Тем не менее, алгоритм обратного распространения ошибки для нейронных сетей прямого распространения является простым и эффективным средством решения инженерных задач, успешно примененным в работах автора Во второй главе приведены нейросетевые решения трех конкретных инженерных задач гидроакустики с учетом рельефа дна, синтеза микрополосковых антенн, распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству

Решение задач гидроакустики с учетом рельефа дна

При решении задач гидроакустики, особенно в мелководных волноводах, необходимо учитывать наличие типов рельефа дна, поскольку влияние донных отражений оказывается превалирующим в таких условиях Аналитический подход к решению этой проблемы, как правило, возможен только при весьма серьезных упрощающих предположениях, что в значительной мере снижает ценность полученных результатов Единственным способом решения поставленной задачи в условиях, наиботее приближающихся к реальным, по-видимому, является численный метод с использованием современных вычислительных средств

В данном разделе приводится решение одной из задач гидроакустики с учетом рельефа дна

Нейросетевой алгоритм решения задачи гидроакустики с учетом рельефа дна

Физическая постановка задачи

По данным уровням звука требуется определить, в каком слое воды находится источник Ограничимся всего лишь двумя выделенными слоями -приповерхностным (середина слоя 5м) и слоем, середина которого находится на глубине 150м То л шина обоих слоев 10м

Для составления обучающей и тестовой выборок применяется программа моделирования звукового поля Программа разработана для двумерной модели неоднородного океана При этом, входными данными программы, влияющими на моделируемую физическую картину, являются данные о

- Рельефе - число точек рельефа, а также их координаты, которые служат местами изгиба ломаной, задающей рельеф

- источнике - координаты источника X и У

- горизонтах приема - число горизонтов приема, а также значение глубин, на которую погружаются приемники

- зоне расчета - шаг, минимальное и максимальное расстояние до приемников по оси X

- грунте - плотность слоев грунта

- погодных условиях - скорость ветра на поверхности Нейросетевая постановка задачи

Наибольшее влияние на компоненты обучающих и тестовых выборок оказывает рельеф То есть, в процессе эксперимента диапазон значений, включенных в выборки, в основном меняется на основе изменения рельефа Для расширения обучающей и тестовой выборок на базе нескольких типовых рельефов генерируются множество их вариаций путем изменения опорных точек рельефа случайным образом в определенном диапазоне Прочие параметры не изменяются Так, глубины источников были фиксированы для каждого из слоев Примеры первого класса были сгенерированы при глубине источника 5м, а второго - 150м

При составлении выборок в качестве плана можно использовать следующую таблицу

Табчица 1 Параметры составтенных выборок

№ Выборки 1 иловой рельеф Количество точек рельефа С той вода Количество примеров в обучающей и тестовой выборках

1 Произвочьно выбранный тестовый рельеф (рис 2 ) Н™ = 250 Н™=150 М = 11 Ваоыгр) ется координата \ (глу бина точки ре Лсефа) в диапазоне 150-250м Формула рандомизации у = 200 м + random(delta 2) - delta, где random - функция, которая распределяет значения от 0 до > казагаюго аргумента по нормальному закону, a delta - 50м Число слоев -2 N = 1000 ni = п2 = 500

Середины слоев 1 стой - 5м 2 стой - 150 м

Ширина обоих слоев -Юм

2 Речьеф типа яма (рис 3 ) Н„„ = 250 Н„„ = 150 М = 11 Варьируется координата у (,гт>oraia точки рельефа) в диапазоне 150-250м Форму та рандомизации у - 200м + / andom{de!ta 2) - delta, где random - ф) нкция, которая распредетяет значения ог 0 до указанного аргумента по иорматыюм) закону, a delta = 5м Чисто слоев -2 N = 1000 ni = п2 = 500

Середины слоев 1 слой - 5ч 2 слой -150м

Ширина обоих слоев -Юм

В данном эксперименте берется всего 11 точек рельефа

Обучающая выборка состоит из 1000 примеров, 500 из которых относятся к первому классу, а другие 500 ко второму Аналогично составлена и тестовая выборка

Входной вектор нейронной сети состоит из значений уровней звука, выраженных в децибелах Эти значения берутся вдоль координаты X с определенным шагом 5 вплоть до некоего расстояния от начала координат I)

Так, О = 50км, а 8 = 2км. Так. по умолчанию, входной вектор будет состоять из 25 значений уровней звука (вариант 1).

Примеры в выборке условно можно разбить на два класса. Первый класс -уровни звука в верхнем слое (5м), второй класс - в нижнем (150м).

Изменчивость фермы рельефа дна

Номер реализации

'аегггоаяие.

Рис. 2. Объемная картина набора рельефов она.

-20 -25 -ЗО -35 -4-0 -45

20 ЗО

V

Г\1

Рис. 3. Рельеф пита «яма».

На рис. 4. показано изменение уровня звука в верхнем слое (сплошная линия) и в нижнем слое (пунктир) в зависимости удаления от берега. Можно видеть, что значения уровня звука начинают сильно отличаться только после 10км. То есть первые 10 значений вполне можно отбросить, уменьшая, таким образом, размерность сети. Так, второй вариант входного вектора представляет собой вектор, состоящий из последних 15 значений изначального вектора (вариант 2). Выходным вектором нейронной сети является значение глубины середины слоя, выраженной в километрах.

Так, на вход нейронной сети подаются дискретизированные значения звукового поля. На выходе нейронной сети требуется получить значение глубины середины слоя воды, в котором находится источник.

Уровень эвдеэ, до

С 6 Ю 15 20 26

Удаление о» берега №

Рис 4 Ось У - уровни звука в децибс чах, Ось X - удаленна от берега в киюметрах

Структура нейронной сети выбирается двухслойной с полными последовательными связями В эксперименте варьируется количество нейронов в скрытых слоях от 50 до 500

Функции активации и функционал вторичной оптимизации Функционал вторичной оптимизации - среднеквадратичная ошибка, которая в данном случае при одном единственном выходе равняется Е = (у-у0) , где у -действительное значение выходного нейрона, уо - желаемое значение выходного нейрона Функция активации первого и второго слоя - сигмоидные Оценка правильности распознавания

Оценка правильности распознавания слоя воды, в котором находится источник, проводится по относительной величине

а = 100% (1)

, где (1 - среднее арифметическое модулей разниц выходов нейронной сети и действительных значений в тестовой выборке, (12 - значение глубины середины нижнего слоя, с!) - значение гл> бииы середины верхнего слоя Экспериментальные результаты

Результаты, приведенные в Таблицах 2 и 3, получены на основе тестовых выборок из совокупностей «выборка 1» и «выборка 2» При изложенных выше условиях проводилось обучение 50 нейронных сетей, инициализированных случайным образом Так, в полях таблиц 2 и 3 представлены наилучшие значения а, полученные после обучения 50 сетей Таблица 2 Значения а д ¡я совокупности «выборка 1»

Количество нейронов в 1ом слое Чисю эпох обучения Входной веюор

Вариант 1 Вариант 2

Н,= 25 50 8,01% 7,4%

150 2,57% 3,87%

300 2,13% 2,23%

Н, =50 50 7 38% 9,43%

150 3,08% 4,14%

300 1,75% 2,84%

Н, = 100 50 13,1% 10,53%

150 5,90% 6 02%

300 3,05% 3 95%

Табчнца 3 Значения адчя совокупности «выборка 2»

Количество нейронов в 1ом с юс Число 1ПО\ 065 чеши Входной в^кюр

Вчркант 1 Вариант 2

Н,= 25 50 4 75% 3,86%

150 2 31% 2 32%

400 1,48% 1,07%

Н, = 50 50 5 56% 8 47%

150 2 86% 1 91%

300 2 26% 2 3%

Н, = 100 50 8,66% 9,37°'»

150 5 23% 5 61%

300 3 66% 3 35%

Оценивая полученные а можно сказать, что нейронная сеть достаточно точно определяет слой, в котором находится источник, при этом достаточен небольшой размер сети Так, минимальная ошибка составтяет для «выборки 1» 2,13%, а для «выборки 2» - 1,48% (Н1 = 25) Более точное определение глубины слоя при распознавании примеров в выборке 2 обуславливается тем, что они были сгенерированы на основе простого типового рельефа (рис 3 ), в то время как типовой рельеф, задающий «выборку 1» гораздо более сложен (рис 2) При этом время расчета всей выборки составляет менее 1 секунды на РС с тактовой частотой процессора ЗвНг, 1 ОЬ ОЗУ Время счета только дтя одного примера из выборки средствами моделирующей программы составляет около 1 минуты

Нейросетевой синтез иикрополосковых антенн

Микрополосковые ангенны (МПА) приобрели широкую популярность за последние два десятилетия благодаря целому ряду преимуществ перед традиционными антеннами, вытекающих из особенностей их конструкции -пригодностью для массового изготовления (техноло! ичностыо) и малым весом

Применение нейросетевых техно тогий в данной области в основном предназначено для ускорения синтеза микрополосковых антенн Классические методы синтеза антенн и СВЧ-устройств зачастую требуют множество циклов расчета численной электромагнитной модели на ЭВМ Каждый проход САПР может занимать до 9 часов счета на современном универсальном ПК

Разработанный алгоритм обеспечивает средства решения задачи, обратной задаче, решаемой САПР Разумеется, разработка нейросетевой модели не может обойтись без использования программного обеспечения для численного расчета антенн, однако, полученная нейросетевая модель будет более эффективна для расчета каждой конкретной задачи

Рассмотрим однослойную МПА с возбуждением коаксиальным зондом Обозначения элементов и основные геометрические размеры МПА приведены на рис 5

Рис 5 Геометрия и основные размеры МПА с возбуждением коаксиальным зондом

Физическая постановка задачи

Требуется синтезировать МПА со следующими параметрами Неизменяемые параметры

1 Размеры подложки А=300 мм, В=200 мм

2 Внешний и внутренний диаметры Dud коаксиальной лишш возбуждения равны D = 3 5ми, d = 1 52 мм

3 Толщина металла пластины tl = 30 i.oj

4 Толщина металла экранной пноскости /2=2 ш<

5 Толщина диэлектрической подложки А =10 мм относительная диэлектрическая проницаемость подложки е =2 0

Диапазоны значений изменяемых размеров МПА

1 Положение точки возбуждения xf относительно края пластины, xf = [6 28] л/л/

2 Размеры пластины МПА L, L = [60 66] мм

3 Размеры пластины МПА W, (('= [30 54] мм имеет максимальное значение

Коэффициент отражения s„(/) должен иметь минимально возможное значение в полосе частот дf е ,/2] и не превышать величину 0,3 Входной и выходной вектора

Входной вектор нейронной сети состоит их пяти компонент

1 Х\ = i,,„„(/■), минимальное значение Sn -параметра на диапазоне частот

А/е[/„Л]

2 X2 = sUmMt(f), среднее значение Sn -параметра на диапазоне частот

A/eU,/2]

3 ХЗ = .у,, тах (/), максимальное значение Sn -параметра на диапазоне частот

4 Х4 -/плп где /„„- частота, на которой коэффициент отражения .?„(/) имеет минимальное значение

5 Х5 = , где /;.„ - частота, на которой коэффициент отражения s,, (/) имеет максимальное значение

В выходной вектор вошли геометрические параметры, значения которых не остаются постоянными при генерации обучающей выборки Таким образом, выходной вектор состоит из следующих компонент

1 Положение точки возбуждения х,

2 Размер пластины МПА L

3 Размер пластины МПА W

Нейросетевая постановка задачи

По 5-мерному входному вектору электрических параметров на выходе нейронной сети требуется получить 3-мерный выходной вектор геометрических параметров

Структура нейронной сети, функция активации и правичо обучения Для решения данной задачи выбираются двух- или трехслойные сети прямого распространения Количество нейронов в скрытых слоях варьируется для получения необходимой точности Функция активации нейронов во всех слоя -сигмоидная Правило обучения - алгоритм обратного распространения ошибки Функциоиач вторичной оптимизации

В качестве функционала вторичной оптимизации выбирается среднеквадратичная ошибка выходов нейронной сети

Е = (2)

»1 tf

, где у, - действительный /-ый выход нейронной сети, у о, - жетаемый i-ып выход нейронной сети, m - число выходов нейронной сети равное 5

Обучающая и тестовая выборки

Генерация обучающей выборки производилась с использованием специализированного пакета CST Microwave Studio 5 Данный пакет предназначен для моделирования различных СВЧ устройств Время расчета электрических характеристик для одного варианта геометрии антенны составляет примерно 8 мину г (для PC с тактовой частотой процессора 3 GHz, 1 Gb ОЗУ, с технологией Hyper-Threading) Схема генерации представлена на рис 6

Рис 6 Схема генерации выборок

В процессе генерации была использована следующая методика

1 Сформирована МПА с заданными фиксированными параметрами

2 Устанавливается диапазон частот Г = 0 5 Гц

3 Фиксируется параметр х/-6 мм

4 В настройках проекта устанавливается диапазоны значений параметров /., IV, а также шаг изменения равный 1 мм

5 Запускается расчет Б] 1 -параметра на диапазоне частот £ = 0 5 Гц

6 Процесс повторяется с шага 3, но только со следующим значение х,, взятого из диапазона х/ = [6 28] мм с шагом 1 мм

В процессе генерации, была получена выборка, содержащая 3891 пар векторов геометрических и электрических параметров Для формирования тестовой выборки из общего числа был отобран каждый пятый вектор Прогресс обучения и тестирования

Число нейронов последнего слоя равно количеству компонент вектора указаний учителя из обучающей выборки, т е 3 нейрона выходного слоя Количество же нейронов скрытого слоя можно варьировать в достаточно широком диапазоне для достижения наилучнпгх результатов обучения НС, а также улучшения способностей НС к обобщению В данной работе использовались сети с одним и двумя скрытыми слоями Их архитектура представлена в таблице 4

Табчица 4 Минимальная среОняя ошибка по каждой из компонент выходного вектора_____

Вариант сети 4« Чисто нейронов 1-Г0С70Я Чисто нейронов 2-го стоя Число нсГфонов выходного слоя к

1 30*к нет 3 к = 1 20

2 20*к 100 3 к-1 20

3 30*к 10*к 3 к = 1 20

4 20*к 20*к 3 к=1 20

Для варианта №1 проводилось обучение сетей содержащих 30, 60, 600 нейронов скрытого слоя

Т к начальные условия сетей выбираются случайным образом, то для снижения вероятности попасть в локальный экстремум в процессе обучения, каждый вариант сети обучался несколько раз Обучение проводилось в течение 5000 эпох

Экспери ментальные результаты

В процессе обучения была исследована способность нейронной сети распознавать вектора которые не входили в состав обучающей выборки Для этого оценивалась сумма средних ошибок всех трех выходов Таким образом, можно построить зависимость средней ошибки для тестовой выборки от размера сети (количества нейронов скрытого слоя) Т к каждый из вариантов нейронных сетей обучались несколько раз, то для построения графика выбиралась минимальная полученная ошибка

На Рис 7 представлена зависимости средней ошибки от количества нейронов скрытого слоя для вариантов сети №3, для которой дает наилучшую аппроксимацию (Табл 4)

сумма соминк ошиоок. мм

Рис 7 Зависимость сребней ошибки от количества нейронов скрытого слоя дтя варианта сети ЛЬЗ

В Таблице 5 представлена минимальная средняя ошибка по каждой из компонент выходного вектора

Табчица 5 Миннмспьная средняя ошибка по каждой из компонент выходного вектора __

Диапазон значений мм Среднекватратичесыя ошибка по кавдш из компоненг входного вектора для равных вариантов сетей мм

30*к 20*к 100 30*к 10*к 20*к 20*к

У-г 6 28 071 0,65 064 0,67

Ь 60 66 0 22 0,18 0 18 0,19

У/ 30 54 2,25 1,75 1,75 1 77

На основе полученных результатов можно сделать вывод, что нейронные сети прямого распространения с более чем удовлетворительной точностью рассчитывают геометрию антенны Расчет одного вектора данных на такой нейронной сети составляет менее 1 секунды Моделирующей программе необходимо 8 минут на проведение аналогичной операции

Распознавание гранулометрического состава шарообразных тел применительно к горно-рудному производству.

В данном разделе исследуется возможность и точность нейросетевого распознавания гранулометрического состава шарообразных тел по данным измерения поверхности набора этих тел Эксперименты проводились с трехмерной моделью набора, диаметры тел которого, лежали в диапазонах, принятых в качестве эталонных на горнообогатительных комбинатах

Нейросетевой алгоритм распознавания гранулометрического состава шарообразных тел

Гранулометрический состав тел в массовых долях- с1а$т[г], где 1 = 0 5, представлен в виде доли массы тел данного класса в обшем объеме Тела из классов, используемые при генерации имеют диаметры

• Менее 5 мм

• От 5 до 10 мм,

• От 10 до 14 мм,

• От 14 до 16 мм,

• От 16 до] 8 мм,

• Более 18 мм

Физическая постановка задачи. Пусть имеется трехмерная модель набора шарообразных тел, генерируемых в соответствии с вышеизложенным алгоритмом По информации, взятой с поверхности данного набора, требуется определить весовое содержание шарообразных тел в каждой из 6-ти категорий - гранулометрический состав (грансостав)

Нейросетевая постановка задачи. По признакам, выбранным с огибающей поверхности набора, с помощью нейронной сети получить шестимерный выходной вектор, отвечающий весовому содержанию тел в каждой категории

Обучающая и тестовая выборки Формирование наборов шарообразных тел осуществилось, исхода из заданных грансоставов и линейных размеров основания прямоугольного параллелепипеда, заключающего набор тел Так, в данном эксперименте ширина основания последнего равнялась 300мм, длина -500мм

Весовое содержание в каждой категории генерировалось по формуле

/М =

1

(-у?

(3)

Путем варьирования параметров М и а был получен широкий диапазон грансоставов Процент по каждой категории в обучающей выборке изменялся от 0 до 90% Обучающая выборка состояла из 1800 примеров, тестовая - из 2000

После генерации грансоставов по ним строились наборы шарообразных тел, строились их огибающие, по которым затем строились модели фотоснимков Пример фотоснимка фрагмента одного из наборов приведен на Рис 8

Рис 8 Яркостное изображение фрагмента поверхности

Пространство признаков Метод проекций

Входной вектор формировался следующим образом Создавался нулевой вектор размерностью М = 255 Для каждой точки огибающей поверхности вычислялось ее значение яркости, после чего значение р-ой компоненты входного вектора инкрементировалось на единицу После обработки всей огибающей получался вектор, каждая р-ая компонента которого содержала количество точек с яркостью р

Структура сети, шгоршпк обучения и функционал вторичной оптимизации

Эксперименты проводились с двухслойными нейронными сетями с прямыми последовательными связями Функция активации первого слоя - сигмоидная, второго слоя - положительно-линейная Сети обучались по правилу обратного распространения ошибки Функционал вторичной оптимизации -

среднеквадратичная ошибка выходов сети £ = (4)

т 7Т|

где ум - желаемое значение 1-ого выхода, >•,„ - действительное значение 1-ого выхода Обучение производилось на протяжении 300 эпох

Экспериментальные результаты

Было проведено несколько экспериментов с сетями с различным числом нейронов в 1-ом слое (Н() (Таблица 6 ) Из таблицы 6 видно, что сеть не только отслеживает тенденцию изменения грансостава, но и достаточно точно определяет его

Табпица б Результаты экспериментов с модетми черно-бепых фотоснимков

поверхностей (в градации серого 0 255)

Категория +18\ш -18+16ЧМ -16+14МЧ -14+IOMM -10+Зчм -5чч

Ошибка, % Н, = 100 8 82 4 58 508 4 46 39 4 89

Ошибка, % Н, = 300 3 88 1 82 1 95 1 96 1 55 1 6

Ошибка, % Н, = 500 3 77 1 58 1 74 1 9Ь 1 6 1 47

Ошибка, % Н, = 800 3 93 1 93 167 1 71 152 1 31

Ошибка, % Hi = 1000 4 25 2 02 1 73 1 72 1 59 1 31

Гипотетический линейный алгоритм оценки

Предположим, что существует некий алгоритм, с помощью которого можно идеально точно определить линейный размер тела, если Х% половины площади его поверхности видимы Так, если видимыми являются менее Х%, но более Х/2% половины площади, то линейный размер (в нашем случае - диаметр), устанавливается произвольным в диапазоне с1 ± е, где с! - реальный диаметр тела, а е - ошибка, не превышающая х% от с? Диаметры всех тел набора, в т ч и скрытых, считаются известными Далее, для тел, диаметры которых были определены точно или с некоей ошибкой, высчитывается гранулометрический состав Определяя таким образом линейные размеры тел верхнего слоя, мы сможем оценить ошибку определения грансостава, связанной с косвенностью данного алгоритма, который не учитывает физики распределения тел На рис 9 показано, как частично видимые тела достраиваются до полного диаметра, что отображено прорисовкой округлых контуров Эксперименты проведены с яркостной моделью, описанной выше, для различных значений X и х

Рис.9. Восстановление реачъныхразмеров тел по их видимой поверхности.

На Рис. 10. приведен график зависимости ошибки в категории 18+мм от величин е и X, который наглядно показывает, насколько сильно линейные классические алгоритмы определения грансостава зависят от точности определения линейных размеров тел набора. Как можно видеть из сравнения Таблицы 6. и Рис. 10, результаты оценки грансостава нейронной сетью с Нi 500 имеют примерно такую же точность, как и результаты оценки с помощью гипотетического алгоритма, требующего для точного определения диаметра тела всего лишь 10% половины площади тела. Маловероятно, что существуют настолько точные алгоритмы, поэтому оценку возможностей алгоритмов

до

Рис. 10. График зависимости ошибки в категории 18-^лш от е и X.

определения грансостава по линейным размерам следует производить исходя из строк Таблицы 6., начиная с 50-60% процентов.

Быстродействие нейросетевого алгоритма больше быстродействия алгоритма, определяющего грансостав по линейным размерам. Так, обработка нейросетевьш алгоритмом 2000 тестовых изображений при Я/ = 500, включая предобработку изображения для формирования входов нейронной сети, занимает около и - 238,31 секунд. При этом предобработка занимает 238 секунд, а прямой проход нейронной сети 0.31 секунды. Обработка же гипотетическим алгоритмом занимает <2 = 341 секунду.

В третьей главе описывается программный комплекс «Нейроматематика» (ПКНМ) предназначенный для решения сложных инженерных задач, в основе которого лежит разработанный маршрут проектирования нейросетевых алгоритмов.

Состав Г1КНМ

ПКНМ состоит из следующих компонент:

- платформа ПКНМ;

- компоненты решения прикладных задач (далее по тексту - РПЗ).

В настоящей версии ПКНМ предусматривается наличие четырех компонент РПЗ, что представлено на рис. 11:

- компонента РПЗ обтекания крыла «Аэродинамика»;

- компонента РПЗ по расчету ветровой обстановки «Ветер»;

- компонента РПЗ по расчету антенн «Полосковые антенны»; -компонента РПЗ по моделированию рельефа морского дна

«Гидродинамика».

■щ [ \

I иракИЯ^иякай

jjp*KOT4B<a«iii ;

{ зягнгев j | зязггек i -'Я-'-П«

<1Пайю<жо&ь»'

ПЛАТФОРМА ПКНМ

Рис. 11. Компоненты ПКНМ

Состав компонент ПКНМ представлен на рис.12.

Базовый класс для прохи-гчвскпх задач Бийякотска Я 1 3 Библиотека ' Ш ждичсйивм». Базовый класс подаадачи (абс-траксыая иодоадегча) >

Модуль управлении (еоздаЯЮ, й : Бкб ляо-гек* ввода- (фаЯл] шкш . ; I Библиотека ма-гсматнчесхих Клиентская оболочка J [

Модуль р ас л ар яллел на ян ия noroani't (ÎJÏJCÏ ха кнастерах, раздах» к сЗор длигмх) Бкйлиотска 5а зо Кых Библиотека кьгхнеленч»

Серверная ободочка ¿управ модулями, щеками, основ ceinte всеми норменю)

ЬЛодули платформы

Рис. 12. Состав компонент ПКНМ

В отличие от коммерческих нейропакетов, в которых реализуются лишь алгоритмы настройки нейронных сетей, данный программный комплекс позволяет проводить разработку инженерных решений от начала и до конца -согласно маршруту проектирования нейросетевого приложения.

Программный комплекс «Нейроматематика» поддерживает вычисления на классическом кластере, графических процессорах и кластере из графических процессоров.

Модульность и открытость программного комплекса позволяет дополнять его инструментами для решения других задач с помощью нейросетевых алгоритмов, а также дорабатывать встроенные решения, реализация которых является предметом дальнейшей работы автора.

В четвертой главе проведен обзор современных аппаратных средств поддержки нейросетевых алгоритмов, описаны наиболее перспективные средства аппаратной реализации нейросетевых алгоритмов Нейрокомпьютер - это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов решения задач, представленных в нейросетевом логическом базисе В самом общем виде это вычислительные системы с архитектурой КШМО

В первую очередь необходимо ответить на вопрос, для каких задач необходима аппаратная поддержка нейросетевых приложений Общая система ответов на эти вопросы представлена на рис 13

Рис 13 Выбор задач, требующих аппаратной поддержки нейросетевых

приложений

При достижении необходимого времени решения может превышаться объем или стоимость самой вычислительной системы, решающей задачи Именно в этих случаях возникает необходимость разработки нейросетевых алгоритмов и нейросетевой аппаратной поддержки их решения Зачастую при решении сложных задач, разработчика и его заказчика не устраивает время решения задачи При этом у разработчика нейрокомпьютеров (в части разработки нейросетевых алгоритмов решения неформализуемой задачи) есть два пути выхода из создавшегося положения, с целью уменьшения времени решения задачи

- разработка и распараллеливание нейросетевого алгоритма решения поставленной задачи на кластерной суперЭВМ,

- разработка нейроускорителей на базе нейрочипов

Нейросетевой алгоритм решения любой задачи на логическом уровне более параллелен, чем любая мыслимая физическая его реализация Это отличает нейрокомпьютеры от таких систем, как кластерные или транспьютероподобные ЭВМ, в которых разработчики прикладного

программного обеспечения, как правило, модифицируют алгоритм решения задач для однопроцессорных ЭВМ

Чисто программная реализация нейросетевого алгоритма осуществляется на ПК с традиционной Фон-неймановской архитектурой

В случае использования заказных СБИС и соответствующих нейроплат (модулей), которые реализует работу всей нейронной сеги, получаем чисто аппаратную реализацию нейросетевого алгоритма или аппаратный нейрокомпьютер При этом обычный ПК используется в качестве Host-машины для координации работы модулей и загрузки исходными данными Основными вариантами аппаратной поддержки нейросетевых алгоритмов в настоящее время являются

1) кластерные конфигурации на базе ПК,

2) специализированные аппаратных ускорители (ПЛИС, многоядерные процессоры типа Cell, графические процессоры, сигнальные процессоры и т п),

3) кластерные конфигурации на ПК со специализированными аппаратными ускорителями нейросетевых алгоритмов,

4) специализированные вычислительные кластерные конфигурации, когда узлами кластера являются в чистом виде аппаратные нейросетевые ускорители

В данной главе описываются наиболее распространенные на сегодняшний день варианты аппаратной поддержки нейросетевых приложений (на базе ПЛИС, графических процессорах, классических кластерах) Также рассматриваются прочие перспективные аппаратные реализации нейросетевых алгоритмов Приводится классификация средств аппаратной поддержки нейросетевых алгоритмов

ЗАКЛЮЧЕНИЕ

В данной диссертационной работе были рассмотрены теоретические и практические проблемы разработки и применения нейросетевых алгоритмов решения сложных инженерных задач, а также их аппаратной поддержки Разработаны единый маршрут проектирования нейросетевых приложений и методика выбора аппаратной реализации нейросетевых приложений Приведено описание программного комплекса «Нейроматематика», основной которого является разработанный единый маршрут проектирования нейросетевых приложений

Произведена классификация возможных аппаратных реализаций нейросетевых алгоритмов

Приведено описание аппаратных средств для ускорения нейросетевых алгоритмов, поддерживаемых программным комплексом «Нейроматематика» Показано решение конкретных инженерных задач с использованием нейросетевых алгоритмов, а именно

- гидроакустики с учетом рельефа дна,

- синтеза полосковых антенн,

-распознавание гранулометрического состава набора шарообразных тел применительно к горнорудному производству,

По результатам диссертационного исследования опубликовано 14 научных работ, из них 4 опубликовано в рецензируемых ВАК журналах и 10 были включены в труды международных конференций

Проведенное исследование показывает перспективность применения разработанных маршрута проектирования и методики выбора аппаратной поддержки при нейросетевом решешш конкретных практических задач

РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОТРАЖЕНЫ В СЛЕДУЮЩИХ РАБОТАХ

1. Галушкин А.И., Казанцев П.А., Остапенко Г.П., Реализация фрагмента нейронной сети на ПЛИС Xilinx с возможностью изменения весов и функции активации в реальном времени // Труды 6-ой Международной научно-технической конференции DSPA-2004, Москва

2. Казанцев П.А., Остапенко Г.П., Ускорение нейросетевых вычислений с помощью нейрокомпьютеров // Юбилейный выпуск «Нейрокомпьютеры разработка и применение», №4, стр 46-52, Москва, ИПРЖР, 2005г

3. Казанцев П.А., Коробкова C.B., Галушкин А.И., Neuromathematics Development tendencies H Applied and Computational Mathematics v 2, Nel, 2003г

4. Казанцев П.А., Коробкова C.B., A.M. Лодягин, Нейросетевое распознавание гранулометрического состава шарообразных тел и его сравнение с линейными методами // Материалы Международной научно-технической конференции «Интеччектуачьные машины и системы», Дивноморск, 2005, том 2, стр 251-257

5. Галушкин А.И., Казанцев П.А., Коробкова C.B., A.M. Лодягин, Пантелеев C.B., Neural Network Recognition of Spherical Bodies Set Grain-Size Distribution Using Envelope of Surface // Proceedings of IEEE WCCI'2006, Ванкувер, 2006

6 Галушкин А.И., Казанцев П.А., Остапенко Г.П., О Разработках нейрокомпьютеров в России // Труды конференции «Развитие вычисчительной техники в России и странах бывшего СНГ история и перспективы», 2006, г Петрозаводск, 3-7 июля 2006 г

7. Аляутдинов М.А., Галушкин А.И., Казанцев П.А., Остапенко Г.П.,

Нейрокомпьютеры от программной к аппаратной реализации // Изд-во «Горячая линия - телеком» М, 2006 г

8. Казанцев П.А., Нейросетевой синтез микрополосковой антенны с возбуждением коаксиальным зондом // Труды 9-ой Международной конференции DSPA'07, стр 537-539, Москва, 2007

9. Казанцев П.А., Определение глубины источника в морском пространстве по гидроакустическим параметрам среды с помощью нейронных сетей // Труды 9-ой Международной конференции DSPA'07, стр 543-546, Москва, 2007

10. Казанцев П.А., Скрибцов П.В., «Нейроматематика» - открытый пакет для решения сложных прикладных математических задач с использованием нейросетевых алгоритмов // Труды 9-ой Международной конференции DSPA'07, стр 522-527, Москва, 2007

11. Pavel A. Kazantsev, Pavel V. Skribtsov, Alexander I. Galushkin, и др

"Neuromathematics" - Open platform to accelerate complex applied math problems solutions using neural network algorithms // Proceedings of IJCNN'2007, Orlando, Flonda, August 12-17,2007

12. Казанцев П.А., Нейрокомпьютеры на базе программируемых логических интегральных схем // Нейрокомпьютеры разработка и применение, Издательство «Радиотехника», №8, на CD, Москва, 2007

13. Казанцев П.А., Построение моделей микрополосковых антенн с помощью нейронных сетей прямого распространения // Нейрокомпьютеры разработка и применение, Издательство «Радиотехника», №9, на CD, Москва, 2007

14. Галушкин А.И., Казанцев П.А., Козлов К.В., Лодягин А.М., В.Ф. Лось, Нейросетевой синтез микрополосковой антенны, возбуждаемой коаксиальным зондом // Издательство «Радиотехника», Журнал «Антенны», №9 2007

Подписано в печать 20 апретя 2008 г

Формат 60x90/16

Объем 1,3 п л

Тираж 100 экз

Заказ № 280408124

Оттиражировано на ризографе в ООО «УниверПринт» ИНН/КПП 7728572912V772801001

Адрес 117292 г Москва, ул Дмитрия Ульянова, д 8, кор 2 Тел 740-76-47, 125-22-73 http //www umverprmt ru

Введение.

Глава 1. Основы построения нейросетевых приложений.

1.1 Нейроматематика - новый перспективный раздел вычислительной математики.

1.2. Выбор задач, адекватных нейросетевому логическому базису.

1.3. Маршрут проектирования нейросетевого приложения.

1.4. Алгоритм обратного распространения ошибки для сетей с прямыми последовательными связями.

1.5. Выводы по главе 1.

Глава 2. Решение сложных инженерных задач в нейросетевом логическом базисе.

2.1. Решение задач гидроакустики с учетом рельефа дна.

2.1.1. Нейросетевой алгоритм решения задачи гидроакустики с учетом рельефа дна.

2.1.2. Экспериментальные результаты.

2.2. Синтез микрополосковых антенн.

2.2.1. Нейросетевой синтез однослойной микрополосковой антенны (МПА) с возбуждением пластины коаксиальной линией.

2.2.2. Экспериментальные результаты.

2.3. Распознавание гранулометрического состава шарообразных тел применительно к горно-рудному производству.

2.3.1. Нейросетевой алгоритм распознавания гранулометрического состава шарообразных тел.

2.3.2. Экспериментальные результаты.

2.4. Выводы по главе 2.

Глава 3. Программный комплекс "Нейроматематика" (ПКНМ).

3.1 Назначение и область применения.

3.2. Основные компоненты IIKИМ.

3.2.1 Состав ПКНМ.

3.2.2 Платформа ПКНМ.

3.2.3. Компоненты РПЗ.

3.2.4. Общий алгоритм работы ПКНМ.

3.3. Выводы по главе 3.

Глава 4. Аппаратная поддержка нейросетевого алгоритма.

4.1. Реализация нейросетевых алгоритмов на классическом кластере.

4.2. Реализация нейросетевых алгоритмов на графических процессорных устройствах.

4.3. Реализация нейросетевых алгоритмов на базе программируемых логических интегральных схем (ПЛИС).

4.4 Перспективные аппаратные реализации нейросетевых алгоритмов

4.5. Выводы по главе 4.

Актуальность темы. Нейросетевые технологии на сегодняшний день зарекомендовали себя как эффективное средство решения многих инженерных и производственных задач. Нейросетевые решения успешно применяются в системах безопасности, системах динамического управления сложными объектами, проектах интеллектуальных зданий, медицинской технике, системах контроля качества на производстве, системах энергосбережения, и многих других.

Одной из причин успешного применения нейросетевых технологий является то, что в настоящее время расчет сложных производственных и инженерных задач требует больших вычислительных мощностей. Характерной особенностью некоторых современных практических задач является то, что. даже кластерные конфигурации с числом процессоров до нескольких сотен, не позволяют получать требуемое время счета. Выигрыш по производительности нейросетевых систем обуславливается принципиально отличной от классических алгоритмизацией этих систем.

Реализация сверхвысоких вычислений для ресурсоемких вычислительных задач все чаще осуществляется на основе использования нейромате-матики — новом разделе математики, интенсивно развивающемся в настоящее время как у нас в стране, так и за рубежом. Использование методов нейрома-тематики позволяет изначально определить параллельный алгоритм - нейро-сетевой алгоритм решаемой задачи и, в зависимости от требований производительности и других ограничений, использовать для его реализации соответствующие вычислительные мощности, специально ориентированные на параллельные вычисления, включая кластеры.

Помимо алгоритмической эффективности, нейросетевой подход обладает существенным уровнем универсализации. Он позволяет обеспечить эффективное решение не только сложных прикладных задач, реализация которых представляет трудность по критерию отношения производительности к стоимости для вычислительных средств с традиционной многопроцессорной архитектурой, но и задач среднего класса сложности, решение которых целесообразно выполнять на кластерных конфигурациях с небольшим числом узлов (до нескольких десятков). Кроме того, для относительно небольших задач возможно использование традиционных ПЭВМ с применением нейроу-скорителей.

Как отмечалось выше, в настоящее время известно множество применений нейросетевых технологий, как у нас в стране, так и за рубежом, однако, попытки построения единой методологии разработки нейросетевых приложений, в т.ч. с аппаратной поддержкой, практически отсутствуют. Это вызвано, в первую очередь тем, что нейросетевые приложения носят, по своей сути, специализированный характер. Разработка единой методологии проектирования нейросетевых приложений позволит повысить эффективность разрабатываемых решений, снизить время разработки, а также обеспечит единый базис для сравнения различных нейросетевых решений.

Цель работы состоит в исследовании и разработке маршрута проектирования нейросетевых приложений с аппаратной поддержкой и решении трех практических задач:

- гидроакустики с учетом рельефа дна;

- синтеза микрополосковых антенн;

- распознавание гранулометрического состава набора шарообразных тел применительно к горнорудному производству;

Задачи исследования. Конкретными задачами, решенными в данной работе, являются

1) разработка основ маршрута проектирования нейросетевых приложений;

2) решение конкретных задач:

- гидроакустики с учетом рельефа дна;

- синтеза проволочных антенн;

- распознавание гранулометрического состава набора шарообразных тел применительно к горнорудному производству;

3) классификация средств аппаратной поддержки нейросетевых алгоритмов;

Методы исследования. В процессе работы были использованы методы теории нейронных сетей, теории вычислительных машин и систем, моделирование на ЭВМ.

Научная новизна работы. В результате выполнения работы был получен ряд новых научных результатов, позволяющих более эффективно решать сложные инженерные задачи в нейросетевом логическом базисе, а также:

1) предложен единый маршрут проектирования нейросетевых приложений;

2) Разработан нейросетевой алгоритм определения глубины источника гидроакустического сигнала с учетом рельефа дна.

3) Разработан нейросетевой алгоритм синтеза микрополосковой антенны с возбуждением коаксиальным зондом;

4) Разработан нейросетевой алгоритм распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству.

Практическая ценность диссертации. Предложенный маршрут проектирования нейросетевых приложений использовался при создании программного комплекса «Нейроматематика», предназначенного для решения сложных инженерных задач, в том числе задач гидроакустики и синтеза микрополосковых антенн. Программный комплекс «Нейроматематика» является конечным результатом опытно-конструкторских работ по теме ИТ-13.3/001 «Разработка прикладных технологий для инженерных задач с плотными системами уравнений и сверхбольшим числом неизвестных» по заказу Федерального агентства по науке и инновациям. Разработанные нейросетевые алгоритмы решения задач гидроакустики с учетом рельефа дна, синтеза микрополосковых антенн и оценки гранулометрического состава шарообразных тел применительно к горнорудному производству используются в разработках и системах различных организаций Российской Федерации, о чем свидетельствуют соответствующие Акты внедрения. Научные положения, выносимые на защиту:

1) маршрут проектирования нейросетевых приложений;

2) нейросетевой алгоритм и экспериментальные результаты его применения в решении задачи определения глубины источника гидроакустического сигнала с учетом рельефа дна;

3) нейросетевой алгоритм и экспериментальные результаты его применения в решении задачи синтеза микрополосковой антенны с возбуждением коаксиальным зондом;

4) нейросетевой алгоритм и экспериментальные результаты его применения в решении задачи распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству;

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на научно-техническом совете МФТИ при защите эскизного и технического проектов ОКР по теме ИТ-13.3/001 «Разработка прикладных технологий для инженерных задач с плотными системами уравнений и сверхбольшим числом неизвестных» (Москва 2006г.), на научной конференции «Развитие вычислительной техники в России и странах бывшего СНГ: история и перспективы» (г. Петрозаводск 2006), на международном конгрессе по интеллектуальным вычислениям IEEE WCCI'2006 (г. Ванкувер, 2006), на научной конференции «Нейроинформатика» (г. Москва, 2006), на научной конференции «Нейросетевые технологии и их применение» (г. Краматорск, 2006), на Международной научно-технической конференции «Интеллектуальные машины и системы» (г. Дивноморск, 2006), в международном научном журнале Applied and Computational Mathematics (2003 г.), в научно-техническом журнале «Нейрокомпьютеры и их применение» (Москва, 2005г.), в отчете по НИР «Разработка системы нейроуправления чашевыми окомкователями» (Научный центр нейрокомпьютеров, Москва, 2004г.), в отчете по НИР по гранту РФФИ № 03-07 90159 (Москва, 2005г.), на научных конференциях Московского физико-технического института (Москва, 20032005гг.), на международной конференции «International Conference on Pattern Recognition and Image Analysis» (Санкт-Петербург, 2004г.), на международной научно-технической конференции «DSPA-2004» (Москва 2004г.), в отчете по НИР по проекту «Нанонейроэлементы» программы «Научные исследования высшей школы по приоритетным направлениям науки и техники» (подпрограмма «Электроника», раздел «Микро- и наносистемная техника», Москва 2003 г.), на международных рабочих совещаниях российской секции IEEE по интеллектуальным вычислениям (Russian Section of IEEE CIS, Москва 2006г.)

Структура и краткое содержание работы. Диссертационная работа содержит введение, четыре главы, заключение, приложение, библиографию работ по теме диссертации. Диссертация содержит 29 рисунков и 10 таблиц. Общий объем диссертации составляет 117 страниц. Содержание работы распределено по отдельным разделам следующим образом.

4.5. Выводы по главе 4

В данной главе, помимо рассмотрения основных аспектов аппаратной реализации нейросетевых алгоритмов, описываются наиболее распространенные на сегодняшний день ее варианты (на базе ПЛИС, графических процессорах, классических кластерах). Также рассматриваются прочие перспективные аппаратные реализации нейросетевых алгоритмов.

Аппаратная поддержка ПКНМ (см. Главу 3) реализуется на классических кластерах и графических процессорах, а также на кластерах из графических процессоров. Однако, разработчики ПКНМ, включая автора, не ограничивают область возможных реализаций только указанными выше. В Главе 4 излагаются и другие перспективные аппаратные реализации нейросетевых алгоритмов. Поддержка некоторых из них ожидается в будущих версиях ПКНМ.

ЗАКЛЮЧЕНИЕ

В данной диссертационной работе были рассмотрены теоретические и практические проблемы разработки и применения нейросетевых алгоритмов решения сложных инженерных задач, а также их аппаратной поддержки.

Разработан единый маршрут проектирования нейросетевых приложений на основе алгоритмов синтеза многослойных нейронных сетей.

Приведено описание программного комплекса «Нейроматематика», основной которого является разработанный единый маршрут проектирования нейросетевых приложений.

Рассмотрены наиболее эффективные варианты аппаратной реализации нейросетевых алгоритмов.

Приведено описание аппаратных средств для ускорения нейросетевых алгоритмов, поддерживаемых программным комплексом

Нейроматематика».

Разработан нейросетевой алгоритм определения глубины источника гидроакустического сигнала с учетом рельефа дна. Ускорение расчета по У сравнению с классическим алгоритмом составляет не менее 10 при потере в точности около 1,5-2%.

Разработан нейросетевой алгоритм синтеза микрополосковой антенны с возбуждением коаксиальным зондом. Ускорение расчета по сравнению с алгоритмов реализованным в CST Microwave Studio составляет не менее 104 при потере в точности 5%. В результате время проектирования антенны данного типа можно снизить как минимум на порядок.

Разработан нейросетевой алгоритм решения задачи распознавания гранулометрического состава набора шарообразных тел применительно к горнорудному производству. Точность алгоритма составляет от 1,5% до 4% в зависимости от категории размера тел, а скорость обработки — около 1 погонного метра транспортера в секунду.

По результатам диссертационного исследования опубликовано 15 научных работ, из них 5 опубликовано в рецензируемых ВАК журналах и 10 были включены в труды международных конференций.

1. Галушкин А.И. Многослойные системы распознавания образов, М. МИЭМ, 1970 г.

2. Галушкин А.И. Синтез многослойных нейронных систем распознавания образов, М. Из-во «Энергия», 1974 г.

3. Галушкин А.И. Теория нейронных сетей, М., ИПРЖР, 2000 г.4. под ред. Галушкина А.И, Нейроматематика. Т.6 серии «Нейрокомпьютеры и их применение», М., Из-во «Радиотехника», 2002 г.

4. Галушкин А.И. Нейроматематика (проблемы развития), «Нейрокомпьютер» №1, 2003 г.

5. Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае, М., Из-во «Горячая линия Телеком», 2004 г.

6. Галушкин А.И. Формирование начальных условий для ускорения настройки коэффициентов нейронных сетей в задачах оптимизации, «Нейрокомпьютер» №5, 2005 г.

7. Галушкин А. И. Нейрокомпьютеры. Серия «Нейрокомпьютеры и их применение» книга 3, Изд-во «Радиотехника», М 2002г.

8. K.Likharev, "Single-electron devices and Their Applications", Proc. of IEEE, vol. 87, 1999, pp. 606-632.

9. K.K. Likharev, "Correlated discrete transfer of single electron in ultrasmall tunnel junctions", IBM J. Res. Develop., vol. 32, №1, pp. 144-158, 1988.

10. Simon Foiling, Ozgur Turel, Konstantin Likharev, "Single-Electron Latching Switches as Nanoscale Synapses". Proc. IJCNN'01, 216-221

11. Галушкин А.И., Кирсанов Д.В., Цифровые нейрочипы, Зарубежная ра-диолектроника № 1, 1999 г.;

12. ХЪ.под ред. Галушкина А.И., Нейронные сети: обучение, организация и применение, Серия «Нейрокомпьютеры и их применение» Книга 4, Издательство «Радиотехника», М, 2001 г.;

13. Галушкин А.И., Сфера применения нейрокомпьютеров расширяется, Нейрокомпьютер №1, 2001 г. 60-70;

14. Галушкин A.PL, Сфера применения нейрокомпьютеров расширяется, Приложение к журналу «Информационные технологии» №10, 2001 г.;

15. Galushkin A.I., Problem of Neural Networks Theory in Their perspective, Int. Conf. On Neural Information Processing Shanghai 2001, ICONIP'Ol;

16. Розенблатт Ф, Принципы нейродинамики. — M., Мир, 1964.

17. J own D.Owens, David Luebke, Naga Govindaraju, Mark Harris, Jens Kruger, Aaron E. Lefohn, Timothy J. Purcell. A survey of General-Purpose Computation on Graphics Hardware. Eurographics 2005,State of the Art Reports , August 2005, pp.21-51.

18. JANSEN Т., VONRYMON-LIPINSKI В., HANSSENN., KEEVE E.\ Fourier volume rendering on the GPU using a Split-Stream-FFT. //Proceedings of Vision, Modeling,and Visualization (Nov. 2004), pp. 395-403.

19. PURCELL Т. J, BUCK I., MARK W. R., HANRAHAN P.: Ray tracing on programmable graphics hardware.// ACM Transactions on Graphics 21, 3 (July 2002), 703-712.

20. BOHN C. A.: Kohonen feature mapping through graphics hardware.// Proceedings of the Joint Conference on Information Sciences (1998), vol. II, pp. 64-67.

21. GPU-based multi-layer perceptron as efficient method for approximation complex light models in per-vertex lighting. // http://stud.ics.p.lodz.pl/~keyei/lab/atmoseng/index.html.

22. Kyoung-Su Oh, Keechul Jung :GPU implementation of neural networks. // Pattern Recognition 37 (2004) 1311 1314 www.elsevier.com/locate/patcog.

23. NVIDIA GeForce 7900 GT PCI-E 256MB DDR3 (450/1320 MHz). http://www.ixbt.com/video/itogi-video/0306/itogi-video-gf7900gt.html.

24. NVIDIA GeForce 7900 GTX PCI-E 512MB DDR3 (650/1600 MHz). http://www.ixbt.com/video/itogi-video/0306/itogi-video-gf7900gtx-512.html.33. 3Dlabs, New Wildcat Realizm Graphics Technology, www.3dlabs.com,2004.

25. William R. Mark. R. Steven Glanville, Kurt Akeley, Mark Kilgard (The University of Texas at Austin. NVIDIA Corporation): Cg: A system for programming graphics hardware in a C-like language.

26. Mccormick P. S., Inman J., Ahrens J. P., Hansen C., Roth G.: Scout: A hardware-accelerated system for quantitatively driven visualization and analysis.IEEE Visualization 2004 (Oct. 2004), pp. 171-178.

27. LEFOHN A. E., KNISS J., STRZODKA R., SENGUPTA S., OWENS J. D.: Glift:Generic, efficient, random-access GPU data structures.//ACM Transactions on Graphics(2005).

28. LEFOHN A., KNISS J., OWENS J.: Implementing efficient parallel data structures on GPUs. GPU Gems 2, Pharr M., (Ed.).AddisonWesley, Mar.2005, ch. 33, pp. 521-545.

29. BUCK I, FOLEY Т., HORN D., SUGERMAN J., FATAHALIAN K, HOUSTON M., HANRAHAN P.: Brook for GPUs: Stream computing on graphics hardware.// ACMTransactions on Graphics 23, 3 (Aug. 2004), 777— 786.

30. PURCELL T. J., BUCK I., MARK W. R., HANRAHAN P.: Ray tracing on programmable graphics hardware.// ACM Transactions on Graphics 21, 3 (July 2002), 703-712.

31. Коммуникационные библиотеки -http://www.parallel.ru/tech/tech dev/ifaces.html.

32. Технология параллельного программирования MPI — http://parallel.ru/tech/tech dev/mpi.html.

33. Под ред. Бреховских JI.M. , Акустика океана. / М.: Наука, 1974.43 .Бреховских JI.M., Лысанов Ю.П. Теоретические основы акустики океана. Гидрометеоиздат, Ленинград, 1982.

34. H.J. DELGADO, М.Н. THURSBY, F.M. НАМ, A Novel Neural Network for the Synthesis of Antennas and Microwave Devices // IEEE Trans. On Neural Networks, vol. 16, №6, Nov. 2005.

35. Галушкин А.И., Кирсанов Д.В., «Заказной каскадируемый нейрочип», Нейрокомпьютер, 2, 1992.

36. Галушкин А.И., Кирсанов Д.В. и др., «Разработка цифрового универсального каскадируемого нейрочипа», Отчет по НИР, НЦН РАН, 1993, Москва.41 .Реализация нейронных сетей на ПЛИС Xilinx. Воронеж: СКАН Инжиниринг Телеком. 2000. 32 стр.

37. А.В. Алюшин, М.И. Шулепко, Исследование технологии проектирования на ПЛИС, 2-ой Этап НИР 90-3-730, 1991, Москва

38. Choi Н., Burleson W.P., Phatak D.S. Fixed-Point Roundoff Error Analysis of Large Feedforward Neural Networks. //Proceedings of 1993 IEEE50.www.xilinx.com. The programmable logic data book, 2002

39. L.M. Reyneri, "Implementation Issues of Neuro-Fuzzy Hardware: Going Towards HW/SW Design", IEEE Transactions on Neural Networks, Vol. 14, №1, Janyary 2003, pp. 176-194.

40. Галушкин А.И., Кирсанов Д.В., Цифровые нейрочипы (специализированные цифровые БИС для нейрокомпьютеров)// Зарубежная радиоэлектроника 1999 №1, стр. 17-37.

41. П.А. Казанцев. О нейронных сетях на базе одноэлектронных туннельных устройств. Труды XLV научной конференции МФТИ, 2002 г.

42. П.А.Казанцев, А.И. Галушкин, Г.П. Остапенко. Реализация фрагмента нейронной сети на ПЛИС Xilinx с возможностью изменения весов и функции активации в реальном времени, Труды 6-ой Международной научно-технической конференции DSPA-2004, Москва.

43. Казанцев П.А., Интегрированный контур обучения, как средство повышения производительности и функциональности цифрового нейросетевого устройства, Труды 6-ой Международной научно-технической конференции DSPA-2004, Москва.

44. Галушкин A.M., Казанцев П.А., Остапенко Г.П., Исследования с целью создания супернейрокомпыотеров, включая системное и прикладное программное обеспечение, отчет по НИР по гранту № 03-07 90159, Москва 2005г.

45. Казанцев П.А. и др., Разработка системы нейроуправления чашевыми окомкователями. Отчет по НИР/ Научный центр нейрокомпьютеров. — М, 2004.

46. Остапенко Г.П., Казанцев П.А., Аппаратная реализация нейрокомпьютеров в России, Юбилейный выпуск «Нейрокомпьютерыи их применение», №1, Москва, ИПРЖР, 2005г.,

47. A.I. Galushkin, S.V. Korobkova, P.A. Kazantsev, Neurocomathematics: Development tendencies, Applied and Computational Mathematics v.2, №1, 2003r.

48. Казанцев П.А., Коробкова С.В., Лодягин A.M., Распознавание гранулометрического состава потока округлых тел по огибающей поверхности нейросетевым методом, Нейросетевые технологии и их применение («НСТиП-2005»), г. Краматорск, 2005.

49. Galushkin A.I., Kazantsev P.A., Korobkova S.V., Lodyagin A.M., Panteleev S.V., Neural Network Recognition of Spherical Bodies Set Grain-Size Distribution Using Envelope of Surface, Proceedings of IEEE WCCI'2006.

50. Казанцев П.А., Нейросетевой синтез микрополосковой антенны с возбуждением коаксиальным зондом // Труды 9-ой Международной конференции DSPA'07, стр. 537-539, Москва, 2007.

51. Казанцев П.А., Определение глубины источника в морском пространстве по гидроакустическим параметрам среды с помощью нейронных сетей // Труды 9-ой Международной конференции DSPA'07, стр. 543546, Москва, 2007.

52. Х.Казанцев П.А., Скрибцов П.В., «Нейроматематика» открытый пакет для решения сложных прикладных математических задач с использованием нейросетевых алгоритмов // Труды 9-ой Международной конференции DSPA'07, стр. 522-527, Москва, 2007.

53. Казанцев П.А., Нейрокомпьютеры на базе программируемых логических интегральных схем // Нейрокомпьютеры: разработка и применение, Издательство «Радиотехника», №8, стр. 73-84, Москва, 2007.

54. Казанг\ев П.А., Построение моделей микрополосковых антенн с помощью нейронных сетей прямого распространения // Нейрокомпьютеры: разработка и применение, Издательство «Радиотехника», №9, на CD, Москва, 2007.

55. Галушкин А.И., Казанцев П.А., Козлов КВ., Лодягин A.M., В.Ф. Лось, Нейросетевой синтез микрополосковой антенны, возбуждаемой коаксиальным зондом // Издательство «Радиотехника», Журнал «Антенны», №9, 2007.