автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Нейроэволюционный алгоритм и программные средства для обработки изображений

На правах рукописи

Цой Юрий Робертович

НЕЙРОЭВОЛЮЦИОННЫЙ АЛГОРИТМ И ПРОГРАММНЫЕ СРЕДСТВА ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ

Специальность 05 13 01 - «Системный анализ, управление и обработка информации (отрасль информация и информационные системы)»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Томск-2007

003062569

Работа выполнена на кафедре «Вычислительная техника» ГОУ ВПО «Томский политехнический университет»

Научный руководитель

доктор технических наук, ст научный сотрудник В.Г. Спицын

Официальные оппоненты

доктор технических наук, профессор A.M. Кориков

доктор технических наук К.Т. Протасов

Ведущая организация

Сибирский государственный аэрокосмический университет им академика М Ф Решетнева, г Красноярск

Защита состоится « »____ 2007 г в 15 ч , в ауд 214

на заседании диссертационного совета Д 212 269 06 при Томском политехническом университете по адресу 634034, г Томск, ул Советская, 84, институт «Кибернетический центр» ТПУ

С диссертацией можно ознакомиться в библиотеке Томского политехнического университета по адресу 634034, г Томск, ул Белинского, 53

Автореферат разослан

Ученый секретарь диссертационного Совета

к т н , доцент

М А Сонькин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Благодаря работам У Мак-Каллока, В Пштса, А Н Колмогорова, В И Арнольда, Г Цыбенко, В Крейновича, А Н Горбаня и др было показано, что искусственные нейронные сети (ИНС) являются аналогами машины Тьюринга, а также были показаны универсальные аппроксимирующие способности ИНС Тем самым продемонстрирована перспективность использования ИНС для решения задач, для которых сложно найти формальный алгоритм решения

В настоящее время отсутствует формализованный метод подбора структуры ИНС в зависимости от поставленной задачи и ее характеристик Еще одной проблемой «классического» нейросетевого подхода является необходимость формирования обучающего множества, что не всегда осуществимо, например, при решении некорректных задач, либо из-за отсутствия формализованной модели исследуемого объекта

Комплексное решение этих проблем возможно с использованием эволюционных алгоритмов (ЭА), а соответствующий подход будем называть ней-роэволюционным (НЭ) За последние 20-25 лет был выполнен большой объем исследований, посвященных НЭ подходу для решения разнообразных задач, связанных с настройкой структуры и весов связей ИНС Активно развиваются идеи НЭ подхода применительно к вопросам реализации многоагент-ных систем, адаптивного поведения и искусственной жизни, эволюционной робототехники Указанным проблемам посвящены работы Д Флореано, Р Мииккулайнена, С Нолфи, В Г Редько, К Стенли и других исследователей

Одной из основных проблем, возникающих при разработке НЭ алгоритмов, позволяющих одновременно настраивать структуру и веса связей ИНС, является проблема эффективности, вызванная огромным пространством поиска, включающем не только все возможные (для выбранного способа кодирования) комбинации весов межнейронных связей для различных структур ИНС, но и пространство самих структур Также необходимо отметить отсутствие единой методологии разработки таких алгоритмов Как следствие, к настоящему времени создано очень мало эффективных НЭ алгоритмов для одновременной настройки и обучения ИНС При этом количество параметров в этих алгоритмах достаточно велико, их настройка часто производится экспериментальным путем и требует достаточно высокой квалификации пользователя в области ЭА и ИНС, что затрудняет практическое использование НЭ алгоритмов

Таким образом, можно сделать вывод об актуальности проблемы разработки НЭ алгоритмов, использующих механизмы адаптации для подстройки значений параметров в процессе работы

Исследования и разработки по теме диссертационной работы проводились в соответствии с утвержденным планом НИР Института «Кибернетический центр» ТПУ по заданию Минпромнауки РФ (прикладное научное исследование, номер государственной регистрации НИР

01200502213), а также поддержаны грантом РФФИ № 06-08-00840 и грантом ТПУ для молодых ученых 2007 г

Целью диссертационного исследования является разработка основанного на методах эволюционных вычислений адаптивного алгоритма для одновременной настройки структуры и весов связей ИНС и программных средств для обработки цифровых изображений

Для достижения поставленной цели необходимо последовательное решение следующих задач

1 Общий анализ ЭА и НЭ подхода и формулировка на основе результатов анализа требований к адаптивному НЭ алгоритму для ИНС прямого распространения

2 Разработка адаптивных генетических операторов на основе анализа ЭА с точки зрения сформулированных требований к НЭ алгоритму Решение данной задачи предполагает также исследование эффективности предлагаемых генетических операторов

3 Разработка адаптивного НЭ алгоритма с учетом результатов решения предыдущих задач Решение данной задачи предполагает также исследование эффективности предлагаемых методов и алгоритмов

4 Апробация разработанного НЭ алгоритма для решения задачи улучшения визуального качества цифровых изображений на основе приближенной оценки качества работы ИНС

Методы исследований В работе использованы методы теории множеств, теории графов, прикладной математики, теории вероятностей, математической статистики, теории оптимизации, цифровой обработки изображений, теории информации, мягких вычислений

Научную новизну полученных в работе результатов определяют

1 Способ вычисления времени смешивания для операторов кроссинговера для целочисленного кодирования, отличающийся от известных меньшей вычислительной сложностью за счет исключения из анализа динамики популяции

2 Стратегия адаптации размера популяции в процессе работы эволюционного алгоритма, отличающаяся от известных стратегий подстройки размера популяций реализацией подхода, при котором популяция увеличивается при отсутствии улучшения и уменьшается в обратном случае, а также использованием последовательности Фибоначчи

3 НЭ алгоритм NEvA для одновременной эволюционной настройки структуры и весов связей ИНС, отличающийся от известных НЭ алгоритмов большими возможностями к адаптации в процессе эволюционного поиска

4 Формулы для приближенного вычисления локальных характеристик изображений, позволяющие значительно ускорить вычисления, необходимые для осуществления обработки изображений и отличающиеся от формул алгоритма box-filtering для ускорения вычисления локальных характеристик меньшими требованиями к объему оперативной памяти

5 Трехэтапный способ улучшения качества полутоновых и цветных

цифровых изображений, отличающийся от известных подходов использованием ИНС для попиксельной локально-адаптивной обработки изображений

Практическая ценность и реализация результатов работы Практически значимыми являются методы, алгоритмы, аналитические оценки и формулы, разработанные и полученные в результате диссертационного исследования

Разработанные программные средства для обработки изображений используются в ОАО «ТомскНИПИнефть ВНК» Результаты внедрения подтверждены соответствующим актом. Результаты диссертационного исследования внедрены в учебный процесс в Томском политехническом университете, в Томском государственном университете систем управления и радиоэлектроники и в Северской государственной технологической академии

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих симпозиумах, конференциях и семинарах Региональная конференция-конкурс «Технологии Microsoft в информатике и программировании» (г. Новосибирск, 2004 г), И и IV Всероссийская конференция «Молодежь и современные информационные технологии» (г Томск, 2004 и 2006 гг), VIII и IX Русско-Корейский международный симпозиум по науке и технологии KORUS-2004 (г Томск, 2004 г) и KORUS-2005 (г Новосибирск, 2005 г), X и XI Международная конференция «Современные техника и технологии» (г Томск, 2004 и 2005 гг), Международная конференция «Интеллектуальные системы AIS'04» (Россия, п Дивноморское), XIII Всероссийский семинар «Нейроинформатика и ее приложения» (г Красноярск, 2005 г), VIII и IX Всероссийские научно-практические конференции «Нейроинформатика - 2006» и «Нейроинформатика - 2007» (г Москва), USNC/URSI National Radio Science and AMEREM Meetings (Albuquerque, USA, 2006), Всероссийская научная конференция «Нечеткие системы и мягкие вычисления» (г Тверь, 2006 г.), Десятая национальная конференция по искусственному интеллекту с международным участием (КИИ-06) (г Обнинск)

По результатам диссертационных исследований опубликовано 26 работ, в том числе 21 статья

Личный вклад:

1 Постановка задач диссертационного исследования выполнена автором совместно с В Г Спицыным

2. Вывод оценок времени смешивания для операторов кроссинговера и экспериментальная проверка полученных формул выполнены автором

3 Генный оператор кроссинговера и стратегия адаптации размера популяции разработаны автором Постановка задачи исследования их эффективности выполнена автором Им же получены результаты

4 НЭ алгоритм NEvA для одновременной настройки структуры и весов межнейронных связей ИНС разработан автором Постановка задач

исследования эффективности разработанного НЭ алгоритма и результаты осуществлены и получены автором

5 Постановка задачи применения НЭ алгоритма для улучшения визуального качества изображений выполнена автором совместно с В Г Спицыным

6 Формулы для приближенного вычисления локальных среднего и дисперсии изображений получены автором Исследование полученных формул выполнено автором

Основные положения, выносимые на защиту:

1 Разработанный новый способ вычисления оценок времени смешивания для генетических операторов кроссинговера для целочисленного кодирования позволяет значительно уменьшить вычислительную сложность вывода оценок времени смешивания благодаря исключению из анализа динамики популяции

2 Разработанный НЭ алгоритм ЫЕуА для одновременной эволюционной настройки структуры и весов связей ИНС позволяет эффективно решать тестовые задачи при сравнении с известными алгоритмами и подходами

3 Полученные формулы для приближенного вычисления локальных характеристик изображений позволяют значительно ускорить вычисления, необходимые для осуществления обработки изображений, по сравнению с точными формулами при сохранении приемлемой точности результатов

4 Трехэтапный способ улучшения качества цифровых изображений позволяет быстро и эффективно улучшать визуальное качество изображений

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 231 наименований и приложения Общий объем диссертации составляет 208 страниц машинописного текста, из них 27 страниц занято списком источников, 33 страницы - 62 рисунками и 22 страницы - 26 таблицами

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность диссертационной работы, формулируются цель и задачи исследования, и приводится краткое содержание работы по главам

В первой главе представлен аналитический обзор эволюционных алгоритмов, искусственных нейронных сетей и нейроэволюционного подхода Рассмотрены основные способы адаптации параметров в эволюционных алгоритмах, а также отмечена эффективность использования генетических операторов рекомбинации и вариации на уровне фенотипов Рассмотрены случаи, вызывающие сложности при формировании обучающего множества данных, необходимого для настройки весов связей ИНС, и показано, что одним из возможных выходов в случае отсутствия обучающего множества может бьггь использование эволюционного обучения с интегральной оценкой ИНС, отражающей качественные аспекты ее функционирования

Проанализированы возможности использования ИНС для решения задач обработки и анализа изображений На основе анализа показаны сложности нейросетевой предобработки изображений и предложено использование ИНС для аппроксимации преобразования яркости пикселей

/* = T(I, Í1), (1)

где lui*- интенсивность пикселей до и после обработки соответственно, SI — вектор параметров, определяющих локальные и/или глобальные характеристики каждого пикселя обрабатываемого изображения

В результате анализа НЭ алгоритмов, показаны основные преимущества и недостатки применения НЭ подхода Рассмотрены примеры решения задач адаптивного управления, адаптивного поведения и компьютерного творчества с использованием НЭ алгоритмов. На основе анализа ЭА, ИНС и НЭ подхода сформулированы следующие требования к адаптивному НЭ алгоритму для одновременной настройки структуры и весов связей ИНС

1 Возможность работы с хромосомами переменной длины

2 Независимость от порядка следования генов в хромосоме

3 Возможность одновременного существования ИНС с различной структурой в одной популяции

4 Минимизация вероятности появления НС решений с «плохой» структурой

5 Возможность поиска структуры ИНС как в сторону усложнения, так и в сторону упрощения

6 Настройка параметров в процессе работы алгоритма для улучшения получаемых результатов и возможности адаптации к условиям эволюционного поиска при решении различных задач

Вторая глава посвящена исследованию генетического алгоритма, предлагаемых операторов генного кроссинговера и адаптации размера популяции

Предложен вычислительно менее сложный по сравнению с известными способ вычисления времени смешивания для генетических операторов кроссинговера (ОК) для целочисленного кодирования Время смешивания (mixing time) является временем (в количестве поколений), за которое оператор скрещивания, работающий без селекции и мутации, преобразует популяцию строк, такую что каждая пара строк не содержит одинаковых символов, в популяцию строк одинаковых по составу

Время смешивания для 1- и 2-точечного ОК было получено ранее и имеет порядок Однако использованный в предыдущих работах

математический аппарат довольно сложен ввиду необходимости анализа популяции строк Заметим, что задача вычисления времени смешивания может быть переформулирована таким образом, что необходимо найти время г, которое потребуется, чтобы распределить символы некоторой строки S0 длины L по всей популяции так, чтобы все разряды попали в различные строки Это позволяет избавиться от необходимости анализа всей популяции

строк и представить время смешивания для одноточечного (г,) и двухточечного (т2) ОК в следующем виде

= (£ - ОЕ- >(1~ О'обг (гТГ^Г)« 0,722(1 - 1)1п -1), к

иг I г

г, =12У-'->-1ое,л/21«0,36Шп2£

1 й2*(2*-1) 2 62

Полученные выражения совпадают по порядку величины со временем смешивания для 1-й 2-точечного кроссинговера 0(/Лп ¿), вычисленного другими авторами Заметим, что г, и 2г2, что также совпадает с известным результатом Полученные оценки находятся в хорошем согласии с результатами моделирования

Представлен генный ОК для неупорядоченных целочисленных хромосом переменной длины, в котором при скрещивании хромосом соответствующие гены скрещиваются независимо друг от друга Результаты исследования эффективности генного ОК позволили сделать следующие выводы

1. Результаты работы 2-точечного генного ОК для рассматриваемых тестовых функций, как правило, лучше результатов 1-точечного генного кроссинговера При этом 1-точечный генный ОК часто оказывается хуже однородного и 2-точечного ОК, в то время как использование 2-точечного генного кроссинговера во многих случаях дает лучшие результаты

2 Масштабируемость генного ОК превосходит масштабируемость 1-,2-точечного и однородного ОК

3 Для генного ОК предпочтительно использовать популяции малого и среднего размера При повышении размера популяции (как правило, 200 особей и больше) результаты работы 2-точечного и однородного ОК нередко оказываются значительно лучше результатов генного ОК

Процесс решения задачи адаптации размера популяции был разбит на два этапа

1 Исследование влияния изменения размера популяции на характеристики эволюционного поиска

2 Разработка стратегии адаптации размера популяции на основе результатов, полученных на первом этапе

В результате решения задачи первого этапа на основании экспериментальных данных сформулирована следующая стратегия адаптации размера популяции. «Размер популяции необходимо увеличить, если приспособленность лучшей особи в популяции уменьшается, либо не изменяется, то есть отсутствует прогресс В случае если приспособленность лучшей особи увеличивается, другими словами, наблюдается эволюционное улучшение, то размер популяции следует уменьшить»

Предложена следующая реализация общей стратегии адаптации размера популяции использованием последовательности Фибоначчи, позволяющая адаптироваться к характеристикам эволюционного поиска

ЛЧМ 1)=- V(/)-K;(/)Л, fa, u(t) = u(t -1),

}1, I^MXIh^C- 1) или f < In /, "" l— 1. И / > In /,

где A'(0 - размер популяции в поколении t , ак - А-й член последовательности Фибоначчи, u(t) - направление изменения (увеличение или уменьшение) размера популяции в поколении /, Г^, - значение лучшей приспособленности в популяции к - количество поколений, в течение которых направление и изменения размера популяции остается постоянным Значение операций «-<» и «>-» зависит от типа решаемой задачи

- при /• —► min операции «ч» и «>-» эквивалентны соответственно «>» и «<»,

- при / тах операции «--,» и «v» эквивалентны соо1ветственно

« < » и « > »

Экспериментальное исследование предложенной стратегии адаптации размера популяции показало, что ее применение позволяет в большинстве случаев получить результаты, которые сопоставимы или лучше результатов ГЛ с постоянным размером популяции Отмечена эффективность предложенной стратегии адаптации размера популяции для случая малого начального размера популяции

В третьей главе описывается разработанный НЭ алгоритм NEvA для одновременной настройки весов и связей ИНС, разработанный в соответствии с требованиями, сформулированными в Главе 1, и с использованием результатов исследований ГА в Главе 2

Информация о структуре и весах связей ИНС кодируется в виде списка связей ИНС (пример показан на рис 1)

ген 1 ich 2 ich 3 геи 4 un 5

I ¡4 4 |3 2 1 3 2 U 0|3

0 23 -1 5 -0 08 4 79 1 04

1Нч-иьныи Конечный

НСИроЦ СВЯЗИ j НСЙроН 1ВЯ1И Вес святи

..101 0 2 l/Tyj/r

'4 79.

<1>°К4>

»CO

-TV-' -j

-0 08

Рис 1 Пример генетическою кодирования информации об ИНС В левой части рисунка показано генетическое представление (хромосома), в правой -соответствующая ИНС Кружки обозначают нейроны, числа в кружках -индексы нейронов, подписи рядом со связями соответствуют весам

Разработаны специализированные операторы скрещивания и мутации,

позволяющие адаптироваться к структурам обрабатываемых ИНС В результате мутации возможно добавление и удаление скрытых нейронов и межнейронных связей, а также изменение веса случайно выбранной связи

Для повышения качества работы НЭ алгоритма различные виды мутаций применяются в зависимости от особенностей архитектуры ИНС, соответствующей мутирующей особи Использование такого подхода позволяет получить в результате работы НЭ алгоритма достаточно компактные, с точки зрения структуры, ИНС Представленный адаптивный оператор мутации позволяет уменьшить вероятность появления ИНС с «плохой» структурой, например, содержащих большое число слабо связанных между собой скрытых нейронов

При разработке алгоритма ЫЕуА большое внимание уделялось способностям к адаптации, в результате чего следующие компоненты и параметры алгоритма настраиваются адаптивно в процессе работы

- размер популяции,

- оператор кроссинговера,

- способность генного оператора кроссинговера к разрушению в зависимости от количества генов в хромосоме,

- оператор мутации,

- вероятность мутации

Тестирование алгоритма ИЕуА с начальными значениями параметров из табл 1 проводилось с использованием следующих задач

- задача классификации («Исключающее ИЛИ»),

- адаптивное нейроуправление (перевернутый маятник)

Табл 1 Начальные значения параметров для алгоритма ИЕуА при тестировании (N1 и М0 -соответственно количество входов и выходов ИНС)

Параметр Начальное значение параметра

Разрядность генов 19

Диапазон значений генов [-26,2144,26,2143]

Селекция Усечением

Порог отсечения 0,5

Количество элитных особей 1

Оператор кроссинговера для закодированных весов связей 2-точечный генный

Вероятность кроссинговера, Рс 0,8

Вероятность мутации, Рт 1/(^/^0)

Размер популяции, N0 50

Мин размер популяции, №т1„ 2(2+[10й(19Д';Л'о)])

Макс размер популяции, Ытса 200

Отметим, что начальные значения параметров, представленные в табл 1, используются и для решения задачи НЭ улучшения визуального качества

цифровых изображении

Результаты работы алюритма дтя задачи «Исключающее ИЛИ»

(количество Л// вычислений целевой функции, необходимые для нахождения решения) и сравнение с алгоритмами генетическим алюритм (ГА), ГА с этпизмом (ЭГА), обратное распространение ошибки (ОР), и ОР с инерционностью (ОРИ) представлены в табл 2 (<К> и <' V, > -соответственно среднее количество нейронов и связей в ИНС)

Габл 2 Средние значения <Л'//> для различных алгоритмов Структура ИНС для алгоритмов ПГА, ЭГА, ОР и ОРИ «2-4-1»

N f- V К ' ПГА эгл ОР ОШ

<л„> 7693,7 1261,99 711,97 3682,90 619 7

(.КО 3577,98 2127 72 890,27 4465,94 , 407 70

Неудачи 0 ^ 0 и 1

7,67 8

15,35 17

При сравнении результатов алгоритмов ГА, ЭГА, ОР и ОРИ с ре!ультатами работы предлагаемого алгоритма NEvA видно, что с учетом того, что в разработанном НЭ алгоритме рассматривалась изначально более сложная задача, включающая одновременный поиск структуры и весов связей ИНС, по значению <А'ц.> алгоритм NEvA незначительно 01стает от сравниваемых аторитмов Среднее количество нейронов и связей в ИНС, полученных в результате работы алгоритма NEv\, составило ответственно 7,67 и 15,35, что позволяет говорить о сопоставимой по сложности структуре ИНС для сравниваемых алгоритмов Среднее время поиска решения с использованием разработанного НЭ алгоритма составило 1,15 с со

среднеквадратичным отклонением равным 0,60

Еще одной тестовой задачей является задача балансирования шестов Данная задача предегавтяет собой задачу адаптивного неироуправления Целью является удержание от падения выведенных из равновесия 1 либо 2 шестов, находящихся на тетежке, путем перемещения тележки

Рассматривались следующие варианты задачи

1 Один шест, фиксированная сила воздействия на тележку, равная ЮН в каждую сторону

2 Два шеста различной длины, непрерывная по величине сила воздействия на тележку в диапазоне от 0 до 10 Н в каждую сторону

В обоих вариантах задачи оценивается количество попыток, необходимое чтобы найти требуемый нейроконтроллер

Результаты экспериментов для проблемы с 1 тестом, усредненные по 100 запускам, и сравнение алгоритма NEvA с известными алгоритмами GENITOR, SANE, ESP и CMA-ES приведены в табл 3

Обозначение в табл 3 «■(/-» для алгоритма SANE означает, что количество скрытых нейронов и связей фиксировано, но алгоритм настраивает расположение межнейронных связей Из предегавпенныч в табл

3 результатов видно, что разработанный алгоритм уступает алгоритмам SANE, ESP и CMA-ES Отметим, что уменьшение начального размера популяции до 25 особей (N0 = 25) привело к существенному улучшению результатов (последняя строка в табл 3) Также заметим, что во всех случаях разработанный НЭ алгоритм опережает алгоритм GENITOR

Табл 3 Результаты решения задачи с 1 маятником

Алгоритм Среднее количество попыток СКО Настройка структуры ИНС Число неудач

GENITOR 1846 1396 - 0

SANE 535 329 +/- 0

ESP 285 277 - 0

CMA-ES 283 138 - 0

NEvA 688,46 687,58 + 0

NEvA (No =25) 466,79 439,41 + 0

Среднее время поиска решения с использованием алгоритма >ШуА при Ы0 - 50 для задачи балансирования одного маятником составляет 1,04 сек со среднеквадратичным отклонением равным 1,07

Результаты решения задачи с двумя шестами представлены в табл 4

Табл 4 Результаты решения задачи с 2 маятниками

Алгоритм Среднее количество попыток Размер популяции Число неудач

SANE 12600 200 0

ESP 3800 200 0

CMA-ES 895 3 0

NEAT 3578 150 0

NEvA 1448,55 18-200 0

Результаты разработанного алгоритма NEvA значительно превосходят результаты алгоритмов SANE, ESP и NEAT, но уступают результатам CMA-ES Отметим, что в алгоритме CMA-ES не производится поиск структуры ИНС, и, следовательно, рассматривается более простая задача

Реализованная в разработанном алгоритме NEvA возможность удаления в результате мутации межнейронных связей при решении задачи балансирования двух шестов привела к удалению малоинформативных входных сигналов и уменьшению, тем самым, размерности задачи В частности, несколько раз были удалены сигналы о скорости передвижения тележки или ее координатах Соответствующие решения были найдены

— в 4 случаях при решении задачи балансирования одного шеста,

— в 11 случаях при решении задачи балансирования двух шестов

Среднее время поиска решения с использованием разработанного

алгоритма NEvA для задачи с двумя маятниками составляет 2,89 сек с СКО равным 3,07

Таким образом, экспериментальная проверка разработанного НЭ

алгоритма на тестовых задачах и сравнение с рядом известных алгоритмов и методов показали его эффективность как с точки зрения выбранного критерия оценки (количество вычислений целевой функции), так и с точки зрения структуры получаемых ИНС Отмечено высокое быстродействие алгоритма ЫЕуА, благодаря которому среднее время решения тестовых задач имеет порядок нескольких секунд

Приводится описание разработанной с использованием концепции паттернов проектирования инструментальной библиотеки классов для исследования эволюционных и нейроэволюционных алгоритмов и решения практических задач

В четвертой главе описываются результаты применения разработанного алгоритма ИЕуА к решению задачи улучшения визуального качества цифровых изображений Предлагается трехэтапный способ обработки изображений, включающий в себя следующие этапы

1) предобработка яркости исходного изображения,

2) обработка на локальном уровне с использованием ИНС,

3) обработка на глобальном уровне с применением известного алгоритма автонастройки уровней яркости

На этапе НС обработки рассматривается локально-адаптивный подход к обработке изображений. Особенность подхода заключается в независимой обработке каждого пикселя изображения, исходя из имеющегося набора его локальных и глобальных характеристик (например, локальная и глобальная средняя интенсивность)

В отличие от известных подходов, где изображение поступает для обработки на вход ИНС «целиком» (неокогнитрон, сети Хопфилда и карты Кохонена), в предлагаемом способе обработки изображений ИНС обучается обработке одного пикселя Таким образом, уменьшаются требования к объему оперативной памяти, необходимой для хранения информации об ИНС При этом появляется возможность обрабатывать изображения произвольных размеров Необходимо отметить, что такой подход допускает объединение множества ИНС, обрабатывающих по одному пикселю, в двухмерный массив для распараллеливания вычислений

ИНС используется для аппроксимации преобразования (1) следующего вида

где £ {х, у) и Цх, у) - соответственно обработанное и исходное значение яркости пикселя (х ,у), т(х у) и В(х у) - соответственно средняя яркость и

дисперсия яркости в локальной окрестности обрабатываемого пикселя

Для оценки работы ИНС (оценка качества обработанных изображений) во время ее обучения будем использовать субъективную оценку качества. Используемая в работе субъективная оценка визуального качества изображения является модификацией оценки Мунтеану-Роса и имеет

(2)

следующий вид

= Л/Л' - п 256-ехр(//) 255- Lhj

/mod A/v + - "+ 255 -

где h - суммарная интенсивность пикселей на контурах на изображении, rj -количество пикселей на контурах, А' и V/- соответственно ширина и высота изображения, Я = ~ энтропия распределения яркости изображения,

/, - доля пикселей с /-м уровнем яркости Данная оценка основана на том свойстве, что для человеческого восприятия большее значение имеет перепад яркости в соседних пикселях, чем значение яркости в каждом пикселе, чго позволяет сделать вывод о необходимости максимизации L и q В то же время, присутствие большого числа уровней градации яркости на изображении и равномерность тстограммы изображения, определяющая значение // положительно сказывается на восприятии изображения Согласно разработанной оценке /moit, чем меньше значение fmoi, тем лучше визуальное качество рассматриваемого изображения

Произведено сравнение оценки /тоЛ и оценки Мунтсану-Роса /ш с известными объективными оценками качества VIP (Visual Information Fidelity) fin , и rVIF (reversed VIF) jrUt , основанными на сравнении двух изображений, исходного и измененного, с учетом количества информации на рассматриваемых изображениях и целостности (fidelity) сигнала на измененном изображении по сравнению с исходным Результаты представлены в табл 5

Табл 5 Значения коэффициентов корреляции для пар оценок

( 1\lt )' (Л/Я' frI // )> ( ./mod ' -А // ) 11 (/mod' Jrl II )

fill frill

/ш V " ' mod -0,0323 0,1504 -0,0737 -0,6718

Корреляция между субъективной оценкой качества /то(1 и объективными оценками качества и /гИ, сильнее чем между оценкой /ш и оценками /,Л, и /гИ1 , которые, в свою очередь, хорошо согласуются с субъективными оценками визуального качества изображения Значения коэффициента корреляции для пар оценок (/п'0(), /и, ) и (['таЛ, /гШ) значимы с уровнем значимости 0,05, в то время как значения коэффициента корреляции для пар оценок (/ш, j^и ) и ( /гИ/. ) не значимы с этим же уровнем значимости

Для повышения скорости локально-адаптивной обработки получены следующие приближенные формулы для вычисления локальных среднею

т(х у) и дисперсии D{

*,у)

"Су )

»(x)(yx) + m(y)(xx) + {L) 3

и(х У)~ о

(4)

(5)

где от(г)(>'д) и т(у){хк) - средняя яркость в столбце ух и строке хк соответственно, и D(yi(xK) — дисперсия яркости в столбце ух и

строке хк соответственно, ул е [г,, /2], xr е Ц; у2], (/,) - средняя яркость

изображения Исследование полученных приближенных формул показало, что для набора искусственных и реальных изображений соотношение сигнал-шум при использовании формул (4) и (5) составляет от 20 дБ и выше для приближенного среднего, и от 30 дБ и выше для приближенной дисперсии Использование приближенных формул позволяет ускорить вычисления более чем в 30 раз для окрестности размером 65x65 пикселей

Проведено сравнение предлагаемого трехэтапного способа обработки с известными алгоритмами Multi-Scale Retinex (MSR) и алгоритмом автонастройки уровней (autolevelling) Для этого в соответствии с оценками frUF' /мя и /mod вычислялись ранги результатов обработки исходного изображения сравниваемыми алгоритмами В итоге алгоритм с наименьшей суммой рангов считается наилучшим, а алгоритм с наибольшей суммой рангов — наихудшим, среди рассматриваемых Значения сумм рангов для сравниваемых алгоритмов представлены в табл 6

Табл 6 Значения суммы рангов для алгоритмов обработки

Алгоритм Сумма рангов по оценке frV1F Сумма рангов покоэф fUR Сумма рангов покоэф /mod Сумма всех рангов

MSR 59 75 100 234

Автонастройка уровней 157 149 116 422

Трехэтапная обработка 102 94 102 298

По приведенным в табл 6 данным видно, что по всем используемым оценкам визуального качества изображений алгоритм MSR обладает наилучшими показателями, а алгоритм автонастройки уровней является наихудшим среди рассматриваемых Предлагаемый трехэтапный способ обработки уступает алгоритму MSR, но превосходит алгоритм автонасгройки уровней Отметим, что алгоритм MSR является вычислительно более сложным, поскольку в нем используется преобразование Фурье, независимая обработка каждой цветовой плоскости, и каждый пиксель обрабатывается с

! h

учетом окрестностей л радиусов, равных 1?. 80 и 250 пикселей. Скорость Обработки изображений с использованием предлагаемого Трехэтапного способа для окрестности I 1 ч 11 пикселей составляет около 0,0 10" пикселсй/сск. для процессора AMD Sempron 2500, работающего на частоте 1750 МГц, 11ример результатов работы трехэтапного способа обработки представлен на рис. 2.

а) б)

Рис, 2. Пример улучшения качества изображений с использованием трехэтапного способа: ai исходное изображение: б.) улучшенное изоражение

Описано разработанное программное обеспечение для обучения и тестирования ИНС дня обработки изображений, с поддержкой форматов BMP, TIFF, JPEG, Gif-' и PNG. Примеры интерфейса программы для обучения ИНС для обработки изображений и программы для обработки изображений с использованием обученной ИНС представлены на рис. 2,

'HWM S**.«**» Т' 1 « 1 ' " v.— '

J 1 Ьлп-'лтШ J | <Ч*.Н J 1 - 1 i ï-r.l

а) б)

Рис. 2. Примеры интерфейса программ для обучения 111 1С (а) и обработки

изображений (б)

ОСНОВНЫЕ РЕЗУЛЬТАТЫ II ВЫВОДЫ

Диссертационная работа посвящена применению методов эволюционных вычислений для настройки и обучения искусственной нейронной сети и разработке программных средств для нейросетевой

обработки изображений В результате выполнения диссертационной работы получены следующие основные научные и практические результаты

1 Разработан новый способ вычисления времени смешивания для генетических операторов кроссинговера для целочисленного кодирования Особенностью предлагаемого способа является исключение из анализа динамики популяции, что значительно упрощает процесс вывода искомых оценок, которые согласуются как с уже имеющимися аналитическими оценками, так и с результатами экспериментов

2 Предложена стратегия изменения размера популяции с использованием последовательности Фибоначчи, позволяющая адаптироваться к характеристикам эволюционного поиска Экспериментально показано, что ее применение позволяет получить результаты, которые сопоставимы или превосходят результаты ГА с постоянным размером популяции

3 Разработан НЭ алгоритм NEvA для одновременной эволюционной настройки структуры и весов связей ИНС Экспериментальная проверка разработанного алгоритма на тестовых задачах и сравнение с рядом известных алгоритмов и методов показали его высокое быстродействие и эффективность как с точки зрения выбранного критерия оценки (количество вычислений целевой функции), так и с точки зрения структуры получаемых ИНС

4 Показана эффективность реализованных в алгоритме NEvA механизмов адаптации на примере тестовых задач, а также задачи улучшения визуального качества цифровых изображений за счет использования фиксированного набора начальных значений параметров алгоритма для всех этих задач

5 Получены формулы для приближенного вычисления локальных характеристик, что позволяет ускорить вычисления, необходимые для осуществления обработки изображений Исследование полученных формул показало существенное увеличение скорости вычислений (свыше 30 раз для окрестности 65x65 пикселей) по сравнению с точными формулами при сохранении приемлемой точности результатов (более 20 дБ для среднего и более 30 дБ для дисперсии)

6 Предложен трехэтапный способ улучшения качества цветных и полутоновых цифровых изображений Сравнение результатов разработанного способа трехэтапной нейросеггевой обработки изображений с технологией Multi-Scale Retinex (MSR) показало сопоставимость результатов при небольшом превосходстве MSR, однако вычислительная сложность предлагаемого способа значительно меньше

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Цой Ю Р, Спицын В Г Генетический алгоритм настройки искусственной нейронной сети // Тезисы докладов конференции-конкурса студентов, аспирантов и молодых ученых «Технологии Microsoft в

информатике и программировании» -Новосибирск НГУ, 2004 —С. 131-133.

2. Цой Ю Р , Спицын В Г. Использование генетического алгоритма для настройки весов и структуры искусственной нейронной сети // Молодежь и современные информационные технологии Сборник трудов II Всероссийской научно-практической конференции студентов - Томск Изд-во ТПУ, 2004 -С 221-223

3 Цой Ю Р Много агенткый нейроэволюционный подход к адаптивному управлению // Труды 10-й Юбилейной международной научно-практической конференции студентов и молодых ученых «Современные техника и технологии» - Томск-Изд-во ТПУ, 2004 - С 219-220.

4 Tsoy Y R, Spitsyn V G Using genetic algorithm with adaptive mutation mechanism for neural networks design and training // Optical memory and neural networks -2004 - Vol 13, №4 - P. 225-232

Цой Ю P, Спицын В.Г Использование генетического алгоритма с адаптивной мутацией для настройки и обучения искусственных нейронных сетей // Оптическая память и нейронные сети — 2004 —Т 13, № 4 - С 225232.

5 Tsoy Y R, Spitsyn V G Use of Design Patterns for Design of the Software Environment for Researches in Genetic Algorithms // Proceedings of 8-th Korea-Russia International Symposium on Science and Technology KORUS-2004 -Tomsk, 2004 -P 166-168

Цой Ю P, Спицын В Г Использование паттернов проектирования для разработки программной среды для исследования генетических алгоритмов // Труды 8-го Русско-Корейского международного симпозиума по науке и технологиям KORUS-2004 -Томск, 2004 - С 166-168

6 Цой Ю Р, Спицын В Г К выбору размера популяции // Труды международных научно-технических конференций «Интеллектуальные системы (IEEE AIS'04)>> и «Интеллектуальные САПР (CAD-2004)» Научное издание в 3-х томах Т 1. - М : Физматлит, 2004 - С 90-96

7 Цой Ю Р, Спицын В Г Применение генетического алгоритма для решения задачи адаптивного нейроулравления // Труды VII Всероссийской научно-технической конференции «Нейроинформатика-2005» В 2-х частях 41 - М : МИФИ, 2005 - С 35-43

8 Цой Ю Р, Спицын В Г Адаптивный оператор мутации для нейроэволюционного алгоритма // XI Международная научно-практическая конференция студентов, аспирантов и молодых ученых «Современные техника и технологии» Т2 -Томск Изд-во ТПУ, 2005. - С 262-264

9. Tsoy Y R, Spitsyn V G Using Genetic Algorithm with Adaptive Mutation Mechanism for Neural Networks Design and Training // Proceedings of 9-th Korea-Russia International Symposium on Science and Technology KORUS-2005 -Novosibirsk, 2005 -Pp 237-241

Цой Ю P, Спицын В Г Использование генетического алгоритма с адаптивной мутацией для настройки и обучения искусственных нейронных сетей // Труды 9-го Русско-Корейского международного симпозиума по

науке и технологиям KORUS-2005 - Новосибирск, 2005 -С 237-241

10 Цой ЮР, Спицын В Г Нейроэволюционный подход // Нейрокомпьютеры разработка и применение —2005 — №6 -С 15-25

11 Цой Ю Р, Спицын В Г Исследование генетического алгоритма с динамически изменяемым размером популяции // Труды международных научно-технических конференций «Интеллектуальные системы (IEEE AIS'05)» и «Интеллектуальные САПР (CAD-2005)» - М Физматлит, 2005 -С 241-246

12 Цой Ю.Р, Спицын В Г Применение нейроэволюционного подхода для решения задач классификации и аппроксимации // Нейроинформатика и ее приложения Материалы XIII Всероссийского семинара - Красноярск ИВМ СО РАН, 2005 -С 123-124

13.Цой ЮР, Спицын В Г, Чернявский AB Нейроэволюционное улучшение качества изображений // Научная сессия МИФИ - 2006 VIII Всероссийская научно-техническая конференция "Нейроинформатика-2006" Сборник трудов В 3-х частях 4 1 -М МИФИ, 2006 -С 181-189

14 Цой Ю Р Настройка клеточных автоматов с помощью искусственных нейронных сетей // Научная сессия МИФИ - 2006 VIII Всероссийская научно-техническая конференция "Нейроинформатика-2006"- Сборник трудов В 3-х частях 4 3 -М МИФИ, 2006 -С 49-55

15 Цой ЮР, Спицын В Г Эволюционный подход к настройке и обучению искусственных нейронных сетей // Электронный журнал «Нейроинформатика» - 2006 - Т 1, № 1 — С. 34-61 // http //ni íont ru/Journal/Nl

16 Спицын В Г, Цой Ю Р Эволюционирующие искусственные нейронные сети // Молодежь и современные информационные технологии Сборник трудов IV Всероссийской конференции студентов, аспирантов и молодых ученых —Томск Изд-во ТПУ, 2006 -С 411-413

17 Chernyavskn AV, Tsoy YR, Spitsyn VG Image processing using evolving neural network // XIII International Symposium "Atmospheric and Ocean Optics Atmospheric Physics". - Tomsk, July 2-6,2006 - P 104

Чернявский А В , Цой Ю P, Спицын В Г Обработка изображений с использованием эволюционирующей нейронной сети // Труды XIII международного симпозиума «Оптика атмосферы и океана Физика атмосферы» - Томск, 2006 — С 104

18 Spitsyn V G, Tsoy Y R Application of Evolving Artificial Neural Network for Image Processing // USNC/URSI National Radio Science and AMEREM Meetings. - Albuquerque, USA, 2006 -P 745

Спицын В Г , Цой Ю Р Применение эволюционирующей нейронной сети для решения задачи обработки изображений // Труды Объединенного USNC/URSI и AMEREM симпозиума - Альбукерка, США, 2006 -С 745

19 Цой Ю Р , Спицын В Г , Чернявский А В Способ улучшения качества монохромных и цветных изображений, основанный на применении эволюционирующей нейронной сети // Информационные технологии - 2006

— № 7 -С. 27-33

20 Цой ЮР О математических моделях эволюционных алгоритмов // Перспективные информационные технологии и системы - 2006 - № 2 (26) -С 42-47. http //pitis tsure ru/

21.Tsoy Y R , Spitsyn V G Digital Images Enhancement with Use of Evolving Neural Networks // Proceedings of the 9-th International Conference Parallel Problem Solving from Nature - PPSN IX - Lecture Notes in Computer Science Vol 4193 - Berlin Heidelberg Springer-Verlag, 2006 -P. 593-602

Цой Ю P, Спицын В Г. Улучшение качества цифровых изображений с использованием эволюционирующих нейронных сетей // Труды 9-й международной конференции по природным параллельным методам решения проблем - Лекции по компьютерным наукам, т 4193 - Берлин Хайдельберг Шпрингер-Верлаг, 2006 - С 593-602

22 Tsoy Y R. Evolutionary Algorithms Design- State of the Art and Future Perspectives // Proceedings of IEEE East-West Design and Test Workshop (EWDTW'06) - Sochi, 2006 -P 375-379

Цой Ю P Разработка эволюционных алгоритмов Состояние и перспективы // Труды IEEE симпозиума между Востоком и Западом по методам проектирования и тестирования -Сочи, 2006 -С 375-379

23 Цой Ю Р , Спицын В Г. Трехэтапная обработка цифровых изображений с использованием эволюционирующих искусственных нейронных сетей // Всероссийская научная конференция по нечетким системам и мягким вычислениям НСМВ-2006 Труды конференции — М Физматлит, 2006 — С 231-244

24 Цой Ю Р Один способ вычисления времени смешивания для генетических операторов скрещивания // Десятая национальная конференция по искусственному интеллекту с международным участием КИИ-2006 Труды конференции ВЗ-хт ТЗ -М Физматлит, 2006 С 1047-1054

25 Цой ЮР К применению нейронных сетей для аппроксимации таблицы правил клеточного автомата // Нейроинформатика и ее приложения Материалы XIV Всероссийского семинара - Красноярск ИВМ СО РАН, 2006 -С. 129-130

26 Цой Ю Р Введение в нейроэволюционный подход основные концепции и приложения // Научная сессия МИФИ - 2007. IX Всероссийская научно-техническая конференция "Нейроинформатика-2007" Лекции по нейроинформатике Часть2.-М МИФИ,2007 -С 43-76

Подписано к печати 11 04 2007 г Тираж 100 экз Кол-во стр 20 Заказ №18-07 Бумага офсетная Формат А5 Печать RISO Отпечатано в типографии ООО «РауШ мБХ» Лицензия Серия ПД № 12-0092 от 03 05 2001г 634034, г Томск, ул Усова 7, ком 052 тел (3822)56-44-54

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР ЭВОЛЮЦИОННЫХ АЛГОРИТМОВ, ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И НЕЙРОЭВОЛЮЦИОНОГО ПОДХОДА.

1.1. Обзор и анализ эволюционных алгоритмов.

1.1.1 Классификация методов адаптации в ЭА.

1.2. Искусственные нейронные сети.

1.2.1. Проблема формирования обучающего множества данных.

1.2.2. Нейросетевая обработка изображений.

1.3. Анализ нейроэволюционного подхода.

1.3.1. Эволюционная настройка весов связей ИНС.

1.3.2. Эволюционная настройка структуры ИНС.

1.3.3. Одновременная эволюционная настройка весов связей и структуры ИНС.

У. Мак-Каллок и В. Питтс в своей основополагающей работе «Логическое исчисление идей, относящихся к нервной активности» [163] показали, что представленный ими формализм описания нейронов позволяет задавать сети, способные (при «оснащении» лентой, считывающим устройством и эффекторами) вычислять те же числа, что и универсальная машина Тьюринга. Во второй половине 50-х годов А.Н. Колмогоров [14] доказал теорему об универсальных аппроксимирующих способностях эквивалентных искусственным нейронным сетям (ИНС) вычислительных структур. В конце 80-х годов Г. Цыбенко была доказана теорема об универсальных аппроксимирующих способностях многослойного перцептрона [79], а в 90-х годах В. Крей-нович и А.Н. Горбань независимо доказали, что основным условием существования аппроксимирующих способностей ИНС является нелинейность функции активации нейронов [9, 150]. Тем самым была показана перспективность использования ИНС при решении задач, для которых сложно найти формальный алгоритм решения.

Возможность обучения ИНС является одним из основных преимуществ нейросетевого подхода, позволяющим аппроксимировать функциональные зависимости между входными и выходными данными на основе обучающего множества данных. Существенной для нейросетевой модели является структура ИНС и значения весов ее связей. Однако в настоящее время отсутствует формализованный метод подбора структуры ИНС в зависимости от поставленной задачи и ее характеристик. Поэтому построение качественной нейросетевой модели часто требует высокого уровня квалификации специалиста. Еще одной проблемой «классического» нейросетевого подхода является необходимость формирования обучающего множества, что не всегда осуществимо, например, при решении некорректных задач, либо из-за отсутствия формализованной модели исследуемого объекта.

Комплексное решение этих проблем возможно с использованием эволюционных алгоритмов (ЭА), а соответствующий подход будем называть ней-роэволюционным (НЭ). За последние 20-25 лет был выполнен большой объем исследований, посвященных НЭ подходу для решения разнообразных задач, связанных с настройкой структуры и весов связей ИНС. Активно развиваются идеи НЭ подхода применительно к вопросам реализации многоагент-ных систем [31], адаптивного поведения и искусственной жизни [26], эволюционной робототехники [172]. Указанным проблемам посвящены работы Д. Флореано, Р. Мииккулайнена, С. Нолфи, В.Г. Редько, К. Стенли и других исследователей [2, 21, 26, 96, 101,110, 157,172, 206, 230].

Применительно к НЭ подходу Фредериком Груо [117] было показано, что клеточное кодирование1, использующее набор из 20 специфичных операций (включающих операции безусловного перехода, «расщепления» нейрона, останова и др.) и предназначенное для представления последовательности правил, определяющих параметры ИНС, по выразительности не уступает универсальной машине Тьюринга и клеточным автоматам. Заметим, что идея использования эволюционных принципов для машинного обучения обсуждается и в фундаментальном труде А. Тьюринга «Могут ли машины мыслить?» [217].

Одной из основных проблем, возникающих при разработке НЭ алгоритмов, позволяющих одновременно настраивать структуру и веса связей ИНС, является проблема эффективности, вызванная огромным пространством поиска, включающем не только все возможные (для выбранного способа кодирования) комбинации весов межнейронных связей для различных структур ИНС, но и пространство самих структур. Также необходимо отметить отсутствие единой методологии разработки таких алгоритмов. Как следствие, к настоящему времени создано очень мало эффективных НЭ алгоритмов для одновременной настройки и обучения ИНС. При этом количество парамет Клеточное кодирование (cellular encoding) - метод кодирования в виде дерева с упорядоченными ветвями и помеченными вершинами множества ИНС со схожей структурой. Подробнее о клеточном кодировании см. Gruau F. Neural network synthesis using cellular encoding and the genetic algorithm. Unpublished PhD thesis. -I'Universite Claude Bernard, Lyon, 1994. http://citeseer.ist.psu.edu/ ров в этих алгоритмах достаточно велико, их настройка часто производится экспериментальным путем и требует достаточно высокой квалификации пользователя в области ЭА и ИНС, что затрудняет практическое использование НЭ алгоритмов.

Таким образом, можно сделать вывод об актуальности проблемы разработки НЭ алгоритмов, использующих механизмы адаптации для подстройки значений параметров в процессе работы.

Цель работы и задачи исследования. Целью работы является разработка основанного на методах эволюционных вычислений адаптивного алгоритма для одновременной настройки структуры и весов связей ИНС и программных средств для обработки цифровых изображений.

Для достижения поставленной цели необходимо последовательное решение следующих задач:

1. Общий анализ ЭА и НЭ подхода и формулировка на основе результатов анализа требований к адаптивному НЭ алгоритму для ИНС прямого распространения.

2. Разработка адаптивных генетических операторов на основе анализа ЭА с точки зрения сформулированных требований к НЭ алгоритму. Решение данной задачи предполагает также исследование эффективности предлагаемых генетических операторов.

3. Разработка адаптивного НЭ алгоритма с учетом результатов решения предыдущих задач. Решение данной задачи предполагает также исследование эффективности предлагаемых методов и алгоритмов.

4. Апробация разработанного НЭ алгоритма для решения задачи улучшения визуального качества цифровых изображений на основе приближенной оценки качества работы ИНС.

Методы исследований. В работе использованы методы теории множеств, теории графов, прикладной математики, теории вероятностей, математической статистики, теории оптимизации, цифровой обработки изображений, теории информации, мягких вычислений.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих симпозиумах, конференциях и семинарах: Региональная конференция-конкурс «Технологии Microsoft в информатике и программировании» (г. Новосибирск, 2004 г.), II и IV Всероссийская конференция «Молодежь и современные информационные технологии» (г. Томск,

2004 и 2006 гг.), VIII и IX Русско-Корейский международный симпозиум по науке и технологии KORUS-2004 (г. Томск, 2004 г.) и KORUS-2005 (г. Новосибирск, 2005 г.), X и XI Международная конференция «Современные техника и технологии» (г. Томск, 2004 и 2005 гг.), Международная конференция «Интеллектуальные системы AIS'04» (Россия, п. Дивноморское), XIII Всероссийский семинар «Нейроинформатика и ее приложения» (г. Красноярск,

2005 г.), VIII и IX Всероссийские научно-практические конференции «Нейроинформатика - 2006» и «Нейроинформатика - 2007» (г. Москва), USNC/URSI National Radio Science and AMEREM Meetings (Albuquerque, New Mexico, USA, 2006), Всероссийская научная конференция «Нечеткие системы и мягкие вычисления» (г. Тверь, 2006 г.), Десятая национальная конференция по искусственному интеллекту с международным участием (КИИ-06) (г. Обнинск).

По результатам диссертационных исследований опубликовано 26 работ, в том числе 21 статья.

Кратко изложим основное содержание работы.

В первой главе представлен аналитический обзор эволюционных алгоритмов, искусственных нейронных сетей и нейроэволюционного подхода. Рассмотрены основные способы адаптации параметров в эволюционных алгоритмах, а также отмечена эффективность использования генетических операторов рекомбинации и вариации на уровне фенотипов (декодированных из хромосом решений). Рассмотрены случаи, вызывающие сложности при формировании обучающего множества данных, необходимого для настройки весов связей ИНС, и показано, что одним из возможных выходов в случае отсутствия обучающего множества может быть использование эволюционного обучения с интегральной оценкой ИНС, отражающей качественные аспекты ее функционирования.

Проанализированы возможности использования ИНС для решения задач обработки и анализа изображений. На основе анализа показаны сложности нейросетевой предобработки изображений и предложено использование ИНС для аппроксимации преобразования яркости пикселей.

В результате анализа основных задач, решаемых с использованием НЭ алгоритмов и включающих как раздельную, так и одновременную настройку структуры и весов связей ИНС, показаны основные преимущества и недостатки применения НЭ подхода. Также рассмотрены примеры решения задач адаптивного управления, адаптивного поведения, эволюционной робототехники и компьютерного творчества с использованием НЭ алгоритмов. На основе анализа ЭА, ИНС и НЭ подхода сформулированы следующие требования к адаптивному НЭ алгоритму для одновременной настройки структуры и весов связей ИНС:

1. Возможность работы с хромосомами переменной длины.

2. Независимость от порядка следования генов в хромосоме.

3. Возможность одновременного существования ИНС с различной структурой в одной популяции.

4. Минимизация вероятности появления НС решений с «плохой» структурой.

5. Возможность поиска структуры ИНС как в сторону усложнения, так и в сторону упрощения.

6. Настройка параметров в процессе работы алгоритма для улучшения получаемых результатов и возможности адаптации к условиям эволюционного поиска при решении различных задач.

Вторая глава посвящена исследованию генетического алгоритма, предлагаемых операторов генного кроссинговера и адаптации размера популяции. Предложен более простой по сравнению с известными способ вычисления времени смешивания для генетических операторов кроссинговера (ОК) для целочисленного кодирования. Особенностью предлагаемого способа является исключение из анализа динамики популяции, что значительно упрощает процесс получения искомых оценок, которые согласуются как с уже имеющимися аналитическими оценками, так и с результатами экспериментов.

Представлен генный оператор кроссинговера для неупорядоченных целочисленных хромосом переменной длины, в котором при скрещивании хромосом соответствующие гены скрещиваются независимо друг от друга. Результаты исследования эффективности генного ОК показали его лучшую масштабируемость, по сравнению с традиционно используемыми 1-, 2-точечным и однородным ОК, а также меньшее убывание эффективности увеличения размера популяции с ростом размерности оптимизируемой функции.

Предложена стратегия адаптации размера популяции с использованием последовательности Фибоначчи, позволяющая адаптироваться к характеристикам эволюционного поиска. Стратегия разработана на основе результатов проведенного исследования, направленного на изучение влияния изменения размера популяции на процесс эволюционного поиска. Экспериментально показано, что применение разработанной стратегии адаптации размера популяции позволяет в большинстве случаев получить результаты, которые сопоставимы или лучше результатов ГА с постоянным размером популяции. Отмечена эффективность предложенной стратегии адаптации размера популяции для случая малого начального размера популяции.

В третьей главе описывается разработанный НЭ алгоритм М^уА для одновременной настройки весов и связей ИНС, разработанный в соответствии с требованиями, сформулированными в Главе 1, и с использованием результатов исследований ГА в Главе 2. Представлены генетические операторы рекомбинации и мутации, работающие на уровне фенотипов и позволяющие использовать в НЭ алгоритме ИНС различной структуры. Это дает возможность рассмотреть модельную эволюцию структуры ИНС, начиная со структуры без скрытых нейронов, с постепенным недетерминированным увеличением количества скрытых нейронов и межнейронных связей. Использование такого подхода обеспечивает получение достаточно компактных, с точки зрения структуры, ИНС. Представленный адаптивный оператор мутации позволяет уменьшить вероятность появления ИНС с «плохой» структурой, содержащих большое число слабо связанных между собой скрытых нейронов.

Экспериментальная проверка разработанного НЭ алгоритма на задачах классификации и адаптивного нейроуправления и сравнение с рядом известных алгоритмов и методов показали его эффективность как с точки зрения выбранного критерия оценки (количество вычислений целевой функции), так и с точки зрения структуры получаемых ИНС. Отмечено высокое быстродействие алгоритма NEvA, благодаря которому среднее время решения тестовых задач имеет порядок нескольких секунд.

На примере тестовых задач показано, что возможно использование фиксированного набора начальных значений параметров алгоритма NEvA для решения различных по сложности задач за счет реализации в разработанном НЭ алгоритме механизмов адаптации, позволяющих подстраивать значения параметров в зависимости от характеристик эволюционного поиска. Также на примере решения тестовой задачи адаптивного нейроуправления продемонстрировано, что возможность удаления в результате мутации межнейронных связей, позволяет уменьшить размерность исходной задачи за счет удаления связей от входных нейронов, соответствующих малоинформативным признакам.

Описывается разработанная инструментальная библиотека классов EC-Workshop, для проведения исследований в области эволюционных и нейро-эволюционных вычислений и решения практических задач.

В четвертой главе описываются результаты применения разработанного алгоритма NEvA к решению задачи улучшения визуального качества цифровых изображений. Предлагается трехэтапный способ улучшения качества цифровых изображений включающий в себя следующие этапы: (1) предобработка яркости исходного изображения; (2) обработка на локальном уровне с использованием ИНС; (3) обработка на глобальном уровне с применением известного алгоритма автонастройки уровней яркости.

Получены формулы для приближенного вычисления локальных характеристик (среднее и дисперсия) изображения, позволяющие быстро вычислять локальные среднее и дисперсию в прямоугольной окрестности с приемлемой точностью (более 20 дБ для среднего и более 30 дБ для дисперсии). Использование полученных формул позволяет существенно повысить скорость ней-росетевой обработки изображений по локально-адаптивному методу по сравнению с использованием точных формул (свыше 30 раз для окрестности 65x65 пикселей).

Экспериментально показано, что использование эволюционирующих нейронных сетей с достаточно грубой оценкой качества их функционирования, учитывающей только некоторые общие требования к характеристикам обработанного изображения, представляет эффективный способ получения нейросетевого решения для быстрой и качественной попиксельной обработки изображений. Время поиска решения составляет около 80 сек., а скорость обработки изображений для окрестности 11x11 пикселей составляет около 0,9x106 пикселей/сек. для процессора AMD Sempron 2500, работающего на частоте 1750 МГц. Сравнение результатов разработанного способа трехэтап-ной нейросетевой обработки изображений с используемой в NASA технологией Multi-Scale Retinex (MSR) показало сопоставимость результатов при небольшом превосходстве MSR, однако вычислительная сложность у предлагаемого способа меньше за счет использования приближенных формул для вычисления локальных характеристик и отказа от применения преобразования Фурье.

Описываются программные средства, реализующие разработанные способы обучения ИНС для обработки изображений и трехэтапный способ улучшения визуального качества изображений.

Научную новизну полученных в работе результатов определяют:

1. Способ вычисления времени смешивания для операторов кроссинго-вера для целочисленного кодирования, отличающийся от известных меньшей вычислительной сложностью за счет исключения из анализа динамики популяции.

2. Стратегия адаптации размера популяции в процессе работы эволюционного алгоритма, отличающаяся от известных стратегий подстройки размера популяций реализацией подхода, при котором популяция увеличивается при отсутствии улучшения и уменьшается в обратном случае, а также использованием последовательности Фибоначчи.

3. НЭ алгоритм NEvA для одновременной эволюционной настройки структуры и весов связей ИНС, отличающийся от известных НЭ алгоритмов большими возможностями к адаптации в процессе эволюционного поиска.

4. Формулы для приближенного вычисления локальных характеристик изображений, позволяющие значительно ускорить вычисления, необходимые для осуществления обработки изображений и отличающиеся от формул алгоритма box-filtering для ускорения вычисления локальных характеристик меньшими требованиями к объему оперативной памяти.

5. Трехэтапный способ улучшения качества полутоновых и цветных цифровых изображений, отличающийся от известных подходов использованием ИНС для попиксельной локально-адаптивной обработки изображений.

Практическая ценность и реализация результатов работы. Практически значимыми являются методы, алгоритмы, аналитические оценки и формулы, разработанные и полученные в результате диссертационного исследования.

Разработанные программные средства для обработки изображений используются в ОАО «ТомскНИПИнефть ВНК». Результаты внедрения подтверждены соответствующим актом. Результаты диссертационного исследования внедрены в учебный процесс в Томском политехническом университете, в Томском государственном университете систем управления и радиоэлектроники и в Северской государственной технологической академии.

Личный вклад:

1. Постановка задач диссертационного исследования выполнена автором совместно с В.Г. Спицыным.

2. Вывод оценок времени смешивания для операторов кроссинговера и экспериментальная проверка полученных формул выполнены автором.

3. Генный оператор кроссинговера и стратегия адаптации размера популяции разработаны автором. Постановка задачи исследования их эффективности выполнена автором. Им же получены результаты.

4. НЭ алгоритм ЫЕуА для одновременной настройки структуры и весов межнейронных связей ИНС разработан автором. Постановка задач исследования эффективности разработанного НЭ алгоритма и результаты осуществлены и получены автором.

5. Постановка задачи применения НЭ алгоритма для улучшения визуального качества изображений выполнена автором совместно с В.Г. Спицыным.

6. Формулы для приближенного вычисления локальных среднего и дисперсии изображений получены автором. Исследование полученных формул выполнено автором.

Основные положения, выносимые на защиту:

1. Разработанный новый способ вычисления оценок времени смешивания для генетических операторов кроссинговера для целочисленного кодирования позволяет значительно уменьшить вычислительную сложность вывода оценок времени смешивания благодаря исключению из анализа динамики популяции.

2. Разработанный НЭ алгоритм NEvA для одновременной эволюционной настройки структуры и весов связей ИНС позволяет эффективно решать тестовые задачи при сравнении с известными алгоритмами и подходами.

3. Полученные формулы для приближенного вычисления локальных характеристик изображений позволяют значительно ускорить вычисления, необходимые для осуществления обработки изображений, по сравнению с точными формулами при сохранении приемлемой точности результатов.

4. Трехэтапный способ улучшения качества цифровых изображений позволяет быстро и эффективно улучшать визуальное качество изображений.

Автор выражает глубокую благодарность научному руководителю доктору технических наук В.Г. Спицыну за помощь в написании работы, ценные советы, замечания и доброжелательную критику. Автор также благодарит за плодотворные дискуссии и ценные замечания доктора технических наук, профессора, заведующего кафедрой вычислительной техники Н.Г. Маркова, доцентов Томского политехнического университета кандидатов технических наук A.B. Замятина, Ю.Я. Кацмана, A.A. Напрюшкина, кандидата физико-математических наук Ю.Б. Буркатовскую, доцента Московского авиационного института кандидата технических наук Ю.В. Тюменцева, научного сотрудника Института автоматики и процессов управления ДВО РАН кандидата технических наук Б.С. Ноткина. Автор выражает отдельную благодарность доктору физико-математических наук, профессору В.Г. Редько (Институт оптико-нейронных технологий РАН, г. Москва), доктору технических наук, профессору А.Е. Янковской (Томский государственный архитектурно-строительный университет (ТГАСУ)), а также сотрудникам лаборатории интеллектуальных систем ТГАСУ за всестороннюю помощь и поддержку.

4.9 Основные результаты и выводы по главе 4

1. Показано, что использование эволюционирующих нейронных сетей с достаточно грубой оценкой качества их функционирования представляет эффективный способ получения нейросетевого решения для быстрой и эффективной попиксельной обработки изображений.

2. Получены формулы для приближенного вычисления локальных характеристик изображений, что позволяет ускорить вычисления, необходимые для осуществления обработки изображений.

3. Исследование полученных формул для приближенного вычисления локальных характеристик показало существенное увеличение скорости вычислений по сравнению с точными формулами при сохранении приемлемой точности результатов Получены формулы для приближенного вычисления локальных характеристик (среднее и дисперсия) изображения, позволяющие быстро вычислять локальные среднее и дисперсию в прямоугольной окрестности с приемлемой точностью (более 20 дБ для среднего и более 30 дБ для дисперсии). Использование полученных формул позволяет существенно повысить скорость нейросетевой обработки изображений по локально-адаптивному методу по сравнению с использованием точных формул (свыше 30 раз для окрестности 65x65 пикселей).

4. Предложен трехэтапный способ улучшения качества изображений включающий в себя следующие этапы: (1) предобработка яркости исходного изображения; (2) обработка на локальном уровне с использованием ИНС; (3) обработка на глобальном уровне с применением известного алгоритма автонастройки уровней яркости.

5. Результаты экспериментов показали высокую эффективность и качество предложенного трехэтапного способа обработки изображений по сравнению с рядом известных методов. Сравнение результатов разработанного способа трехэтапной нейросетевой обработки изображений с используемой в NASA технологией Multi-Scale Retinex (MSR) показало сопоставимость результатов при небольшом превосходстве MSR, однако скорость обработки с использованием предлагаемого способа выше за счет использования приближенных формул для вычисления локальных характеристик (среднее и дисперсия) с использованием окрестности меньшего размера и отказа от использования преобразования Фурье.

6. Разработано программное обеспечение для обучения и тестирования ИНС для обработки изображений.

ЗАКЛЮЧЕНИЕ

Диссертационная работа посвящена применению методов эволюционных вычислений для настройки и обучения искусственной нейронной сети и разработке программных средств для нейросетевой обработки изображений.

В результате выполнения диссертационной работы получены следующие основные научные и практические результаты и сделаны следующие выводы.

1. Разработан новый способ вычисления времени смешивания для генетических операторов кроссинговера для целочисленного кодирования. Особенностью предлагаемого способа является исключение из анализа динамики популяции, что значительно упрощает процесс вывода искомых оценок, которые согласуются как с уже имеющимися аналитическими оценками, так и с результатами экспериментов.

2. Предложена стратегия изменения размера популяции с использованием последовательности Фибоначчи, позволяющая адаптироваться к характеристикам эволюционного поиска. Экспериментально показано, что ее применение позволяет в большинстве случаев получить результаты, которые сопоставимы или превосходят результаты ГА с постоянным размером популяции.

3. Разработан НЭ алгоритм NEvA для одновременной эволюционной настройки структуры и весов связей ИНС. Экспериментальная проверка разработанного алгоритма на задачах классификации и адаптивного нейроуправ-ления и сравнение с рядом известных алгоритмов и методов показали его высокое быстродействие и эффективность как с точки зрения выбранного критерия оценки (количество вычислений целевой функции), так и с точки зрения структуры получаемых ИНС.

4. Показана эффективность реализованных в алгоритме NEvA механизмов адаптации на примере тестовых задач, а также задачи улучшения визуального качества цифровых изображений за счет использования фиксированного набора начальных значений параметров алгоритма для всех этих задач.

5. Получены формулы для приближенного вычисления локальных характеристик изображений, что позволяет ускорить вычисления, необходимые для осуществления обработки изображений. Исследование полученных формул показало существенное увеличение скорости вычислений по сравнению с точными формулами при сохранении приемлемой точности результатов (более 20 дБ для среднего и более 30 дБ для дисперсии). Использование полученных формул позволяет существенно повысить скорость нейросетевой обработки изображений по локально-адаптивному методу по сравнению с использованием точных формул (свыше 30 раз для окрестности 65x65 пикселей).

6. Предложен трехэтапный способ улучшения качества цифровых изображений включающий в себя следующие этапы: (1) предобработка яркости исходного изображения; (2) обработка на локальном уровне с использованием ИНС; (3) обработка на глобальном уровне с применением известного алгоритма автонастройки уровней яркости. Сравнение результатов разработанного способа трехэтапной нейросетевой обработки изображений с используемой в NASA технологией Multi-Scale Retinex (MSR) показало сопоставимость результатов при небольшом превосходстве MSR, однако вычислительная сложность предлагаемого способа значительно меньше за счет использования приближенных формул для вычисления локальных характеристик (среднее и дисперсия) и отказа от использования преобразования Фурье.

1. Арнольд, В.И. О функциях трех переменных Текст . / В.И. Арнольд //

2. Докл. АН СССР. 1957. - Т. 114, № 4. - С. 679-681.

3. Бурцев, М.С. Эволюция кооперации в многоагентной системе Текст . /

4. М.С. Бурцев // Научная сессия МИФИ-2005. VII Всероссийская научно-практическая конференция «Нейроинформатика-2005»: Сборник научных трудов. В 2-х частях. 4.1. М.: МИФИ, 2005. - С.217-224

5. Вороновский, Г.К. Генетические алгоритмы, искусственные нейронныесети и проблемы виртуальной реальности Текст . / Г.К. Вороновский, К.В. Махотило, С.Н. Петрашев, С.А. Сергеев. Харьков: Основа, 1997 // http://neuroschool.narod.ru/books/gannvirt.html

6. Выгодский, М.Я. Справочник по высшей математике Текст . / М.Я. Выгодский. М: Джангар, 2001.

7. Гамма, Э. Приемы объектно-ориентированного проектирования. Паттерныпроектирования / Э. Гамма, Р. Хелм, Р. Джонсон, Дж. Влиссидес. СПб: Питер, 2003.

8. Глаз, А.Б. Оценка вероятности образования оптимальной структуры перцептрона при ее оптимизации методами случайного поиска Текст . / А.Б. Глаз, JT.A. Растригин // Задачи статистической оптимизации. Рига: Зинатне, 1971.-С. 131-142.

9. Глаз, А.Б. Трехрядный статистический перцептрон со специальным устройством статистической адаптации структуры Текст . / А.Б. Глаз, JT.A. Растригин // Перцептрон система распознавания образов. - Киев: Нау-кова думка, 1975. - С. 334-385.

10. Горбань, А.Н. Нейронные сети на персональном компьютере Текст . /

11. А.Н. Горбань, Д.А. Россиев. Новосибирск: Наука, Сиб. отделение, 1996.

12. Горбань, А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей Текст . / А.Н. Горбань // Сибирскийжурнал вычислительной математики 1998. - Т. 1, № 1. - С. 12-24.

13. Дунин-Барковский, B.JI. Нейроинформатика Текст . / А.Н. Горбань, B.JI. Дунин-Барковский, А.Н. Кирдин [и др.] Новосибирск: Наука, Сиб. отделение, 1998.

14. Журавель, И.М. Краткий курс теории обработки изображений Электронный ресурс . / И.М. Журавель // http://matlab.exponenta.ru/imageprocess/book2/index.php

15. Карманов, В.Г. Математическое программирование Текст .: Учеб. пособие. 5-е изд., стереотип. / В.Г. Карманов. - М.: Физматлит, 2001.

16. Колмогоров, А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных Текст . / А.Н. Колмогоров // Докл. АН СССР. 1956. - Т. 108, №2.-С. 179-182.

17. Колмогоров, А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного Текст . / А.Н. Колмогоров // Докл. АН СССР. 1957. - Т. 114. № 5. -С. 953-956.

18. Комарцова, Л.Г. Исследование алгоритмов обучения многослойного персептрона Текст . / Л.Г. Комарцова // Нейрокомпьютеры: Разработка и применение. 2002. - № 12.

19. Комарцова, Л.Г. Нейрокомпьютеры Текст . / Л.Г. Комарцова, A.B. Максимов. М.: МГТУ им. Баумана, 2002.

20. Курейчик, В.М. Генетические алгоритмы Текст . / Л.А. Гладков, В.М. Курейчик, В.В. Курейчик. М.: Физматлит, 2006.

21. Курейчик, В.М. Теория и практика эволюционного моделирования Текст . / В.В. Емельянов, В.М. Курейчик, В.В. Курейчик. М.: ФИЗМАТЛИТ, 2003.

22. Линдли, К. Практическая обработка изображений на языке Си Текст . /

23. К. Линдли ; пер. с англ. A.A. Брюзгина. М.: Мир, 1996.

24. Майерс, С. Эффективное использование С++. 35 новых рекомендаций поулучшению ваших программ и проектов: Пер. с англ. Текст . / С. Майерс. М.: ДМК Пресс; Спб: Питер, 2006.

25. Нейрокомпьютеры в задачах обработки изображений Текст . / Под ред. Ю.В. Гуляева, А.И. Галушкина. М.: Радиотехника, 2003.

26. Нейроматематика Текст . Серия «Нейрокомпьютеры и их применение»,книга 6 / под ред. А.И. Галушкина. М.: ИПРЖР, 2002.

27. Паклин, Н.Б. Обучаем нейронную сеть генетическим алгоритмом Текст/ Н.Б. Паклин. 2003. // http://paklin.newmail.ru

28. Редько, В.Г. К теории эволюции. Модель возникновения "программ жизнедеятельности" Текст . / Редько В.Г. // Журнал общей биологии. -1991.-№3.-0.334-342.

29. Редько, В.Г. Эволюция, нейронные сети, интеллект: Модели и концепцииэволюционной кибернетики Текст . 3-е изд. / В.Г. Редько. - М.: Ком-Книга, 2005.

30. Редько, В.Г. Оценка эффективности эволюционных алгоритмов Текст . / В.Г. Редько, Ю.Р. Цой // Доклады АН. 2005. - Т. 404, №3. - С. 312315.

31. Розенблат, Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга Текст . / Ф. Розенблат. М.: Мир, 1965.

32. Сергин, A.B. Биологически правдоподобный нейросетевой детектор края

33. Текст . / A.B. Сергин // Научная сессия МИФИ-2005. VII Всероссийскаянаучно-практическая конференция «Нейроинформатика-2005»: Сборник научных трудов. В 2-х частях. 4.1. М.: МИФИ, 2005. - С. 249-256.

34. Тарасов, В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика Текст . / В.Б. Тарасов. -М.: Эдиториал УРСС, 2002.

35. Хайкин, С. Нейронные сети: полный курс Текст . 2-е издание / С. Хайкин ; под ред. H.H. Куссуль. - М.: Издательский дом «Вильяме», 2006.

36. Цой, Ю.Р. Нейроэволюционный подход Текст . / Ю.Р. Цой, В.Г. Спи-цын // Нейрокомпьютеры: разработка и применение. 2005. - №6. - С. 15-25.

37. Цой, Ю.Р. Применение нейроэволюционного подхода для решения задачклассификации и аппроксимации Текст . / Ю.Р. Цой, В.Г. Спицын // Нейроинформатика и ее приложения: Материалы XIII Всероссийского семинара. Красноярск: ИВМ СО РАН, 2005. - С. 123-124.

38. Цой, Ю.Р. Эволюционный подход к настройке и обучению искусственных нейронных сетей Электронный ресурс . / Ю.Р. Цой, В.Г. Спицын // Электронный рецензируемый журнал «Нейроинформатика». 2006. - Т. 1, № 1.-С. 34-61 //http://ni.iont.ru/Journal/Nl

39. Цой, Ю.Р. Способ улучшения качества монохромных и цветных изображений, основанный на применении эволюционирующей нейронной сети

40. Текст . / Ю.Р. Цой, В.Г. Спицын, A.B. Чернявский // Информационные технологии. 2006. - № 7. - С. 27-33.

41. Цой, Ю.Р. О математических моделях эволюционных алгоритмов Текст/ Ю.Р. Цой // Перспективные информационные технологии и системы. 2006. - № 2 (26). - С. 42-47. http://pitis.tsure.ru/

42. Цой, Ю.Р. К применению нейронных сетей для аппроксимации таблицы правил клеточного автомата Текст . / Ю.Р. Цой // Нейроинформатика и ее приложения: Материалы XIV Всероссийского семинара. Красноярск: ИВМ СО РАН, 2006. - С. 129-130.

43. Цой, Ю.Р. Введение в нейроэволюционный подход: основные концепции