автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Исследование и разработка высокопродуктивных полных нейросетей

РГ6 ол

Національна академія наук України Інститут проблем математичних нааїші і систем

ГОРОДНИЧИЙ Дмитро Олегович

УДК 621.8:681.5

ДОСЛІДЖЕННЯ ТА РОЗРОБКА ВИСОКОПРОДУКТИВНИХ ПОВНИХ НЕЙРОМЕРЕЖ

01.05.03 - Математичне і програмне забезпечення обчислювальних

машин і систем

Автореферат

дисертації на здобуття наукового ступеня кандидата фізігко-матемапічинх наук

Київ. - 1997

Дисертацією є рукопис

Робота виконана в Інституті проблем математичних машин і систем НАН України

Науковий керівник : кандидат технічних наук, с. и. с.

РІЗНИК О. М. .

зав.іііділом ІПММС НАН України

Офіційні опоненти .доктор фізико-математпчних наук, професор КАПІТОНОВА ІО.В. заи.віділом Інституту кібернетики НАН України

доктор технічних наук, професор ПОПОВ м. о.

нач. кафедри інформаційних технологій Інституту військово-дипломатичної служби АЗС України

Провідна установа : Київ Національний Університет ім. Т.Г.Шевченка.

Захист відбудеться и№ ” ЄвАи&Лф-е. іс)97 р- о /4 годині на засіданні спеціалізованої вченої ради Д 01.45.02 при Інституті проблем математичних машин і систем НАН України за адресою:

252187 Київ 187 проспект Академіка Глушкова 42

З дисертацією можна ознайомитись в науково-технічному архіві Інституту проблем математичних маниш і систем НАН України

Автореферат розіслано “ *^"t997 р.

Вчений секретар спеціалізованої вченої ради

ХОДАК В.І.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Акryajii.iiісгь теми. Проблема створення нейрокомп'ютерів - ЕОМ що реалізують принципи дії нерпової системи с луже актуальною і в останні десятиліття зроблено значний поступ у її розв'язанні. Серед розроблюваних зараз нейрокомп'ютерних архітектур важливе місце посідають повпозв'язані неііромережі, ідо складаються з бінарних нейронів (ПНМ), які використовуються як апарат для створення асоціативної пам’яті понад 20 років. Такі мережі в результаті вільної еволюції (конвергенції) переходять із довільного початкового стану у кінцевіш сталий стан (атрактор), що визначається вагою міжнейронпих зв'язків. Знаходження вагових коефіцієнтів, шо забезпечують бажану множину кінцевих станів, становить задачу навчання неііромережі.

Одним з можливих рішень цієї задачі є кореляційне правило Хебба модифпкації ваги зв'язків, іцо було запропоновано в 1974р. Літлом, який розглядав повну нейроину мережу як вже відоме у фізиці "спінове скло’’. *

Ця аналогія давала можливість застосувати математичний апарат та закони статистичної фізики для вирішення задач навчання нейромереж. Пізніше, в 1977р. Кохонеп. а потім Амарі удосконалили це рішення, запропонувавши псевдо-іпверспе навчаюче правило (ПІ НП) для ПНМ. Нарешті, в 1982р. Хоифілд ввів поняття енергії повної неііромережі та створив теоретичний апарат, який базується па цьому понятті, для аналізу атракторів ПНМ. Після цього повні неііромережі стали використовуватись для розпізнавання та асоціювапня образів, а також при вирішенні задач оппшізації та штучного інтелекту.

Однак, подальший розвиток ПНМ стримувався порівняно невисоким обсягом їхньої пам'яті. При навчанні за правилом Хебба збільшення кількості заиам’я іовапих образів понад 14% від числа нейронів мережі приводить до того, що еволюція станів ПНМ може не. досягати глобальних мінімумів і зупинятись у локальних мінімумах енергії, що-є хибними атракторамн неііромережі. Тому перед дослідниками та розробниками ПНМ постали дві важливі задачі:

1) знайти методи та засоби уникнення локальних мінімумів енергії;

2) збільшити обсяг пам’яті ПНМ.

Персонезом та ін. в 1986р. було показано, що найбільш перспективним для вирішення цих задач є застосування псендо-

інверсного навчального правила, яке дозволяє запам’ятати вдвічі більше образів-еталонів ніж правило, запропоноване Хопфілдом. Теоретична межа обсягу пам'яті для ПІ НП становить 50% від кількості нейронів мережі, але практично попа є недосяжною через швидке зростання кількості хибних атраісторів, пов'язаних з локальними мінімумами енергії. Нами було встановлено, що при навчанні за Пі НП поведінка мережі суттєво залежить від рівня зворотнього зв’язку нейронів - при його збільшенні зростає кількість хибних атракторів і можуть виникати цикли-- динамічні атракторн. Це дозволило нам дійти висновку, що зменшення зворотнього зв’язку сприятиме поліпшенню характеристики ПНМ і запропонувати відповідну методику модификації ПІ НМ. Теоретичнії» аналіз цієї методики та Ті експериментальна перевірка шляхом програмного моделювання, показують, що обсяг пам’яті модифікованої ПІ неііромережі може не тільки досягати теоретичної межі 50% від кількості нейронів, але і значно перевищувати її.

Запропоновану методику ми назвали розпаспченпям мережі, а мережу, що побудована за цією методикою, - рознаснченою псевдоіиверсною нейромережею.

Зв’язок роботи з науковими програмами, планами, темами. Дослідження ио темі дисертації проводились в межах науково-дослідних робіт:

•''Дослідження потокового методу нейрообчпслень і розробка програмних нейрокомп’ютерів на персональних ЕОМ та трансп’ютерах*1 Державної науково-технічної програми б.З "Ненрокоми’ютер”.

•“Вінер - УА ” за планом секції президії НАН України

Мета і задачі лосліііження. Дисертація присвячена дослідженню та розробці високопродуктивних повних неііроппих мереж (ПНМ), де під продуктивністю ми розуміємо здатність мережі до запам’ятовування та розпізнавання образів. • Метою дисертації є розробка нового алгоритма навчання ПНМ, що дозволяє створювати ПНМ із підвищеною розпізнавальною здатністю та збільшеним обсягом пам’яті.

Для досягнення поставленої мети в роботі вирішуються такі задачі:

1) Показати перспективність повних иеііропних мереж, як апарату для створення автоаеоціативпої пам’яті, вирішення задач розпізнавання образів та побудови систем штучного інтелекту, а також виявити

образів та побудови систем штучного інтелекту, а також виявити причини головного їх недоліку - невисокого обсягу асоціативної

пам'яті.

2) Довести перспективність псевдо-іпверсного (проекційного) правила навчання для ПНМ, систематизувати результати теоретичних досліджень ПІ НП та виявити і обгрунтувати можливі шляхи його удосконалення.

3) Розробити теоретичний апарат і виконати дослідження

запропонованої у дисертації методики розпаснчення Пі НП.

4) Створити програмну модель ПНМ і експериментально

перевірити теоретичні оцінки підвищення обсягу та поліпшення асоціювання при застосуванні методики розпаснчення ПІ НП.

Наукова новизна одержаних результатів. В роботі всебічно досліджено вплив зворотнього зв’язку нейронів на динаміку повних иейромереж і вперше доведено можливість подолання 50% бар’єру обсягу нам’яті ПІ НМ. Запропоновано, теоретично і експериментально обгрунтовано методику модифікації ПІ НП, що забезпечує створення високопродуктивних ПНМ, що за обсягом пам’яті в 2 - 4 рази перевищують існуючі ПНМ.

Практичне значення одержаних результатів роботи полягає з тому, що запропонована методика модифікації ПІ НМ дозволяє значно збільшити продуктивність штучних иейромереж, що сприятиме розширенню їх застосування в системах розпізнавання образів, обробки даних, штучного інтелекту тощо.

Апробація результатів роботи. Результати роботи доповідалися та обговорювалися на семінарах з моделювання нейроних мереж ШММС НАН України та на таких міжнародних наукових конференціях:

1) Software for Muliiproc. and Supercomp. (Moscow, Russia,1994)

2) Intern. Conf. on Artificial Neural Networks (Bochum, Germany, 1996)

3) International Conference on Image Analysis and Processing (Florence,

Italy. 1997). •

Публікації. По темі дисертації опубліковано 6 робіт ангора (З - в наукових журналах. З - в трудах конференції!).

Структура і обсяг дисертації. Дисертаційна робота складається з вступу (Розділ 1). 3-х глав (Розділи 2-4). в яких вик’ладено зміст та результати проведених досліджень, висновків (Розділ 5), списку літератури та трьох додатків. Загальний обсяг роботи 108 стор., в тому числі 3 таблиці та 21 малюнок. Бібліографія - 84 найменування.

У вступі (Розділ 1) обгрунтовано актуальність досліджень в галузі штучних пейромереж, подано короткий огляд історії створення сучасних моделе» ЇЇНМ, розглянуті основні наукові результати, одержані в розробці теорії і дослідженні особливосте!! поведінки повпозв’язашіх пейромереж. Проведено порівняльний аналіз цих результатів з одержаними автором в даній роботі. Наведено структуру дисертаційної роботи та розглянуто стислий зміст її розділів.

Друпій розділ "Повні нейромережі" містить визначення основних понять теорії штучних пейромереж, характеристику математичного апарату', аналіз особливостей поведінки ПНМ, існуючих методів їх 'навчання та галузей практичного застосування.

При моделюванні штучних пейромереж використовується формальна аналогія між мозком людшш та .мережею, вузли якої можуть або знаходитися у звичайному (загальмованому) або у збудженому станах, залежно від сумарного потенціалу на їхніх входах (постепнаптичного потенціалу). Повна нейрошіа мережа - це мережа, яка складається з /V ' зв’язаних один, з одним нейронів, еволюція якої у часі визначається синхронним модифікуючим правилом:

ЗМІСТ РОБОТИ

Уі(М-І) = Р[5і(0 - Ьї(1)], І=1...........М;

(П

де Уі(Н-і) -потенціал на виході і-го нейрона в момент Н-1;

8і(і) -постсинаптичиий потенціал в момент V,

Ь)(0 -значення порогу і-го нейрона в момент ^ .

Су . -сішаптнчшш коефіцієнт, що визначає вагу зв’язку між виходом і-го та входом і -го нейронів.

У векторнііі формі ці співвідношення мають вигляд:

У(с+1) = 45(0 - В(І)]; Б(0 = С У(і).

Вектор-стовпець У(0 визначає біжучпіі стан пеііромережі, а матриця С називається синаптичною або матрицею зв’язків пеііромережі.

Асоціювания (або розпізнавання) образа досягається мережею шляхом еволюції з початкового стану, що відповідає введеному зображенню, у кінцевий сталий стан, яким є асоціація зображення з запам’ятоваїшм раніше образом.

Основна задача побудови мережі полягає в наданні їй розпізнавальних властивостей, які проявляються у тому, що при подачі на вхід мережі збуреної версії образа, мережа на виході здатна відновлювати з шуму оригінал. Тобто, маюча М образів-еталонів необхідно знайти таку матрицю зз’язків С, котра примушувала б мережу проявляти розпізнавальні властивості відносно цих еталонів. Знаходження такої матриці складає процес навчання пеііромережі, а правило обчислення матриці С є навчальним правилом.

Продуктивність пеііромережі визначається, кількістю еталонів М, що можуть бути запам’ятовапі та розпізнані мережею, яка складається з N нейронів, та тим, наскільки добре відбувається розпізнавання, тобто відділення еталонів вія шуму при даній кількості еталонів М. При цьому рівень шуму вимірюється хемінговою відстанню Н[и, иш], що визначається як кількість нейронів, виходи яких відрізняються між собою. .

Помітним кроком на шляху до збільшення продуктивності ПНМ була пропозиція Хопфілда розглядати їх з енергетичної точки зору. Процес розпізнавання можна представити як "зсув” мережі у мінімуми деякої

енергетичної функції Е у просторі станів. Запропоноване Хопфілдом визначення цієї функції має вигляд:

Е»>= - (1/2) У«,(СУ<„ - В<()), (2)

де У(і, - вектор стану системи, У(і> - транспонований вектор;

' В(1) - зовнішнє поле, що визначає поріг чуглітості;

С - оператор, що враховує відстань між власними станами системи.

При такій інтерпретації поведінки ПНМ і при В=0 мінімуми енергії відповідають власним значенням оператора С, що виправдовує застосування навчального правила Хебба. яке визначається як

С = И'1 и й, . • (3)

де І] - матриця, що утворена з М вектор-стовіщів еталонів, и -транспонована матриця.

Подальше вивчення властивостей ПНМ, побудованих за цим правилом, показало, що кількість запам’ятованих образів М не може перевищувати 14 % від числа нейронів мережі N. При збільшенні М понад цю межу швидко зростає кількість хибних атракторів, що відповідають локальним мінімумам енергетичної функції Е.

При вивченні атракторів в симетричних ПНМ багато авторів звертали увагу на появу циклічних коливань стану. Нами доведено теорему, що дещо висвітлює природу цього явища:

*В результаті еволюції стан ПНМ з симетричною матрицею зв’язків та з нульовими порогами може зійтись до циклу - динамічного атрактору. В цьому випадку динамічний атрактор буде складатись точно з двох станів.*

Для доведення цієї теореми ми використали функцію енергії Коско-Рілипка, що дещо відрізняється від визначення Хонфілда:

Екг(,) = -(1/2) У») [СУ(,.|) - В(1.,)]. (4)

Динамічні атрактори не виникають при М « N. Але при збільшенні кількості заиам’ятоваїшх образів імовірність появи атракторів, як цинамічипх, так і хибних швидко зростає. Були запропоновані різні

методи для уникнення хибних атракторів: метод "підншіу", машина Больцмана, "узагальнена" мережа Хопфілда, мережа з бінарними сииаптичппмн зв'язками). Аналіз них методів, що застосовуються в неііромережах, побудованих на основі правила Хебба, показує, що ікмірп певне поліпшення розпізнавання, вони не дають суттєвого збільшення числа запам’ятоваиих образів понад 14% межу.

Аналізуючи причини обмеження пам’яті мережі, ми звернули увагу на вплив зворотнього зв'язку (яіагоїшьішх елементів матриці зв’язків) па поведінку ПНМ Виходячи з відомої теореми про зростання кількості хибних атракторів при збільшенні зворотнього зв’язку, ми .дійшли висновку про необхідність переглянути результати попередніх досліджень цього питання, за якими наявність зворотнього зв’язку сприяє збільшенню обсяіу пам’яті мережі. Стало очевидним, що існує певний рівень зворотнього зв'язку, який забезпечує максимум продуктивності пеііромережі. Детальний аналіз цього питання викопаний в четвертому розділі дисертації.

Нарешті, в цьому розділі розглянуто переваги та недоліки ШШ порівняно з іншими штучними пеПромережамн. До переваг можна віднести: високу швидкість навчання (їх навчання відбувається за один прохід); високу ступінь стійкості до збурень; можливість використання для багатьох різнопланових задач. Серед недоліків найсуттєвішими є існування хибних та динамічних атракторів.

В третьому розділі '’Псеїшоіпверсие навчальне правило" систематизовано результати попередніх розробок теорії ПІ НП, виконано дослідження важливої характеристики - атракторного радіусу пеііромережі, та подано аналіз питань реалізації ПІ НП. Псевдоінверсне правило обчислення сшіаптичної матриці ПНМ з нульовими порогами визначається формулою; -

, С = (5)

де: V - матриця, що угворена з М вектор-стовнаів еталонів;

У+ - матриця, іісевдоіпверсиа до V.

Формула (5) визначає матрицю ортогоїшьного проектування на Ь(У)-підпростір, шо напнутий па вектори з V. Тому псевдоінверсне правило часто називають проекційним навчальним'правилом. Нейронна мережа.

що побудована за ПІ НП (5), називається псевдоінверсною (ПІ) неґіромережею.

Існує кілька методів точного та наближеного обчислення спнаптичної матриці за формулою (5). Серед них можна виділити ітеративні формул» на основі теореми Гревіля, що забезпечують ітераційне навчанні! мережі за один прохід:

£іМ урМ+1^ ■

см+|=см + —=----------------------------------, (6)

уМ+І^уМ-И 0^ + ^

де См - значення матриці після запам’ятовування М еталонів, Vм*1 -А/+1-Й запам’ятовуваний векгор-еталон.

Важливою характеристикою неГіромережі є атракторнин радіус (АР), що визначає максимальну хемінгову відстань Н(У,У), в межах якої всі вектори стану У досягають еталона V за одну ітерацію. Величина АР дозволяє оцінювати обсяг пам’яті нейромережі та її ефективність при розпізнаванні образів. Персонезом та іиш. було показано, що у. випадку ортогональних, еталонів АР нейронної мережі, яка навчена за ПІ правилом, визначається формулою:

Нмг-Ы/2М, (7)

з якої випливає, що кількість запам’ятованих еталонів М в такій мережі не може перевищувати 50% від кількості нейронів.

Аналіз цієї залежності дозволяє дійти висновку, що поліпшення розпізнавальних властивостей ПІ НМ може бути досягнуте лише в результаті такої модифікації ПІ навчального правила, при якій глобальні мінімуми енергії залишаться на своєму місці, а еволюція мережі зміниться таким чином, щоб мережа могла уникати дрібних локальних мінімумов.. '

Для визначення шляхів такої модифікації нами було узагальнено оцінку (7) величінш атракторного радіусу нейромережі. Одержано нову залежність середньої величини АР від вагових коефіцієнтів:

НІШГ= (1/2 - і.СУі>) І <\Сц\>, (8)

де <ІСі} І> - середнє значення абсолютної величніш недіагональпого елемента сішаптичиої матриці, розрахованої за ПІ НП.

Одержане визначення дозволяє оцінити розмір АР ПІ пеііромережі, і, відповідно, її відновлюючу здатність, коли кількість запам’ятоваїшх в нін еталонів невідома заздалегідь.

Після підстановки в (8) знайдених в роботі оцінок:

<Сіі> = М/И\ <С^2> = М N(N-1^)'*, (і # І)

ця залежність набуває вигляду:

Ншг = (1/2 - ШЫ)уп- N [ М (Ы-М)Хт (9)

Залежності (8) та (9) в роботі сформульовані у вигляді відповідних теорем, що доводяться методами лінійної алгебри з використанням проекційних властивостей матриці С. З формули (8) випливає можливість збільшення АР нрн зменшенні величини <С»>, що підказує шлях удосконалення ПІ НП, реалізований нами в четвертій главі дисертації.

Треба зазначити, що незважаючи на значну перевагу ПІ НП порівняно з правилом Хебба. перше не одержало такого значного поширення як останнє. Це пояснюється складністю та труднощами реалізації ПІ НП. зокрема глобальністю, тобто необхідністю враховувати стан всієї мережі при модифікації зв’язків будь-якої пари нейронів. В роботі розглянуто наближені та ітеративні локальні методи реалізації ПІ НП (Уідроу-Хопфа, Вейнфельда, Гарднер та іи.). Ці методи досить поширені при апаратній реалізації ПІ неііромереж засобами НВІС. Показано, що спрощення обчислень за цими методами дається ціною втрати продуктивності пеііромережі, або значного зростання числа ітерації* при навчанні. Але незважаючи на втрати, за продуктивністю створені на їх основі пейромережні системи значно переважають мережі на основі правила Хебба. Розділ завершується оглядом різшіх типів неііромереж, що використовують псевдоінверсне правило навчання.

Четвертий розділ "Розиасичене псевдоінверсне, правило" присвяченим теоретичному обгрунтуванню та експериментальному дослідженню

удосконаленого ПІ НП. Вивчаючи властивості ПІ НП, ми діишли висновку, що прп зростанні заповнення пам’яті пеііромережі (№/N1 діагональні елементи сшіаиткчної матриці починають домінувати над рештою її елементів. Також було встановлено (формула (8)), що із збільшенням ваги діаіопаньиих елементів атракгорнніі радіус мережі зменшується. Ці два факти дозволили запропонувати таку модифікацію ПІ НП:

* Після того, як значення смпаїпнчної матриці знайдено за формулами (5) або (6), всі діагональні елементи цієї матриці необхідно частково зменшити за правилом:

С*н = ОСн, 0<О<1.* ’ (10)

Таке скорочення послаблює рівень від’ємного зворотнього зв’язку иеііронІЕ, що приводить до певної дестабілізації иовсдіикп пеііромережі за межами зони головних атракторів і зменшує імовірність зупинки процесу конвергенції в локальних мінімумах енергії пеііромережі. Зменшуючи діагональні елементи матриці, ми зменшуємо величину співвідношення СУСу, що дає ефект, схожий на скорочення кількості запам’ятованнх еталонів, тобто зменшення насичення пам’яті мережі. Тому ПІ НП (6) із скороченими по формулі (10) зворотніми зв’язками ми назвали рознасиченим псевдо-іивєрсним (РПІ) правилом. Повну нейромережу, побудовану за цим правилом ми назвали рознасичеиою (РПІ) мережею.

Синаптична матриця С* для РПІ правила може буги визначена як

С* = С - (1 - 0)1 = (1 - 0)1, (11)

де: Б - коефіцієнт рознасичепня, 0< 0 <1; І - одинична матриця.

Основні властивості РПІ неііромереж визначаються за допомогою доведених нами теорем:

* Зменшення діагональних елементів сипантичної матриці не виливає на розташування мінімумів функції енергії в просторі станів.*

* Рознасичепня не збільшує кількості хибних атракторів.*

* Атракторниіі радіус РПІ мережі збільшується прп зменшенні

коефіцієнта рознасичепня як

<//„,„> =1/21(1 -(0+1) М / /VIм N І М(М-М)Г,/2. (12)

Ці теореми створюють теоретичну базу для дослідження відновлюючі їх можливостей РПІ псіїромережі. але не дають повної відповіді па питання стабільності її поведінки. Згідно дослідженню Персонеча, в Пі мережі цикл» ке виникають. Але у випадку РПІ зменшення від’ємного зворотнього зв'язку, що приводить до зростання АР, порушує проекційні властивості сппаптнчпої матриці. Це спричиняє появу динамічних атракторів, про що іідеться в теоремі:

* Кількість динамічних атракторів розпасичепої нсевдоіпверсиої мережі збільшується мрп зростанні заповнення нам’яті мережі М/И та зменшенні коефіцієнт рознаснчення О.*

При доведенні цієї теореми внкористовано теорему про існування динамічних атракторів, доведену в розділі 2. Було також одержано оцінку критичного значения величини О, дня якої імовірність появи циклів є найбільшою. ГІрн цьому було використано результати експериментальних спостережень, ЗІІДІІО з якими кількість нейронів, що змінюють свііі стан звичайно не перевищує 2. Одержане співвідношення має вигляд: . ■

О2 < - М)/ М N. (ІЗ)

Імовірність появи динамічного атрактору, безпосередньо залежить від кількості ітерацій, що здійснюється мережею при конвергенції. Остання зростає із збільшенням відстані Но між початковим станом мережі і етапом атрактора, тому імовірність появи динамічних атракторів залежить також від рівня збурення образів, яке визначається Н0.

З метою перевірки цієї залежності, а також експериментального підтвердження результатів теоретичного аналізу інших властивостей РПІ неііромереж, були розроблені програмні моделі ПНМ і викопані експериментальні дослідження поведінки РПІ неііромереж при навчанні І розпізнаванні образів. В розробленії! нами програмній моделі ГШМ використано потоковий метод пейрообробкн даних, що, як було показано в роботі, дозволяє ефективно виявляти момент появи динамічних атракторів.

Викладення методу потокових пеіірообчислеиь, код програми, що була використана для одержання експериментальних даних, та самі експериментальні результати наведені в додатках А,В,С.

Об'єктами експериментального вивчення були:

• величина атракторнош радіусу РПІ ііеііромережі;

• фільтруюча здатність мережі, що визначається відношенням початкового збурення Нодо кінцевого після конвергенції Н;

• обсяг пам’яті РПІ неііромережі;

• кількість ітерацій, що необхідна для конвергенції в сталий стан. Розглядалась залежність цих характеристик від величин D, М, Но при заданій кількості нейронів мережі. Експерименти виконувались за методом Монте-Карло з використанням випадкових векторів еталонів і випадкових реалізацій збурення (шуму). Величини параметрів при експериментах приймали значення: D = 0,1, 0,2 ... 1,0; М: 20, 30,..., 80; Нс: 5, 10,...30.

Більшість експериментів викопано при N = 100. Частіша досліджень проведена иа мережах обсягом 200 та 500 нейронів.

Результати експериментів -добре узгоджуються з теоретичними оцінками властивостей РПІ, зокрема з залежністю (12) для атракторного радіусу неііромережі. Експериментально встановлено:

1 .Фільтруючі властивості мережі поліпшуються із зменшенням рознасичуючого коефіцієнта D, поки D>0.2. Особливо це помітно при високому заповненні пам’яті мережі {M/N > 0,4).

2.При високому заповненні пам’яті мережі (M/N > 0,4) рознасичения дозволяє збільшити атракторшш радіус мережі, від практично нуля до

0,12 N при M/N- 0,4, або до 0,08/V при M/N = 0,6.

_ З.Оптимальне значення коефіцієнта D лежить в межах 0.1-0.2. При D < 0.1 значно зростає кількість ітерацій конвергенції і відповідно збільшується імовірність появи динамічних атракторів.

Ефективність запропонованої РПІ неііромережі продемонстрована на прикладі конкретної задачі - розпізнавання друкованих англійських та українських літер. При введенні збурення Н„ - 0,15 N мережа на основі звичайного ПІ НП втрачає здатність до відновлення оригіналу літер, тоді як запропонована нами РПІ нейромережа їх повністю звільнює від шуму.

Головним висновком ламою розділу і дисертації' взагалі є те, що запропоноване мами розіїаснчене исевдо-інвсрсне правило можна вважати найбільш ефективним навчальним правилом (з точки зору обсягу пам'яті та відновлюючої -здатності) для повних неііромереж.

В іГ'ятому розділі "Заключення" підсумовані результати виконаних в дисертації досліджень. Окреслені також шляхи подальших досліджень, висловлено можливість використання теорії РШ, створеної для ПНМ для інших тинів неііромереж.

Висновки:

1. Визначено умови появи і властивості динамічних атракторів в повних неііромережах. Запропоновано методи їх подолання.

2. Встановлено залежність кількості хибних атракторів ПНМ від рівня зворотнього зв'язку.

3. Одержано нові узагальнені співвідношення для визначення атракторного радіусу П! нейромережі.

4. Запропоновано рознаснчене правило навчання для ПНМ, що дозволяє запам’ятовувати і розпізнавати значно більший обсяг даних ніж інші правила навчання неііромереж.

5. Виконано моделювання РПЇ неііромереж і одержано експериментальні оцінки оптимальних значень коефіцієнта розпасичення та параметрів фільтрації даних в таких мережах.

Основні результати дисертації опубліковані в роботах:

1. D.O. Gorodnichy, A.M. Reznik. NEUTRAM - A Transputer Based

Neural Network Simulator// Proc. of Second Intern. Conf. on Software for Multiprocessors and Supercomputers (SMS TPE’94). - Moscow, 1994. P. 136-142. .

2. D.O. Gorodnichy. A way to improve error correction capability of Hopfield associative memory in the case of saturation. П Intern. Workshop on Neural Networks Proceedings, (HELNET 94-95), VI! University Press. - Amsterdam, 1996, voI.I/H. P. 198-212.

3. D.O. Gorodnichy. Desaturating Coefficient for Projection Learning Rule. // Intern. Conf. on Artificial Neural Networks fICANN'%) - Bochum,

Germany, Springer-Verlag, Lecture Notes in Computer Science 1112, 199, P. 469-476.

4. Резішк A.M., Городничий Д.О.. Сычев A.C. Регулирование локальной обратной связи в нейронных сетях с проекционным алгоритмом обучения. // Кибернетика и системным анализ, N-6, - 1996, С. 153162.

5. D.O. Gorodnichy, A.M. Reznik. Increasing Attraction of Pseudoinverse Autoassociative Networks, // Neural Processing Letters,

- 1997, v.5, iss. 2, P. 123-127.

6. D.O. Gorodnichy, A.M. Reznik. Static and Dynamic Attractors of Autoassociative Neural Networks. H Intern. Conf. on image Analysis and Processing (ICIAP) Proceedings,-Florence, Italy, Sept. 1997.

Городничий Д.О. Дослідження та розробка високопродуктивних повних нейромереж.- Рукопис.

Дисертація на здобуття наукового ступеня кандидата фізнко-математичиих наук за спеціальністю 01.05.03 - “Математичне і програмне забезпечення обчислювальних машин і систем”. -Інститут проблем математичних машин і систем НАН України, Київ, 1997.

Захищається рукопис, в якому розглядається питання побудови високомістких нейромереж з підвищеною асоціативною здатністю.

Розглянуті повні мережі з бінарних нейронів і показано, що псевдоінверсне правило навчання є найбільш ефективним у відношенні місткості пам’яті. Отримана нова залежність для атракторного радіусу як функції від вагової матриці мережі. Досліджені динамічні атракторн, доведено теорема, що пояснює їх природу, і запропоновано метод їх локалізації, що базується на потоковій організації нейрообчнслень. Запропоновано і досліджено . нову модифікацію исевдоіпверсного правила, що базується на частковому зменшенні ваги зворотнього зв'язку і яка дозволяє практично подвоїти величину атракторного радіусу. Показано, що ця модифікація, названа разиасичеиням. збільшує

обсяг асоціативної пам’яті пейромережі до 80% від числа нейронів, що в 2-3 рази перевищує показники для відомих нейромереж цього типу.

Ключові слова : лёГгрокомп’ютер, неііромережа , навчання , псевдоінверсне правило , мережа Хоііфілда, синаптичиа матриця, проекцшшііі алгорігш.

Городничий Д.О. Исследование и разработка высокопроизводительных полных, нейросетей,- Рукопись.

Диссертация на соискание ученой степени кандидата физикоматематических наук по •специальности 01.05.03 -"Математическое и программное обеспечение вычислительных машин и систем". Институт проблем математических машин и систем ПАН Украины, Киев, 1997. '

Защищается рукопись, в которой рассматривается вопрос построения высокоемкостных нейросетей с повышенной ассоциативной способностью.

Рассмотрены полные сети из бннарпых нейронов и показано, что нсевдоипверспое обучающее правило является наиболее эффективным в отношении емкости памяти. Получена новая зависимость для атракторпош радиуса как функции от весовой матрицы сети. Исследованы динамические агракторы, доказана теорема, объясняющая их природу, и предложен метод их локализации, базирующийся на потоковой организации пеировычпслепий. Предложена и изучена новая модификация псевдоипверспого правила, основанная на частичном уменьшении весов обратной связи, позволяющая практически удвоить величину атракториого радиуса. Показано, что эта модификация, названная разі іасьі щек нем, увеличивает объем ассоциативной памяти нейросети до 80% от числа нейронов, что в 2-3 раза превосходит показатели для известных нейросетей этого типа.

Ключевые . слова : пейрокомпыотер, нейросеть, обучение,

псепдоинверсное правило, сеть Хопфндда, синаптическая матрица, проекционный алгоритм.

Gorodnichy D.O. Investigation and Design of High Performance Fully Connected Neural Networks.- Manuscript.

Candidate of Phy&Matrh. Sci. Thesis in speciality 01.05.03 -mathematical and software of computers and systems. - Institute of problems of mathematical machines and systems NAS of Ukraine, Kiev, 1997.

In the manuscript we consider the problem of designing high capacity neural networks with enhanced associative capability. Fully connected neural networks of binary neurons are studied and the pseudo-inverse learning rule is shown to be the most efficient for the memory capacity. We discover how the attraction radius depends upon the network weight matrix. We study the dynamic attractors, prove a theorem explaining their nature, and suggest an approach based on the flood-fill neuroprocessing technique to identify them. We propose and investigate a modification of the pseudoinverse rule based on partial reduction of the self-connection weights, which is shown to practically double the attraction radius. We show that this modification, termed desaturation, increases the capacity of the autoassociative memory of the network to 80% of the number of neurons. This is two to three times better than that of other known networks of this type. . • .

Key words: neurocomputer, neural network, training, pceudo-inverse rule, Hopfield network, synaptic matrix, projective algoritm.