автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Моделирование нейронных сетей на основе твердотельных объектов

На правах рукописи

Пак Марк Маркович

МОДЕЛИРОВАНИЕ НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ ТВЕРДОТЕЛЬНЫХ ОБЪЕКТОВ

Специальность 05 13 12-«Системы автоматизации проектирования», 05 13 05 — «Элементы и устройства вычислительной техники и систем управления», (приборостроение)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва 2007

1 154

003071154

Работа выполнена в Московском государственном институте электроники и математики (техническом университете)

Научный руководитель:

Доктор технических наук, профессор Балашов В Н

Научный консультант:

Доктор технических наук, профессор Ивашов Е Н

Официальные оппоненты:

Доктор физико-математических наук, профессор Васичев Б Н Кандидат технических наук, доцент Зародов А Ф

Ведущее предприятие: ГНИИ Информационных технологий и телекоммуникаций

Защита диссертации состоится » _20()3года в

10.00 часов на заседании диссертационного совета Д 217.047 01 в Федеральном государственном унитарном предприятии "Научно-исследовательский экспериментальный Институт автомобильной электроники и электрооборудования" (ФГУП НИИ АЭ) по адресу 105187, г Москва, ул Кирпичная, д. 39

С диссертацией можно ознакомится в библиотеке ФГУП НИИ АЭ по адресу: 105187, г. Москва, ул Кирпичная, д. 39.

Автореферат разослан « » ^^/ь-СУи^-Р_200 ^г

Ученый секретарь диссертационного

совета Д 217.047.01, к.т.н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

В современных системах автоматизированного проектирования широко применяются методы математического моделирования, позволяющие на основе достаточно точных математических моделей проводить исследование свойств технических объектов, проводить их полный расчет и оптимизацию Процесс моделирования, начиная с ранних стадий разработки, позволяет накапливать информацию, уточнять модель и в результате разрабатывать проект изделия с заданными потребительскими свойствами

Технология нейронных вычислительных сетей показала свою эффективность при решении задач распознавания образов, кластеризации данных, ассоциативного поиска информации в базах данных и в ряде других применений

Традиционно нейронные сети реализуются в форме программ на универсальных компьютерах, или в форме электронных схем, выполненных на микропроцессорах или на специализированных нейронных процессорах (нейрочипах)

Нейроны (нейрочипы) сети выполняют операцию умножения входного сигнала на число (на вес входа), складывают сигналы и вычисляют выходной сигнал, на основе заложенной в нейрон функции активации Промышленность выпускает цифровые, аналоговые и гибридные нейрочипы, которые работают соответственно с цифровыми, аналоговыми или одновременно аналоговыми и цифровыми сигналами

Нейрочип — специализированный микропроцессор, оптимизированный для массового выполнения нейронных операций' скалярного умножения и нелинейного преобразования сигналов, изготовленный по технологии микроэлектроники Для создания реально работающих нейронных сетей на основе существующих нейрочипов необходимы десятки и сотни

микросхем, что делает проекты достаточно дорогими и поэтому не находящими широкого спроса

Работы по исследованию и разработке нейронных сетей проводятся с середины прошлого века Теоретически показано, что наиболее универсальны многослойные нейронные сети с пространственной организацией, в которой входы и выходы каждого нейрочипа могут быть подключены к входам и выходам любого другого нейрочипа в сети. Аппаратная реализация таких сетей на кристалле в рамках традиционной планарной технологии микроэлектроники очень сложна, что не позволило до настоящего времени создать дешевые нейронные сети

Нейронная сеть содержит большое количество одинаковых элементов - нейронов, и относится к классу вычислительных сетей с распределенными ресурсами Повысить производительность нейронной сети можно, или уменьшая число каналов обмена информацией между нейронами, или увеличивая степень интеграции элементов в нейрочипе Наиболее перспективным направлением реализации нейрочипов для нейронных сетей следует признать развитие КМОП технологии, применяемой для изготовления современных программируемых логических интегральных микросхем (ПЛИС), например фирм Xilinx и Altera Архитектура ПЛИС содержит блоки элементов памяти и конфигурируемые логические блоки (КЛБ) Локальная связь между этими элементами осуществляется при помощи проводников трассировочных матриц, подключаемых при помощи двунаправленных транзисторных программируемых переключателей Связь с внешней платой осуществляется при помощи двунаправленных программируемых блоков ввода-вывода

Нейронная сеть может быть аппаратно реализована на системе ПЛИС Однако по своим функциональным возможностям и цене ПЛИС слишком сложны и дороги и плохо согласуются с алгоритмами работы нейронной сети.

Развитие КМОП технологии привело к созданию элементов энергонезависимой памяти на базе нанокристаллов Si, Ge, в пленке S1O2 (проект NEON, реализуемый совместно странами Евросоюза) Такой нанокристалл совместно с подведенными к нему электродами образует элемент, близкий по свойствам к униполярному МОП транзистору с плавающим затвором Комплементарные пары таких транзисторов служат элементной базой при создании гигабайтных микросхем «флэш-памяти»

Эти два технологических направления открывают перспективы создания гигабайтных нейронных сетей на одном кристалле Группа элементов памяти и логических элементов, созданных на базе нанокристаллов Si, Ge, образуют нейроны нейронной сети. Связь между нейронами осуществляется при помощи проводников трассировочных матриц В отличие от ПЛИС, структура нейронной сети достаточно проста и регулярна, что приводит к резкому уменьшению числа программируемых переключателей и объема предназначенной для управления ими теневой памяти

В результате на одном кристалле в рамках стандартной технологии можно разместить значительно больше нейронов, чем в ПЛИС Это технологическое направление перспективно для создания массовых и дешевых гигабайтных нейрочипов, позволяющих аппаратно реализовывать сложные нейронные сети

Проблемам моделирования и функционирования нейронных сетей на основе твердотельных объектов посвящены работы многих российских, советских и зарубежных ученых

Развитие технологии производства интегральных микросхем ставит задачу изучения алгоритмов обработки информации в нейронных сетях, оптимизации структуры нейронной сети и структуры нейрона, соответствующих возможностям технологии Это делает задачу разработки элементов информационной технологии моделирования и проектирования нейронных сетей актуальной и своевременной

Дель работы

Целью диссертационной работы является разработка элементной базы и алгоритмов работы нейронных сетей на основе твердотельных объектов Целью работы также является основ проектирования твердотельных нейрочипов на основе перспективных элементов и технологий Оптимизация архитектуры сети позволяет разрабатывать эффективные проекты гигабайтных нейрочипов, позволяющих реализовать дешевые нейронные сети, работающие в реальном масштабе времени.

В соответствии с поставленной целью на защиту выносится-

1. Архитектура и алгоритм функционирования нейронной сети, выполненной на базе твердотельных объектов,

2 Модель обучения нейронной сети решению ряда практических

задач;

3 Модель твердотельного нейрона, предназначенного для реализации нейронной сети;

4 Структура и основные элементы системы автоматизированного проектирования и моделирования элементов нейронной сети

Основными методами исследования являются применение математических методов и моделей нейронных сетей, основанных на вычислении реакции сети на внешние воздействия, методов и алгоритмов обучения нейронных сетей решению поставленных задач Компьютерное моделирование выполнено на основе пакетов Matlab, Micro-Cap и оригинальных программ, разработанных автором диссертации

Достоверность полученных результатов обеспечивается строгим использованием адекватного математического аппарата, проверкой разработанных методов путем решения модельных задач, обширным численным экспериментом и сопоставлением полученных результатов с экспериментом и результатами работ других авторов.

Научная новизна заключается в следующих положениях, выносимых на защиту

1 Разработка двухслойной архитектуры плоской нейронной сети с регулярными связями между нейронами, согласованной с возможностями полупроводниковой технологии,

2 Разработка перспективной структуры нейрочипа на основе на-нокристаллов 81, ве в пленке 8Ю2 и моделирование работы элементов нейрочипа методами схемотехнического моделирования,

3 Разработка алгоритма и модели обучения нейронной сети,

4 Разработка структуры и алгоритма работы системы автоматизированного проектирования нейронной сети.

Практическая ценность состоит в разработке архитектуры и элементов нейронной сети, перспективной для реализации в виде гигабайтной интегральной микросхемы. Это открывает перспективу создания дешевых нейронных сетей, работающих в реальном масштабе времени

Реализация работы использованы при проведении научно-исследовательских работ в НИИ систем управления, волновых процессов и технологий Министерства образования и науки РФ (г Красноярск) и НИИ Микроэлектроники и информационно-измерительной техники (Москва), а также в учебном процессе в МГИЭМ

Апробация работы.

Основные результаты работы докладывались и обсуждались на научно-технической конференции «Датчики и преобразователи информации систем измерения, контроля и управления»; научно-технической конференции «Вакуумные технологии и нанотехнологии », IV Российском философском конгрессе «Философия и будущее цивилизации», Всероссийской междисциплинарной конференции «Философия искусственного интеллекта», научно-технической конференции «Нанотехнологии - 2005», научно-технической конференции «Прогрессивные машиностроительные

технологии», а также на конференциях МГИЭМ (ТУ) для молодых ученых и специалистов в 2004,2005,2006 гг Публикации.

По теме диссертации опубликованы 24 печатные работы, в том числе получено 6 патентов РФ на полезные модели, написано 4 депонированных статьи, сделано 13 докладов на Всероссийских конференциях Объем диссертации.

Диссертация состоит из введения, пяти глав, общих выводов, заключения, списка литературы и приложения

Работа изложена на 164 страницах, включая акты внедрения и приложение

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ.

Во введении показана актуальность работы, сформулирована цель диссертационной работы и вытекающие из нее задачи исследований Определены объекты и методы исследований Изложена научная новизна работы и ее практическая значимость, вклад автора в решение поставленных задач и положения, выносимые на защиту

Первая глава посвящена анализу нейронных сетей, л также описанию существующих на сегодняшний день нейросетевых структур, их архитектуры и элементной базы

Нейронные сети различаются своей архитектурой, структурой связи между нейронами, числом слоев, функцией активации нейронов, алгоритмом обучения Среди известных нейронных сетей можно выделить статические, динамические сети и сети на основе нечеткой логики.

Сети прямого распространения включают многослойные нейронные сети, в которых искусственные нейроны расположены слоями Сети с обратными связями являются рекуррентными В этом случае сигналы на вы-

ходе сети зависят не только от текущих сигналов на входе, но и от сигналов в предыдущие моменты времени

В работе проанализированы возможности нейронных сетей как систем обработки информации при решении задач, недоступных или трудно решаемых на компьютерах традиционной архитектуры Отмечен и основной недостаток аппаратной реализации нейронных сетей - малое число нейронов на кристалле существующих нейрочипов. Программная реализация нейронной сети на компьютере обычной архитектуры также малоэффективна, так как алгоритмы работы нейронной сети, по сути, являются параллельными Поставлена задача развития элементной базы нейронных сетей путем разработки нейрочипов с высокой степенью интеграции

Вторая глава посвящена теоретическому анализу структуры нейронных сетей, и разработке процедур поиска оптимальных решений.

Элемент нейронной сети (формальный нейрон) (рис 1) реализуется в составе интегральной микросхемы и в общем случае содержит входной сумматор 1, последовательно связанный с нелинейным преобразователем сигналов 4 и точкой ветвления 5, предназначенной для передачи выходного сигнала по нескольким адресам Каждый вход А1 входного сумматора 1 называется синапсом В состав сумматора входит схема умножения входного сигнала на вес синапса 2 и блок суммирования сигналов 3

1

Рис. 1. Схема формального нейрона.

Формальный нейрон работает следующим образом Входной сумматор 1 получает на входы А, вектор входного сигнала {а0, аь ап } Каждая компонента входного вектора умножается в блоке 2 на вес входа (вес синапса) х„ а затем результаты суммируются в блоке 3 и передаются на вход нелинейного преобразователя 4 Нелинейный преобразователь 4 на основе выходного сигнала сумматора вырабатывает выходной сигнал нейрона в соответствии с заложенной в него функцией активации у = ср(х) Выходной сигнал нейрона через точку ветвления 5 передается на входы других формальных нейронов

Не нарушая общности, поставим задачу создания нейронной сети, предназначенной для распознавания графических образов методом сравнения с эталонами Графические образы образуются, например, в видеокамере или цифровом фотоаппарате Эталоны также задаются, например, в форме цифровых фотографий Алгоритм работы нейронной сети при распознавании изображений состоит из двух обобщенных этапов

1 Предварительный этап, состоящий в наведении видеокамеры на объект, автофокусировки изображения, масштабирования и центрирования изображения на фотоприемнике видеокамеры

2 Собственно распознавание изображения методом сравнения с эталонами

Первый этап решается стандартным набором функций видеокамер, предназначенных для работы в системах видеонаблюдения и обеспечения безопасности Это, например, видеокамера PANASONIC WV-CS570 В результате получается стандартизованное изображение, расположенное в центре экрана и имеющее стандартный масштаб

Второй этап, состоящий собственно в распознавании и идентификации изображения, в системах обеспечения безопасности обычно решается оператором В настоящей работе сделана попытка автоматизировать

процесс распознавания графических изображений на основе параллельных алгоритмов обработки информации реализованных в нейросети

На основе теоретического анализа в настоящей работе предложен алгоритм распознавания, состоящий из двух этапов

1 Для каждого графического объекта формируется множество эталонов, отличающихся масштабом, сдвигом, поворотом и т д То, что все эти эталоны относятся к заданному объекту, определяет оператор На первом этапе система распознавания должна определить эталон, наиболее похожий на графический объект, выбирая его в каждой группе эталонов

2 На втором этапе из группы отобранных эталонов выбирается один, наиболее похожий на заданный графический объект.

В процессе распознавания каждому эталону назначается число (вес), определяющее близость эталона и графического объекта В результате анализа выбирается образ (группа эталонов), к которому относится графический объект.

Понятно, что получение однозначного результата при распознавании графических изображений возможно с определенной вероятностью узнавания На экране видеокамеры может появиться изображение, для которого нет эталона Тогда результат распознавания может быть неоднозначным, например, система обнаружит два или три похожих эталона

Рассмотренный алгоритм соответствует алгоритму работы двухслойной нейронной сети с прямым распространением сигналов

Рассмотрим технологические ограничения на архитектуру нейронной сети Характерным элементом конструкции ПЛИС является наличие трассировочных матриц, состоящих из параллельных проводников Две трассировочные матрицы с взаимно пересекающимися проводниками выполняется в двух изолированных друг от друга технологических слоях. Связь проводников с другими элементами микросхемы осуществляется через колодцы, выполненные в слоях изоляции микросхемы

Эти особенности технологии делают обоснованным выбор регулярной плоской архитектуры нейронной сети, согласованной с технологией ее изготовления.

Первый слой нейронной сети работает по следующему алгоритму Графическое изображение, не уменьшая общности, можно представить в виде вектора X,, заданного компонентами {хо, хь х2, хп} в п - мерном евклидовом пространстве Каждая координата вектора соответствует пикселю графического изображения Величина х, соответствует яркости пикселя изображения

Изображение - эталон J также представлено в виде группы из к вектор Уд, компоненты которого {у1Ь у2)с, узь у„к } соответствуют яркости соответствующего пикселя в эталонном изображении

Результат сравнения изображения и эталона вычисляется как скалярное произведение

Величина скалярного произведения В) зависит от выбранного эталона Поэтому в качестве меры близости двух векторов необходимо взять нормированное на единицу скалярное произведение (или косинус угла между векторами X, У,,)

Максимальное значение нормированного скалярного произведения (2) равно единице, если на вход системы подан вектор — эталон Для произвольного вектора X величина ^ меньше единицы

Нормированное скалярное произведение принимается за меру близости вектора - изображения X и вектора - эталона У;

Вычисление скалярного произведения и нормировка проводится ап-паратно в плоском модуле сети (матрице нейронов), представленном на

В, = (Х,У,) = {х1Уи + - + хпуп;),

0)

(2)

рис 2 Вектор — изображение X = {х,} подается на входы сети В строках сети расположены формальные нейроны, в которые записаны компоненты векторов У] = {уц} (весовые коэффициенты) Таким образом, число строк матрицы нейронов ш соответствует максимальному числу эталонов для одного изображения

Каждый формальный нейрон проводит умножение х, уц, складывает полученную величину с значением х,.х уо-г),, полученным слева и передает сумму нейрону, расположенному справа Таким образом, строка нейронов параллельно вычисляет скалярное произведение (1) для всех строк и тем

Рис. 2. Матрица нейронов —модуль плоской нейронной сети.

Скалярные произведения параллельно передаются в блок управления и анализа, в котором проводится нормировка (2) и выбор максимального значения ^ Это максимальное значение определяет меру соответствия эталону, наиболее похожему на изображение X

Матрицы формальных нейронов (рис 2) образуют первый слой нейронной сети (рис 3) Число матриц (модулей) соответствует числу групп изображений — эталонов М,

Значения нормированных скалярных произведений ^ с выходов модулей передаются на входы выходного модуля N. который проводит окончательное распознавание изображения

Компьютерное моделирование алгоритма распознавания изображения в нейронной сети показало его эффективность В качестве эталонов У, принимались однотипные графические объекты разного масштаба (кресты, треугольники, квадраты и т д ) В качестве входного вектора X выбирался или один из эталонов, или графическое изображение, близкое к одному из эталонов.

Предложенная структура нейронной сети хорошо соответствует современной планарной полупроводниковой технологии Использование в качестве базового элемента транзисторов на основе нанокристаллов Бх, Се в пленке БЮг позволяет разместить на одном кристалле плоскую нейронную сеть гигабайтного объема. Параллельный алгоритм вычислений, реализованный в плоской нейронной сети, позволяет проводить распознавание изображений в реальном масштабе времени Новизна предложенных технических решений защищена патентами РФ

Рис. 3. Схема двухслойной нейронной сети.

Третья глава посвящена исследованию вычислительных возможностей и технических характеристик искусственных нейронов Исследование проведено методами схемотехнического моделирования Схема модели нейрона представлена на рис 4

Y18

Mm f^ili

CLR - вход сброса счетчиков, ВЕС - вход импульсов изменения веса нейрона, Число, записанное в счетчик-вес нейрона Q + - вход упраечения для увеличения веса, - - вход управления для уменьшения веса, ВХОДХг - первый вход нейрона ( 0 или 1), АО-АЗ! — второй суммирующий вход нейрона (32-хразрядная шина), Y0 - Y31 - выход нейрона (32-х разрядная шина).

Рис. 4. Схема модели формального нейрона.

Схема содержит следующие функциональные узлы, представленные моделями в стандарте PSPICE

1 DD1, DD2 - логические элементы "И-НЕ",

2 DD3, DD4 - четырехразрядные двоичные счетчики,

3 DD5 - DD12 - логические элементы "И",

4 DD 13 - DD20 - четырехразрядные сумматоры

Разрядность сумматора - 32 двоичных разряда Максимальное число, передаваемое по шине N = 232 = 4294967296 Разрядность весового элемента - 8 двоичных разрядов Максимальный вес нейрона М = 28 = 256

Вес нейрона (значение у„) хранится в 8-ми разрядном счетчике и записывается в него во время обучения нейронной сети Сумма слева подается на входы АО, А2, . А31 сумматоров Результат передается вправо с выходов УО, У2, . . У31 сумматоров Работа нейрона проходит в соответствии со следующей таблицей

Таблица функционирования нейрона

+ - XI {Д]} т

1 0 0 Увеличение веса

0 1 0 Уменьшение веса (3

0 0 0 {А)} {Х)} = {АЛ

0 0 1 {АЗ} {Х)} = {А]}+(2

Временная диаграмма работы нейрона показана на рис 5

Веер

лллжллж

Результат

>

Число слева Число справа

Рис. 5. Временная диаграмма работы нейрона.

За 9 тактов сигнала, поданного по линии х„ счетчик нейрона записывает его вес, равный 9)0 (режим обучения) После подачи на входы "+" и "-" сигналов лог. "О" нейрон переходит в рабочий режим и увеличивает

число 3041 ю, пришедшее слева на 9ю и отправляет результат - число 3050ю вправо

Замечание В плоской нейронной сети все входы соединены с каждым выходом Это отличие от стандартного персептрона, в котором только часть входов соединена с каждым выходом

Замечание Плоскую нейронную сеть можно сеть каскадировать, т е входы одного модуля сети можно соединить с выходами другого Таким образом можно построить многослойную сеть

Четвертая глава посвящена разработке модели обучения и оптимизации архитектур нейронных сетей, которая является составной частью информационной системы поддержки принятия решений при проектировании процесса производства элементов нейронных сетей

Процесс обучения нейронной сети базируется на процессе изменения веса формального нейрона Вес может изменяться от нуля (данный признак отсутствует в изображении), до максимального значения (данный признак всегда присутствует в изображении) Изменение весов нейронов проводится построчно В режиме увеличения весов (рис 4) на вход управления одной из строк "+" подается лог 1, на вход "-" подается лог 0 На входы управления остальных строк подается лог 0 На часть входов X, подаются импульсы, увеличивающие вес нейрочипов В режиме уменьшения весов сигналы на входах "—" и "+" меняются местами

В режиме распознавания на входы X, подается двоичный вектор -изображение В результате на выходе блока управления и анализа (рис 2) появляется число, равное максимальному значению нормированного скалярного произведения определяющее меру соответствия изображения и эталона

Замечание Входы X, с двоичными сигналами можно группировать, что позволяет работать с произвольными (не двоичными) сигналами

Нейронная сеть может обучаться по любому из стандартных алгоритмов обучения, разработанных в теории нейронных сетей Предложенный в настоящей работе алгоритм учитывает плоскую структуру сети и направлен на упрощение процесса определения необходимых весов нейронов

Пятая глава посвящена методике выбора оптимального технического решения при проектировании нейронных сетей. На основании анализа требований к техническим характеристикам, условий изготовления и эксплуатации искусственных нейронных сетей, составляется и корректируется исходное техническое задание на проектирование. На начальных стадиях проектирования требования технического задания конкретизируется в виде системы ограничений, которым должны удовлетворять характеристики сети, обеспечивающие успешное решение проектной задачи Комплекс требований к сети можно представить в виде многокритериального множества К = {ки I = 1,2, . , ЛГ}> гДе N - число требований По заданному вектору требований производится формирование и сравнение альтернативных вариантов проектных решений

Каждый вариант решения представляет множество характеристик X = I = 1,2, , М}, некоторые элементы которого могут совпадать с элементами множества требований, а другие элементы могут быть связаны с ними косвенно В общем случае М Ф N,

Реализация технологии автоматизированного проектирования нейронных сетей предъявляет к разрабатываемой системе следующие требования.

- возможность формулировать решаемые проектные задачи из предметной области на различных языках, понятных проектировщику;

- наличие средств эффективной корректировки задания с использованием простых форм входного языка (таблиц, бланков и т п.),

- отсутствие жестких ограничений на структуру и объем входных данных и формы носителей информации, на которых они хранятся,

- представление возможности проектировщику на основе промежуточных результатов принимать решение о выборе методов и программ, необходимых для продолжения проектной задачи

Алгоритм проектирования представлен на рис 6

Вход

Не найдена НС

Разработка технического задания

Техническое задание разработано

Поиск в морфочогиче-ской таблице НС, > довле-творяющей ТЗ

Ч

Изменение

Найдено несколько структур НС удовлетворяющих ТЗ

Несконжо НС

I

Новое ТЗ для НС

Найдена одна НС

Выбор эффективного варианта

Выбран оптимальный вариант —

Замена элементной базы стандартных архитектур

Расчет топологических параметров элементов

Добавтение в таблицу

Конец работы

По пучена новая нейронная сеть, удовлетворяющая ТЗ

Рис. 6. Алгоритм проектирования нейронной сети.

Основные результаты и выводы по работе:

1 Основным результатом диссертационной работы следует считать разработку комплекса моделей, алгоритмов функционирования и технических решений позволяющих перейти к реализации гигабайтных твердотельных нейронных сетей на основе существующих и перспективных технологий микроэлектроники Предложенная схема комплексного моделирования позволяет принимать научно обоснованные, технически целесообразные, экономически и технологически выгодные решения при проектировании элементов нейронных сетей в приборостроении

2 Проведен теоретический анализ и разработана архитектура плоской двухслойной нейронной сети, выполненной на базе твердотельных объектов, являющаяся составной частью системы автоматизированного проектирования процесса производства элементов нейронных сетей Показана экономическая и технологическая целесообразность разработки элементов такой автоматизированной системы

3 Разработана модель обучения и оптимизации архитектур нейронных сетей, которая является составной частью информационной системы поддержки принятия решений при проектировании процесса производства элементов нейронных сетей и направлена на решение задачи повышения производительности электронной схемы, а так же достижения более высокого результата обработки данных

4 Разработана структура, позволяющая проектировщикам на основе морфологического анализа-синтеза создавать технические решения устройств формирования элементов нейронных сетей, соответствующая критериям патентоспособной новизны, изобретательского уровня и промышленной применимости, и обеспечивающая снижение затрат на производство элементов нейронных сетей - твердотельных объектов

5 На основе предложенных алгоритмов и пакетов прикладных программ разработаны элементы автоматизированной системы проектирования элементов нейронных сетей

Основное содержапие диссертации отраженно в следующих работах:

1 ИвашовЕ Н Пак ММ и др Системы формирования и сканирования нанообъектов НТК «Датчики и преобразователи информации систем измерения, контроля и управления» Датчик 04 - М • МГИЭМ 2004, Судак 2004, материалы конференции

2 Ивашов Е Н, Пак М М. и др Построение аналитических устройств наноэлетроники на основе квантомеханического подхода Деп Рук ВИНИТИ № 1204 - В 2004, 13 07 04

3 Ивашов Е Н, Пак М М и др. Механическое и полевое тестирование модифицированых наноструктур Деп Рук ВИНИТИ № 1202 - В 2004, 13 07.04

4 Ивашов Е Н, Пак М М и др Туннельный метод измерения нано-рельефа поверхности Деп Рук ВИНИТИ № 1201 - В 2004,13 07 04

5 Ивашов ЕН, Пак ММ и др Оптоволоконная нанотехнология в элетронике и методы ее реализации Деп Рук ВИНИТИ № 1203 - В 2004,13 07 04

6 Ивашов ЕН, Пак ММ. и др Устройство перемещения для нано-технологии Пат. РФ на ПМ № 37580 опубл 27 04 04 Б И № 12

7 Ивашов ЕН, Пак ММ и др Устройство для регистрации химического состава Пат РФ на ПМ № 43104 опубл 27 12 04 Б И № 36

8 Ивашов Е Н, Пак М М и др Устройство для получения нанодоро-жек Пат РФ на ПМ № 42696 опубл 27 12 04 Б И № 34

9 Ивашов Е Н, Пак М М и др Измерительное устройство для нано-технологии Пат РФ на ПМ № 42697 опубл 27 12 04 Б И. № 34

10 Ивашов Е Н, Пак М М Искусственная нейронная сеть Заявка на Пат РФ №2006141133 от 21 11 2006

11 Ивашов Е Н , Пак М М. Устройство флэш-памяти Заявка на Пат РФ № 2006141132 от 21.11.2006

12 Пак М М и др Методы измерения наноструктур материалов на основе устройств получения нанодорожек, определения химического состава и нанорельефа НТК «Вакуумные технологии и нанотехно-логии»- Вакуум 03 - М МГИЭМ 2004, Судак 2003, материалы конференции

13 Пак М М и др Определение наноструктуры поверхности подложки. Ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ - М Москва 2004, материалы конференции

14 Пак М М и др. Устройство сканирования нанодорожек на подложке Ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ -. М Москва 2004, материалы конференции

15.Ивашов Е Н, Пак М М. и др Аспекты наноробототехники IV Российский философский конгресс «ФИЛОСОФИЯ И БУДУЩЕЕ ЦИВИЛИЗАЦИИ» - М. Москва 2005, материалы конференции

16 Ивашов Е Н, Пак М М и др Методологические аспекты нанотех-нологии Всероссийская междисциплинарная конференция «Философия искусственного интеллекта» - М Москва 2005, материалы конференции

17 Ивашов Е.Н, Пак М М и др Моделирование наноструктур ассемблерами на основе искусственных нейронных сетей. НТК «Нанотех-нологии 2005»- М МГИЭМ 2005, Владимир 2005, материалы конференции

18 Пак М М и др Применение туннельного метода в исследовании наношероховатости поверхности подложки. НТК «Прогрессивные машиностроительные технологии» - «Образование через науку» 2005- М • МГИЭМ 2005, Москва 2005, материалы конференции

19 Пак М.М и др Формирование наноструктур на атомарном уровне НТК «Прогрессивные машиностроительные технологии». - «Образование через науку» (материалы конференции) M -МГИЭМ 2005 г.

20 Пак M M и др Моделирование наноструктур ассемблерами на основе искусственных нейроных сетей Ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИ-ЭМ - M " Москва 2005, материалы конференции

21 Ивашов Е H, Пак M M и др Расчет геометрических параметров квантовых точек при их автоматизированном проектировании Свид per программы для ЭВМ №2005613155, заявка № 2005612537

22.Пак M M и др Построение системы квантовой нейронной обработки в автоматизированном проектировании искусственных нейро-сетей Ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ - M Москва 2006, материалы конференции

23 Пак M M и др Квантовая нейронная обработка в автоматизированном проектировании искусственных нейросетей XIV Междуна-ролдная студенческая школа-семинар «Новые инфорамционные технологии» -М МИЭМ, 2006, материалы конференции

24.Парфенов И И Гущин Ю Г Тхам Ф 3 Пак M M Функциональная компьютерная систематика для моделирования трансформации информации в эргатических структурах управления (8 с) Журнал "Системы управления и информационные технологии" №1.2(23), 2006 (спецвыпуск рубрики "Перспективные исследования»)

// //

Издательство ФГУП «Научно-исследовательский и экспериментальный институт автомобильной электроники и электрооборудования»

Тираж 100 экз

Подписано в печать «_ ¿1 » ол^гуил 200 ^

ВведениеI

1 Обзорно-аналитические исследования в области автоматизированного проектирования элементов нейронных сетей.

1.1 Особенности автоматизированного проектирования нейронных сетей.

1.2 Модель нейрона.

1.3 Многослойные сети прямого распространения.

1.4 Твердотельные объекты.

1.5 Схема нейрона.

Постановка задачи исследования.

2 Теоретический подход к решению задачи создания элементов нейронных сетей.

2.1 Элементы нейронных сетей.

2.2 Твердотельные объекты.

2.3 Схема образования двумерных электронов в гетероструктуре.

2.4 Теоретический подход к росту твердотельных объектов как элементов НС.

Выводы по главе 2.

3 Построение физико-математических моделей при автоматизированном проектировании элементов нейронных сетей.

3.1 Модели ускоренного обучения нейронных сетей.

3.2 Модель нейросетевой структуры для оптимизации функционирования.

3.3 Теоретический подход к возможности ускоренного обучения нейросетей за счет адаптивного упрощения обучающей выборки.

3.4 Обучение персептрона.¡

Выводы по главе 3.

4 Результаты применения алгоритма поиска технических решений устройств для производства элементов нейронных сетей в туннельно-зондовой нано технологии.

4.1 Нейронная сеть.

4.2 Устройство для получения углеродных пленок.IIS

4.3 Устройство для получения нанодорожек.

4.4 Устройство наноперемещений в электронике.

4.5 Устройство флэш-памяти.

Выводы по главе 4.

5 Методика выбора оптимального варианта технологического решения процесса автоматизированного проектирования нейронных сетей на основе твердотельных объектов.

5.1 Критерии вариантов технологического применения нейронных сетей.

5.2 Выбор оптимального варианта технологического решения с учетом себестоимости научно-технической продукции.

5.3 Алгоритм формирования НС на основе твердотельных объектах.

Выводы по главе 5.

Общая характеристика работы

В современных системах автоматизированного проектирования широко применяются методы математического моделирования, позволяющие на основе достаточно точных математических моделей проводить исследование свойств технических объектов, проводить их полный расчет и оптимизацию. Процесс моделирования, начиная с ранних стадий разработки, позволяет накапливать информацию, уточнять модель и в результате разрабатывать проект изделия с заданными потребительскими свойствами.

Технология нейронных вычислительных сетей показала свою эффективность при решении задач распознавания образов, кластеризации данных, ассоциативного поиска информации в базах данных и в ряде других применений.

Традиционно нейронные ссти реализуются в форме программ на универсальных компьютерах, или в форме электронных схем, выполненных на микропроцессорах или на специализированных нейронных процессорах (нейрочипах).

Нейроны (нейрочипы) сети выполняют операцию умножения входного сигнала на число (на вес входа), складывают сигналы и вычисляют выходной сигнал, на основе заложенной в нейрон функции активации. Промышленность выпускает цифровые, аналоговые и гибридные нейрочипы, которые работают соответственно с цифровыми, аналоговыми или одновременно аналоговыми и цифровыми сигналами.

Нейрочип специализированный микропроцессор, оптимизированный для массового выполнения нейронных операций: скалярного умножения и нелинейного преобразования сигналов, изготовленный по технологии микроэлектроники. Для создания реально работающих нейронных сетей на основе существующих нейрочипов необходимы десятки и сотни микросхем, что делает проекты достаточно дорогими и поэтому не находящими широкого спроса.

Работы по исследованию и разработке нейронных сетей проводятся с середины прошлого века. Теоретически показано, что наиболее универсальны многослойные нейронные сети с пространственной организацией, в которой входы и выходы каждого нейрочипа могут быть подключены к входам и выходам любого другого нейрочипа в сети. Аппаратная реализация таких сетей на кристалле в рамках традиционной пленарной технологии микроэлектроники очень сложна, что не позволило до настоящего времени создать дешевые нейронные сети.

Нейронная сеть содержит большое количество одинаковых элементов -нейронов, и относится к классу вычислительных сетей с распределенными ресурсами. Повысить производительность нейронной сети можно, или уменьшая число каналов обмена информацией между нейронами, или увеличивая степень интеграции элементов в пейрочипе. Наиболее перспективным направлением реализации нейрочипов для нейронных сетей следует признать развитие KM01I технологии, применяемой для изготовления современных программируемых логических интегральных микросхем (ПЛИС), например фирм Xilinx и Altera. Архитектура ПЛИС содержит блоки элементов памяти и конфигурируемые логические блоки (КЛБ). Локальная связь между этими элементами осуществляется при помощи проводников трассировочных матриц, подключаемых при помощи двунаправленных транзисторных программируемых переключателей. Связь с внешней платой осуществляется при помощи двунаправленных программируемых блоков ввода-вывода.

Нейронная сеть может быть аппаратно реализована на системе ПЛИС. Однако по своим функциональным возможностям и цене ПЛИС слишком сложны и дороги и плохо согласуются с алгоритмами работы нейронной сети.

Развитие КМОП технологии привело к созданию элементов энергонезависимой памяти на базе на но кристаллов Si, Ge, в пленке S1O2 (проекг NEON, реализуемый совместно странами Нвросоюза). Такой нанокристалл совместно с подведенными к нему электродами образует элемент, близкий по свойствам к упииолярному МОП транзистору с плавающим затвором. Комплементарные пары таких транзисторов служат элементной базой при создании гигабайтных микросхем «флэш-памяти».

Эти два технологических направления открывают перспективы создания гигабайтных нейронных сегей на одном кристалле. Группа элементов памяти и логических элементов, созданных tía базе нанокристаллов Si, Ge, образуют нейроны нейронной сети. Связь между нейронами осуществляется при помощи проводников трассировочных матриц. В отличие от ПЛИС, структура нейронной сети достаточно проста и регулярна, что приводит к резкому уменьшению числа программируемых переключателей и объема предназначенной для управления ими теневой памяти.

В результате на одном кристалле в рамках стандартной технологии можно разместить значительно больше нейронов, чем в ПЛИС. Это технологическое направление перспективно для создания массовых и дешевых гигабайтных нейрочипов, позволяющих аппаратно реализовывать сложные нейронные сети.

Проблемам моделирования и функционирования нейронных сетей на основе твердотельных объектов посвящены работы многих российских, советских и зарубежных ученых.

Развитие технологии производства интегральных микросхем ставит задачу изучения алгоритмов обработки информации в нейронных сетях, оптимизации структуры нейронной сети и структуры нейрона, соответствующих возможностям технологии. Это делает задачу разработки элементов информационной технологии моделирования и проектирования нейронных сетей актуальной и своевременной.

Цель работы

Целью диссертационной работы является разработка элементной базы и алгоритмов работы нейронных сетей па основе твердотельных объектов. Целью работы также является основ проектирования твердотельных нейрочипов па основе перспективных элементов и технологий. Оптимизация архитектуры сети позволяет разрабатывать эффективные проекты гигабайтных нейрочипов, позволяющих реализовать дешевые нейронные сети, работающие в реальном масштабе времени.

В соответствии с поставленной целью на защиту выносится;

1. Архитектура и алгоритм функционирования нейронной сети, выполненной на базе твердотельных объектов;

2. Модель обучения нейронной сети решению ряда практических задач;

3. Модель твердотельного нейрона, предназначенного для реализации нейронной сети;

4. Структура и основные элементы системы автоматизированного проектирования и моделирования элементов нейронной сети.

Основными методами исследования являются применение математических методов и моделей нейронных сетей, основанных на вычислении реакции сети па внешние воздействия, методов и алгоритмов обучения нейронных сегей решению поставленных задач. Компьютерное моделирование выполнено на основе пакетов Matlab. Micro-Cap и оригинальных программ, разработанных автором диссертации.

Достоверность полученных результатов обеспечивается строгим использованием адекватного математического аппарата, проверкой разработанных методов путем решения модельных задач, обширным численным экспериментом и сопоставлением полученных результатов с экспериментом и результатами работ других авторов.

Научная новизна заключается в следующих положениях, выносимых на защиту:

1. Разработка двухслойной архитектуры плоской нейронной сети с регулярными связями между нейронами, согласованной с возможностями полупроводниковой технологии;

2. Разработка перспективной структуры нсйрочипа на основе нанокристаллов 51, Ое в пленке Б Юз и моделирование работы элементов нейрочипа методами схе мотехп и ческо го модел иро ван ия;

3. Разработка алгоритма и модели обучения нейронной сети;

4. Разработка стру)сгуры и алгоритма работы системы автоматизированного проектирования нейронной сети.

Практическая ценность состоит в разработке архитектуры и элементов нейронной сети, перспективной для реализации в виде гигабайтной интегральной микросхемы. Это открывает перспективу создания дешевых нейронных сетей, работающих в реальном масштабе времени.

Реализация работы использованы при проведении научно-исследовательских работ в НИИ систем управления, волновых процессов и технологий Министерства образования и науки РФ. (г, Красноярск) и НИИ Микроэлектроники и информационно-измерительной техники (Москва), а также в учебном процессе в МГИЭМ.

Апробация работы.

Основные результаты работы докладывались и обсуждались на научно-технической конференции «Датчики и преобразователи информации систем измерения, контроля и управления»; научно-технической конференции «Вакуумные технологии и нанотехнологии.»; IV Российском философском конгрессе «Философия и будущее цивилизации»; Всероссийской междисциплинарной конференции «Философия искусственного интеллекта»; научно-технической конференции «Нанотехнологии - 2005»; научно-технической конференции «Прогрессивные машиностроительные технологии», а также на конференциях МГИЭМ (ТУ) для молодых ученых и специалистов в 2004, 2005,2006 гг.

Публикации.

По теме диссертации опубликованы 24 печатные работы, в том числе получено 6 патентов РФ на полезные модели, написано 4 депонированных статьи, сделано 13 докладов на Всероссийских конференциях.

Объем диссертации.

Диссертация состоит из введения, пяти глав, общих выводов, заключения, списка литературы и приложения.

Основные выводы:

1. Основным результатом диссертационной работы следует считать разработку комплекса моделей, алгоритмов функционирования и технических решений позволяющих перейти к реализации гигабайтных твердотельных нейронных сетей на основе существующих и перспективных технологий микроэлектроники. Предложенная схема комплексного моделирования позволяет принимать научно обоснованные, технически целесообразные, экономически и технологически выгодные решения при проектировании элементов нейронных сетей в приборостроении.

2. Проведен теоретический анализ и разработана архитектура плоской двухслойной нейронной сети, выполненной на базе твердотельных объектов, являющаяся составной частью системы автоматизированного проектирования процесса производства элементов нейронных сетей. Показана экономическая и технологическая целесообразность разработки элементов такой автоматизированной системы.

3. Разработана модель обучения и оптимизации архитектур нейронных сетей, которая является составной частью информационной системы поддержки принятия решений при проектировании процесса производства элементов нейронных сетей и направлена на решение задачи повышения производительности электронной схемы, а так же достижения более высокого результата обработки данных.

4. Разработана структура, позволяющая проектировщикам на основе морфологического анализа-синтеза создавать технические решения устройств формирования элементов нейронных сетей, соответствующая критериям патентоспособной новизны, изобретательского уровня и промышленной применимости, и обеспечивающая снижение затрат на производство элементов нейронных сетей - твердотельных объектов.

5. На основе предложенных алгоритмов и пакетов прикладных программ разработаны элементы автоматизированной системы проектирования элементов нейронных сетей.

включении.

Спектры ФЛ после ионно-лучевого синтеза в каждом из трех режимов представлены на рис. 2.13.

В отличие от данных по рамановскому рассеянию и электронной микроскопии, где при использовании промежуточных отжигов существенно ослаблялись признаки присутствия кремниевых нанокристаллов, их люминесценция оказалась затронута в меньшей степени. В случае имплантации полной дозы с последующим отжигом в спектре возникала интенсивная полоса с максимумом вблизи 795 им. В настоящее время практически все исследователи связывают ее с излучательной рекомбинацией в образующихся квантово-размерных кристаллах кремния. Имплантация с одним промежуточным отжигом приводила к некоторому снижению интенсивности свечения, причем заметного смещения максиума не происходило. Набор дозы 10)7 см-2 в три приема ведет к дальнейшему понижению интенсивности ФЛ, и здесь уже становится заметным коротковолновое смещение максимума полосы к ~ 785 нм. Таким образом, использование двух промежуточных отжигов снижало интенсивность ФЛ всего в 2 с небольшим раза, в то время как возможности обнаружения признаков нанокристаллов по рамановскому рассеянию или с помощью высокоразрешающей электронной микроскопии практически исчерпывались.

80

70

60 й

50 С 3 л с

РЗ

40

ИI с о л зо

20

10 а 0

600 700 800

УаУс!спёТЬ, пш

Рис. 2.13. Спектры фотолюминесценции образцов, полученных в режимах I (а), 2 (Ь) и 3 (с).

Данный механизм создания области затвор-диэлектрик, состоящий из управляющего оксида (верхний слой), слоя оксида с захороненными нанокристаллами германия (средний слой) и туннельного оксида (нижний слой) позволяет очень точно контролировать толщину оксидов окружающих захороненный слой нанокристаллов. В первую очередь на поверхности кремниевой подложки создается тонкий эпитаксиальный слой 81|.хОех с последующим высокотемпературным влажным окислением, которое заставляет имплантированный ве скапливаться на границе раздела 51/5102 вследствие отделения растущего оксида в данных условиях окисления). После удаления слоя высокотемпературного оксида верхний слой оксида выращивается при 800" С в атмосфере сухого 02. В таких условиях Се не взаимодействует с растущим оксидом. Затем слой 5н.х0ех02 выращивается при 800" С во влажной среде таким образом, что Се проникает в область затвор-диэлектрик. На заключительном этапе выращивается туннельный оксид при 800° С в атмосфере сухого Ог, а затем структура отжигается при температуре 900° С, что приводит к образованию преципитатов Се и формированию захороненного слоя нанокристаллов.

Схема эксперимента и основные результаты представлены на рис. 2.14 [48,49]. I

§

Си ф у

I £

•а § I

3: |

Рис. 2.14. Формирование слоя нанокристаллов Се в подзатворном диэлектрике для хранения заряда в элементах нейронной сети.

ГЛАВА 2 Теоретический подход к решению задачи создания элементов системы проектирования нейронных сетей

Элементарные ячейки нейронной сети могут хранить один бит информации и состоят из одного полевого нанотранзистора с электрически изолированной областью (плавающим затвором - floating gate), способный хранить заряд многие годы. Ячейка нейронной сети представляет собой одиночный многоходовой МОП транзистор (рис. 2.15). Проводящий поликремниевый слой находится между внешне доступным затвором (обозначенный как управляющий затвор) и плавающим затвором. Диэлектрики между плавающим затвором и подложкой (термический оксид кремния), а так же между плавающим затвором и контрольным входом являются туннельными и управляющими диэлектриками соответственно. Л

Чпрйдляюшии зотдии

Чпоабляюшии оксид

НтВаюший затбоо

Тцннрльный оксид

Рис. 2.15. Схематическое сечение МОЛ транзистора с плавающим затвором.

Наличие или отсутсвие заряда на плавающем затворе кодирует один бит информации. При записи заряд помещается на плавающий затвор одним из двух методов (зависит от типа ячейки): методом инжекции электронов или

68 методом туннелирования электронов. Стирание содержимого ячейки (снятие заряда с плавающего затвора) производится методом туннелирования. Как правило, наличие заряда на транзисторе понимается как логический «ноль», а его отсутствие - как логическая «единица». Изменение порогового напряжения Д/>„, вызванное хранением заряда 0н, определяется как

ДРга = , где Ос-это емкость между контрольным и изолированным '-со входом и задается формулой Сга = , где А - площадь конденсатора, а е и - диэлектрическая константа и толщина управляющего диэлектрика соответственно (рис. 2.16). я £ 5 а

Д' I у 1

1 'б

§

4»

-1 1

С:!

5 4

О —О о ь—о у е I 1 г<> 1 I I

Г! ,

У с

У 1 л г

Г

А

Рис. 5.16 Схематическое описание операций стирания/записи для ячейки элемента нейронной сети.

На рис. 2.17 представлена схематическая диаграмма энергетических зон для кремниевой нанокристаллической памяти в процессе: (а) записи (инжекция электронов), и (б) стирания (экстракция электронов). В процессе записи (стирания) электроны инжектируются (экстрагируются) в (из) нанокристаллы за счет приложенного положительного (отрицательного) напряжения смещения на затвор по отношению к истоку и стоку. Тольщина управляющего оксида должна быть относительно мала для выбора приемлемого низкого напряжения, но не такой маленькой чтобы привести к утечке заряда в управляющий затвор. Эти ограничения приводят к выбору оптимальной толщины управляющего оксида в 5-15 нм. В случае тонкого туннельного оксида толщиной менее 3 нм передача заряда осуществляется через прямое туннелирование (потока электронов через весь оксид) вместо туннелирования по механизму Фаулера-Нордгейма. Генерация носителей с низкими энергиями (с энергиями много меньше чем 3 эВ, что является порогом для некоторых главных механизмов деградации оксидов от горячих носителей заряда) во время операции программирования, понижает деградацию оксида во время Ф-Н-инжекции, в результате улучшая износоустойчивость и характеристику заряд/пробой. [49]

Одно из главных преимуществ ячеек нейронной сети на нанокристаллов по сравнению с обычными устройствами на основе плавающих затворов состоит в использовании взаимно изолированных узлов хранения заряда, вместо непрерывного поликремниевого слоя. Такой неоднородный плавающий затвор уменьшает потерю зарядов через дефекты в окисле, где происходит туннелирование, позволяя все более уменьшать толщину туннельного окисла. [49]

Рис. 2.17. Диаграммы потенциала зоны проводимости для элементов нейронной сети на основе кремниевых нанокристшиюв во время: (а) записи (инжекции электронов в нанокристалл); (б) стирания (экстракция электронов из напокристалла); (в) хранение электронов на квантовых уровнях энергии нанокристалла; (г) хранение электронов на низких энергетических уровнях в нанокристалле и/или на границе раздела ЗЮ/нанокристалл.

Рис. 2.18. Яаноячейки памяти с архитектурой нейронных сетей реализованной с помощью баллистического транзистора.

1. Анил К. Джейн, Жанчанг Мао, К.М. Моиуддин «Введение в искусственные нейронные сети» Artificial Neural Networks: A Tutorial, Computer, Vol.29, No,3, March/1996, pp. 31 -44.

2. W.S, McCulloch and W. Pitts, "A logical Calculus of Ideas Immanent in Nervous Activity", Bull. Mathematical Biophysics, Vol. 5, 1943, pp. 115133.

3. J. Hertz, A. Krogh, and R.G. Palmer, Introduction to the Theory of Neural Computation, Addison-Westey, Reading, Mass., 1991.

4. S. Haykin, Neural Networks: A Comprehensive Foundation, MacMillan College Publishing Co., New York, 1994.

5. RRosenblatt, 'Principles of Neurodynamics", Spartan Books, New York, 1962.

6. M. Mimnsky and S. Papert, "Perceptrons: An introduction to Computational Geometry", MIT Press, Cambridge, Mass., 1969.

7. J.J. Hopfield, "Neural Networks and Physical Systems with Emergent Collective Computational Abilities", in Proc. National Academy of Sciencies, USA 79, 1982, pp. 2554-2558.

8. P. Werbos, "Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences", Phd Thesis, Dept. of Applied Mathematic

9. А.Ю.Дорогов, А.А.Алексеев. Категории ядерных нейронных сетей. //Труды Всерос. науч.-техн. конф.ь'Нейроинформатика-99" г.Москва 20-22 января 1999г. Сб.науч.тр.Часть 1.- М.: 1999. С.55-64.

10. А.Ю.Дорогов, А.А.Алексеев. Быстрые нейронные сети. //Труды международной научно-технической конференции "Пятьдесят лет развития кибернетики"Санкт-1 етербург 5-7-октября 1999. С. 120-121.

11. А.Ю.Дорогов, А.А.Алексеев. Быстрые нейронные сети. //Труды международной Научно-технической конференции ''Пятьдесят лет развития кибернетики"Санкт-Петербург 5-7-октября 1999. С.120-121.

12. Zurada J. М. Introduction to artificial neural systems. PWS Publishing Company,1992. 785 pp.

13. Haykin S. Neural networks. A comprehensive foundations. McMillan College Publ.1. Co. N.Y., 1994. 696 pp.

14. Ezhov АЛ, Ventura D. Quantum neural networks. In: Future directions for Intelligent Information Systems and Information Sciences. Kasabov N (ed), Physica-Verlag, Heidelberg, 2000; 213-235 (Studies in Fuzziness and Soft Computing, vol.45)

15. Deutsch D. The fabric of reality. Alen Lane: The Penguin Press, 1997

16. Narayanan A. Quantum algorithms. Technical Report 374, Department of Computer Science, University of Exeter, 1998

17. Perus M. Common mathematical foundations of neural and quantum informatics. Zeitschrift für Angewandte Mathematik und Mechanik, 1998; 78: 23-26.

18. Behrman EC, Niemel J, Steck JE et al. A quantum dot neural network. In: Proceedings of the 4th Workshop on Physics of Computation, Boston, 1996, pp.22-24.

19. MenneerT, Narayanan A. Quantum inspired neural networks. Department of Computer Sciences, University of Exeter, UK 1995. http:/www.dcs.ex.ac.uk/reports/reports.htmI

20. Menneer T. Quantum artificial neural networks. PhD thesis, Faculty of Science, University of Exeter, UK, 1998.

21. Menneer T & Narayanan A. Quantum artificial neural networks vs. Classical artificial neural networks: Experiments in Simulation. Proceedings of the Fifth Joint Conference on Information Sciences, Atlantic City, 2000; 1: 757759.

22. Ventura D. and Martinez T. (1998) Quantum associative memory with exponential capacity, Proceedings of the International Joint Conference on Neural Networks, pp.509-513,

23. Chrisley R.L. Learning in Non-superpositional Quantum Neurocomputers, In Pylkkänen, P., and Pylkko, P. (Eds.) Brain. Mind and Physics. IOS Press, Amsterdam, pp 126-139, 1997.

24. Крисли P. Бомовские квантовые нейронные сети (в данном сборнике).

25. Горбань А.Н., Россиев Д.А. 11ейронные сети на персональном компьютере.

26. Новосибирск; Наука (Сиб. отделение), 1996. 276 с,

27. Le Cun Y., Denker J.S., Solla S.A. Optimal Brain Damage // Advances in Neural1.formation Processing Systems II (Denver 1989). San Mateo, Morgan Kaufman, 1990. Р.598-605/

28. Горбань A.l 1. Обучение нейронных сетей. M.": изд. СССР-США СП"ParaGraph", 1990, 160 с. (English Translation: Traning Neural Networks // AMSETransaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing. P. 1-134).

29. Prechelt L. Comparing Adaptive and Non-Adaptive Connection Pruning With PureEarly Stopping // Progress in Neural Information Processing (HongKong, September 24-27,1996), Springer, 1996. Vol. 1. P. 46-52.

30. Cybenko G. Approximation by superposition of a sigmoidal function. Mathematics ofContro!, Signals, and Systems, 1989. Vol. 2. PP. 303 314.

31. Horniк К., Stinchcombe M., White H. Multilayer feedforward networks are universalapproximators. Neural Networks. 1989. Vol. 2. PP. 359 366.

32. Kochcnov DA., Rossiev D.A. Approximations of functions ofCA,B. class by neural-net predictors (architectures and results). AMSE Transaction, Scientific Siberian, A. 1993,Vol. 6. Neurocomputing. PP. 189-203. Tassin, France.

33. Gilev S.E., Gorban A.N. On completness of the class of functions computable byneura! networks. Proc. of the World Congress on Neural Networks (WCNN'96). Sept. 15-18,1996, San Diego, CA, Lawrens Eribaum Accociates, 1996. PP. 984-991.

34. Колмогоров A.H. О представлении непрерывных функций несколькихпеременных суперпозициями непрерывных функций меньшего числа переменных.Докл. АН СССР, 1956. Т. 108, №.2 С. 179-182.

35. Арнольд В.И. О функциях трех переменных. Докл. АН СССР, 1957, Т. 114, №4. С. 679-681.

36. Колмогоров А.Н. О представлении непрерывных функций несколькихпеременных в виде суперпозиции непрерывных функций одного переменного. Докл.АН СССР, 1957. Т. 114, № 5. С. 953-956.

37. Витушкин А.Г. О многомерных вариациях. М.: Физматгиз, 1955.

38. Stone M.N. The generalized Weierstrass approximation theorem. Math. Mag., 1948.V.21.PP. 167-183,237-254.

39. Шефер X. Топологические векторные пространства. М.: Мир, 1971. 360 с.

40. Шик А,Я. Квантовые нити // Соросовский Образовательный Журнал. 1997. №5. С. 87-92,

41. Демиховский В.Я. Квантовые ямы, нити, точки: Что это такое//Там же. С. 81-86.

42. Молекулярно-лучевая эпитаксия и гетероструктуры / Подред. Л. Ченга, Л. Плога. М.; Мир, 1989. 582 с.

43. Беляховский В.И. Физические основы полупроводниковойтехнологии // Соросовский Образовательный Журнал. 1998.№ 10. С. 92-98.

44. В.А. Крисилов, Д.Н. Олешко, А.В. Трутнев. Применение нейронных сетей в задачах интеллектуального анализа информации. //Труды Одесского политехнического университета, Вып.2 (8). 1999, с. 134

45. Авеньян Э.Д. Алгоритмы настройки многослойных нейронных сетей.//Автоматика и телемеханика-I995-N 5. С.106-118.

46. Минский М.,ПейпертС. I (ерсептроны. М.: МИР, 1971. с. 261.

47. Tiwary S., Rana F., Chan K., Hanafi H., Chan Wei, Buchanan D. Volatile and non-volatile memories in silicon with nano-crystalstorage // IEEE International Electron Device Meeting 1995, Washington, DC, USA, 10-13 December 1995, 1995. pp. 521-524.

48. Tiwary S., Rana F. Hanafi H., Harstein A., Crabbe E.F. Chan K. A silicon nanocrystals based memory // Appl. Lett. 1996. 68. P. 1377-1379.

49. Чаплыгин Ю.А. Нанотехнология в электронике // МИЭТ 2005, с. 153170.

50. P. Patrick. Minimisation methods for training feedforward Neural Networks. //NEUARAL NETWORKS, 1994, Volume 7, Number 1, P. 1-11

51. Джеффри E. Хинтон. Как обучаются нейронные сети.// В мире науки -1992 N 11 -N 12-с. 103-107.

52. Rumelhart В.Е., Minton G.E., Williams R.J. Learning representations by back propagating error.// Wature, 1986. V. 323. p. 1016-1028.

53. D.Bohm and B.Hiley. The Undivided Universe: An Ontologica) Interpretation of Quantum Mechanics. Routledge, London, 1993.

54. R. Chrisley. Learning in non-superpositional quantum neuroeomputers. In P.Pylkkanen and P.Pylkko, editors, Brain, Mind and Physics, ppI26-139. IOS Press, Amsterdam, 1997.

55. L. de Broglie. Non-Linear Wave Mechanics: A Causal Interpretation, Elsevier, New York, 1960.

56. D.Deutsch. Quantum theory, the Church-Turing principle and the universal quantum computer, Proc.Royal Society ofLondon, A400, pp.97-117, 1985.

57. H. Everett, "relative state" formulation of quantum mechanics. Review of modern physics, vol.29, pp.454-462, 1957.

58. B. Hiley and P.Pylkkanen, Representation and interpretation in quantum physics. In D. Peterson, editor, Forms of Representation, Intellect Books, Exeter, 1996.

59. T.Menneer. Quantum Artificial Neural Networks. University of Exeter, Exeter, 1999, D.Phil, thesis,61 .T.Menneer and A.Narayanan. Quantum-ins pi red neural networks. Technical Report 329, Department of Computer Science, University of Exeter, 1995.

60. M.Moore and A.Narayanan. Quantum-inspired computing. Technical Report 341, Department ofComputer Science, University of Exeter, 1996.

61. P.W.Shor. Algorithms for quantum computation: Discrete log and factoring, in S.Goldwasser, editor, Proceedings of the 35th Annual Symposium on the Foundations of Computer Science, pp.124-134, IEEE Computer Society Press, 1994.

62. D.Ventura. Implementing competitive learning in a quantum system. In Proceedings of the 1999 International Joint Conference on Neural Networks,1999.

63. Shor, P.W. (1997) Polynomial-time algorithm for prime factorization and discrete logarithms on a quantum computer, SIAM Journal on Computing, 26, 1484-1509.

64. Grover, L.K. (1996) A fast quantum mechanical algorithm for database search. Proc. of the 28th Annual ACM Symposium on the Theory of Computation, 212-219.

65. Simon D (1997), SIAM J. Comput. 26, 1474

66. Deutsch D, and R.Jozsa (1992) Rapid solutions of problems by quantum computations. Proc. Roy.Soc.London Ser. A 439, 553

67. Hogg T. (1996) Journal of Atrificial Intelligence Research 4,91.

68. Jackson J. (1997) Journal of Computer and System Sciences 55,414

69. Bshouty N.H. & Jackson J. (1995) Proceedings of the 8th Annual Conference on Computational Learning Theory, Santa Cruz, 1995, W.Maass . ed. (ACM Press).

70. Fredkin E. & Toffoli T. (1982) Conservative Logic, Int. J. Theor. Physics, 21,219.

71. Bernstein E. And Vazirani U, (1997) SIAM J. Comput. 26, 1411

72. В iron D. et al. (1998) Proceedings of the 1st NASA Int. Conf. Quantum Computing and Quantum Communications, Palm Springs, C.Bennet (ed), (to be published)

73. Steane. Quantum computing// Rep.Progr.Phys. 1998. T. 61. C. 117-173.

74. H. Wilson and J. Cowan. Amathematical theory of the functional dynamics of cortical and thalamic nervous tissue // Cybernetic. 1973. V.13. N 1. C.55-80.78.0раевский A. H. О квантовых компьютерах // Квантовая электроника.2000. Т.30. N 5. С, 457 458.

75. R. Feynman. Lectures of physics. Addis on-Wis ley. 1964. V.2.

76. Ландау JI. Д., Лифшиц Е. М. Квантовая механика. 1964. С. 173-174.

77. Sl.Barenco, С. Н. Bennet, R. Cleve, D. P. DiVincenzo, N. Margolus, P. Shor,

78. T. Steator, I. A. Smoiin and H. Weinfurter. Elementary gates for quantum computation // Phys. Rev. A. 1995. V.52. P.3457-3467.

79. N. A. Gershenfeld and I, L. Chuang.Bulk spin-resonanse quantum computation // Science. 1997. V275. P.350-356.

80. D. Ventura and 'Г. Martinez. Quantum associative memory with exponential capacity. Proc. Int. Joint Conf. on Neural Networks. Anchorage. 1998. P. 509-513.

81. Кессель A. P., Ермаков В. JI. Виртуальные кубиты многоуровневость вместо многочастичности // ЖЭТФ. 2000. Т. 117. N.3. С. 517 - 525.

82. Ивашов П.П., Реутова М.В. Технологические устройства для получения наноструктур с использованием углеродных нанотрубок. Сборник докладов научно-технической конференции «Вакуумная наука и техника».-М.:МГИЭМ, 2003, Судак - 03.

83. Ивашов E.H., Павлов А.Ю., Пискарев Д.А., Реутова М.В., Степанов М.В. Колебательный контур для наноэлектроники. Патент РФ на пол. мод. №40539. Опубликована 16.03.04 Б. №25

84. Петренко А.И., Семенков О. И. основы построения систем автоматизированного проектирования. 2-е изд., стер. -К.:Вища шк. Головное издательство, 1985г. - 294с.

85. Семенкин E.H., Семенкина О.Э., Терсков В.А. Методы оптимизации в управлении сложными системами: Учебное пособие. -Красноярск: сибирский юридический институт МВД России. 2000г. -254с.

86. Ивашов E.H., Реутова М.В. Применение метода Саати при структурировании множества альтернатив получения углеродных нанотрубок, фуллеренов и кластеров. Деп. рукопись ВИНИТИ №2325 В. 2003: 31. i2.2003.-12c, илл.

87. Смирнов С.А. Оценка интеллектуальной собственности: М.: Финансы и статистика, 2002г.- 352с: ил.Неволин В.К. Физические основы туннелыго-зондовой нанотехнологии. Уч. Пособие. М. 2000г.

88. Ивашов E.H., Степанчиков СВ., Реутова М.В., Дульцев A.A. Расчет магнитных систем вакуумного технологического оборудования.' Свидетельство об офиц. регистр, прогр. для ЭВМ №2003611934. Зарегистр. в Реестре 22.08.03.

89. Ивашов E.H., Степанчиков СВ., Реутова М.В., Самухов И.В. Расчет электромагнитных систем вакуумного технологического оборудования. TSE RISS Свидетельство об офиц. регистр, прогр. для ЭВМ №¡2003611935. Зарегистр. в Реестре 22.08.03.

90. Ивашов E.H. Пак М.М. и др. Системы формирования и сканирования нанообъектов, НТК «Датчики и преобразователи информации систем измерения, контроля и управления». Датчик 04 М.: МГИЭМ 2004, Судак 2004, материалы конференции

91. Ивашов E.H., Пак М.М. и др. Построение аналитических устройств наноэлетроники на основе кванто механич ее кого подхода Деп. Рук. ВИНИТИ № 1204 В 2004; 13.07.04

92. Ивашов E.H., Пак М.М. и др. Механическое и полевое тестирование модифицированы« наноструктур. Деп. Рук. ВИНИТИ № 1202 В 2004; 13.07.04

93. Ивашов E.H., Пак М.М. и др. Туннельный метод измерения нанорельефа поверхности. Деп. Рук. ВИНИТИ № 1201 В 2004; 13.07.04

94. Ивашов E.H., Пак М.М. и др. Оптоволоконная нанотехнология в элетронике и методы её реализации. Деп. Рук. ВИНИТИ № 1203 В 2004; 13.07.04

95. Ивашов E.H., Пак М.М. и др. Устройство перемещения для нанотехнологии. Пат. РФ на ПМ № 37580 опубл. 27.04.04. Б.И. № 12

96. Ивашов E.H., Пак М.М. и др. Устройство для регистрации химического состава. Пат. РФ на ПМ № 43104 опубл. 27.12.04. Б.И. № 36.

97. Ивашов E.H., Пак М.М. и др. Устройство для получения нанодорожек. Пат. РФ на ПМ № 42696 опубл. 27.12.04. Б.И. № 34.

98. Ивашов E.H., Пак М.М. и др. Измерительное устройство для нанотехнологии. Пат, РФ на ПМ № 42697 опубл. 27.12.04. Б.И. № 34.

99. Ивашов E.H., Пак М.М. Искусственная нейронная сеть. Заявка на Пат. РФ № 2006141133 от 21.11.2006.

100. Ивашов E.H., Пак М.М. Устройство флэш-памяти. Заявка на Пат. РФ № 2006 . 41132 от 21.11.2006.

101. Пак М.М. и др. Определение наноструктуры поверхности подложки. Ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ М.: Москва 2004, материалы конференции

102. Пак М.М. и др. Устройство сканирования нанодорожек на подложке. Ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ -. М.: Москва 2004, материалы конференции

103. Ивашов E.H., Пак М.М. и др. Аспекты наноробототехники IV Российский философский конгресс «ФИЛОСОФИЯ И БУДУЩЕЕ ЦИВИЛИЗАЦИИ» М:. Москва 2005, материалы конференции

104. Ивашов E.H., Пак М.М. и др. Методологические аспекты нанотехнологии Всероссийская междисциплинарная конференция «Философия искусственного интеллекта» М:. Москва 2005, материалы конференции

105. Ивашов E.H., Пак М.М. и др. Моделирование наноструктур ассемблерами на основе искусственных нейронных сетей. НТК

106. Нанотехнологии 2005»-. М.: МГИЭМ 2005, Владимир 2005, материалы конференции

107. Пак М.М. и др. Применение туннельного метода в исследовании наношероховатости поверхности подложки. НТК «Прогрессивные машиностроительные технологии» «Образование через науку» 2005-, М.: МГИЭМ 2005, Москва 2005, материалы конференции

108. Пак М.М. и др. Формирование наноструктур на атомарном уровне. НТК «11рогрессивные машиностроительные технологии». -«Образование через науку» (материалы конференции). М.:МГИЭМ. 2005 г.

109. Пак М.М. и др. Моделирование наноструктур ассемблерами на основе искусственных нейроных сетей, Ежегодная научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ М.: Москва 2005, материалы конференции

110. Ивашов E.H., Пак М.М. и др. Расчет геометрических параметров квантовых точек при их автоматизированном проектировании Свид. per, программы для ЭВМ №2005613155, заявка №2005612537

111. Пак М.М. и др. Квантовая нейронная обработка в автоматизированном проектировании искусственных нейросетей. XIV МЕЖДУНАРОДНАЯ СТУДЕНЧЕСКАЯ ШКОЛА-СЕМИНАР "НОВЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ".-М.: МИЭМ, 2006, материалы конференции

112. Расчет геометрических параметров квантовых точек при их автоматизированномпроектировании.1. Program NEURONANO;uses crt;constme=9. le~3I; F=96.5e+3; Plank-6.625e-34; mun-92e-3; pi=3.¡4159265;

113. WriteC 0; for i;=3 to X2-2 do Write ('—'); Write(\'); for i:=2 to Y2-1 do1. Begin

114. GotoXY(2,i); Writer lb; GotoXY(X2-l,i); Writer II'); End;1. GotoXY(2, Y2); WriteCЦ;for i: =3 to X2-2 do Write(—'); Write '); End;beginwhile not keypressed do Begin

115. Xl:=l+(85-MinLen); X2:=MinLen+(85-Xl-MinLen); Y2:=Round(X2*25/85)-l; Yl:=l+(24-Y2);

116. WindowfXJ, Yl.Xl +X2-1, Y1 + Y2-1);

117. Background: =(15); Color: =(0);

118. TextBackground(Background'); ClrScr;1. TextColor(Black);

119. GotoXY((X2-Textlen) div 2+1, (Y2-1) div 2+1);1. Write(Text);1. Doubleframe;1. Delay/Pause);1. End;

120. Расчет геометрических параметров квантовых точек при их автоматизированномпроектировании.

121. Настоящая программа позволяет выполнить расчет геометрических параметров квантовой точки ее диаметра, высоту при следующих исходных данных: материал зонда, материал подложки, рабочий газ. напряжение и расстояние между зондом и подложкой.1. Тип ЭВМ

122. Языки программирования Операционная система Объем программы Список авторов;

123. M PC совместимые ПК Turbo Pascal ver. 7.0 Windows 95/98/NT/2000/XP/2003 20,1 КБ1. Авторы:

124. Ивашов Евгений Николаевич.2. Пак Марк Маркович,

125. Программа распознавания объектов.

126. Программа распознавания образов, построенная но алгоритму, основанному на принципе нейронной сети, напнеана с использованием Open Source библиотеки OpenCV 0.99 http: // sourceforqe.net/projects/opencv/1. Тин ЭВМ

127. Языки программирования Операционная система Объем программы Список авторов;1. ВМ PC совместимые ПК1. С++

128. Windows 95/98/NT/2000/XР/2003 5.440 Mbhttp://sourceforqe.net/Droiects/opencv/

129. Декан ф-та электроники, зав. кафедрой

130. Технологические системы электроники» Профессор кафедры1. Львов Б.Г.

131. Технологические системы электроники» Доцент кафедры1. Ивашов Е.Н.

132. Технологические системы электроники»1. Степанчиков С.В.

133. НИИ МИКРОЭЛЕКТРОНИКИ и ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНОЙ ТЕХНИКИ (НИИ МЭИИТ)1. АКТоб использовании результатов диссертационной работы Пака М.М. на тему «Моделирование нейронных сетей на основе твердотельных объектов»

134. Директор НИИ СУВПТ Академик МИА, профессор1. Василенко Н.В.п ш ш шш $ш ш Йш42697

135. ИЗМЕРИТЕЛЬНОЕ ЩТРОИСТВО ДЛЯ НАНОТЕХНОЛОГИИ' ¿-.у- . . > :. : •• •:.-.■ >••'•.<••

136. Патентообладателе л и): Государственное образовательное учреждение высшего профессионального образования Московский государственный институт электроники и математики (Технический Университет) (Ш/)1. Автор(ы): см. на обороте1. Заявка Л|2Р040 6567

137. ПрнорйЖ|ШщШ«одели 04 июня 2004 г. к4ААл ' Зарс1"исщррвд|{0й^^Госула|х*твеило.мреестре полезных моделей Доссийской с^едераци и 10 декабря 2004 г.

138. Срок действия патента истекает 04 июня 2009 г.

139. Руководитель Федеральной службы по интеллектуал ьшш . собственности, патентам и товарным знакам1. Б.П. Сгшоиоа