автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Высокоточное нейросетевое распознавание в системах технического зрения

На правах рукописи

00500'//^° Руденко Ольга Валентиновна ДИ^

ВЫСОКОТОЧНОЕ НЕЙРОСЕТЕВОЕ РАСПОЗНАВАНИЕ В СИСТЕМАХ ТЕХНИЧЕСКОГО ЗРЕНИЯ

Специальность 05.13.01- «Системный анализ, управление и обработка информации (информационные и технические системы)»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 7 НОЯ 2011

Краснодар - 2011

005002746

Работа выполнена в ФГБОУ ВПО «Кубанский государственный технологический университет»

Научный руководитель: доктор физико-математических наук, доцент

Усатиков Сергей Васильевич

Официальные оппоненты: доктор технических наук, профессор

Плахотнюк Александр Николаевич; кандидат технических наук, профессор Бухонский Михаил Иванович

Ведущая организация: ФГБОУ ВПО «Кубанский государственный

университет»

Защита диссертации состоится «7» декабря 2011 г. в 1400 часов на заседании диссертационного совета Д 212.100.04 в ФГБОУ ВПО «Кубанский государственный технологический университет» по адресу : 350072, г. Краснодар, ул. Московская, 2 , Г-251

С диссертацией можно ознакомиться в библиотеке Кубанского государственного технологического университета

Автореферат разослан «7» ноября 2011 г.

Ученый секретарь

диссертационного совета Д 212.100.04 канд. техн. наук, доцент

Власенко А.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Последние десятилетия для автоматизации производства активно ведутся разработки систем технического зрения (СТЗ). Для повышения эффективности функционирования СТЗ необходимо постоянно пополнять арсенал методов и средств предварительной обработки изображения и построения классификаторов, сочетающих требуемые показатели по быстродействию и достоверности идентификации. Перспективные СТЗ экспертного уровня точности для объектов природного происхождения в задачах пищевой и зерноперерабатывающей промышленности рассмотрены в работах А.Ю. Шаззо с сотр., Русанова И.А. с сотр. и др. на основе различных методов распознавания: статистических, нейросетей (НС), байесовских сетей и т.д. Нейросетевые алгоритмы и технологии построения нейросетевых экспертных систем разработаны в трудах как зарубежных, так и российских ученых: А.Н. Горбанем, В.В. Кругловым, Е.М. Миркесом, В.А. Дуниным-Барковским и др. Основная трудность при разработке НС с заданными свойствами является отсутствие теоретического проектирования их топологий и предсказание точности распознавания. В связи с этим изучение возможной достижимой для НС точности распознавания массовых объектов с сильной внутриклассовой визуальной вариабельностью и разработка соответствующих методов, гарантирующих достаточную заданную точность, является актуальной задачей.

Цель работы: разработка методов и алгоритмов по применению в СТЗ нейронных сетей для распознавания с достаточной заданной точностью массового количества объектов природного происхождения с сильной визуальной внутриклассовой вариабельностью.

Предмет исследования: совокупность математических моделей и основных архитектур нейронных сетей, позволяющих проводить

классификацию объектов с большой визуальной внутриклассовой вариабельностью, реализуемых программно на нейроимитаторах.

Объект исследования: процесс распознавания экспертного уровня точности объектов природного происхождения.

Основными задачами исследования являются:

1) совершенствование методик и технологий для распознавания объектов природного происхождения с большой визуальной внутриклассовой вариабельностью в промышленных СТЗ с заданной точностью;

2) отбор информативных признаков, участвующих в классификации;

3) выбор топологии и обучение нейронной сети;

4) создание «обучающей» базы данных программного комплекса нейросетевого распознавания;

5) разработка программного обеспечения, позволяющего проводить высокоточное распознавание, на основе нейронных сетей;

6) оценка точности распознающего алгоритма;

7) обоснование эффективности нейросетевого метода распознавания по сравнению с другими методами.

Методы исследования. В диссертации использованы методы системного анализа, распознавания образов, компьютерного зрения, нейронных сетей, математической статистики, спектрального анализа. Положения, выносимые на защиту:

1) выбор типа признакового пространства для распознавания объектов с большой визуальной внутриклассовой вариабельностью;

2) выбор типа пользовательской топологии и подбор методов обучения нейронной сети для высокоточного распознавания;

3) оценка точности работы нейронной сети на реальном наборе данных;

4) блок экспертной системы на основе нейронной сети для контроля качества пищевой продукции.

Научная новизна работы:

• повышение точности распознавания с использованием нейронной сети на основе объединения геометрических параметров и цветовых составляющих объектов пищевой и зерноперерабатывающей промышленности;

• предложена методика выбора топологии и методов обучения нейронной сети для задачи высокоточного распознавания;

• проведены экспериментальные исследования по проверке эффективности разработанной системы.

Достоверность и обоснованность научных результатов и выводов основана на корректности постановок задач и используемого математического аппарата, адекватности математических моделей и согласованностью теоретических расчетов с экспериментальными результатами.

Практическая значимость. Результаты работы использованы при разработке программного обеспечения базы данных для лабораторного стенда экспертного уровня для целей семеноводства и для создания блока распознавания сырья экспертной системы мониторинга показателей безопасности и качества.

Реализация и внедрение результатов работы. Диссертационные исследования выполнены в рамках госбюджетной темы НИР №8.5.06-10 «Исследования математических моделей для естественнонаучных приложений» по кафедре Общей математики КубГТУ и гранта РФФИ и Администрации Краснодарского края №08-07-99033-р_офи 2008-2009 г.г.

Результаты работы внедрены на кафедре Пищевой инженерии и высоких технологий (КубГТУ, г. Краснодар) и в Краснодарском научно-исследовательском институте хранения и переработки сельскохозяйственной продукции ГУ КНИИХП (г. Краснодар).

Публикации. Основные положения диссертации достаточно полно изложены в 7 печатных работах, из них 5 статей (3 статьи в изданиях из перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук) и 2 тезиса докладов.

Получено 2 свидетельства о государственной регистрации программы для ЭВМ №2011613332 и №2011615407.

Апробация работы. Основные результаты диссертации обсуждались на международной, всероссийской и региональной научных конференциях:

• V Международная научная конференция «Научный потенциал XXI века», Ставрополь, 2011 г.;

• конференция получателей грантов регионального конкурса РФФИ и Администрации Краснодарского края «Юг», 2007-2008 гг.;

• I межвузовская научно-практическая конференция «Автоматизированные информационные и электроэнергетические системы, Краснодар, 2010 г.

• международная научно-практическая конференция «Хлебобулочные, кондитерские и макаронные изделия XXI века», Краснодар, 2011 г. Объем и структура работы. Диссертационная работа включает в

себя введение, 4 главы, заключение, список используемой литературы из 95 наименований и 3 приложения. Работа изложена на 125 страницах, содержит 41 рисунок и 19 таблиц.

СОДЕРЖАНИЕ РАБОТЫ Во введении показана актуальность работы, ее научная новизна, теоретическая и практическая значимость. Приведена цель и поставлены задачи диссертационного исследования.

В первой главе проведен аналитический обзор существующих подходов к разработке СТЗ, позволивший сделать выводы, определяющие направление диссертационного исследования. Определены математичес-

кие методы, составляющие алгоритм формализованного подхода к построению СТЗ. Исследованы модели информативных признаков, позволяющих повысить точность распознавания по сравнению с существующими методами. Выбрано программное обеспечение для имитационного моделирования работы сети.

Делается вывод о том, что методы идентификации объектов для решения ряда актуальных задач селекции и семеноводства, управления технологическими процессами и др. не обладают экспертным уровнем точности распознавания. Установлено, что наличие большой вариабельности оптических свойств внутри одного класса объектов природного происхождения является основной проблемой идентификации. В результате проведенного анализа существующих методов идентификации выбраны искусственные нейронные сети как один из наиболее перспективных подходов для решения ряда задач с объектами пищевой и зерноперерабатывающей промышленности.

Во второй главе рассмотрен системный подход к созданию классификатора на основе нейронной сети; методы решения задачи распознавания в системах технического зрения; рассмотрены варианты принятия решения.

Процесс системного анализа включает ряд этапов, реализация которых необходима для решения проблемы. Сочетание этих этапов в определенной последовательности, диктуемой структурой проблемы и причинно-следственными связями, и приводит к системному решению.

Алгоритм распознавания изображений состоит из трех компонент: 1) преобразование исходного изображения (предобработка и/или математическое преобразование); 2) выделение ключевых характеристик (анализ главных компонент, генетический алгоритм и др.); 3) механизм классификации: статистические методы, метод дискриминационных функций, нейронная сеть и т.п. (рис. 1).

Рисунок 1 - Структура метода распознавания

Каждый компонент системы нужно разработать так, чтобы для системы в целом обеспечить достижение поставленных перед ней цели с требуемой эффективностью.

Для обеспечения инвариантности объектов по отношению к геометрическим трансформациям является предварительная обработка изображения и приведение его к стандартной позиции, масштабу и ориентации. Для начальной обработки изображения применен метод цветовых гистограмм для выполнения пороговой бинаризации полутоновых изображений. Алгоритм определяет наличие в изображении пикселей двух классов - текстовых и фоновых. После проведения операции бинаризации происходит поиск смежных областей в изображении. На основе разделения изображения на смежные области создается массив объектов, который представляет собой изображение, сохраненное в отдельной матрице (отдельный объект и его контур). Контур плоского изображения некоторого компонента задается в виде дискретного набора (х,, у;), 1 < 1 < п, декартовых координат точек на плоском замкнутом контуре без самопересечений.

Окраска объекта представлена в виде матрицы пикселей (зерно на рис. 2).

с (с» r0") J Мс» V

Рисунок 2 - Представление окраски зерна пиксельной матрицей

Каждый пиксель разложен на цветовые компоненты в пространстве {r,G,b}-палитры, /i-красный, G-зелёный, й-синий. Для получения характеристик окраски и формы объектов более предпочтительным является дискретное вейвлет (wavelet) - преобразование, представляющее собой свёртку исходного сигнала с низкочастотными и высокочастотными фильтрами, порождающими грубую аппроксимацию и детализирующие коэффициенты. Получение коэффициентов вейвлет - преобразования наиболее эффективно с помощью вейвлетов Хаара. Результирующий спектр состоит из спектров цветовых компонент R, G и В, взятых независимо друг от друга. Вычисленный вейвлет - спектр Z={Zo, ...,ZN.|} функций цвета R(c,r), G(c,r) и в(с,г), где с и г - координаты пикселя, образует векторное пространство X размерности п, которое называется признаковым пространством. Когда исходное признаковое пространство задано, осуществляется отбор меньшего числа наиболее информативных признаков (формирование признакового пространства меньшей размерности). Основными методами, применяемыми совместно с нейронными сетями, являются генетический алгоритм, метод главных компонент (АГК) и факторный анализ. Применение генетического алгоритма для понижения признакового пространства потребовало больших временных затрат. В пакете Statistica 6.1 реализован нелинейный вариант АГК, основанный на применение автоассоциативных сетей. У такой сети число выходов совпадает с числом входов, а все нейроны

имеют особое свойство. Если число элементов промежуточного слоя сделать меньше числа входов/выходов, то это заставляет сеть "сжимать" информацию, представляя ее в меньшей размерности. Критерий «каменистой осыпи» при применении факторного анализа позволяет быстро оценить количество главных факторов и оставить признаки с наибольшей дисперсией. Для достижения требуемой точности оставлено 100 коэффициентов вейвлет- спектров.

В третьей главе определены принципы построения и предложена методика создания НС для высокоточного распознавания в СТЗ.

Нейронную сеть можно представить, как некоторую многомерную функцию Р:Х—>У, аргумент которой принадлежит признаковому пространству входов, а значение - выходному признаковому пространству. Каждый нейрон нейронной сети выполняет суммирование сигналов, поступающих от других нейронов, которые прошли через нелинейное преобразование. Таким образом, персептрон аппроксимирует зависимости, которые в общем случае являются функциями многих аргументов, причем эту аппроксимацию персептрон выполняет с помощью суммы функций, каждая из которых является функцией только одного аргумента. Теорема Хехт-Нильсена обобщила теорему Колмогорова и Арнольда о том, что любая непрерывная функция п переменных 1"(Х|, х2, ... х„) всегда может быть представлена в виде суммы непрерывных функций одного переменного и показала, что она может быть аппроксимирована помощью двухслойной нейронной сети с прямыми полными связями с п нейронами входного слоя, (2п +1) нейронами скрытого слоя с заранее известными ограниченными функциями активации (например, сигмоидальными) и ш нейронами выходного слоя с неизвестными функциями активации.

В качестве инструмента для построения искусственной нейронной сети были использованы три наиболее известных и популярных пакета -

STATISTICA Neural Networks 6.1 (SNN), NeuroPro 0.25 и пакет Neural Networks Тоо1Ьох(пакет расширения MatLab 7.0.1).

Экспериментальная установка (рис. 3), разработанная на кафедре Пищевой инженерии и высоких технологий и на кафедре Общей математики (КубГТУ, г. Краснодар), включает следующие этапы создания «обучающей» базы данных (БД) для спектрального анализа плоского изображения и последующего распознавания изображений:

1) фото/видеосъёмка плодов на однотонном фоне; для «обучающей» БД - известного сорта, для рабочего режима - сортосмеси, подлежащей распознаванию;

2) применение алгоритмов отделения фона и выделения пиксельных изображений отдельных единичных плодов;

3) установление центра масс объекта, угла поворота относительно начальной системы координат и размера каждого изображения, перенос начало координат в центр масс объекта и поворот осей координат таким образом, чтобы ось абсцисс проходила вдоль максимального удлинения объекта;

4) нормализация размера объекта таким образом, чтобы вне зависимости от разрешения анализируемого изображения геометрические размеры всех объектов совпадали;

5) проведение дискретного вейвлет - преобразование цветовых составляющих всех точек (пикселей), принадлежащих выделенной в предыдущих пунктах области; упорядочить полученные коэффициенты; отбросить незначащие элементы полученного упорядоченного массива;

6) для «обучающей» БД - сохранить полученные данные в БД единичных вейвлет-спектров;

7) для нейросетевых (НС) методов распознавания БД единичных вейвлет - спектров является обучающей выборкой;

8) для рабочего режима вейвлет - спектр элементов сортосмеси, подлежащей распознаванию, подаётся на вход разработанной НС. Выход НС идентифицирует элементы сортосмеси.

Рисунок 3 - Схема лабораторной установки и этапы создания «обучающей» БД: 1 - ёмкость с непрозрачными стенками, 2- матовое стекло, 3 - отверстие для фотоаппарата, 4 - лампы искусственного освещения, 5 - поддон для зерна, 6 - зёрна

Объектами исследований являлись: элитные сорта нешлифованного риса, рис шлифованный и шелушенный, бобовые и масличные культуры, тритикале и пшеница. Сорта риса Краснодарский 424, Лиман, Кулон, Регул, Изумруд произведены на сортучастках ВНИИ риса (рис.4). . Более 1000 зерновок дали материал для составления обучающей, тестирующей и контрольной выборки. Анализ объектов исследования показал, что показатель Ь/А(отношения длины к ширине риса) у исследованных сортов риса варьирует в широком диапазоне. При сопоставлении показателей уровня варьирования Ь/А обнаружены существенные отличительные особенности. Пределы варьирования показателя Ь/А существенно превышают пределы доверительной области, что не позволяет точно осуществлять идентификацию риса.

Рисунок 4 а - сорт Краснодарский 424; б - сорт Лиман; д - сорт Кулон;

ж - сорт Регул; и - сорт Изумруд; б, г, е, з, к - вариабельность контура соответствующего сорта

Для создания нейросетей важной задачей является нахождение оптимального размера сети - такого числа скрытых слоев и нейронов в слоях, которые дадут минимум ошибки обобщения. Использовано два подхода: теоретический, как следствие из теорем Арнольда-Колмогорова-Хехт-Нильсена и практический, с использованием "кривых обучения" -зависимостей ошибок обучения и обобщения от размеров нейросети. Оптимуму соответствуют локальные минимумы или моменты выхода графиков на асимптоты (рис. 56). Эксперимент поводился для задачи классификации 5 сортов не шлифованного риса. Архитектура: многослойный персептрон с 249 нейронами на входе, в промежуточном слое находилось от 1 до 126 нейронов (рис. 5а).

Рисунок

5 а - топология сети, Д - нейроны входного слоя, □ - нейроны с сигмоидной функций активации; б - зависимость ошибки распознавания от количества нейронов в скрытом слое

Необходимое количество нейронов в скрытых слоях персептрона определяется по формуле, являющейся следствием из теорем Арнольда-Колмогорова-Хехт-Нильсена:

где Ny - размерность выходного сигнала, Q - число обучающих примеров; Nw - необходимое число синаптических связей; N, -размерность входного сигнала.

Оценив с помощью этой формулы необходимое число синаптических связей Nw, рассчитано необходимое число нейронов в скрытых слоях. Число нейронов скрытого слоя двухслойного персептрона будет равно:

N

N = • И теоретические вычисления и кривая обучения определяют

оптимальный размер от 40 до 50 нейронов в промежуточном слое.

По требованию теоремы Хехт-Нильсена в нейронных сетях как для первого (скрытого), так и для второго (выходного) слоя использованы сигмоидальные передаточные функции с настраиваемыми параметрами.

При заданном наборе обучающих примеров и виде функции ошибки, обучение нейронной сети является многоэкстремальной невыпуклой задачей оптимизации. Ее целью является нахождение на многомерной поверхности самую низкую точку. Отталкиваясь от случайной точки поверхности, алгоритм обучения постепенно отыскивает глобальный минимум. Для сети типа Многослойный персептрон (MLP) очень хороший результат показывает метод сопряженных градиентов и классический алгоритм обратного распространения ошибки. Ошибка обучения для построенной нейронной сети вычисляется путем сравнения выходных и целевых (желаемых) значений. Из полученных разностей формируется функция ошибок. Функция ошибок - это целевая функция, требующая минимизации в процессе управляемого обучения нейронной

(1)

сети. С помощью функции ошибок можно оценить качество работы нейронной сети во время обучения.

Чтобы оценить полученный метод классификации, был проведен эксперимент по разделению 5 сортов не шлифованного риса с помощью нейронной сети (табл. 1). Таблица 1 - Матрица классификации для многослойного персептрона в

81а115^са6.1

Класс (кол-во) Доля правил. (%) Регул Изумруд Красн.-424 Кулон Лиман

Регул 98 266 0 2 1 0

Изумруд 100 0 284 0 0 0

Красн.-424 97 0 0 181 1 1

Кулон 97 2 0 1 132 3

Лиман 97 1 0 1 2 135

Всего 98,5 269 284 185 136 139

Архитектурой сети является двухслойный персептрон (рис. 6), функция активации - сигмоидная (логистическая), функция ошибки -805(равна сумме (взятой по всем наблюдениям) квадратов разностей целевых и фактических значений). Для определения способности сети заданной конфигурации решить задачу, оценивали константу Липшица сети (2) и сравнивали ее с выборочной оценкой (3). л„ =5ир|/г(х)-Г {у |/|х-у]), где Р -вектор-функция от входных сигналов (2)

Л, =тах|/(х')-/(г'|/|х' где Г -значения функции в точках х1 (3)

В случае Л„<А, сеть не способна решить задачу. Выборочная константа Липшица равна в нашем эксперименте 1,79 при норме разности векторов входных сигналов 1,57. Для снижения значения константы Липшица функция активация заменена на гиперболический тангенс.

Рисунок 6 - Архитектура сети: А - нейроны входного слоя, □ - нейроны с сигмоидной функций активации о - нейроны с функцией активации гиперболический тангенс

«Бинарное» - т.е. настройка на основной сорт и примеси -разделение для НС более эффективно. Так, задача разделения двух проблемных для НС сортов Регул и Лиман решается с помощью сети встречного распространения (LVQ) в Neural Networks Toolbox: все зёрна (24 зерна сорта Регул и 35 зерна сорта Лиман) опознаны полностью.

Выделение 188 зёрен сорта Изумруд из смеси с добавлением 10 зёрен сорта Лиман, 10 зёрен сорта Кулон и 9 эллипсоидных примесей дало нулевую ошибку распознавания. Обучение проведено методом обратного распространения и методом сопряжённых градиентов. Выборочная константа Липшица равна 0,963 при норме разности векторов входных сигналов 2,076.

Нулевую ошибку распознавания дало также выделение с помощью вероятностной нейронной сети (ВНС) 189 зёрен сорта Лиман из смеси с добавлением 29 зёрен сорта Изумруд и зерен тритикале. Сеть LVQ полностью распознала тестовые выборки из смеси двух сортов Лиман и Изумруд (39 - Изумруд и 42 - Лиман), Изумруд и Краснодарский 424 (38 - Изумруд и 45 - Краснодарский 424). Сеть LVQ состоит из входного слоя нейронов и слоёв Кохонена и Гроссберга. Время их обучения для задач распознавания почти в 100 раз меньше времени обучения сетей с обратным распространением. На смеси сортов Изумруд (43 шт.),

Краснодарский (49 шт.), Кулон (49 шт.) показана ошибка распознавания 0,7 % (1 зерно Кулона не опознано).

Более сложной задачей классификации является разделение зерен шлифованного и шелушенного риса одного сорта. У шелушенного риса при предварительной очистке удаляется только шелуха, поверхностный слой. Поэтому он имеет более темную окраску, чем рис шлифованный. Из 115 шлифованных зерен были правильно классифицированы все (100 % точность), а из 121 шелушенных - 2 были классифицированы как шлифованные (98,35 % точности).

При обработке шлифованного риса самым трудно отделимым засорителем является битое стекло, так как по цвету и полупрозрачности, а иногда и по форме, оно имеет большое сходство с зерновкой. В 121 шлифованное зерно было добавлено 20 кусочков битого стекла, по форме и размеру наиболее близкие к зерновкам. Все примеси были выделены с 100 % результатом.

Таблица 2 - Сравнение точности распознавания для различных программных реализаций для пяти сортов нешлифованного риса

Сорта/Метод Регул Изумруд Красн.-424 Кулон Лиман Всего

Дискрим. анализ % 89,2 99,3 93,5 92,6 100 94,77

№игоРго 0.25 % 82,9 100 100 86 80 89,87

51.1^03 (МЬР) % 98,0 100 97 97 97 98,5

\latLab (РШ) % 79,0 97,5 100 100 75 93,5

В четвертой гляве рассмотрены вопросы практического применения приложений, созданных на основе разработанных методов и алгоритмов.

Для развития пищевой промышленности необходимо внедрение экспертных систем (ЭС) мониторинга показателей безопасности и качества

в процесс производства. Инспекция сырья является одним из этапов технологического процесса, от качества проведения которой зависит в дальнейшем качество конечного продукта, и проводится с целью удаления непригодных для переработки семян и плодов, а также посторонних примесей и предметов. Рассмотрена нейросетевая реализация блока распознавания вычислительного ядра ЭС. В нейросетевом блоке видеоизображение семян и плодов, подвергнутое спектральному вейвлет-преобразованию, является входом многослойной нейронной сети, выходной нейрон которой принимает решение об отбраковке и др.

Одним их этапов технологического процесса является разделение масличных культур на сорта и выделение неочищенных зёрен из общей массы. Для разделения использовались сорта Сур (рис. 7а) и Мастер, которые относятся к гибридным сортам подсолнечника. Архитектура сети: многослойный персептрон с 48 входами, одним промежуточным слоем и двумя выходами, функция активации нейронов - логистическая, функция ошибок SOS (равна сумме (взятой по всем наблюдениям) квадратов разностей целевых и фактических значений). Все 46 зерен сорта Мастер были правильно классифицированы (100 % правильной классификации), а 2 зерна сорта Сур из 34 были неправильно классифицированы как сорт Мастер (95 % правильной классификации). Наличие ошибки распознавания обосновано высокой вариабельность сортов, особенно у сорта Сур (рис. 76). Отделение очищенного зерна подсолнечника дает 100 % распознавание.

Рисунок 7 а- зерно сорта Сур; б - вариабельность контура подсолнечника сорта Сур

Объектом исследования были сорта кукурузы (рис. 8), которые используются в консервной промышленности. Архитектура сети -многослойный персептрон с 54 входными нейронами, промежуточный слой из 34 нейронов и один нейрон на выходе (рис. 9). Функция активации нейронов - логистическая, функция ошибок SOS (равна сумме (взятой по всем наблюдениям) квадратов разностей целевых и фактических значений). Контрольная производительность равна 1, тестовая - 0,928, ошибка обучения - 0,000110. Для нейронной сети классификации мера производительности обозначает долю правильно классифицированных наблюдений. Обучение - алгоритм обратного распространения на 100 эпох и метод сопряженных градиентов с восстановлением сети с наименьшей контрольной ошибкой. Из 42 негодных для консервирования зерен только одно зерно ошибочно было признано годным (97,62 % правильной классификации). Поскольку отбраковка шла по внешним повреждениям, такой процент ошибки является допустимым для консервной промышленности.

Рисунок 8 а - Исходные изображения кукурузы, б - вариабельность контуров пригодных зёрен, в - отбракованных зёрен.

Третьим объектом исследования был консервированный зелёный горошек (рис. 9). Архитектура сети - многослойный персептрон с 250 нейронами на входе, два промежуточных слоя по 127 нейронов и один на выходе. Функция активации нейронов - логистическая, функция ошибок SOS (равна сумме (взятой по всем наблюдениям) квадратов разностей

целевых и фактических значений). Контрольная производительность равна 0,937, тестовая - 0,9937, ошибка обучения - 0,00199. Алгоритмы обучения: первый этап - алгоритм обратного распространения в 100 эпох, второй этап - метод сопряженных градиентов. Для обоих этапов применялась затухающая регуляризация весов с параметром 0,01. Из 22 горошин с внешними повреждениями только одно зерно было признано годным к консервированию (95,45 % правильной классификации).

^ * « 10 о

'•■■ : '............ 'а б В

Рисунок 9 а - Исходные изображения отбракованных зерен горошка, б - вариабельность контуров пригодных зёрен, в - отбракованных зёрен

Решена задача выделения примеси тритикале сорта Авангард из пшеницы сорта Победа-50. Сорт Авангард является сортом тритикале кормового назначения. Зерно данного сорта крупное, удлиненное, светло-красное (рис. 10а). По внешним признакам сильно напоминает зерна пшеницы. Наличие зерен тритикале в виде примеси для пшеницы при переработке в хлебопекарную муку изменяют ее качество в сторону ухудшения. Сорт пшеницы Победа-50 относится к полукарликовым высококачественным зимостойким сортам озимой мягкой пшеницы. Зерно крупное, янтарно-коричневое, яйцевидно-удлинённой формы (рис. 106).

Рисунок 10 а - Тритикале Авангард; б - вариабельность контура

тритикале; в - пшеница Победа-50; г - вариабельность контура пшеницы

Из 60 зерен сорта Авангард только одно зерно тритикале было опознано как пшеница (98,33 % точности), все 72 зерна пшеницы Победа-50 были правильно классифицированы(100 % правильной классификации).

Таким образом, применение стандартной топологии нейронной сети - многослойного персептрона, без изменения функции активации и функции ошибки, с использованием градиентных методов обучения первого и второго порядка позволило провести достаточно качественную оценку качества входной продукции для разных видов овощных и масличных культур.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ.

1. В результате системного исследования показано, что для решения ряда актуальных задач селекции и семеноводства, управления технологическими процессами и др., необходимое повышение эффективности функционирования СТЗ до экспертного уровня точности, для распознавания массовых объектов природного происхождения с сильной внутриклассовой вариабельностью, достигается методом нейронных сетей.

2. Обоснован выбор признакового пространства на основе вейвлет -преобразований Хаара для распознавания объектов с большой визуальной внутриклассовой вариабельностью.

3. Составлена обучающая база данных из вейвлет - спектров функций цвета для программного комплекса нейросетевого распознавания объектов природного происхождения, имеющих сильную визуальную вариабельность внутриклассовых свойств.

4. Предложен подход к построению нейронной сети на основе многослойного персептрона, позволяющей провести распознавание максимально уровня точности, выбран подходящий алгоритм обучения.

5. Проведены эксперименты по проверке работоспособности и эффективности разработанной нейронной сети на различных объектах природного происхождения. Применение нейросетевого механизма классификации позволяет провести 98,5 % правильного разделения по сортам злаковых, масличных и бобовых культур, а также производить 100 % выделение примесей из сортосмеси.

6. Разработано программное обеспечение для базы данных для лабораторного стенда экспертного уровня распознавания сортов злаковых, масличных и бобовых культур.

7. Программно реализована система распознавания сортов и выделения примесей нейросетевого блока экспертной системы контроля качества при производстве консервов из растительного сырья.

Основные публикации по теме диссертации

Статьи в журналах, рекомендуемых ВАК для публикации результатов

диссертаций на соискание ученой степени доктора и кандидата паук:

1. Руденко О.В. Ваза данных обучающей выборки для высокоточного распознавания плоских изображений сортов злаковых и масличных культур / Руденко О.В., Горонков К.А., Усатиков C.B. // Журнал «Фундаментальные исследования». М„ 2011. Вып. 8. Ч. 2. С. 342-346.

2. Руденко О.В. Нейросетевое распознавание в технических системах зерноперерабатывающей и пищевой промышленности / Руденко О.В., Усатиков C.B. // Современные проблемы науки и образования. 2011. № 3 (Электронный журнал).

3. Руденко О.В. Блок распознавания растительного сырья экспертной системы мониторинга показателей безопасности и качества при производстве консервов / Бородихин A.C., Горонков К.А., Руденко О.В., Троянова T.JI., Усатиков C.B. // Журнал «Фундаментальные исследования». М., 2011. Вып.8. Ч. 3. С. 607-612.

Другие издания

1. Руденко О.В. О точности распознавания по контуру изображений злаковых культур при помощи нейронных сетей / Усатиков C.B., Руденко О.В., Горонков К.А. // Обозрение прикладной и промышленной математики. М., 2009. Т. 16. Вып. 3. С. 567-569.

2. Руденко О.В. Возможности распознавания изображений злаковых культур с помощью нейронных сетей // Материалы I Межвузовской научно-практической конференции «Автоматизированные информационные и электроэнергетические системы», Краснодар, 2010. С. 138-141.

3. Руденко О.В. Топология нейронной сети высокоточного распознавания сортов зерновых культур / Усатиков C.B., Руденко О.В., Горонков К.А. // Обозрение прикладной и промышленной математики, М., 2010. Т. 17. Вып. 5. С. 780-781.

4. Руденко О.В. Высокоточное нейросетевое распознавание в технических системах зерноперерабатывающей промышленности / Усатиков C.B., Руденко О.В. // Материалы II международной научно-практической конференции «Хлебобулочные, кондитерские и макаронные изделия XXI века», Краснодар, 2011. С. 275-278.

Свидетельство о регистрации программ.

1. Нейросетевая модель для классификации сортов риса: Свидетельство о государственной регистрации программы для ЭВМ №2011613332 (в Реестре программ для ЭВМ) от 28.04.2011/ Руденко О.В.

2. Программная оболочка для базы данных обучающей выборки для высокоточного распознавания плоских изображений сортов зерновых культур: Свидетельство о государственной регистрации программы для ЭВМ №2011615407 (в Реестре программ для ЭВМ) от 11.07.11/Усатиков C.B., Горонков К.А., Руденко О.В.

Подписано в печать 25.10.2011. Печать трафаретная. Формат 60x84 '/|6. Усл. иеч. л. 1,35. Тираж 100 экз. Заказ № 548. Отпечатано в ООО «Издательский Дом-Юг» 350072, г. Краснодар, ул. Московская 2, корп. «В», оф. В-120, тел. 8-918-41-50-571

e-mail: olfomenko@yandex.ru Сайт: http://id-yug.narod2.ru

ВВЕДЕНИЕ 5 1. Анализ современных подходов к разработке систем технического зрения

1.1. Структурная организация систем технического зрения

1.2. Модели информативных признаков для распознавания

1.2.1. Общая модель классификации

1.2.2. Выбор информативных признаков

1.3. Нейросетевой метод распознавания и способы его реализации

1.3.1. Математическая модель нейрона и нейронной сети

1.3.2. Применение нейросетевого метода

1.3.3. Применение нейронных сетей в экспертных системах

1.3.4. Программное обеспечение для имитационного моделирования нейронной сети

1.4. Основные проблемы разработки и адаптации систем технического зрения в промышленности

1.5. Цели и задачи исследований

1.6. Выводы

2. Методы решения задачи распознавания в системах технического зрения

2.1. Структура методов распознавания

2.2 Методы и алгоритмы предварительной обработки изображений

2.2.1. Отделение объекта от фона методом связных компонент 42 2.2.2 Преобразование реальных контуров изображений

2.3. Вейвлет- спектр цветовой окраски и формы исследуемых объектов

2.4. Исследование и понижение размерности признакового пространства

2.4.1 .Генетический алгоритм

2.4.2. Анализ главных компонент

2.4.3. Факторный анализ

2.5.Выводы

3. Алгоритм нейросетевого распознавания

3.1. Выбор объектов исследования для нейросетевого алгоритма

3.2. Математическое описание нейронной сети

3.3. Структура нейронной сети

3.4. Оценка сложности задачи классификации

3.5. Минимизация функции ошибки обучения с помощью градиентных методов

3.6. Оценка точности работы распознающего устройства по экспериментальным данным

3.7. Сравнение точности распознавания нейросетевого алгоритма с другими методами классификации

3.8. Выводы

4. Нейросетевой блок распознавания экспертной системы мониторинга качества при производстве консервов из растительного сырья

4.1. Автоматизация инспекции сырья как этап технологического процесса и часть вычислительного ядра ЭС

4.2. Нейросетевой блок контроля сырья экспертной системы (ЭС) мониторинга показателей безопасности и качества

4.3. Работа нейросетвого алгоритма по выделению примесей из сырья

4.4. Оценка точности работы нейросетевого блока контроля сырья экспертной системы

4.5. Выводы 122 Заключение 123 Список литературы 126 Приложение А. Свидетельство о государственной регистрации программы для ЭВМ «Нейросетевая модель для классификации сортов риса»

Актуальность темы. В настоящее время заметно повышение спроса в отечественной промышленности на новые разработки в области высоких технологий на средства автоматизации производства и их важную часть -системы технического зрения (СТЗ). Одно из применений систем технического зрения - это автоматическая классификация по параметрам формы, цвета, размеров плодов, семян и других объектов с высокой производительностью. Перспективные СТЗ экспертного уровня точности для объектов природного происхождения в задачах пищевой и зерноперерабатывающей промышленности рассмотрены в работах [54, 55, 56, 57] на основе различных методов распознавания: статистических, нейросетей (НС), байесовских сетей и т.д. В условиях ужесточающейся конкуренции производители вынуждены беспокоиться о качестве используемого сырья и выпускаемой продукции, чтобы производимый продукт пользовался спросом. А на производствах малой и средней мощности, где качество сырья и тестовых заготовок на этапах технологического процесса оценивается «на глаз» и зависит от личного опыта технолога, без объективных методов контроля добиться стабильного качества продукции невозможно.

Нейросетевые алгоритмы и технологии построения нейросетевых экспертных систем расмотрены в работах [12, 27, 28, 47] Для создания эффективных технологий разрабатываемые методы и алгоритмы должны обладать быстродействием и точностью. Обычно каждый разрабатываемый алгоритм специализируется на своем типе изображений. Поэтому в системах технического зрения (СТЗ) необходимо сочетание нескольких методов, которые обеспечивают необходимые показатели по быстродействию и достоверности идентификации. Для эффективного функционирования СТЗ необходимо постоянно пополнять арсенал методов и средств предварительной обработки изображения и построения классификаторов.

Нейронные сети и нейрокомпьютеры быстро становятся новой конкурентоспособной технологией будущего. Нейросетевые алгоритмы решения типовых прикладных задач обработки цифровых изображений: фильтрации и сегментации; сжатия и кодирования видеоряда; распознавания, классификации и обнаружения различных объектов трехмерной визуализации сцен в системах машинной графики; а также вопросы аппаратной реализации нейрокомпьютеров для обработки изображений становятся все чаще объектами исследований [1,12,35,46,67].

Высокоточное распознавание изображений зерновых культур требуется для ряда актуальных задач в зерноперерабатывающей промышленности, селекции и семеноводстве. Зерновка даже определённого сорта любой культуры обладает широко вариабельными свойствами, в том числе цветовой гаммы и геометрической формы. Широкая вариабельность признаков зерновок - одна из основных проблем при идентификации. Существующая методика идентификации зерновок по геометрической форме их контуров, основанная на Фурье-анализе и статистической теории распознавании образов, имеет погрешность при разделении сортов в доли процентов. Но если для риса очертания контура - генетически наследуемый признак, то для прочих культур очертания позволяют распознать не сорта, а только виды (пшеница или рис, или соя и т.д.) между собой. Дальнейшее развитие метода возможно, если при анализе каждого объекта учитывать не только его контур, но и цветовые характеристики - общий цветовой фон, локальные всплески отдельных оттенков и т.д.

Основными задачами исследования являются:

1) совершенствование методик и технологий для распознавания объектов природного происхождения с большой визуальной внутриклассовой вариабельностью в промышленных СТЗ с заданной точностью;

2) отбор информативных признаков, участвующих в классификации;

3) выбор топологии и обучение нейронной сети;

4) создание «обучающей» базы данных программного комплекса нейросетевого распознавания;

5) разработка программного обеспечения, позволяющего проводить высокоточное распознавание, на основе нейронных сетей;

6) оценка точности распознающего алгоритма;

7) обоснование эффективности нейросетевого метода распознавания по сравнению с другими методами.

Предмет исследования: совокупность математических моделей и основных архитектур нейронных сетей, позволяющих проводить классификацию объектов с большой визуальной внутриклассовой вариабельностью, реализуемых программно на нейроимитаторах.

Объект исследования: процесс распознавания экспертного уровня точности объектов природного происхождения.

В первой главе проведен аналитический обзор существующих подходов к разработке СТЗ, позволивший сделать выводы, определяющие направление диссертационного исследования. Определены математические методы, составляющие алгоритм формализованного подхода к построению СТЗ. Исследованы модели информативных признаков, позволяющих повысить точность распознавания по сравнению с существующими методами. Выбрано программное обеспечение для имитационного моделирования работы сети.

Во второй главе рассмотрен системный подход к созданию классификатора на основе нейронной сети; методы решения задачи распознавания в системах технического зрения; рассмотрены варианты принятия решения.

В третьей главе определены принципы построения и предложена методика создания НС для высокоточного распознавания в СТЗ. Предложен подход к построению нейронной сети на основе многослойного персептрона, позволяющей провести распознавание максимально уровня точности, выбран подходящий алгоритм обучения

В четвертой главе рассмотрены вопросы практического применения приложений, созданных на основе разработанных методов и алгоритмов. Рассмотрена нейросетевая реализация блока распознавания вычислительного ядра ЭС. В нейросетевом блоке видеоизображение семян и плодов, подвергнутое спектральному вейвлет-преобразованию, является входом многослойной нейронной сети, выходной нейрон которой принимает решение об отбраковке и др.

1. Анализ современных подходов к разработке систем технического зрения.

Результаты работы внедрены на кафедре Пищевой инженерии и высоких технологий (КубГТУ, г.Краснодар) и в Краснодарском научно-исследовательском институте хранения и переработки сельскохозяйственной продукции ГУ КНИИХП (г.Краснодар).

Заключение.

Выполненные исследования позволили сделать следующие выводы: основными моделями информативных признаков, наиболее полно характеризующие исследуемые объекты, является спектральный анализ вейвлетами Хаара с последующим понижением размерности; обучающая база данных для программного комплекса нейросетевого распознавания сортов злаковых дает репрезентативную обучающую выборку для последующей классификации; топология многослойный персептрон в программе 81ай5йса позволяет провести наиболее точное распознавание; алгоритмом обучения нейронной сети для решения задачи классификации являются градиентные методы первого и второго порядка; эксперимент по проверке работоспособности и эффективности разработанной нейронной сети показал ее эффективность, программно реализован блок ЭС системы контроля качества пищевой продукции для проведения входного контроля качества продукции с высокой точностью.

Научная новизна работы:

• повышение точности распознавания с использованием нейронной сети на основе объединения геометрических параметров и цветовых составляющих объектов пищевой и зерноперерабатывающей промышленности;

• предложена методика выбора топологии и методов обучения нейронной сети для задачи высокоточного распознавания;

• проведены экспериментальные исследования по проверке эффективности разработанной системы.

Основные теоретические и практические результаты работы:

В результате системного исследования показано, что для решения ряда актуальных задач селекции и семеноводства, управления технологическими процессами и др., необходимое повышение эффективности функционирования СТЗ до экспертного уровня точности, для распознавания массовых объектов природного происхождения с сильной внутриклассовой вариабельностью, достигается методом нейронных сетей.

2. Обоснован выбор признакового пространства на основе вейвлет-преобразований Хаара для распознавания объектов с большой визуальной внутриклассовой вариабельностью.

3. Составлена обучающая база данных из вейвлет-спектров функций цвета для программного комплекса нейросетевого распознавания объектов природного происхождения, имеющих сильную визуальную вариабельность внутриклассовых свойств.

4. Предложен подход к построению нейронной сети на основе многослойного персептрона, позволяющей провести распознавание максимально уровня точности, выбран подходящий алгоритм обучения.

5. Проведены эксперименты по проверке работоспособности и эффективности разработанной нейронной сети на различных объектах природного происхождения. Применение нейросетевого механизма классификации позволяет провести 98,5% правильного разделения по сортам злаковых, масличных и бобовых культур, а также производить 100% выделение примесей из сортосмеси .

6. Разработано программное обеспечение для базы данных для лабораторного стенда экспертного уровня распознавания сортов злаковых, масличных и бобовых культур.

7. Программно реализована система распознавания сортов и выделения примесей нейросетевого блока экспертной системы контроля качества при производстве консервов из растительного сырья.

Основные положения диссертации достаточно полно изложены в 7 печатных работах, из них 5 статей (3 статьи в изданиях из перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук) и 2 тезиса докладов.

По результатам работы получено 2 свидетельства о государственной регистрации программы для ЭВМ № 2011613332 «Нейросетевая модель для классификации сортов риса» и №2011615407 «Программная оболочка для базы данных обучающей выборки для высокоточного распознавания плоских изображений сортов зерновых культур».

1. Анисимов,Б. В. Распознавание и цифровая обработка изображений. Б.В.Анисимов, В. Д.Курганов, В. К. Злобин—М.: Высшая школа, 1983.

2. Астафьева,Н.М. Вейвлет-анализ: основы теории и примеры применения/ Н.М.Астафьева //Успехи физических наук. 1996, т. 166,№11.- С.1145-1170.

3. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. — М.: Наука, 1974. С. 416

4. Васильев, В.Г. Гистограммные методы обработки изображений./ В.Г.Васильев.— Изд-во ТГТУ, 2002.

5. Васильева,Н.С. Методы поиска изображений по содержанию/ Васильева Н. С. // Программирование. — 2009. — Т. 35, № 3. — С. 130.

6. Воробьев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. СПб. :ВУС, 1999.203 с.

7. Вороновский, Г.К.Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. / Г.К. Вороновский, К.В. Махотило, С.Н.Петрашев, С.А.Сергеев -Харьков: Основа 1997.- 112с.

8. Галушкин А.И. Синтез многослойных систем распознавания образов. /

9. A.И. Галушкин. — М.: «Энергия», 1974. — 368 с.

10. Галушкин, А.И. Теория нейронных сетей / А.И. Галушкин. М.: ИПРЖР, 2000. -415 с.

11. Ю.Гладков Л.А. Генетические алгоритмы , / Л.А. Гладков, В.В. Курейчик,

12. B.М. Курейчик — М: ФИЗМАТЛИТ, 2006. — 320 с. П.Гильберт Д. Избранные труды. Т. 1,2. М.: Факториал, 1998.

13. Головко, В.А. Нейроинтеллект: теория и применение / В.А. Головко. Брест: Изд-во БПИ, 1999.-260 с.

14. Горбань, А.Н. Нейроинформатика. / А.Н.Горбань и др.- Новосибирск, Наука, Сибирское предприятие РАН, 1998 г.

15. Н.Горелик А.Л., Скрипкин В.А. Методы распознавания. Изд.2. — М.: Высшая школа, 1984. — 219 с.

16. Девятериков И. П., Пропой А. И., Цыпкин Я. 3., О рекуррентных алгоритмах обучения распознаванию образов. Автоматика и телемеханика, № 1, 1967.

17. Добеши И. Десять лекций по вейвлетам. М.: Регулярная и хаотическая динамика, 2001.

18. Дьяконов В.П. Вейвлеты. От теории к практике. Изд. 2-ое, перераб. и доп. М.: СОЛОН-Пресс, 2004.

19. Дьяконов В., Круглов В. Математические пакеты расширения МаЛаЬ. изд.дом Питер,2001 г.

20. Дюк В.А. От данных к знаниям новые возможности обработки баз данных// Тр. Межд. научн. конф. «Интеллектуальные системы и информационные технологии управления (Псков, 19-23 июня 2000 г.). - СПб.: Изд-во СПбГТУ, 2000. - С. 438-440.

21. Иванов Ю.К. Инструментарий для построения мультиплатформенных экспертных систем // Науч. сессия МИФИ-2006: Сб. науч. тр.: в 13 т., М.: МИФИ, 2006. Т.З.

22. Ким Н.В., Семенченко С.А. Алгоритмы обработки информации в системах технического зрения: Учебное пособие. -М.: Изд-во МАИ, 1995. -52с.: ил.

23. Каллан Р. Основные концепции нейронных сетей. Москва, изд.дом Вильяме, 2001 г.

24. Ларичев О.И. Наука и искусство принятия решений. — М: Наука, 1979. —200 с

25. Ларичев О.И., Мечитов А.И., Мошкович Е.М., Фуремс Е. М. Выявление экспертных знаний. — М.:Наука, 1989. — 128 с.

26. Минский, М., Пейперт, С. Персептроны = Perceptions. — М.: Мир, 1971. —261 с.

27. Миркес Е.М., Нейрокомпьютер. Проект стандарта Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.

28. Новиков Л.В.Основы вейвлет-анализа сигналов, учебное пособие, Санкт-Петербург, 1999 г., 152 с.

29. Павлидис Т. Алгоритмы машинной графики и обработки изображений. — М.: Радио и Связь, 1986.

30. Писаревский А. Н. Системы технического зрения: (Принципиальные основы, аппаратное и математическое обеспечение). — «П.: Машиностроение,. 1988.

31. Потапов А. С. Распознавание образов и машинное восприятие. — СПб.: Политехника, 2007.

32. Русанов И.А. Применений нейронных сетей для классификации сортов озимой пшеницы, «Mathtmatics Computing Education», XV conference, 2008 г.(Электронный журнал).

33. Садыхов Р.Х., Дудкин A.A. Обработка изображений и идентификация объектов в системах технического зрения, «Искусственный интеллект» вып.З, 2006 г., стр.634-643.

34. Симанков B.C., Луценко Е.В. Адаптивное управление сложными системами на основе теории распознавания образов , Краснодар: Техн. ун-т Кубан. гос. технол. ун-та, 1999. — 318 с.

35. Системы технического зрения (принципиальные основы, аппаратное и математическое обеспечение)/А.Н.Писаревкий, А.Ф.Чернявский, Г.К.Афанасьев и др.; Под общ. Ред. А.Н.Писаревского, А.Ф.Чернявского. Л. Машиностроение. Ленингр. отд-ние, 1988. - 424 е.: ил.

36. Терехов, В.А. Динамические алгоритмы обучения многослойных нейронных сетей в системах управления / В.А. Терехов // Изв. РАН. Серия «Теория и системы управления». 1996. № 3. - С. 70-79

37. Терехов, В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. М.: ИПРЖР, 2002. 480 с.

38. Терехов, В.А. Исследование устойчивости процессов обучения многослойных нейронных сетей / В.А. Терехов, И.Ю. Тюкин // Автоматика и телемеханика. -1999.-№ 10. С.145-161; № 11.-С. 136-144.

39. Терехов, С.А. Вейвлеты и нейронные сети / С.А. Терехов Научная сессия МИФИ-2001. IIV Всероссийская научно-практическая конференция «Нейроинформатика 2001»: лекции по нейроинформатике. Часть 2. - М.: МИФИ, 2001. — С.142-181.

40. Ту Дж., Гонсалес Р. Принципы распознавания образов. — М.: Москва, 1978. —С. 411.

41. Усатиков C.B., Руденко О.В., Горонков К.А. О точности распознавания по контуру изображений злаковых культур с помощью нейронных сетей // Обозр.прикл.и пром.математики.- 2009- т. 16 , вып.З с.567-569.

42. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика / Ф. Уоссермен. М.: Мир, 1992. 184 с.

43. Фу К.С. Структурные методы в распознавании образов. М.: Мир, 1977

44. Фу К.С. Последовательные методы в распознавании образов и обучении машин. -М.: Наука, 1971

45. Хайкин, С. Нейронные сети: полный курс, 2-е изд., испр. / С. Хайкин. М.: ООО "И.Д.Вильяме", 2006. -1104 с.

46. Халафян A.A. Statistica 6. Статистический анализ данных. Москва, изд.Бином, 2007.

47. Чуй К. Введение в вейвлеты. Перевод с английского Я.М.Жилейкина. М.:Мир.2001 г.412 с.

48. Царегородцев В.Г. Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Материалы X Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2002. 185с. с.146-150.

49. Царегородцев В.Г. Оптимизация предобработки данных: константа Липшица обучающей выборки и свойства обученных нейронных сетей // Нейрокомпьютеры: разработка, применение. 2003, №7. С.3-8.

50. Царегородцев В.Г. Взгляд на архитектуру и требования к нейроимитатору для решения современных индустриальных задач.// Материалы XI Всероссийского семинара «Нейроинформатика и ее приложения», Красноярск,2003.-215с. С. 171-175.

51. Шапиро Л, Стокман Дж. Компьютерное зрение. Москва, изд.дом Бином, 2006 г.

52. Шаззо А.Ю., Усатиков C.B., Мацакова Н.В., Чуб А.Н. Теоретические и прикладные аспекты спектрального анализа контура изображения злаковых и масличных культур // Известия вузов. Пищевая технология, №1, 2003. с.53-58

53. Шаззо А. Ю., Усатиков С. В., Мацакова Н.В., Афанасьев A.C., Хуснутдинов И.Р., Гриценко О.Г. Классификация риса на основе спектрального анализа контура изображения зёрен // Известия вузов. Пищевая технология №5-6 - 2005. - с. 19-23

54. Шаззо А.Ю. Распознавание компонентов и прогнозирование качества при хранении зерновой массы // Сб.тезисов Конф. получателей грантов регион, конкурса РФФИ и адм. Краснод. края «ЮГ РОССИИ». -Краснодар: НП ИТЦ «Кубань-Юг» 2009 - с. 128-129

55. Элементарный курс теории принятий решений, вычислительный центр РАН. Москва, 2000 г.

56. Электронный учебник StatSoft. Электронный ресурс. — Режим доступа: www.statistica.ru, free access.

57. Battiti, R., "First and second order methods for learning: Between steepest descent and Newton's method," Neural Computation, vol. 4, no. 2, pp. 141166, 1992.

58. Brosnan, Т., Da-Wen Sun. "Improving quality inspection of food products by computer vision a review", Journal of food engineering, pp.3-16, 2002.

59. Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

60. Chang S.G., Yu В., Vetterli M. "Adaptive wavelet thresholding for image denoising and compression ", IEEE Trans, on Image Processing, Vol. 9, No. 9, pp.1532-1546, 2000.

61. Cortes C., Jackel L., D., Solla S. A., Vapnik V., Denker J. S. Learning curves: asymptotic values and rate of convergence / Advances in Neural Information Processing Systems 7 (1994). MIT Press, 1995. pp. 327-334.

62. Elman, J. L.,"Finding structure in time," Cognitive Science, vol. 14, pp. 179211, 1990.

63. Hagan, M. Т., and M. Menhaj, "Training feedforward networks with the Marquardt algorithm," IEEE Transactions on Neural Networks, vol. 5, no. 6, pp. 989-993, 1994

64. Hagan, M. Т., H. B. Demuth, and M. H. Beale, Neural Network Design, Boston, MA: PWS Publishing, 1996.

65. Hunt, K.J., D. Sbarbaro, R. Zbikowski, and PJ. Gawthrop, Neural Networks for Control System A Survey," Automatica, Vol. 28, 1992, pp. 1083-1112. Kohonen, Т., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987

66. Mallat S.G. Multiresolution Approximations and Wavelet of orthonormal Bases of L2(R)// Transactions of the American Mathematical Society. 1989.Vo/315,N. 1 .P.69-87.

67. McCulloch W.S. and Pitts W. A logical calculus of the ideas immanent in nervous activity, Bull. Math. Biophys., 5, 1943,p.l 15-133

68. Moller, M. F., "A scaled conjugate gradient algorithm for fast supervised learning," Neural Networks, vol. 6, pp. 525-533, 1993.

69. Murray, R., D. Neumerkel, and D. Sbarbaro, "Neural Networks for Modeling and Control of a Non-linear Dynamic System," Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404409.

70. Pearson, K. "On lines and planes of closest fit to systems of points in space." Philosophical Magazine 2,1901, p.559-572

71. Rodrigues J. S., Almeida L. B. In Proc. INN'90, Int. Neural Networks Conference // Kluwer, Dordrecht, Netherlands, 1990. — p. 813.

72. Rodrigues J. S., Almeida L. B. In Neural Networks: Advances and Applications, / ed. by Gelenbe E. — North-Holland, Amsterdam, Netherlands, 1991. -p.63

73. Rosenblatt F. Analytic techniques for the study of neural nets / IEEE Trans, on Appl. and Industry. 1964. Vol.83, №74. pp.285-292.

74. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning internal representations by error propagation,", in D. E. Rumelhart and J. L. McClelland, eds. Parallel Data Processing, vol.1, Cambridge, MA: The M.I.T. Press, pp. 318-362, 1986

75. Rumelhart, D. E., G. E. Hinton, and R. J. Williams, "Learning representations by back-propagating errors," Nature, vol. 323, pp. 533-536, 1986.

76. Rumelhart, D.E. Learning representations by back-propagating errors / D.E. Rumelhart, G.E. Hinton, R.J. Williams // Nature. 1986. V. 323 - P. 533536.

77. Specht, D. Probabilistic Neural Networks. Neural Networks, 1990, 3, 109118.

78. Specht, D. A General Regression Neural Network. IEEE Trans, on Neural Networks, Nov. 1991, 2, 6, 568-576.

79. Tanimoto,S.L.1990. The Elements of Artificial Intelligence Using Common LIPS. W.H. Freeman and Company, New York.

80. Watanabe E., Shimizu H. Relationships between internal representation and generalization ability in multi layered neural network for binary pattern classification problem /Proc. IJCNN 1993, Nagoya, Japan, 1993. Vol.2.-pp.1736-1739.

81. Warwick, K. Neural networks of control and systems / K. Warwick, G.W. Irwin, K.J. Hunt. London: Peter Peregrinus, 1988.

82. Werbos P. Consistency of HDP applied to a simple reinforcement learning problem. Neural Networks, Mar. 1990.

83. Werbos P. Generalization of backpropagation with application to a recurrent gas market model, Neural Networks, Oct. 1988.

84. Werbos P.J. Backpropagation through time: what it does and how to do it // Proceedings of the IEEE, vol. 78, No. 10, October, 1990, p. 1550-1560.

85. Werbos P. Maximizing long-term gas industry profits in two minutes in Lotus using neural networks methods. IEEE Trans. Syst., Man, Cybern., Mar./Apr. 1989.

86. Widrow B., Lehr M.A. 30 years of adaptive neural networks: perceptron, madaline, and backpropagation // Proceedings of the IEEE, vol. 78, No. 9, September, 1990, p. 1415-1442.

87. Williams R. Adaptive state representation and estimation using recurrent connectionist networks. In W.T. Miller, R. Sutton, and P. Werbos, Eds. Neural Networks for Robotics and Control. Cambridge, MA: M.I.T. Press, 1990.

88. Widrow, B., and S. D. Sterns, Adaptive Signal Processing, New York: Prentice-Hall, 1985.