автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Измерение параметров динамических систем на основе искусственных нейронных сетей, использующих алгоритм Калмана

На правах рукописи

КОБЯКОВ Павел Владимирович

ИЗМЕРЕНИЕ ПАРАМЕТРОВ ДИНАМИЧЕСКИХ СИСТЕМ НА ОСНОВЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ, ИСПОЛЬЗУЮЩИХ АЛГОРИТМ КАЛМАНА

Специальность: 05.11.16 - Информационно-измерительные и управляющие системы (медицина)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург — 2004

Работа выполнена в ГОУ ВПО "Санкт-Петербургский государственный политехнический университет".

Научный руководитель: доктор технических наук, профессор

Малыхина Г.Ф.

Официальные оппоненты: доктор технических наук,

профессор Цветков Э.И.

Защита состоится 17 июня 2004 года в 14 часов на заседании диссертационного совета Д 212.229.10 в ГОУ ВПО "Санкт-Петербургский государственный политехнический университет" по адресу: 195251, Санкт-Петербург, Политехническая ул., д. 29, 9 корпус, ауд. 535.

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО "Санкт-Петербургский государственный политехнический университет11.

Автореферат разослан "[2_" 2004 г.

Ученый секретарь совета

кандидат технических наук Шубинский М.И.

Ведущая организация: Государственный научный центр России

центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики

доктор технических наук, профессор

1. ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИИ

Актуальность темы. Современные информационные системы призваны решать все более сложные задачи обработки информации, не всегда поддающиеся решению классическими методами. В частности, актуальными являются задачи оценивания и контроля свойств различных технологических процессов, производственных комплексов и биометрических систем. Спецификой задачи измерений в подобного рода системах зачастую является недоступность всей необходимой информации, обусловленная невозможностью непосредственного проведения всех требуемых измерений.

В качестве конкретных примеров изучаемых систем можно рассмотреть газотурбинный двигатель или процесс метаболизма глюкозы в крови человека. Модель газотурбинного двигателя известна, но включает параметры, измерение которых невозможно на практике. Для процесса метаболизма глюкозы не существует полной аналитической модели, но известны многие параметры, влияющие на этот процесс.

Для обеспечения возможности проведения измерений при условии не полностью доступной информации о параметрах состояния системы необходимо проводить оценивание значений этих параметров на основании модели объекта. В измерительных задачах широкое распространение получили регрессионные методы оценивания.

В простейшем случае оценивание производится только для статических режимов функционирования объекта. В зависимости от специфики исследуемого объекта применяется линейная или нелинейная регрессия. Нелинейная регрессия обеспечивает большую точность, но ее практическое применение затруднено неформализованностью процедуры выбора базисных функций. Поэтому актуальной является разработка более универсальной методики оценивания, позволяющей получать адекватные модели для проведения измерений в условиях недоступности некоторых из параметров состояния системы.

Цель работы. Диссертационная работа посвящена разработке методов, алгоритмов и программных средств, предназначенных для обработки информации в рамках измерительной системы, для решения задачи проведения косвенных измерений параметров нелинейных локально-стационарных динамических систем дискретного времени при условии не полностью доступного вектора состояния.

Решение этой задачи связано с выполнением следующих этапов исследования:

«

1. Анализ и теоретическое обоснование возможности проведения изме-реиий в условиях не полностью доступного вектора состояния в информационных системах, предназначенных для обработки биометрической информации.

2. Разработка метода измерений, основанного на моделировании исследуемой динамической нелинейной системы с применением динамических (темпоральных) нейронных сетей.

3. Разработка метода оценки погрешностей выходных сигналов динамической нейронной сети для изучения влияния нейросетевого преобразования на погрешности входных сигналов и осуществления мониторинга погрешностей в процессе функционирования системы.

4. Применение разработанных методов для построения системы неин-вазивного косвенного измерения уровня глюкозы крови.

Методы исследования. Теоретические исследования выполнены с использованием аппарата системного анализа, математической статистики, теории фильтров Калмана, нейронных сетей и программирования.

Научная новизна. В диссертационной работе получены следующие новые научные результаты:

1. Систематизация архитектур динамических нейронных сетей, применяемых для обработки динамических данных.

2. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети.

3. Экспериментальное обоснование наибольшей эффективности алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, для решения задачи моделирования изучаемых систем.

4. Методика коррекции параметров обучения в алгоритме обучения нейронной сети, основанном на теории фильтров Калмана, позволяющая увеличить скорость сходимости алгоритма.

5. Метод оценки погрешностей выходных сигналов рекуррентной нейронной сети в реальном времени.

Практическую значимость диссертационной работы составляют:

1. Алгоритм обработки данных в системе неинвазивного измерения глюкозы крови человека на основе моделирования с использованием нейронной сети и алгоритма Калмана.

2. Программное обеспечение для исследования возможностей нейросс-тевого моделирования нелинейных динамических систем с применением алгоритма обучения Калмана, предназначенное для работы в среде Matlab 6.1, включая реализацию алгоритма обучения Калмана на языке Matlab.

3. Программное обеспечение, реализующее алгоритм обучения Калмана и алгоритм оценки погрешностей, для применения в составе системы неинвазивного косвенного измерения уровня глюкозы крови, разработанное на языке C + + .

Положения, выдвигаемые на защиту:

1. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети, обучаемой с использованием алгоритма Калмана.

2. Методика коррекции параметров скорости обучения алгоритма Кал-мана.

3. Методика оценки погрешностей выходных сигналов рекуррентной нейронной сети в реальном времени.

Апробация работы. Основные результаты работы докладывались на международной конференции "Датчики и системын(СПбГПУ, 2002), научно-технической конференции (НТК) по мягким вычислениям и измерениям SCM-2002 (СПбГЭТУ, 2002), межвузовской научной конференции "XXXI Неделя науки СП6ГПУп(СП6ГПУ, 2003), международной НТК "Компьютерное моделирование-2003"(СПбГПУ, 2003), международной НТК по мягким вычислениям и измерениям SCM-2003 (СПбГЭТУ, 2003), НТК "Экстремальная робототехника-2004"(ЦНИИ РТК, 2004).

Публикации. По теме диссертации опубликованы 5 докладов и тезисы 3 докладов на конференциях.

Реализация результатов. Нейросетевой алгоритм и программа определения уровня глюкозы в крови человека реализованы в системе неннва-зивного косвенного измерения уровня глюкозы крови в ООО "Алгоритм".

Модифицированная версия программного обеспечения, реализующего алгоритм обучения Калмана, применена при исследовании системы косвенного определения уровня глюкозы крови по термочувствительности аку-пунктурных точек в институте физиологии имени И.П. Павлова.

Структура и объем диссертации. Диссертация включает введение, пять глав, заключение, список литературы. Текст диссертации изложен на 173 страницах, включающих 60 рисунков, 15 таблиц и список литературы, содержащий 118 источников.

Во введении обоснована актуальность задачи диссертационной работы, определен предмет и цель исследований.

В первой главе проанализированы задачи обработки информации, решаемые в рамках системы неинвазивного косвенного определения уровня глюкозы крови. Выделен класс изучаемых систем: локально-стационарные нелинейные динамические системы, описываемые (при отсутствии шума) следующими двумя уравнениями состояния и измерения.

где - вектор состояния системы, - вектор управляющих воздействий и у„ - выходной вектор.

Сформулирована задача косвенных измерений по неполному вектору состояния системы. Требуется определить выходной сигнал системы уп по частично известным компонентам вектора состояния х„ и управляющим воздействиям un. Для решения данной задачи предложено выполнять оценивание неизвестных параметров с помощью построения модели системы.

Рассмотрены регрессионные методы оценивания, наиболее широко применяемые в измерительных приложениях. Наибольшими возможностями обладает нелинейная регрессия. Однако, применение данного метода осложнено неформализованностыо процедуры выбора базисных функций. Предложено решать задачу измерения по неполному вектору состояния с применением аппарата нейронных сетей, что обеспечивает универсальное решение рассматриваемой задачи моделирования.

Для проведения моделирования изучаемых нелинейных динамических систем должны применяется нейронные сети специальной архитектуры, называемые динамическими или темпоральными нейронными сетями.

2. СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Хп+1 = /(Хп,и„) Уп = Л(Хп)

(1) (2)

Систематизированы основные архитектуры динамических нейронных сетей: многослойный персептрон (МСП) с окном во времени, МСП с линиями задержки перед каждым слоем (TDNN), МСП с синапсами в виде . КИХ-фильтров, МСП с синапсами в виде БИХ-фильтров, сеть с адаптивными временными задержками, сети Джордана и Элмана, полностью рекуррентная сеть, сеть nmtegrate-and-nrenH другие. Для решения широкого спектра задач моделирования целесообразно применять рекуррентные архитектуры, основанные на многослойном персептроне, в силу простоты их реализации и хороших аппроксимирующих свойств.

Точность нейросетевой модели во многом обусловливается используемым алгоритмом обучения. Проанализированы основные алгоритмы обучения динамических нейронных сетей различных архитектур: классический алгоритм обратного распространения, алгоритм обратного распространения сквозь время, алгоритм динамического обратного распространения, рекуррентное обучение в реальном времени и алгоритм, основанный на теории фильтров Калмана.

На основе проведенного анализа дана постановка задачи диссертационной работы.

Вторая глава посвящена разработке и исследованию метода проведения измерений по неполному вектору состояния системы. Метод основан на нейросетевом моделировании с применением динамической нейронной сети.

Для проведения измерений предложено выполнять оценивание значений неизвестных неизмеряемых параметров состояния через значения известных параметров и управляющих воздействий, для текущего и нескольких предыдущих временных отсчетов.

Уравнение измерений по неполному вектору состояния предложено реализовывать в следующем виде.

у(п) = С1Х1(п) + С25[х1(п-1),--- ,Х1(п-д),и(п-1).-" ,и(п-?)]+е(п)

(3)

где X1(n) - вектор известных параметров состояния, х2(п) - вектор неизвестных неизмеряемых параметров системы, ^п) - вектор управляющих воздействий, у - выходной вектор, д - линейная функция для случая линейной системы и нелинейная - для нелинейной системы.

Показано, что для случая линейной динамической системы процедура

б

измерения выхода системы при невозможности определения или измерения всех параметров ее состояния эффективно реализовывается с использованием однослойной нейронной сети прямого распространения с задержками на входе и линейными активационными функциями. Для случая нелинейной динамической системы необходимо использовать рекуррентную многослойную нейронную сеть с нелинейными активационными функциями и задержками на входе.

Для дальнейшего исследования предложенного метода измерений по неполному вектору состояний было выполнено моделирование с использованием пакета Matlab 6.1. Для моделирования использовались случайные динамические системы, получаемые непосредственным генерированием параметров уравнений в пространстве состояний или генерированием передаточных функций с последующим переходом к уравнениям в пространстве состояний. Размерность вектора состояния в различных экспериментах составляла q =10 и q = 20, размерность вектора управляющих воздействий т = 1, размерность выходного вектора системы р=1.

В качестве управляющих воздействий и(п) в основном использовались кривые, описываемые выражением

где - конечный импульс, а, 6 - некоторые коэффициенты.

Сигнал (4) является приближенной моделью входных воздействий в модели процесса метаболизма глюкозы в организме человека.

Некоторые полученные результаты представлены на рисунках 1 и 2.

На рисунке 1 показана зависимость приведенной погрешности измерения от количества непосредственно измеряемых компонент вектора состояния для неуправляемой системы. Погрешность уменьшается с увеличением количества измеряемых неуправляемых состояний.

На рисунке 2 представлена зависимость приведенной погрешности от величины временной задержки при фиксированном количестве измеряемых состояний к = 5 и полном количестве состояний q = 10. Оптимальная величина задержки зависит от моделируемой системы, для приведенного примера она составила d = 10. Использование слишком маленькой задержки приводит к получению неадекватной нейросетевой модели, при больших значениях задержки резко увеличивается количество весовых коэффици-

Рисунок 1 Зависимость приведенной погрешности измерения от количества непосредственно измеряемых компонент вектора состояния

Рисунох 2. Зависимость приведенной погрешности измерения от величины временной задержки

ентов, что делает невозможным корректное обучение сети в силу ограниченности обучающих данных.

Средняя относительная погрешность для проведенных экспериментов составила 4%.

Третья глава посвящена исследованию и совершенствованию методов моделирования систем с использованием динамических нейронных сетей и, в частности, с использованием алгоритма обучения Калмана.

Для выполнения моделирования нелинейных динамических системы предложено использовать рекуррентные архитектуры сетей и алгоритм обучения, основанный на теории фильтров Калмана. Рекуррентная архитектура позволяет создавать эффективные и достаточно простые практические реализации, что особенно актуально при создании измерительных систем на базе микропроцессоров. Алгоритм обучения, основанный на теории фильтров Калмана, обладает исключительными характеристиками точности и скорости обучения.

Рассмотрен оригинальный алгоритм фильтрации Калмана, являющийся линейным, основанным на модели, стохастическим, рекурсивным, взвешенным алгоритмом оценивания, использующим метод наименьших квадратов. Алгоритм позволяет оценивать состояние линейной динамической системы с использованием информации о входных и выходных сигналах и модели системы. Применение алгоритма к нелинейным динамическим системам обеспечивается линеаризацией; полученный при этом фильтр Калмана называется расширенным.

Нейронная есть может рассматриваться как динамическая нелиней-

ная система, состояние которой определяется множеством весовых коэффициентов сети. Уравнения процесса и измерения для данной модели могут быть записаны как:

■г-к = Цхк,ик,ак) + V* (б)

где - вектор состояния системы, состоящий из весовых коэффициентов сети, - искусственный шум процесса с ковариационной матрицей - вектор выходных значений сети, - входной вектор, - вектор значений активации узлов нейронов сети', У* - искусственный шум измерения с ковариационной матрицей Н^, Л - нелинейная функция.

Такая интерпретация позволяет применить теорию фильров Калмана для решения задачи обучения нейронной сети с учителем. Основная идея обучения заключается в предположении о том, что сеть представляет собой динамическую систему, наблюдаемый выход которой определяется вектором желаемого отклика сети на входной вектор из обучающей выборки. Уравнения фильтра Калмана позволяют оценивать состояние системы, то есть изменять веса сети таким образом, чтобы реальный выходной сигнал сети как можно меньше отличался от желаемого сигнала.

Применение расширенного фильтра Калмана для обучения нейронной сети требует выполнения линеаризации уравнения процесса (5). Для выполнения линеаризации используется один из алгоритмов обучения динамических сетей, например, алгоритм обратного распространения сквозь время.

Алгоритм обучения, основанный на теории фильтров Калмана, имеет увеличенные требования по производительности по сравнению с классическим алгоритмом обратного распространения и другими методами обучения динамических нейронных сетей. Однако данное ограничение не является проблемой при использовании современных настольных компьютеров.

Был проведен сравнительный анализ алгоритма обучения Калмана и алгоритма обратного распространения. Для анализа использовалась задача автономного предсказания сигнала на примере сигналов синуса и Маки-Гласса, определяемого уравнением

Точность предсказания с использованием алгоритма Калмана превысила точность для алгоритма обратного распространения в среднем в 8-10 раз.

Скорость обучения алгоритм Калмана контролируется с помощью единственного параметра - ковариационной матрицы шума измерения Rk. Наиболее распространенным способом формирование данной матрицы является использование

И* = (7)

где - ковариационная матрица шума измерения, - скалярный параметр скорости обучения.

Традиционным подходом к изменению скорости обучения является постепенное (линейное) уменьшение параметра В диссертации предложено следующее усовершенствованное соотношение.

Пк

_ f vl"n ) * « е* > ejt_i \т)?п )/а ек < ек.г

(8)

где Щ"' - значение параметра скорости обучения при линейном уменьшении, е^ — текущая среднеквадратичная ошибка после обработки последнего входного вектора.

Предлагаемая модифицированная версия алгоритма обучения нейронной сети, основанного на фильтре Калмана, использует (8) для обновления параметров скорости обучения: Инициализация:

1. Присвоить весовым коэффициентам сети маленькие случайные значения из равномерного распределения:

2. Инициализировать матрицу Pq: Pq = е_11, где t 6 [0.0001; 0.01].

Вычисления (для каждого входного вектора):

1. Инициализировать ковариационную матрицу шума процесса Qk = да, где qk 6 [0,10"6|.

2.Инициализировать ковариационную матрицу шума измерения: It* = ijfcl,' где щ вычисляется согласно (8).

3. Выполнить линеаризацию: Hjt — gj|- с помощью алгоритма обратного распространения сквозь время.

4. Вычислить коэффициент усиления Калмана: Kit =

5. Выполнить коррекцию оценки состояния (модифицировать веса):

- желаемый отклик сети.

6. Выполнить коррекцию оценки дисперсии: Рь = (I — КцНц^Р*.

7. Вычислить оценку состояния: хь+1 = х*.

8. Вычислить оценку Pfc.fi: Р*-ц = Р/ъ + (^к-

Проведенное моделирования показало, что предложенное усовершенствование позволяет увеличить скорость сходимости в среднем на 8% по сравнению со стандартным способом изменения параметра .

В четвертой главе предложен и исследован метод оценивания погрешностей выходных сигналов рекуррентной нейронной сети.

В измерительных системах, в том числе использующих нейронные сети, первостепенной является задача оценивания погрешностей результатов измерений. Не менее важной проблемой является теоретическое обоснование корректности работы системы и возможности достижения необходимого уровня точности. Предложенный метод оценки погрешностей нейронной сети позволяет оценивать погрешности выходных сигналов нейронной сети при известных погрешностях входных сигналов. Оцениваются абсолютные погрешности, для оценки используются дисперсии ошибок соответствующих сигналов.

Метод оценки погрешностей нейронной сети основан на оценке погрешности стандартного нейрона. Выходной сигнал нейрона определяется согласно следующему соотношению:

где у3 - выходной сигнал .¡-го нейрона, - активационная функция, х, - ьтый входной сигнал, и wx - соответствующий ему весовой коэффициент.

Показано, что для входных сигналов нейрона, обладающих погрешностью характеризуемой нулевым средним значением и дисперсией погрешность выходного сигнала нейрона может быть оценена как

=<р'(Е ^л) •Е-.2-.2

(10)

где £7^ - дисперсия погрешности выходного сигнала нейрона, о* дисперсия погрешности Г-ТОГО ВХОДНОГО сигнала нейрона, ф - функция нелинейного преобразования, - весовой коэффициент, соответствующий ьтому входному сигналу нейрона.

Оценка погрешности, учитывающая собственные погрешности элементов нейрона, имеет вид

(И)

где ре-рмп - собственная погрешность сумматора, а (^^„¡щ - собственная погрешность нелинейного преобразователя.

При реализации нейронной сети на персональном компьютере собственными погрешностями элементов нейрона пренебрежимо малы.

Оценка дисперсии погрешностей выходных сигналов нейронной сети получаются последовательным применением (10) для всех нейронов сети.

Выражение (10) зависит от текущих значений входных сигналов, весовых коэффициентов и активационных функции нейронов сети. Для изучения зависимости значения погрешности было проведено моделирование в пакете Matlab 6.1. Некоторые результаты моделирования представлены на рисунках 3 и 4.

На рисунке 3 показана дисперсия выходной погрешности простейшего нейрона с одним входом в зависимости от значения входного сигнала и весового коэффициента, при использовании логистической активационной функции. Данная зависимость позволяет сделать вывод о том, что большее

подавление входной погрешности осуществляется в области малых значений я.

На рисунке 4 представлена зависимость средней дисперсии ошибки выходного сигнала рекуррентной нейронной сети от дисперсии ошибки входного сигнала. Для обучения сети использовался алгоритм Калмана. Пунктирная линия соответствует условию Таким образом, сеть

осуществляет подавление входной погрешности.

Для анализа погрешности в реальных приложениях код вычисления погрешности был добавлен в реализацию нейронной сети, используемую в составе системы неинвазивного косвенного определения уровня глюкозы крови. Экспериментально, на основании нескольких сотен опытов, было установлено, что диапазон измерения весовых коэффициентов, обеспечиваемый применением алгоритма обучения Калмана, в среднем в 2-3 раза уже диапазонов изменения весовых коэффициентов для алгоритмов обратного распространения и BFGS. Соответственно, нейронные сети, обученные с применением алгоритм обучения Калмана, обеспечивают лучшее подавление погрешностей входных сигналов.

Пятая глава содержит результаты практического применения разработанных в диссертации методов в системе неинвазивного косвенного определения уровня глюкозы крови.

Разработка неинвазивного измерителя уровня глюкозы крови является актуальной, так как существует большое количество пациентов, которым требуется постоянный контроль уровня глюкозы. Инвазивное измерение достаточно болезненно, имеет риск занесения инфекции и достаточно высокую стоимость. Существующие неинвазивные измерители также имеют высокую стоимость или не обеспечивают достаточной точности измерения.

Система неиивазивного косвенного измерения уровня глюкозы крови разрабатывается в ООО "Алгоритм". Система основана на оценивании уровня глюкозы по нескольким непосредственно измеряемым параметрам человеческого организма, а также информации о внешних воздействиях. К измеряемым параметрам относятся высокочастотный и низкочастотный импедансы поверхности кожи и температура поверхности кожи. Информация о внешних воздействиях отражает влияние пищи, инъекций инсулина и физических нагрузок.

Косвенное оценивание уровня глюкозы осуществлялось с помощью динамической нейронной сети, обучаемой с использованием алгоритма

Калмана. Параметры архитектуры нейронной сети были определены исходя из количества имеющихся измерительных данных: применялись архитектуры 3-3R-1 и 5-5R-1.

Использовались различные варианты наборов входных данных: только измерительная информация, измерительная информация и факты внешних воздействий, измерительная информация с полным учетом внешних воздействий. Учет внешних воздействий повышает точность измерения, но требует дополнительного взаимодействия пользователя с прибором.

Калибровка прибора заключается в выполнении обучения нейросете-вой модели. Изучались два варианта калибровки прибора: индивидуальная и групповая калибровка. При индивидуальной калибровке настройка прибора осуществлялась индивидуально для каждого волонтера с использованием данных двух дней испытаний. При групповой калибровке настройка системы выполнялась с использованием данных группы пациентов с целью получения модели, пригодной для оценивания уровня глюкозы по данными любого пациента с диабетом аналогичного типа. Количество пациентов в группе калибровки определялось экспериментальным путем, и составляло 8-12 человек.

Для повышения точности измерения применены следующих алгоритмы обработки данных: устранение аномальных результатов измерений и начального экспоненциального дрейфа параметров, медианное сглаживание, температурная коррекция импедансов, низкочастотная фильтрация значений импеданса и температуры, метод главных компонент.

В процессе тестирования системы неинвазивного измерения уровня глюкозы крови использовались экспериментальные данные 94 волонтеров с различными типами диабета, состоящие, в основном, из 4-дневных наборов для каждого волонтера, где каждый набор соответствует одному дню испытаний. Данные каждого дня содержали в среднем 600 измерений параметров и 40 инвазивных измерений глюкозы.

Испытания проводились для различных вариантов калибровки и наборов входных параметров для волонтеров с различными типами диабета. Наилучшие результаты были получены при использовании групповой калибровки с учетом фактов внешних событий. Использование алгоритма обучения Калмана позволило повысить точность результатов нейросете-вой модели на 1-3% по сравнению с ранее применявшимися алгоритмами обучения нейронных сетей.

В проведенных испытаниях погрешность инвазивного измерения уровня глюкозы составляла 15%. Средняя относительная погрешность разрабатываемого прибора для волонтеров с I типом диабета составила 24,9%, для волонтером со II типом диабета - 16,5%, для волонтеров с Ш-1У типом диабета - 14,6%. Средняя относительная погрешность относительно сглаженной кривой глюкозы составила 22% для волонтеров с I типом диабета, 15,5% для волонтеров со II типом диабета и 12,6% для волонтеров с ПЫУ типом диабета.

Полученные в диссертации результаты были также применены при разработке системы неинвазивного определения уровня глюкозы в крови по параметрам термочувствительности в акупунктурных точках. В основу данной системы положена методика, созданная специалистами институт физиологии имени И.П. Павлова. Многолетние наблюдения физиологов позволяют сделать вывод о возможности определения уровня глюкозы крови с помощью измерения термочувствительности в 24 акупунктурных точках.

Значение уровня глюкозы крови определялось с помощью стандартного инвазивного прибора с относительной погрешностью 15%. Данные испытаний были организованы по дням. Каждый день в среднем содержал по 15 наборов из 24 значений параметров термочувствительности и соответствующих значений уровня глюкозы крови, определенных инвазивным способом. Для каждого волонтера имелись данные одного или двух дней испытаний.

В процессе тестирования системы использовались данные 12 волонтеров с различными типами диабета. Для калибровки системы использовалось 80% имеющихся данных волонтера, тестирование осуществлялось на оставшихся 20%. Применялась только индивидуальная калибровка без учета внешних воздействий.

Средняя относительная погрешность восстановления для всех тестируемых данных составила 26,2% при использовании полного набора параметров и 20,5% при использовании сокращенного набора, содержащего наиболее значимые параметры, задаваемые индивидуально для каждого волонтера. Полученные результаты могут рассматриваться в качестве подтверждения гипотезы о возможности косвенного оценивания уровня глюкозы крови по параметрам термочувствительности.

3. ЗАКЛЮЧЕНИЕ В ходе выполнения диссертационной работы получены следующие научные и практические результаты:

1. Выполнена систематизация архитектур динамических (темпоральных) нейронных сетей.

2. Предложен метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети.

3. Обосновано применение алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, для обеспечения большей точности и скорости обучения модели системы.

4. Предложена методика коррекции, параметров алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, обеспечивающая увеличение скорости сходимости алгоритма.

5. Предложен метод оценки погрешностей выходных сигналов рекуррентной сети в реальном времени.

6. Разработан алгоритм обработки данных в системе неинвазивного измерения глюкозы крови человека на основе моделирования с использованием нейронной сети и алгоритма Калмана.

7. Разработано программное обеспечение для исследования возможностей нейросетевого моделирования нелинейных динамических систем с применением алгоритма обучения Калмана, предназначенное для работы в среде Matlab 6.1, включая реализацию алгоритма обучения Калмана на языке Matlab.

8. Разработано программное обеспечение, реализующее алгоритм обучения Калмана и алгоритм оценки погрешностей, для применения в составе системы неинвазивного измерения глюкозы крови, разработанное на языке C+ + .

Таким образом, в диссертации содержится новое решение задачи разработки методов проведения измерений при условии не полностью доступного вектора состояния, что имеет существенное значение при создании информационных и информационно-измерительных систем.

4. СПИСОК ОПУБЛИКОВАННЫХ РАБОТ

1. Кобяков П.В., Малыхина Г.Ф. Анализ архитектур темпоральных сетей и их применение в информационных системах // Датчики и системы: Сборник докладов международной конференции. Том III. СПб.: Изд-во СПбГПУ, 2002. - с. 140-144.

2. Кобяков П.В. Темпоральные нейронные сети и их применение в информационных системах // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 2. СПб.: Гидро-метеоиздат, 2002. - с. 56-59.

3. Кобяков П.В. Фильтры Калмана и темпоральные нейронные сети // XXXI Неделя науки СПбГПУ. Ч. VI: Материалы межвузовской научной конференции. СПб.: Изд-во СПбГПУ, 2003. - с. 61-63.

4. Кобяков П.В., Малыхина Г.Ф. Неинвазивное косвенное измерение глюкозы в крови по параметрам термочувствительности // Компьютерное моделирование 2003: Труды Междунар. науч.-техн. конф. СПб.: Нестор, 2003. - с. 170-171.

5. Кобяков П.В. Анализ классических нейронных сетей и сетей, основанных на фильтре Калмана // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 1. СПб.: Изд-во СПбГЭТУ, 2003. - с. 363-366.

6. Кобяков П.В., Малыхина Г.Ф. Применение темпоральных нейронных сетей в биометрических системах // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 1. СПб.: Изд-во СПбГЭТУ, 2003. - с. 367-370.

7. Кобяков П В. Применение калмановских нейронных сетей в медицинских измерениях // II Всероссийская научно-техническая дистанционная конференция "ЭЛЕКТРОНИКА"/ Москва, 2003 г. - 2 с. (http-//www.mocnitmiee.m/upload/conf/00s4us4p8vvspcq/Kobiakovpdf).

8. Кобяков П.В., Малыхина Г.Ф. Измерение параметров сложных объектов по неполному вектору состояния // тезисы конференции "Экстремальная робототехника-2004", 6-7 апреля 2004 г.

Тираж 100 экз. Формат 60x84 1/16

Сдано в набор 11.04.04 Подписано в печать 11.05.04 Усл.печл. 0,93 Печать ризографическая

ЛП№000048от 11.12.98 Санкт-Петербург, ул.Восстания,6 ПЛД №69-320 от 10.12.98 Отпечатано в мини-типографии «Знак» Заказ №11/05-Р

р-8 0 8 ö

Введение

1 Измерение параметров объектов с помощью нейросетевого моделирования

1.1 Задачи измерения параметров динамических объектов . 12 1.1.1 Пример объекта - процесс метаболизма глюкозы в человеческом организме.

1.2 Применение моделей динамических объектов в измерительных приложениях

1.2.1 Моделирование в статических режимах.

1.2.2 Динамические модели объектов.

1.2.3 Моделирование в условиях недостаточной информации

1.2.4 Моделирование с использованием нейронных сетей

1.3 Применение нейронных сетей для моделирования динамических систем.

1.4 Алгоритмы обучения динамических нейронных сетей

1.5 Нейронные сети и интеллектуальные измерительные системы

1.5.1 Интеллектуальные измерительные системы на основе нейронных сетей.

1.5.2 Нейронные сети и классические вычислительные методы

1.6 Постановка задачи диссертации

• 2 Развитие методик измерений, основанных на применении динамических нейронных сетей

2.1 Разработка методики измерения параметров линейных динамических систем по неполному вектору состояния.

2.1.1 Измерение параметров линейных динамических систем по неполному вектору состояния.

2.1.2 Моделирование измерений параметров линейных динамических систем.

2.2 Разработка методики измерения параметров линеаризованных нелинейных динамических систем по неполному вектору состояния.

2.2.1 Измерение параметров линеаризованных нелинейных динамических систем по неполному вектору состояния

2.2.2 Моделирование измерения параметров нелинейных линеаризованных динамических систем.

• 2.3 Разработка методики измерения параметров нелинейных динамических систем по неполному вектору состояния.

2.3.1 Измерение параметров нелинейных динамических систем по неполному вектору состояния.

2.3.2 Моделирование измерений параметров нелинейных динамических систем

2.4 Исследование зависимости точности измерений от параметров нейросетевой модели

2.4.1 Исследование зависимости точности измерений от количества непосредственно измеряемых компонент вектора состояния.

2.4.2 Исследование зависимости точности измерений от длины входной линии задержки

2.5 Выводы по главе 2.

3 Применение и совершенствование алгоритма обучения динамических нейронных сетей, основанного на теории фильтров Калмана

3.1 Теория фильтров Калмана.

3.1.1 Фильтр Калмана для одномерной величины

3.1.2 Фильтр Калмана для динамических систем.

3.1.3 Фильтр Калмана для нелинейных динамических систем

3.2 Обучение динамических сетей с использованием фильтров

Калмана.

3.2.1 Вычислительная сложность.

3.3 Анализ классических алгоритмов обучения нейронных сетей и алгоритма обучения, основанного на теории фильтров Калмана

3.3.1 Условия эксперимента.

3.3.2 Результаты.

3.4 Применение сетей Калмана для построения измерительных систем.

3.5 Разработка методики увеличения скорости сходимости алгоритма Калмана.

3.6 Выводы по главе 3.

4 Разработка методики оценки погрешностей в измерительных системах, использующих динамические нейронные сети

4.1 Анализ и моделирование погрешности стандартного нейрона

4.1.1 Нелинейный преобразователь.

4.1.2 Сумматор.

4.1.3 Учет собственных погрешностей элементов нейрона

4.1.4 Моделирование погрешности стандартного нейрона

4.2 Анализ и моделирование погрешности нейронной сети прямого распространения.

4.3 Разработка методики оценки погрешности рекуррентной нейронной сети.

4.4 Исследование влияния алгоритма обучения на погрешность нейронной сети.

4.5 Выводы по главе 4.

Система неинвазивного косвенного измерения уровня глюкозы крови

5.1 Задача неинвазивного косвенного измерения уровня глюкозы крови.

5.2 Система неинвазивного косвенного измерения уровня глюкозы крови.

5.2.1 Аппаратная реализация.

5.2.2 Алгоритмы обработки данных.

5.2.3 Предварительная обработка входных данных.

5.2.4 Архитектура нейронной сети.

5.3 Сравнительный анализ экспериментальных данных.

5.3.1 Результаты сравнительного тестирования нейросетевых моделей.

5.3.2 Результаты испытаний для моделей ЕМ, WB и NN

5.3.3 Результаты испытаний модели NN-K.

5.4 Система неинвазивного косвенного определения уровня глюкозы крови по параметрам термочувствительности

5.4.1 Предварительная обработка данных.

5.4.2 Архитектура нейронной сети.

5.4.3 Анализ экспериментальных данных.

5.5 Выводы по главе 5.

В настоящее время особенно актуальным является применение информационных систем в задачах измерения и контроля свойств сложных объектов, к числу которых относятся различные технологические процессы, производственные системы и комплексы, сети передачи информации, биометрические системы, а также все природные явления.

Модель сложного объекта можно представить как нелинейную динамическую систему, описываемую уравнениями состояния и измерения. В диссертации решается задача косвенного измерения параметров объекта в условиях неполной информации о векторе состояния.

В качестве конкретного примера изучаемого объекта рассматривается процесс метаболизма глюкозы в крови человека. Для данного процесса не существует полной аналитической модели, хотя известны многие параметры, влияющие на метаболизм глюкозы.

Для класса полностью управляемых сложных объектов недоступность параметров состояния не всегда является проблемой, так как модель объекта может быть построена по управляющим воздействиям (в случае их доступности). В случае частично управляемого объекта некоторые параметры состояния не поддаются внешнему контролю.

Для проведения измерений в условиях неполного вектора состояния объекта в общем случае требуется методика для оценки требуемых параметров с помощью построения модели объекта. Одним из перспективных подходов к построению моделей является использование теории нейронных сетей.

Нейронные сети применяются для построения моделей в измерительных приложениях достаточно давно. Однако, такие вопросы как оптимальный выбор архитектуры нейронной сети, выбор алгоритма обучения и исследование метрологических характеристик нейросетевых моделей остаются открытыми.

Диссертационная работа посвящена разработке методов, алгоритмов и программных средств, предназначенных для обработки информации в рамках измерительной системы, для решения задачи проведения косвенных измерений параметров нелинейных локально-стационарных динамических систем дискретного времени при условии не полностью доступного вектора состояния.

Решение этой задачи связано с выполнением следующих этапов исследования:

1. Анализ и теоретическое обоснование возможности проведения измерений в условиях неполного вектора состояния.

2. Разработка метода измерений, основанного на моделировании исследуемой динамической нелинейной системы с применением темпоральных (динамических) нейронных сетей.

3. Исследование архитектур и алгоритмов обучения динамических нейронных сетей для определения модели сети и алгоритма, максимально отвечающих требованиям измерительной системы.

4. Разработка, метода оценки погрешностей выходных сигналов нейро-сетевой модели для обоснования возможности использования нейронной сети и осуществления мониторинга погрешностей в процессе функционирования системы.

5. Применение разработанных методов для построения системы неин-вазивного косвенного определения уровня глюкозы крови.

В диссертационной работе представлены следующие новые научные результаты:

1. Систематизация архитектур динамических нейронных сетей, применяемых для обработки динамических данных.

2. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети.

3. Экспериментальное обоснование наибольшей эффективности алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, для решения задачи моделирования изучаемых систем.

4. Уточнение и расширение формул коррекции параметров обучения в алгоритме обучения нейронной сети, основанном на теории фильтров Калмана.

5. Метод оценки погрешностей выходных сигналов нейросетевой модели исследуемой системы.

Практическую значимость диссертационной работы составляют:

1. Алгоритм обработки данных в системе неинвазивного измерения глюкозы крови человека на основе моделирования с использованием нейронной сети и алгоритма Калмана.

2. Программное обеспечение для исследования возможностей нейросе-тевого моделирования нелинейных динамических систем с применением алгоритма обучения Калмана, предназначенное для работы в среде Matlab 6.1, включая реализацию алгоритма обучения Калмана на языке Matlab.

3. Программное обеспечение, реализующее алгоритм обучения Калмана и алгоритм оценки погрешностей, для применения в составе системы неинвазивного косвенного измерения уровня глюкозы крови, разработанное на языке С++.

На защиту выдвигаются следующие положения:

1. Метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети с использованием алгоритма Калмана.

2. Методика коррекции параметров скорости обучения алгоритма Калмана.

3. Методика оценки погрешностей выходных сигналов нейросетевой модели в реальном времени.

Основной материал диссертации изложен в пяти главах. В первой главе диссертации проанализированы задачи обработки информации, решаемые в рамках систем измерения параметров сложных объектов. Рассмотрены основные модели динамических систем, применяемые в измерительных приложениях. Поставлена задача измерения параметров объектов по неполному вектору состояния. Эффективное решение данной задачи может быть реализовано с помощью моделирования с применением динамических (темпоральных) нейронных сетей. Систематизированы существующие архитектуры динамических нейронных сетей, рассмотрены основные алгоритмы обучения. В заключительной части главы 1 приведена формальная постановка задачи диссертации.

Вторая глава посвящена разработке и исследованию методов измерения параметров сложных объектов по неполному вектору состояния. Предложены алгоритмы проведения измерений для линейных, нелинейных линеаризованных и нелинейных динамических систем по неполному вектору состояния. С помощью моделирования исследованы зависимости погрешности от количества непосредственно измеряемых компонент вектора состояния и от параметров нейронной сети.

• В третьей главе рассматривается алгоритм обучения нейронных сетей; основанный на теории фильтров Калмана. Рассмотрен классический фильтр Калмана для линейной динамической системы, а также его расширение для случая нелинейной динамической системы. Проанализировано применение фильтра Калмана к задаче обучения нейронной сети с учителем. Приведены результаты сравнительного моделирования, демонстрирующие превосходство алгоритма обучения Калмана над стандартными алгоритмами обучения нейронных сетей. Предложена усовершенствованная методика изменения параметров обучения алгоритма Калмана, позволяющая увеличить скорость сходимости алгоритма.

В четвертой главе предложен и исследован метод оценивания погрешностей выходных сигналов нейросетевой модели. Метод позволяет оценивать погрешность выходных сигналов нейронной сети при известных погрешностях входных сигналов. Метод основывается на вычислении оценки погрешности стандартного нейрона. Погрешность выходных сигналов нейронной сети вычисляется с помощью последовательного вычисления погрешностей отдельных нейронов. Приведены результаты моделирования оценки выходной погрешности. Показано, что алгоритм обучения Калмана обеспечивает меньшую погрешность выходных сигналов сети за счет более компактного диапазона изменения весовых коэффициентов.

Пятая глава содержит результаты применения разработанных в диссертации методов и алгоритмов при разработке системы неинвазивного косвенного измерения уровня глюкозы крови. Приводится описание аппаратной реализации системы и использованных алгоритмов обработки данных. Параллельно с нейросетевой моделью процесса метаболизма глюкозы изучались водобалансная и феноменологическая модели. Приведены результаты тестирования системы, выполненного для данных 94 волонтеров. Ней-росетевая модель, использующая алгоритм обучения Калмана, позволила добиться снижения погрешности на 1-3% по сравнению с наиболее точной из альтернативных моделей.

В заключении приведены основные научные и практические результаты, полученные в-диссертации.

5.5. Выводы по главе 5

1. Задача неинвазивного косвенного определения уровня глюкозы крови является актуальной альтернативой классическим методам измерения уровня глюкозы.

2. Задача неинвазивного косвенного измерения уровня глюкозы крови является задачей измерения по неполному вектору состояния, и может быть решена с применением нейросетевых методов, разработанных в главе 2.

3. Для обеспечения повышенных требований к качеству нейросетевых моделей для обучения сетей должен использоваться усовершенствованный алгоритм Калмана, рассмотренный в главе 3.

4. Контроль погрешности измерений в реальном времени может быть выполнен с применением методики, предложенной в главе 4.

5. Применения алгоритма обучения Калмана позволяет получать ней-росетевые модели, обеспечивающие минимальную погрешность выходного сигнала.

6. Сравнительный анализ экспериментальных данных показал, что использование алгоритма обучения Калмана позволяет снизить ошибку моделирования на 1-3% по сравнению с альтернативными методиками.

18 р 16 ■ 14 ■

Рис. 5.6. Гистограмма погрешностей восстановления при групповой калибровке с учетом фактов внешних воздействий

Заключение

В диссертационной работе представлена разработке методов, алгоритмов и программных средств, предназначенных для обработки информации в рамках измерительной системы, для решения задачи проведения косвенных измерений при условии неполноты и/или неточности непосредственно измеряемых компонентов вектора состояния.

Для решения этой задачи выполнены следующие этапы исследования:

1. Анализ и теоретическое обоснование возможности проведения измерений по неполному вектору состояния системы.

2. Разработка метода измерений, основанного на моделировании исследуемой динамической нелинейной системы с применением динамической нейронной сети.

3. Разработка метода оценки погрешностей выходных сигналов нейро-сетевой модели в реальном времени для обоснования возможности использования нейронной сети и осуществления мониторинга погрешностей в процессе функционирования системы.

4. Применение разработанных методов для построения системы неинвазивного косвенного измерения глюкозы крови.

В ходе выполнения диссертационной работы получены следующие научные и практические результаты:

1. Выполнена систематизация архитектур динамических нейронных сетей, применяемых для обработки динамических данных.

2. Предложен метод проведения измерений в условиях неполного измеряемого вектора состояния системы, основанный на моделировании системы с помощью динамической нейронной сети.

3. Обосновано применение алгоритма обучения нейронной сети, основанного на теории фильтров Калмана, для обеспечения большей точности и скорости обучения модели системы.

4. Выполнено расширение формул коррекции параметров обучения в алгоритме обучения нейронной сети, основанном па теории фильтров Калмана, позволяющее повысить скорость сходимости алгоритма.

5. Предложен и реализован метод оценки погрешностей выходных сигналов нейросетевой модели исследуемой системы в реальном времени.

6. Разработан алгоритм обработки данных в системе неинвазивного измерения глюкозы крови человека на основе моделирования с использованием динамической нейронной сети и алгоритма Калмана.

7. Разработано программное обеспечение для исследования возможностей нейросетевого моделирования нелинейных динамических систем с применением алгоритма обучения Калмана, предназначенное для работы в среде Matlab 6.1, включая реализацию алгоритма обучения Калмана на языке Matlab.

8. Разработано программное обеспечение, реализующее алгоритм обучения Калмана и алгоритм оценки погрешностей на языке С++, для применения в составе интеллектуальной системы неинвазивного измерения глюкозы крови.

Таким образом, в диссертации содержится новое решение задачи разработки методов проведения измерений по неполному вектору состояния, что имеет существенное значение при создании информационных и информационно-измерительных систем.

1. Абраменкова И.В. Проблема устойчивости нейронной сети: Нейрокомпьютеры: разработка, применение, ном. 3-4, 2003, с. 3-6.

2. Ахмедзянов A.M., Галиулин К.Ф. Метод диагностики проточной части ГТД с использованием априорной информации Тезисы докладов Всесоюзной Научно-технической конференции "Методы и средства машинной диагностики ГТД и их элементов", Харьков, 1983. -с.59-60

3. Неинвазивные методы определения уровня глюкозы крови: внутренний документ ООО "Алгоритм", 2004, 29 с.

4. Экспериментальные данные для волонтеров с диабетом различных типов: внутренний документ ООО "Алгоритм", 2004, 21 с.

5. Кохен М. Сахарный диабет краткое руководство по лечению: http://medi.ru/doc/051500.htm.

6. Полная и частичная идентификация линейной динамической системы- тезисы докладов научно-технической конференции "Диагностика, информатика, метрология-95", СПб, 1995. с. 88-89.

7. Дубравский Н.В., Мокроус М.Ф. Параметрические методы диагностического контроля состояния авиадвигателей Труды ЦИАМ N964, 1981, 28с.

8. Ермаков А.Е., Халамов А.А. Применение динамической нейронной сети для распознавания речи. // Нейрокомпьютеры. 2000. - N 1. - С. 49-53.

9. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. Пособие для вузов/ Общая ред. А.И. Галушкина. М.: ИПРЖР, 2000. 416 с.

10. Галушкин А.И. Нейрокомпьютеры и их применение, Кн. 3. Учебное пособие для вузов. М.: ИПРЖР, 2000. 528 с.

11. Горбань А.Н. Обучение нейронных сетей.- Москва, "Параграф", 1990.- 160 с.

12. Горбань А.Н., Сенашова М.Ю. Погрешности в нейронных сетях // Вычислительный центр СО РАН в Красноярске, Красноярск, 1999, 38 с.

13. Отчет о научно-исследовательской работе по теме 801501 (805540)/1432К, Ленинград, 1987 г., 68 с.

14. Ищук И.П. Многофакторные измерения при идентификации переменных на линиях неопределенности. М. Метрология N12, 2003. с. 3-7.

15. Калач А.В. Применение метрологии искусственных нейронных сетей для обработки сигналов сенсоров Нейрокомпьютеры N10-11, 2003. -с. 43-47.

16. Кобяков П.В., Малыхина Г.Ф. Анализ архитектур темпоральных сетей и их применение в информационных системах // Датчики и системы: Сборник докладов международной конференции. Том III. СПб.: Изд-во СПбГПУ, 2002. с. 140-144.

17. Кобяков П.В. Темпоральные нейронные сети и их применение в информационных системах // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 2. СПб.: Гидро-метеоиздат, 2002. с. 56-59.

18. Кобяков П.В. Фильтры Калмана и темпоральные нейронные сети // XXXI Неделя науки СПбГПУ. Ч. VI: Материалы межвузовской научной конференции. СПб.: Изд-во СПбГПУ, 2003. с. 61-63.

19. Кобяков П.В., Малыхина Г.Ф. Неинвазивное косвенное измерение глюкозы в крови по параметрам термочувствительности // Компьютерное моделирование 2003: Труды Междунар. науч.-техн. конф. СПб.: Нестор, 2003. с. 170-171.

20. Кобяков П.В. Анализ классических нейронных сетей и сетей, основанных на фильтре Калмана // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 1. СПб.: Изд-во СПбГЭТУ, 2003. с. 363-366.

21. Кобяков П.В., Малыхина Г.Ф. Применение темпоральных нейронных сетей в биометрических системах // Международная конференция по мягким вычислениям и измерениям: Сборник докладов. Том 1. СПб.: Изд-во СПбГЭТУ, 2003. с. 367-370.

22. Кобяков П.В. Применение калмановских нейронных сетей в медицинских измерениях //II Всероссийская научно-техническая дистанционная конференция "ЭЛЕКТРОНИКА"/ Москва, 2003 г. 2 с. (http://wAvw.mocnit.miee.ru/upload/conf/00s4us4p8wspcq/Kobiakov.pdf)

23. Кобяков П.В., Малыхина Г.Ф. Измерение параметров сложных объектов по неполному вектору состояния // тезисы конференции "Экстремальная робототехника-2004", 6-7 апреля 2004 г.

24. Конюхов Е.М. Диагностика авиационных ГТД на основе параметризации протекающих в них процессов 2001. - с.13-14.

25. Ковальчук А.К., Святный Д.А., Шахтарин Б.И. Применение алгоритмов оптимальной фильтрации для обучения нейросети (на примере фильтра Калмана) М. Научный Вестник МГТУ ГА ном. 36, серия "Радиофизика и радиотехника", 2001, стр. 49-58.

26. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001, 382 с.

27. Кудрявцев М.Д. Совокупные измерения: классификация и планирование тезисы докладов научно-технической конференции "Диагностика, информатика, метрология-94", СПб, 1994. - с. 260-262.

28. Линевский О.В., Седельников В.А. Математическое обеспечение комплекса с теневой лазерной измерительной головкой тезисы докладов научно-технической конференции "Диагностика, информатика, метрология-95", СПб, 1995. - с. 185-186.

29. Миронов А.Н., Пеньков М.М. Прогнозирование границ поля допуска параметров элементов сложных технических систем. М. Приборостроение N 1, 2003. с. 7-11.

30. Мироновский Л.А., Осипкин С.А. Нейросетевое диагностирование динамических объектов тезисы научно-технической конференции " Диагностика, информатика, метрология, экология, безопасность", СПб, 1998. с. 11-12.

31. Муха Ю.П., Скворцов М.Г. Супермногоканальные ИИС на базе нейросетевых технологий сборник докладов международной конференции по мягким измерениям и вычислениям, т. 1, СПб, 2001. - с. 275-278.

32. Назаров А.А. Нейросетевые алгоритмы оценки влажности почвы с использованием данных пассивной СВЧ радиометрии. М. Нейрокомпьютеры N2, 2003. с. 20-29.

33. Недосекин Д.Д., Прокопчина С.В. Информационные технологии интеллектуализации измерительных процессов. СПб, Энергоатомиз-дат, 1995, 185 с.

34. Новицкий П.В. Оценка погрешностей результатов измерений 2-е изд. перераб. и дополн. JL: Энергомашиздат, 1991. - 304 с.

35. Прокопчина С.В., Аверкин А.Н. Краткий очерк концепции мягких измерений. СПб.: Гидрометеоиздат, 1997. - 46 с.

36. Сирая Т.Н. Модели сигналов и данных в задачах обработки данных при измерениях тезисы научно-технической конференции "Диагностика, информатика, метрология, экология, безопасность", СПб, 1998. - с. 98-99.

37. Первозванский А.А. Курс теории автоматического управления: Учебное пособие. М.: Наука, Гл. ред. физ.-мат. лит., 1986. - 616 с.

38. Волков В.Г. Исследование методов идентификации ГТД для автоматизированного контроля его состояния Тезисы докладов Всесоюзной Научно-технической конференции "Методы и средства машинной диагностики ГТД и их элементов", Харьков, 1983. - с.88-89.

39. Жернаков С.В. Контроль и диагностика параметров газотурбинного двигателя нейронными сетями // Нейрокомпьютеры: разработка, применение. 2003. N 8-9. - с. 51-66.

40. Back A.D., Tsoi А.С. FIR and IIR Synapses, a New Neural Network

41. Architectures for Time Series Modelling: Neural Computation, 3(3): 375385, 1991.

42. Baltersee J., Chambers J. Non-linear Adaptive Prediction of Speech with a Pipelined Recurrent Neural Network and a Linearized Recursive Least Squares Algorithm: Chapter in Signal Analysis and Prediction, Birkhauser Boston, 1998, 54 p.

43. Bartolini F., Cappelini V., Nerozzi S. Recurrent Neural Network Predictors for EEG Signal Compression: in Proceedings of International Conference on Acoustic Speech and Signal Processing ICASSP'95, Detroit, Michigan, USA, May 8-12, 1995, pp. 3395-3398.

44. Bengio Y., Frasconi P., Gori M., Soda G. Recurrent Neural Networks for Adaptive Temporal Processing: In E. Caianello, editor, Proc. of the 6th Italian Workshop on Neural Networks, WIRN-93, Vietri, Italy, 1993, pp. 1183-1195.

45. Berns K. Requirements and Use of Neural Networks for Industrial Applications: in Proceedings Fourth European Workshop on Learning Robots, 1995, pp 2032-2040.

46. Campolucci P., Uncini A., Piazza F., Rao, B.D. On-line Learning Algorithms for Locally Recurrent Neural Netwroks: IEEE Transactions on Neural Networks, vol. 10, No. 2, March 1999, pp. 253-271.

47. Cheppelier J., Gori M., Grumbach A. Time in Connectionist Models: in Sequence Learning: Paradigms, Algorithms and Applications, 2001, pp. 105-134.

48. Chappelier J., Grumbach A. Time in Neural Networks: SIGART Bulletin, vol. 5, No. 3, 1992, pp. 3-11.

49. Chen C.J., Miikkulainen R. Creating Melodies with Evolving Recurrent

50. Neural Networks: In Proceedings of the International Joint Conference on Neural Networks (IJCNN-01, Washington DC), 2001, pp. 2241-2246.

51. Costa N., Ribeiro B. A Neural Prediction Model for Monitoring and Fault Diagnosis of a Plastic Injection Moulding Machine: in Proceedings of the European Conference Control, ECC'99, 1999, pp 100-120.

52. Dorffner G. Neural Networks for Time Series Processing: Neural Network World No. 4, 1996, pp. 447-468.

53. Edwards P., Murray A. Modelling weight- and input-noise in MLP learning: Proceedings Of International Conference on Neural Networks (ICNN'96). USA, Washington, June 3-6, vol. 1, 1996, pp. 78-83.

54. Elman J. Finding structure in time: Cognitive Science 14 (1990), pp. 179211.

55. Feldkamp L.A., Puskorius G.V. Unified Formulation for Training Recurrent Networks with Derivative Adaptive Critics: in Proceedings of International Conference on Neural Networks-ICNN'97, 1997, pp. 12301241.

56. Feldkamp L.A., Puskorius G.V. A Signal Processing Framework Based on Dynamic Neural Networks with Applications to Problems in Adaptation, Filtering, and Classification: Proceedings of the IEEE, vol. 86, No. 11, November 1998, pp. 2259-2277.

57. Fessant F., Bengio S., Collobert D. On the Prediction of Solar Activity Using Different Neural Network Models: Annales Geophysicae vol. 14, 1996, pp. 20-26.

58. Gerstner W. Time Structure of the Activity in Neural Network Models: Physical Review, vol. 51, No. 1, 1995, pp. 738-758.

59. Haykin S. Kalman Filters: in Kalman Filtering and Neural Networks, Edited by Simon Haykin, John Wiley & Sons, 2001, pp. 1-21

60. Haykin S. Neural Networks: A Comprehensive Foundation, Macmillan, 1995, 760 p.

61. Haykin S. Neural Networks, A Comprehensive Foundation, Second Edition, Macmillan, 1999, 830 p.

62. Henriques J, Gil P., Dourado A., Duarte-Ramos H. Application of a Recurrent Neural Network in On-line Modelling of Real-Time Systems: in Proceedings ESIT99, Crete, Greece, 1999, pp. 1032-1041.

63. Home B.G., Giles C.L. An Experimental Comparison of Recurrent Neural Networks: Neural Information Processing Systems 7, MIT Press, 1995, pp. 697-710.

64. Huet B. Recurrent Neural Networks for Temporal Sequences Recognition: MSc Thesis, University of Westminster, September 1993, 157 p.

65. Jordan M.I., Attractor Dynamics and Parallelism in a Connectionist Sequential Machine: Proceeding of The 8th Annual Conference of the Cognitive Science Society, 1986: 531-546.

66. Kaelbling L.P., Littman M.L. Reinforcement Learning: A Survey: Journal of Artificial Intelligence Research 4, 1996, pp. 237-285.

67. Kaiser M. Time-Delay Neural Networks for Control: 4th International Symposium on Robot Control, 1994, pp. 305-320.

68. Time-delay recurrent neural network for temporal correlations and prediction: Neurocomputing 20, 1998, pp. 253-263.

69. Kremer S.C Spatio-temporal Connectionist Networks: A Taxomony and Review: Neural Computation, vol. 13, no. 2, 2001, pp. 249-306.

70. Lange F. Fast and Accurate Training of Multilayer Perceptrons Usings an Extended Kalman Filter (EKFNet): internal paper, http://www.robotic.dlr.de/Friedrich.Lange, 1995.

71. Lawrence S., Tsoi A.C., Back A.D. The Gamma MLP for Speech Phoneme Recognition: in Advances in Neural Information Processing Systems 8, MIT Press, 1996, pp. 785-791.

72. Leleux D.P., Claps R., Chen W., Tittel F.K., Harman T.L. Applications of Kalman Filtering to Real-time Trace Gas Concentration Measurements: Applied Physics, No. 74, 2002, pp. 85-93.

73. Li S. Comparative Analysis of Backpropagation and Extended Kalman Filter in Pattern and Batch Forms for Training Neural Networks: IEEE, 2001. ???

74. Mackey M, Glass L. Oscillations and Chaos in Physiological Control Systems: Science 197, 1977, pp 281-287.

75. Mozer M.C. Neural Net Architectures for Temporal Sequence Processing: Predicting the future and understanding the past, A. Weigend and N. Gershenfeld (eds.), Addison-Wesley, Reading, MA, 1993, pp. 143-164.

76. Papik K., Molnar В., Schaefer R., Dombovari Z., Tulassay Z., Feher J. Application of Neural Networks in Medicine a Review: Mediacal Science Monitor 4(3), 1997, pp. 538-546.

77. Perez-Ortiz J.A., Calera-Rubio J., Forcada M.L. A Comparison between Recurrent Neural Architectures for Real-time Nonlinear Prediction of

78. Speech Signals: in Proceedings of the IEEE Neural Network for Signal Processing Workshop, NNSP 2001, North Falmouth, Massachusetts, USA, pp 207-230.

79. Polikar R. Learn++: An Incremental Learning Algorithm for Supervised Neural Networks: IEEE Transactions on Systems, Man and Cybernetics, vol. 31, No.4, 2001, pp. 497-508.

80. Kuo J., Principe J.C., de Vries, B. Prediction of Chaotic Time Series Using Recurrent Neural Networks: In Proceedings 1992 IEEE Workshop of Neural Networks in Signal Processing, 1992, pp. 436-443.

81. Principe J.C. Backpropagation Through Time with Fixed Memory Size Requirements: In Processing 3rd Workshop on Neural Networks for Signal Processing, Maryland, 1993, pp. 207-215.

82. Puskorius G.V., Feldkamp L.A. Parameter-based Kalman Filter Training: Theory and Practice: in Kalman Filtering and Neural Networks, Edited by Simon Haykin, John Wiley к Sons, 2001, pp 22-67.

83. Puskorius G.V., Feldkamp L.A., Davis L.I. Dynamic Neural Network Methods Applied to On-Vehicle Idle Speed Control: Proceedings of The IEEE, vol. 84, No. 10, October 1996, pp. 1407-1419.

84. Singhal S., Wu L. Training Multilayer Perceptrons With the Extended Kalman Algorithm: in Neural Information Processing Systems 1, San Mateo, CA, 1989, pages 133-140.

85. Sontag E. Neural Nets as Systems Models and Controllers: in Proc. Seventh Yale Workshop on Adaptive and Learning Systems, Yale University, 1992, pp. 73-79.

86. Sontag E. Recurrent Neural Networks: Some Systems-Theoretic Aspects: in Dealing with Complexity: a Neural Network Approach (M. Karny, K. Warwick, and V. Kurkova, eds.), Springer-Verlag, London, 1997, pp. 1-12.

87. Southall В., Buxton B.F., Marchant J.A. Controllability and Observability: Tools for Kalman Filter Design: In Proc. BMVC98, vol. 1, 1998, pp. 164-173.

88. Spiegelman M. An Introduction to Dynamical Systems and Chaos: internal paper, http://www.ldeo.columbia.edu/ mspieg/Complexity/Problems/Problems. 1997.

89. Steil J.J. Input-Output Stability of Recurrent Neural Networks with Time-Varying Parameters: Proc. ESANN 2000, ed. M. Verleysen, 2000, pp. 281286.

90. Stornetta W.S., Hogg Т., Huberman B.A. A Dynamical Approach to Temporal Pattern Processing: In Anderson D.Z. (ed.), Neural Information Processing Systems, 1988, pp. 750-759.

91. Tresp V., Briegel Т., Moody J. Neural-Network Models for the Blood

92. Glucose Metabolism of a Diabetic: IEEE Transactions on Neural Networks, Vol. 10, No. 5, 1999, pp. 1204-1213.

93. Tsakalis K. Stability, Controllability and Observability: internal paper, http://www.eas.asu.edu/ tsakalis/notes/sco.pdf, 2000.

94. Tutschku K. Recurrent Multilayer Perceptrons for Identification and Control: The Road to Applications: Institute of Computer Science, University of Wurzburg, tecnical report 118, 1995, 95 p.

95. Wah B.W., Quin M. Constrained Formulations and Algorithms for Stock-• Price Predictions Using Recurrent FIR Neural Networks: Eighteenthnational conference on Artificial intelligence, Edmonton, Alberta, Canada, 2002, pp. 211-216.

96. Haffner P., Waibel A. Multi-State Time Delay Neural Networks for Continuous Speech Recognition: in J.E. Moody, Hanson S.J., and R.P. Lipmann, editors, Advances in Neural Information Processing Systems 4, 1992, pp. 135-143.

97. Wan E., Nelson A.T. Dual EKF Methods: Kalman Filtering and Neural Networks, Wiley Publishing, Eds. Simon Haykin, 2001, 40 p.

98. Wan E. Finite Impulse Response Neural Networks for Autoregressive Time Series Prediction: Proceedings of the NATO Advanced Workshop on Time Series Prediction and Analysis , Santa Fe, NM, 1992, pp. 504-531.

99. Welch G., Bishop G. An Introduction to the Kalman Filter: TR95-041, University of North Carolina at Chapel Hill, Department of Computer Science, 1995, 35 p.

100. Werbos H. Backpropagation Through Time: What it does and how to do it: Proceedings of the IEEE, vol. 78, No. 10, 1990, pp. 1550-1560.

101. Widrow В., Plett G.L. Nonlinear Adaptive Inverse Control: Proceedings of the 36th Conference on Decision and Control, San Diego, December 1997, pp. 1032-1037.

102. Williams R.J., Zipser D. A Learning Algorithm for Continually Running Fully Recurrent Neural Networks: Neural Computation, 1, 1989, pp. 270280.

103. Williams R.J. Some Observations on the Use of the Extended Kalman Filter as a Recurrent Network Learning Algorithm: Technical Report NU-CCS-92-1, Boston: Northeastern University, College of Computer Science, 1992.

104. Williams R.J. Training Recurrent Networks Using the Extended Kalman Filter: Proceedings of the International Joint Conference on Neural Networks, June, Baltimore, MD, Vol. IV, 1992, pp. 241-246.

105. Zhang Y.Q., Chan L.W. ForeNet: Fourier Recurrent Networks for Time Series Prediction: Proceedings of International Conference on Neural Information Processing, 2000, pp. 576-582.