автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.09, диссертация на тему:Управление антропоморфным механизмом на основе неполных данных средствами нейронных сетей

На правах рукописи

РГБ ОД

2 я июн пт

БУРОВ Александр Геннадьевич

УПРАВЛЕНИЕ АНТРОПОМОРФНЫМ МЕХАНИЗМОМ НА ОСНОВЕ НЕПОЛНЫХ ДАННЫХ СРЕДСТВАМИ НЕЙРОННЫХ СЕТЕЙ

Специальность 05.13.09 - Управление в биологических системах (включая применение вычислительной техники)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2000

Работа выполнена на кафедре "Биомеханика и валеология" Санкт-Петербургского Государственного Технического Университета

Научный руководитель:

доктор биологических наук, профессор А.В.Зинковский

Официальные оппоненты: доктор технических наук,

профессор Н.Е.Барабанов

кандидат технических наук, доцент А. А.Иванов

Ведущая организация:

Санкт-Петербургский научно-практический центр медико-социальной экспертизы, протезирования и реабилитации инвалидов им. Г.А.Альбрехта

Защита состоится " / " 2000г. в /У часов на заседании

диссертационного Совета Д 063.38.18 при Санкт-Петербургском Государственном Техническом Университете по адресу: 195251, г.Санкт-Петербург, ул. Политехническая, д.29, в ауд.^? , / корп. СПбГТУ.

С диссертацией можно ознакомиться в фундаментальной библиотеке СПбГТУ

Автореферат разослан Лгу1£Л<Л. 2000г.

Ученый секретарь (,—-)

диссертационного Совета ^доктор биологических наук,

—^ х профессор А.В.Зинковский

Еяп -те,, о

з пР /у ^ 2О

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. Работы по созданию систем управления антропоморфными механизмами, использующих естественные стереотипы движения оператора, привели к понятию биоэлектрического образа движения, поскольку биоэлектрические потенциалы мышц являются ключевым источником информации о естественном движении. В том числе, были предприняты nommai применить результаты таких работ в протезостроении, особенно в создании такого рода антропоморфных механизмов как протезы верхней конечности. Однако, подобные исследования не получили развития в силу объективных трудностей в части интерпретации биоэлектрических образов.

Используемые в настоящее время протезы с биоэлектрическим управлением реализуют релейное или пропорциональное управление каждым суставом в отдельности. Это приводит к значительной нагрузке внимания при одновременном управлении более чем одним суставом, и, в конечном счете, к потере функциональности протезов, так как ряд функций, возложенных на протез, на практике подменяется приспособительными движениями самого оператора "в помощь" протезу. Для многих пациентов их собственный уровень функциональности повышается при использовании подобных устройств незначительно.

Предложенный в работе подход к построению систем управления средствами технической реабилитации позволяет преодолеть значительные трудности, сопряженные как с невозможностью точного формального описания системы "человек-протез", так и с ограниченным набором независимых управляющих воздействий, благодаря преимуществам парадигмы распределенной обработки информации, связанной с применением ИНС. Тема диссертационной работы является весьма актуальной, поскольку создает перспективу развития нового направления исследований в области протезостроения и реабилитационных технологий.

Цели и задачи исследования. Целью настоящей работы является разработка подхода к построению на основе искусственной нейронной сети эффективной и не перегружающей внимание оператора системы управления антропоморфным механизмом, представленным протезом верхней конечности, с помощью поверхностных биоэлектрических сигналов, снимаемых с мышц, и реализующей естественные движения.

Для достижения данной цели необходимо решение следующих научно-технических задач:

- разработка способов и системы управления антропоморфными механизмами на основе комплекса управляющих сигналов, представляющих собой биоэлектрический стереотип движения конечности;

- изучение специфики принципов управления протезами верхней конечности и разработка методов уттравления протезом;

- нахождение возможности получения дополнительного источника управляющих воздействий без увеличения нагрузки на внимание оператора-инвалида;

- подтверждение возможности использования искусственных нейронных сетей для управления протезом верхней конечности на основе неполного биоэлектрического образа движения;

- построение работоспособной модели системы управления протезом верхней конечности.

Научная новизна результатов исследования. В процессе проведенных в диссертационной работе теоретических и экспериментальных исследований показана перспективность применения ИНС для управления антропоморфными механизмами па основе неполных данных в контексте стереотипного образа движения. Впервые предложен эффективный подход к построению систем управления протезами, ориентированными на восстановлении естественных стереотипов движения. Найдена возможность получения дополнительного источника управляющих воздействий без увеличения нагрузки на внимание оператора-инвалида. Создала модель системы управления протезным устройством на основе предложенного подхода.

Практическая значимость и результаты внедрения. Разработанный в диссертации подход к построению систем управления антропоморфными механизмами с помощью биоэлектрических сигналов создает возможность использования косвенной информации о движении для управления на основе неполных данных, а также может быть использован для повышения надежности систем управления, использующих в качестве управляющих воздействий физиологические измерения. В русле создания технических средств реабилитации данный подход открывает широкие возможности для разработки нового поколения систем управления протезами, не требующих сосредоточенного внимания оператора-инвалида, и реализующих естественные стереотипы движения.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались па различных научных конференциях и семинарах: на 17-м конгрессе Международного Общества Биомеханики

(Калгари, 1999), 2-й международной научно-технической конференции "Информационные технологии в моделировании и управлении"(Санкт-Петербург, 2000), 5-й Всероссийской конференции по биомеханике (Нижний Новгород, 2000), на специализированных семинарах кафедр "Биомеханика и валеология" (СПбГТУ) и "Мехатроника" (ЛИТМО).

Публикации. Основные результаты работы над диссертацией опубликованы в 5 печатных работах, перечень которых приведен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, четырех глав и заключения, изложенных на 120 страницах, приложений на

О О огтт гп1трт>от*гпг т но А / ттотг» гоиппотит лл ггвпигит 1 *7

¿а ч/ V • ШкЦЦА^ Ч^^^/АСЛУС» ^1(11 ^ри 12 Г1чД Ъ'ид^/Ш! 1 1 «

рисунков и 2 таблицы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность работы, сформулированы цель и задачи исследования, а также показываются основные пути решения сформулированных задач и проблем.

Первая глава, представляющая собой обзор близких к теме исследования проблем, состоит из трех смысловых частей, первая из которых посвящена феномену электрической активности мышц, ее связи с характеристиками движения, практике и возможностям использования биоэлектрических сигналов в качестве управляющих. Несмотря на то, что сложность опорно-двигательного аппарата, и, в частности, скелетно-мышечной системы не позволяет точно реконструировать движение по сигналам ЭМГ, эта цель является центральной во многих исследованиях, связанных с моделированием механизмов управления центральной нервной системы, поскольку ЭМГ является наиболее доступным источником информации о состоянии мотонейронов.

Вторая часть сосредоточена на принципах устройства протезов верхней конечности и особенностях биомеханики верхней конечности, существенных для решения проблем протезостроения. Протезы верхней конечности можно разделить на две группы - тяговые протезы и протезы с внешним источником энергии. Несмотря на то, что тяговое управление относится к наиболее физиологичным, так как реализует силовую и позицио1шую обратную связь, необходимо вырабатывать у инвалида новый стереотип движений, существенно отличающийся от естественного. Выбранные группы мышц должны быть достаточно независимыми, чтобы не вызывать непроизвольного срабатывания механизмов. Число таких

независимых групп мышц, пригодных для тягового управления, весьма ограничено, и количество активно реализуемых степеней подвижности невелико. Как правило, в протезах плеча их не более двух, включая схват, а в протезах предплечья - только одна (в редких случаях - две). Восполнение возможности произвольно ориентировать кисть в пространстве рабочей зоны (моторного поля), как правило, обеспечивается шарнирами тугой пассивной подвижности. Ориентация звеньев в этом случае осуществляется второй рукой или за счет компенсаторных движений. В свою очередь, протезы верхних конечностей с внешним источником энергии призваны освободить инвалида от излишних энергозатрат, оставляя за шш только функцию управления. Однако, в многофункциональных устройствах этого типа управление до настоящего времени остастся поочередным из-за ограниченного числа источников управляющих сигналов. Количество таких источников тем меньше, чем выше уровень ампутации. Во всех случаях манипулирования предметами инвалиду приходится использовать подвижность остаточных сегментов руки и плечевого пояса. Наиболее приемлемым среди различных способов управления протезами верхних конечностей, в том числе с физиологической точки зрения, является, несомненно, тот, который не требует дополнительных управляющих движений, помимо входящих в естественный стереотип, свойственный движениям здоровой конечности, но такой способ управления до сих пор не реализован.

Третья часть первой главы обрисовывает принципы распределенной обработки информации, на которых базируется работа искусственных нейронных сетей, а также здесь приведены примеры прикладного использования нейронных сетей для эмуляции динамики биомеханических объектов, обладающих существенно нелинейными свойствами.

Вторая глава посвящена подробному описанию модели системы управления суставом на основе полной информации о биоэлектрическом состоянии мышц, непосредственно осуществляющих движение. Точное аналитическое описание динамики движения представляется невозможным, что приводит к использованию экспериментальных данных и адекватного способа обработки информации, каковым является применение искусственной нейронной сети в составе системы управления. Состав предложенной системы управления представлен в виде блок-схемы на рис.1. Данные ЭМГ подвергаются усилению по напряжению с последующей фильтрацией фильтрами НЧ. Преобразование фильтрованных биоэлектрических данных и кинематических измерений в

сигнал, пропорциональный значению момента в приводе локтя выполняет предварительно обученная искусственная нейронная сеть, о структуре которой речь пойдет' ниже. Этот сигнал затем усиливается по мощности и подается на привод.

Рис.2 Структура системы управления

В данной работе нейронная сеть и сам антропоморфный механизм представлены их компьютерной моделью, т.е. модель системы управления фактически представима посредством блок-схемы на рис.2

Рис.2 Модель системы управления

В состав модели системы управления входит аналого-цифровой преобразователь, модель антропоморфного механизма предусматривает графическое отображение движения звеньев АМ.

Сигналы отводятся с мышц, непосредственно реализующих движение, с помощью поверхностных электродов; отводимые сигналы поступают на низкочастотные фильтры с целью получения огибающих;

затем нейронная сеть со специфической модульной архитектурой трансформирует огибающие в значения крутящих моментов в суставах. Сеть нуждается в предварительном обучении - се обучают нелинейным свойствам мышц, а также нелинейным свойствам мускулъно-скелетной системы в целом (проявляющимся в результате того, что мышцы взаимодействуют с другими мышцами, костями и соединительными тканями). Делается это следующим образом: при обучении наблюдается движение здоровой конечности, и получаемые при этом кинематические данные подаются на сеть как дополнительные входные сигналы, а оценки моментов, получаемые подстановкой этих данных в упрощенные уравнения динамики конечности, используются как обучающие сигналы (уравнения динамики используют предварительно измеренные физические параметры конечности). Кроме того, оценки моментов и кинематические данные могут быть использованы для оценки угловых ускорений звеньев, интегрируя которые, можно предсказать состояние на каждом шаге, т.е. траектории. В структуре нейронной сети каждому звену соответствует отдельный модуль, который, в свою очередь состоит из двух экспертных сетей (имеющих биоэлектрические сигналы (БД) и кинематические данные (КД) на входе, и выдающих оценки моментов на выходе), и селекторной сети, осуществляющей переключение между ними (рис.3).

Рис.3 Структура нейронной сети для управления приводом локтя на основе полного биоэлектрического образа

Экспертные сети соответствуют случаям движения руки и контроля положения, поскольку спинальные и супраспинальные рефлексы

существенно различаются в этих двух случаях. Селекторная сеть выбирает подходящую экспертную сеть в зависимости от того, движется рука или нет, для этого на ее вход поступают значения скоростей звеньев и грубых оценок соответствующих моментов. Грубые оценки моментов поставляет еще одна сеть, опираясь на все электромиограммы и кинематические данные, по структуре она подобна экспертным сетям.

Обучение производится в соответствии со алгоритмом, производящим декомпозицию двух заданий (движение и сохранение положения): ¡-й выход селекторной сети определяется формулой:

N С

'

где вычисляется в соответствии со входными сигналами этой сети, а N -число ее входов. Конечный выход всей модульной сети представим следующим образом:

N 1-1

где - вход ьй экспертной сети.

Селекторная и экспертные сети обучаются максимизировать следующую функцию:

N 2иг

где ст, представляет собой переменный масштабирующий параметр ьй экспертной сети.

Правило изменения весов нейронов селекторной сети таково:

<5ЧпЬ . ¿5,

где Ь, определяется из следующего уравнения:

к-11

N

2а]

Аналогично, веса в экспертных сетях изменяются по правилу:

д1пЬ , т-Г:

-— = Ь,--1-

дт, а\

В процессе обучения сети используются реальные значения момента в локте при произвольных плоских движениях в вертикально-сагиттальной плоскости и кинематические данные. Кинематические данные получаются непосредственным измерением, в то время как значение момента определяется из обратных уравнений динамики руки с учетом кинематических данных и предварительно измеренных инерционных параметров.

Для обучения используется модифицированный метод обратного распространения ошибки, позволяющий снизить осцилляцию при градиентном спуске за счет информации о форме поверхности ошибок.

В третьей главе на базе системы управления, описанной в гл.2, разрабатывается модель системы управления протезом верхней конечности. Следует отметить, что сходные с биомеханическими проблемы протезостроения отличаются главным образом неполнотой биоэлектрического образа реконструируемого движения. Мышцы, осуществляющие движения конечности здорового человека, могут отсутствовать или быть ослабленными у человека, перенесшего ампутацию, несмотря на то, что некоторое время стереотипы движения сохраняются и после ампутации. Если же мы хотим управлять биоэлектрическим протезом в соответствии с сохранившимся стереотипом движения, то недостаток информации об отсутствующих мышцах, осуществляющих движение, аналогичное реконструируемому, в условиях здоровой конечности, может оказаться критическим, и принципиальным моментом является восполнение этого недостатка. Для восстановления образа движения необходимы дополнительные данные, измерение которых также должно быть реализовано в составе системы управления. В качестве таких данных, несущих косвенную информацию о движении, могут быть использованы ЭМГ ряда мышц, испытывающих нагрузку при выполнении движения, но не участвующих непосредственно в его выполнении. Разумеется, при выборе источников косвенных данных целесообразно ограничиться мышцами, на активность которых в наибольшей степени влияет рассматриваемое движение.

Необходимость использования нейронных сетей в системе управления антропоморфным механизмом протезного типа на основе биоэлектрического образа движения связана с трудностью представления в

аналитическом виде сложных существенно нелинейных взаимодействий между элементами естественного опорно-двигательного аппарата. Альтернативный подход - упрощение этого представления и сведение управления к релейному или пропорциональному управлению отдельными степенями подвижности посредством волевого напряжения отдельных мышц - широко представлен и приводит к тому, что движения, подобные естественным, подменяются установочными и приспособительными движениями. То есть, фактически, восполнение несоответствия структуры живой и искусственной конечности ложится исключительно на оператора-инвалида.

Из практики известно, что использование однородной многослойной искусственной нейронной сети для решения нескольких различных задач неэффективно: приводит к длительному обучению и, в конечном счете, невысокой точности в процессе работы. Нейронная сеть, входящая в состав описываемой системы управления антропоморфным механизмом, имеет модульную структуру, в которой можно выделить два основных блока - нейронную сеть, восстанавливающую образ движения по косвенным данным, и нейронную сеть, вычисляющую значение момента в локтевом шарнире по восстановленному образу движения (рис.4).

БД--КД

Восстановление образа движения

' Вычисление • значения ^ момента

момент—»

Рис.4 Общая структура нейронной сети для управления приводом локтя на основе неполного биоэлектрического образа

Особое внимание в данной главе уделяется модулю ассоциативной памяти, ответственному за восстановление полного образа движения, и специфике восстановления биоэлектрических сигналов. Распознавание образов - один из нескольких классов задач, традиционно рассматриваемых в связи с

приложениями искусственных нейронных сетей. Среди различных конфигураций нейронных сетей, служащих для решения задач этого класса, наиболее известными являются сети Хопфилда и сети типа ВАМ (Bidirectional Associative Memory). Можно рассматривать сеть типа ВАМ как обобщение сети Хопфилда на случай неквадратной матрицы синаптических весов. В нашем случае сеть ВАМ предпочтительнее сета Хопфилда, поскольку размерность всего образа движения существенно выше размерности той его части, которую нужно восстановить. Алгоритм действия сети ВАМ следующий:

0-й шаг: инициализиру10тся весовые коэффициенты для хранения набора образцовых БСКГОрОБ, активации нейронов обнуляются.

1-й шаг: на входной слой X подается вектор х

2-й шаг: пересчитываются активации выходного слоя Y:

уГ=2Х*.

У) = Ту)") , где f - функция активации, в нашем случае - сигмоидальная

3-й шаг: обратный ход сигналов, пересчитываются активации слоя X:

xj = f(xp,

пока активации не установятся, выполняются шаги 2-3.

Формирование матрицы весовых коэффициентов нейронной сети происходит в результате локального (несупервизорного) обучения, законы которого определяются дифференциальными уравнениями первого порядка, описывающими, как синаптические веса должны меняться с поступлением локальной информации, т.е. в общем виде изменение весового коэффициента может зависеть от его текущего значения, значений входного и выходного сигналов и их производных:

W(1 = f(wslS1,SjlSI,SJ)

где S: - выходной сигнал одного нейрона, и - входной сигнал другого. Для формирования матрицы весовых коэффициентов в данной работе используется информация о биоэлектрическом образе движения здоровой

конечности, включая информацию о мышцах, выбранных в качестве источников косвенных данных.

Важной характеристикой ассоциативной памяти является ее вместимость. Различными исследователями предложены методы повышения вместимости сетей ВАМ, как правило использующие специфическое кодирование, либо идущие по пути усложнения архитектуры, в том числе вводящие дополтггелыше связи между элементами сети. В частности, в русле последнего подхода, разработана архитектура, позволяющая добиться вместимости Q=0.5N, где N - сумма размерностей входного и выходного слоев, в то время как первоначальная версия ВАМ допускала лишь уверенное воспроизведение числа образцов, равного наименьшей из размерностей. В нашем случае, когда размерность выходного слоя невелика, этот вариант представляется наилучшим.

Четвертая глава описывает экспериментальные процедуры, измерительные средства и результаты тестирования построенной модели системы управления на основе данных, полученных из экспериментов.

В качестве исследуемого движения было выбрано свободное сгибапие-разгибание предплечья правой руки в вертикально-сагигталыюй плоскости в диапазоне от 0 до 85 градусов относительно плеча при неизменном вертикальном положении последнего. Измерения ЭМГ производились на 7 поверхностных мышцах - m. biceps brahii, т. triceps braliii, т. deitoideus, т. pectoralis major, in. trapezoid, m. latissimus dorsi, m. teres major. Применялись электроды со встроенным усилителем напряжения, используемые в системах управления биоэлектрическими протезами верхней конечности. После усиления но напряжению сигнал подвергался выпрямлению посредством активного детектора. Параллельно производилось измерение углового положения плеча и предплечья, для чего на исследуемой конечности закреплялся двузвенник, снабженный гониометрами в локтевом и плечевом узлах. Электромиограммы и значения углового положения звеньев верхней конечности преобразовывались к цифровому виду с частотой оцифровки 2000 Гц с помощью 16-битного АЦП. В дальнейшем оцифрованный ЭМГ-сигнал подвергался первичной обработке, состоящей в выделении пиков сигнала, превышающих определенное пороговое значение, остальные пики исключались из рассмотрения.

Эксперимент №1 заключался в изометрической генерации силы. Испытуемый в условиях изометрического напряжения генерировал силу при различных углах сгибания предплечья в вертикально-сагиттальной

плоскости в обоих направлениях, с кистью, ограниченной упором. Частота напряжения варьировалась, а максимальная сила поддерживалась на одном уровне. Параллельно из уравнений динамики вычислялся момент в локтевом суставе. Эксперимент №2 предполагал измерения положения предплечья и сигналов ЭМГ одновременно в процессе движения (сгибания-разгибания) между пятью различными положениями. Параллельно вычислялись угловая скорость и ускорение движения. В эксперименте №3 испытуемый поддерживал постоянное положение в различных угловых положениях без генерации силы, т.е. суммарный момент, создаваемый мышцами в локтевом суставе, был равен нулю. Также был проведен эксперимент №4, призванный подтвердить наличие практической возможности использования предложенных источников косвенных данных для воссоздания полного биоэлектрического образа движения. Осуществлялся следующий цикл движений: сгибание до 85 градусов, короткая остановка, разгибание до 0 градусов, остановка. Таким образом, в цикле присутствовали как фазы динамического нагружения так и фазы статического нагружения.

Эксперимент № 4 подтвердил практическую возможность использования сигналов мышц, непосредственно не участвующих в выполнении движения, для реконструкции биоэлектрического образа движения. Несмотря на то, что за реализацию сгибания и разгибания предплечья отвечают только m. biceps brahii и m. triceps brahii соответственно, фактически все рассмотренные мышцы в той или иной степени проявляли электрическую активность, коррелированную с упомянутым движением. При дополнительном утяжелении предплечья с помощью груза уровень активности возрастал, а ее форма (т.е. соответствие пиков активности определешшм фазам движения) сохранялась. Таким образом, за счет дополнительных измерений можно увеличить объем содержательных входных данных.

Результаты произведенных измерений в экспериментах №1-3 были использованы для проверки работоспособности модели системы управления. Часть данных использовалась для обучения сети и формирования матриц весовых коэффициентов модулей сети, а часть данных - для перекрестной оценки, чтобы избежать "переучивания". Каждый модуль сети был подвергнут "предобучению" с соответствующими ему данными: одна экспертная сеть - с данными из №2 и другая данными из №3, а сеть-селектор и сеть оценки моментов - с теми и другими. Наконец, сеть в целом обучалась в соответствии с выше

упомянутым алгоритмом обучения модульной сети. Не использованные для обучения экспериментальные данные использовались для тестирования. В результате тестирования динамические моменты в локтевом суставе были предсказаны сетью с погрешностью порядка 20%, что является достаточно высоким результатом, учитывая характер механизмов, которыми должна управлять рассматриваемая система.

Работа по выполнению биомеханических экспериментов проводилась на базе межфакультетской лаборатории биокибернетики СПбГТУ, а также на базе отдела протезов верхних конечностей Санкт-Петербургского НИИ протезирования им. проф. Г.А.Альбрехта.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Разработанный в диссертации подход к построению систем управления антропоморфными механизмами с помощью биоэлектрических сигналов создаст возможность использования косвенной информации о движении для управления на основе неполных данных. В русле создания технических средств реабилитации данный подход открывает широкие возможности для разработки нового поколения систем управления протезами, не требующих сосредоточенного внимания оператора-инвалида, и реализующих естественные стереотипы движения. Несмотря на то, что большинство исследователей предпочитают работать с компьютерной эмуляцией ИНС, при необходимости нейронная сеть может быть реализована аппаратно. Таким образом, существует реальная перспектива создания протезов верхней конечности, управляемых на основе неполного биоэлектрического образа движения.

Основным результатом проведенных разработок и исследований является следующее.

1. Разработан способ и система управления антропоморфным механизмом на основе комплекса управляющих сигналов, представляющих собой биоэлектрический стереотип движения конечности.

2. Впервые предложен эффективный подход к управлению протезами верхней конечности, ориентированными на восстановлении естественных стереотипов движения, и разработан метод построения систем управления протезами верхней конечности с использованием искусственных нейронных сетей.

3. Найден способ получения и показана возможность использования дополнительного источника управляющих воздействий без увеличения нагрузки на внимание оператора-инвалида.

4. Разработан модуль ассоциативной памяти, позволяющий реконструировать неполный биоэлектрический образ движения по косвенным биоэлектрическим и кинематическим данным и подтверждена возможность использования искусственных нейронных сетей для управления протезом верхней конечности на основе неполного биоэлектрического образа движения.

5. Создана работоспособная модель системы управления протезным устройством на основе предложешюго подхода.

Возможности применения разработанного подхода не ограничиваются рамками рассмотренной задачи, что подтверждает практическую ценность работы.

Основное содержание работы изложено в следующих публикациях:

[1] Л.Зинковский., Л.Буров, "Воссоздание биоэлектрического образа движения по неполным данным средствами нейронных сетей", в сб. "Протезирование и протезостроение", 2000, №96, стр. 121-130.

[2] Л.Зинковский., А.Буров "Восстановление биоэлектрического образа движения средствами искусственных нейронных сетей", материалы 2-й международной научно-технической конференции "Информационные технологии в моделировании и управлении", 2000,1 стр.

[3] А.Зинковский., А.Буров "Реконструкция биоэлектрического образа движения по неполным данным", материалы 5-й Всероссийской конференции по биомеханике, 2000,1 стр,

[4] A.Burov, "A neural network model for anthropomorphic mechanism control by means of surface EMG signals", in Proc. of X Vllth Congress of ISB (Canada, Calgary, 1999).

ВВЕДЕНИЕ

ГЛАВА 1. Предпосылки построения систем управления антропоморфными механизмами протезного типа с использованием искусственных нейронных сетей

1.1. Электрическая активность мышц человека и ее взаимосвязь с характеристиками движения

1.2. Особенности биомеханики верхних конечностей и построения протезов при ампутационных дефектах рук

1.3. Искусственные нейронные сети как инструмент моделирования движений • 27 Выводы по главе 1 лл&смлГ •

ГЛАВА 2. Модель системы управления антропоморфным механизмом на основе биоэлектрических сигналов

2.1. Построение модели системы управления

2.2. Структура искусственной нейронной сети

2.3. Особенности процесса обучения модульной нейронной сети 38 Выводы по главе

ГЛАВА 3. Модель системы управления протезом на основе биоэлектрических сигналов

3.1. Применение искусственных нейронных сетей в системах управления биоэлектрическими протезами

3.2. Общая структура нейронной сети

3.3. Особенности структуры нейронной сети, восстанавливающей образ движения 61 Выводы по главе

Антропоморфные механизмы, обширный класс механизмов, обладающих человекоподобием, в первую очередь включает в себя различные манипуляционные устройства. В тех случаях, когда управление антропоморфным механизмом осуществляет человек, это человекоподобие может быть учтено в структуре системы управления, с целью улучшения управляемости и снижения нагрузки на внимание оператора. То же самое в полной мере относится и к протезам конечностей, специфическому виду антропоморфных механизмов, служащему для реабилитации и восстановления функциональности людей, перенесших ампутацию.

Концепция реабилитации больных и инвалидов в последние годы прочно вошла в практику органов здравоохранения и социальной защиты населения Российской Федерации. За рубежом этой проблемой занимаются давно и серьезно. Большинство авторов склонны рассмотреть проблему не с узко локалистических позиций, а с позиций общей теории патологии. Среди пострадавших, вследствие действия тех или иных экстремальных факторов окружающей среды, лица с ампутационными дефектами конечностей, представляют собой особый контингент людей, так как отсутствие конечностей, или отдельных их сегментов, ведет, как правило, к стойкой потери работоспособности и их статус определяется инвалидностью. Восстановить здоровье пострадавшего в физическом, духовном и профессиональном отношении и есть задача реабилитации, задача применительно к указанному контингенту трудная и сложная.

В решении этой задачи одно из первых мест занимает разработка новых медицинских и технических средств на основе достижений научно-технического прогресса, направленных на максимально возможную мобилизацию резервных сил организма, адаптацию к новым условиям существования человека, как биологического вида, на скорейшее восстановление социального статуса, а также изучение закономерностей биологического и социального восстановления в их взаимосвязи и взаимозависимости.

Отмечено, что число ампутаций конечностей имеет выраженную тенденцию к росту. Именно поэтому восстановительному лечению такой категории инвалидов, снабжению их техническими средствами для самообслуживания и труда и возвращению их к общественно полезной деятельности, придается большое значение.

Медико-социальная реабилитация инвалидов, являясь комплексным последовательным процессом, включает в себя множество взаимосвязанных и разнообразных мероприятий, проводимых с целью активного воздействия на личность инвалида. Поэтому, неслучайно в реабилитации выделяют медицинский, психологический, юридический, технический и пр. аспекты и соответственно различают несколько видов реабилитации. Настоящая работа посвящена в широком смысле слова техническим аспектам реабилитации, которые адресованы инвалидам с патологией опорно-двигательного аппарата, поскольку в реабилитационном процессе именно этого контингента инвалидов технические средства занимают одно из ведущих мест. Необходимо отметить, что в технических средствах особенно предназначенных для самообслуживания в быту нуждается широкий круг инвалидов, но в первую очередь лица, имеющие дефекты конечностей, т.к. они (технические средства) компенсируют утраченные или же патологически измененные функции организма.

Целью настоящей работы является разработка подхода к построению на основе искусственной нейронной сети эффективной и не перегружающей внимание оператора системы управления антропоморфным механизмом, представленным протезом верхней конечности, с помощью поверхностных биоэлектрических сигналов, снимаемых с мышц, и реализующей естественные движения.

Для достижения данной цели необходимо решение следующих научно-технических задач:

- разработка способов и системы управления антропоморфными механизмами на основе комплекса управляющих сигналов, представляющих собой биоэлектрический стереотип движения конечности;

- изучение специфики принципов управления протезами верхней конечности и разработка методов управления протезом;

- нахождение возможности получения дополнительного источника управляющих воздействий без увеличения нагрузки на внимание оператора-инвалида;

- подтверждение возможности использования искусственных нейронных сетей для управления протезом верхней конечности на основе неполного биоэлектрического образа движения;

- построение работоспособной модели системы управления протезом верхней конечности.

Упомянутые задачи решены следующим образом:

На основе изученных публикаций и благодаря проведенному анализу специфики управления антропоморфными механизмами разработан способ построения эффективной системы управления протезом верхней конечностью с помощью биоэлектрического образа на базе искусственной нейронной сети. Разработан модуль ассоциативной памяти, позволяющий реконструировать неполный биоэлектрический образ движения по косвенным данным. Построена модель системы управления локтевым суставом. Для настройки весовых коэффициентов сети и оценки работоспособности построенной модели был осуществлен ряд экспериментов, включающих регистрацию электромиограмм и кинематических характеристик движений.

Работа по выполнению биомеханических экспериментов проводилась на базе межфакультетской лаборатории биокибернетики СПбГТУ, а также на базе отдела протезов верхних конечностей Санкт-Петербургского НИИ протезирования. 7

4.3. Результаты исследования модели системы управления на базе полученных экспериментальных данных

Эксперимент № 4 подтвердил практическую возможность использования сигналов тонических мышц для реконструкции неполного биоэлектрического образа движения. Несмотря на то, что за реализацию сгибания и разгибания предплечья отвечают только m. biceps brahii и т. triceps brahii соответственно, фактически все рассмотренные мышцы в той или иной степени проявляли электрическую активность, коррелированную с упомянутым движением. При дополнительном утяжелении предплечья с помощью груза уровень активности возрастал, а ее форма (т.е. соответствие пиков активности определенным фазам движения) сохранялась. Таким образом, за счет дополнительных измерений можно увеличить объем содержательных входных данных.

Результаты произведенных измерений в экспериментах №1-3 были использованы для проверки работоспособности модели системы управления. Для грубого определения зависимости сигналов ЭМГ и момента в суставе для эксперимента №1, моменты были предварительно вычислены с помощью немодульной четырехслойной сети. Затем четные попытки из №1 были использованы для обучения сети и формирования весовых коэффициентов между первым и вторым слоями, а нечетные попытки - для перекрестной оценки, чтобы избежать "переучивания". Затем, аналогичная процедура была повторена с данными из №2 и №3, для определения начальных весовых коэффициентов между вторым и четвертым слоями. Затем, каждая экспертная сеть была подвергнута "предобучению" с соответствующими ей данными, одна - с частью данных из №2 и другая с частью данных из №3, а сеть-селектор и сеть оценки моментов - с теми и другими. Наконец, вся многомодульная сеть была подвергнута обучению в соответствии с выше описанным алгоритмом т, Ысерэ ЬгаЫ (восстановленный) т. Ысерг Ьгам (измеренный)

Рис.17 Сравнительное отображение восстановленного и измеренного сигналов ЭМГ т.ЫсерБ Ьга1ги

86

ЗАКЛЮЧЕНИЕ

Разработанный в диссертации подход к построению систем управления антропоморфными механизмами с помощью биоэлектрических сигналов создает возможность использования косвенной информации о движении для управления на основе неполных данных, а также может быть использован для повышения надежности систем управления, использующих в качестве управляющих воздействий физиологические измерения. В русле создания технических средств реабилитации данный подход открывает широкие возможности для разработки нового поколения систем управления протезами, не требующих сосредоточенного внимания оператора-инвалида, и реализующих естественные стереотипы движения. Несмотря на то, что большинство исследователей предпочитают работать с компьютерной эмуляцией ИНС, при необходимости нейронная сеть может быть реализована аппаратно. Таким образом, существует реальная перспектива создания протезов верхней конечности, управляемых на основе неполного биоэлектрического образа движения.

Основным результатом проведенных разработок и исследований является следующее.

1. Разработан способ и система управления антропоморфным механизмом на основе комплекса управляющих сигналов, представляющих собой биоэлектрический стереотип движения конечности.

2. Впервые предложен эффективный подход к управлению протезами верхней конечности, ориентированными на восстановлении естественных стереотипов движения, и разработан метод построения систем управления протезами верхней конечности с использованием искусственных нейронных сетей.

88

1. Бернштейн Н. "О построении движений". М., "Медгиз", 1947

2. Борисов Э.И., Ройфман Г.Д., Славуцкий Я.Л. "Анализ некоторых способов выделения информации в биоэлектрических системах управления" В сб.: Протезирование и протезостроение. М., 1976, вып.35, стр.29-37

3. Гибнер В.М. "Биоэлектрический протез предплечья с пропорциональным управлением и электрической частотно-импульсной обратной связью". В сб.: "Материалы республиканской конференции "Протезирование и протезостроение". Харьков, 1973, стр. 135-137

4. Гидиков A.A. "Теоретические основы электромиографии". Л., "Наука", 1975,180 стр.

5. Зинковский A.B., Буров А.Г. "Воссоздание биоэлектрического образа движения по неполным данным средствами нейронных сетей". В сб. "Протезирование и протезостроение", 2000, вып. 96, стр.121-130.

6. Конструкции протезно-ортопедических изделий / Под ред. А.П.Кужекина. М., "Легкая и пищевая промышленность", 1984, 239 стр.

7. Коренев Г.В. "Введение в механику человека". М., "Наука", 1977, 281 стр.

8. Коренев Г.В. "Очерки механики целенаправленного движения". М., "Наука", 1980, 328 стр.

9. Коц Я.М. "Организация произвольного движения". М., "Наука", 1975, 247 стр.

10. Первозванский A.A. "Курс теории автоматического управления". М., "Наука", 1986, 615 стр.

11. Первозванский A.A., Буцев A.B. "Локальная аппроксимация на искусственных нейросетях". Автоматика и Телемеханика, 1995, №9, стр. 127-13689

12. Полян Е.П., Славуцкий Я.Л., Бернштейн В.М., Якобсон Я.С. "Способ биоэлектрического управления механизмами и устройствами". Авт. свид. №182863, 1964 г.

13. Полян Е.П., Остапчук В.Г. "Система биоэлектрического управления тремя парами движений протеза". В сб.: Протезирование и протезостроение. М., 1971, вып.26, стр.69-71

14. Полян Е.П., Головин B.C., Брондшпиц Г.М. "Биоэлектрическая система управления протезом предплечья с двумя парами движений". В сб.: Протезирование и протезостроение. М., 1974, вып.ЗЗ, стр.24-27

15. Ситенко А.Н. "Исследование и использование биоэлектрических образов движений для управления многофункциональным протезом плеча", диссертация на соиск. уч. степени к.т.н. ML ЦНИИПП, 1974, 198 стр.

16. Ситенко А.Н. "Преобразование биоэлектрических сигналов для управления с помощью распознавания образов". В сб.: Протезирование и протезостроение. М., 1973, вып.31, стр.96-103

17. Славуцкий Я. Л. "Физиологические аспекты биоэлектрического управления протезами". М., "Медицина", 1982, 288 стр.

18. Справочник по протезированию / Под ред. В.И.Филатова. Л., "Медицина", 1978, 278 стр.

19. Якобсон Я.С., Бернштейн В.М., Полян Е.П. "Способы управления многофункциональными биоэлектрическими протезами". В кн.: Механика машин. М., "Наука", 1966, вып. 1-2

20. Abel Е., Zacharia P., Forster A., Farrow Т. "Neural network analysis of the EMG interference pattern". Medical Engineerig and Physiology, 1996, vol.18, no.l, pp.12-17

21. Burov A. "A neural network model for anthropomorphic mechanism control by means of surface EMG signals". Procs. of XVII Congress of ISB, Calgary, 1999, lpp90

22. Chester M. "Neural networks: a tutorial". Prentice Hall, 1993, 295 pp.

23. Childress D.S. "An approach to powered grasp". In: Advances in external control of human extremities (4th int. symposium proceedings, Dubrovnik 1972). Belgrade, 1973, pp. 159-167

24. Dillner S., Hagg G. "Three methods of controlling an externally powered protheses with one myoelectrical signal only". Undergraduate thesis in applyed electronics, Goeteborg, Chalmers University Technology, 1972

25. Fausett L. "Fundamentals of neural networks: architectures, algorithms and applications". Prentice Hall, 1994,411 pp.

26. Flash T., Hogan N. "The coordination of arm movements: an experimentally confirmed mathematical model". Journal of Neuroscience, 1985, vol.5, pp. 1688-1703

27. Gonzales R., Abraham L., Barr R., Buchanan T. "Muscle activity in rapid multi-degree-of-freedom elbow movements: solution from a musculoskeletal model". Biological Cybernetics, 1999, vol.80, pp.357-367

28. Gribble P., Ostry D., Sanguineti V., Laboissiere R. "Are complex control signals required for human arm movement?". Journal of Neurophysiology, 1998, vol.79, no.3, pp. 1409-1424

29. Hartman H.H., Hobart D.C., Waring W., Nickel W.L. "A myoelectrically controlled powered elbow". Artifical Limbs, 1969, vol.13, no.2, pp.61-63

30. Hiravama M., Kawato M., Jordan M. "Cascade neural network model and a speed-accuracy trade-off of arm movement". Journal of Motor Behavior, 1993, vol.25, no.3, pp.162-174

31. Hiroyuki M., Kawato M. "Tennis serve and upswing learning robot based on bi-directional theory". Neural Networks, 1998, Special Issue 11, pp. 13311344.

32. Jacobs R., Jordan M. "A competitive modular connectionist architecture". In: Moody J., Hanson S., Lippman R. (Eds.) "Advances in neural information processing systems 3", Morgan Kaufinann, San Mateo, 1991, pp.767-77391

33. Haines K., Hecht-Nielsen R. "A BAM with increased information storage capacity". Proes. of 1988 IEEE International Conference on Neural Networks, 1988, vol.1, pp.181-190

34. Kashima T., Isurugi Y. "Trajectory formation based on physiological characteristics of skeletal muscles". Biological Cybernetics, 1998, vol.78, pp.413-422

35. Kawato M,, Maeda Y., Uno Y., Suzuki R. "Trajectory formation of arm movement by cascade neural network model based on minimum torque-change criterion". Biological Cybernetics, 1990, vol.62, pp.275-288

36. Kawato M. "Optimization and learning in neural networks for formation and control of coordinated movement". In: Meyer D., Kornblum S. (Eds.) Attention and Performance, XIV MIT Press, Cambridge, Massachusetts, 1992, pp.821849

37. Kleissen R., Buurke J., Harlaar J., Zilvold G. "Electromyography in the biomechanical analysis of human movement and its clinical application". Gait and Posture, 1998, vol.8, no.2, pp.143-158

38. Kohonen T. "Self-Organization and Associative Memory". Springer-Verlag, 1984,310 pp.

39. Koike Y., Kawato M, "Estimation of arm posture in 3D-space from surface EMG signals using a neural network model". IEICE Transactions on Information and Systems, 1994, E77-D, pp.368-375

40. Koike Y., Kawato M. "Estimation of dynamic joint torques and trajectory formation from surface electromyography signals using a neural network model". Biological Cybernetics, vol.73, pp.291-300

41. Kosko B. (Ed.) "Neural networks and fuzzy systems". Prentice Hall, 1992, 360 pp.

42. Kosko B. "Neural networks for signal processing". Prentice Hall, 1992, 340 pp.92

43. Latwesen A., Patterson P. "Identification of lower arm motions using the EMG signals of shoulder muscles". Medical Engineerig and Physiology, 1994, vol.16, no.2, pp. 113-121

44. Lenze B. "Complexity preserving increase of the capacity of bidirectional associative memories by dilation and translation". Neural Networks, 1998, vol.11, pp.1041-1048

45. Mann R.W., Reimers S.D. "Kinesthetic sensing for the EMG-controlled Boston Arm". In: Advances in external control of human extremities (3th int. symposium proceedings, Dubrovnik 1969). Belgrade, 1970, pp.231-243

46. Miyamoto H., Schaal S., Gandolfo F., Gomi H., Koike Y., Osu R., Nakano E., Wada Y., Kawato M. "A Kendama learning robot based on dynamic optimization theory". Neural Networks, 1996, Special Issue 9, pp.1281-1302

47. Nowlan S., Hinton G. "Evaluation of adaptive mixtures of competing experts". In: Moody J., Hanson S., Lippman R. (Eds.) "Advances in neural information processing systems 3", Morgan Kaufinann, San Mateo, 1991, pp.774-780

48. Ochiai K., Toda N., Usui S. "Kick-out learning algorithm to reduce oscillation of weights". Neural Networks, 1994, vol.7, no.5, pp.797-807

49. Okadome T., Honda M. "Kinematic construction of the trajectory of sequential arm movements". Biological Cybernetics, vol.80, pp. 157-169

50. Park S., Lee S. "EMG pattern recognition based on artificial intelligence techniques". IEEE Transactions on Rehabilitation Engineering, 1998 vol.6, no.4, pp.400-405

51. Riach C., Reid J. "An electromyographic study of weight-bearing at the elbow joint". Canadian Journal of Applied Sport Science, 1980, vol.5, no.4, pp.220225

52. Sanner R., Kosha M. "A mathematical model of the adaptive control of human arm motions". Biological Cybernetics, 1999, vol.80, pp.369-38293

53. Taylor R., Wirta R.W. "Physiologically compatible EMG control of powered prothesis". Proc. joint. Automat, contr. conf., West Lafayette, 1976, no.l, pp.734-737

54. Uchiyama T., Bessho T., Akazawa K. "Static torque-angle relation of human elbow joint estimated with artificial neural network technique". Journal of Biomechanics, 1998, vol.31, pp.545-554

55. Wada Y., Kawato M. "A new information criterion combined with cross-walidation method to estimate generalization capability". Systems and Computers in Japan, 1992, vol.23, no.4, pp.955-965

56. Wada Y., Kawato M. "A neural network model for arm trajectory formation using forward and inverse dynamics models". Neural Networks, 1993, vol.6, pp.919-932

57. Wang X. "Three-dimentional kinematic analysis of influence of hand orientation and joint limits on the control of arm postures and movements". Biological Cybernetics, 1999, vol.80, pp.449-463

58. Wang Z. "A bidirectional associative memory based on optimal linear associative memory". IEEE Trans. Computers, 1996, vol.45, pp.1171-1179.

59. Winters J.M., Crago P.E. (Eds.) "Biomechanics and Neural Control of Movement". Springer-Verlag, 1999, 520 pp.

60. Wirta R.W. "Pattern-recognition arm prosthesis: a historical perspective a final report". Bulletin Prosthetics Research, 1978, pp.8-35.

61. Wolpert D., Kawato M. "Multiple paired forward and inverse models for motor control". Neural Networks, 1998, Special Issue 11, pp.1317-1329.

62. Xiao S., Li X. "An elbow joint movement control model with visual feedback". Biomedical Science Instruments, 1997, vol.34, pp.218-223