автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы синтеза нейрокомпьютерного интерфейса на основе анализа вызванного потенциала Р300 электроэнцефалограммы

На правах рукописи

□□3485313

Кардовский Дмитрий Викторович

Методы и алгоритмы синтеза нейрокомпьютерного интерфейса на основе анализа вызванного потенциала Р300 электроэнцефалограммы

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (приборостроение)

Автореферат диссертации на соискание ученой степени кандидата технических наук

26 НОЯ 2009

Москва-2009

003485313

Работа выполнена на кафедре биомедицинских систем Московского государственного института электронной техники (технического университета)

Научный руководитель: Официальные оппоненты:

доктор физико-математических наук, профессор Селищев Сергей Васильевич

доктор технических наук, профессор Баринов Виктор Владимирович

кандидат технических наук, генеральный директор ЗАО «Селнетрикс» Нагин Владимир Александрович

Ведущая организация:

Институт высшей нервной деятельности и нейрофизиологии РАН

Защита диссертации состоится «^5 » 2009 г. в часов на

заседании диссертационного совета Д 212.134.02 при Московском государственном институте электронной техники (техническом университете) в ауд. 3103 по адресу: 124498, Москва, Зеленоград, проезд 4806, д.5, МИЭТ.

С диссертацией можно ознакомиться в библиотеке МИЭТ. Автореферат разослан « 40 » /¿ёА^^ЪЯ 2009 г. Соискатель:

Ученый секретарь диссертационного совета, доктор технических наук

А.В. Гуреев

Общая характеристика работы

Актуальность темы

Нейрокомпыотерный интерфейс (НКИ) представляет собой систему, состоящую из блока регистрации электроэнцефалографических (ЭЭГ) данных, блока обработки и выделения управляющего сигнала и блока исполнительного устройства, способного выполнить мысленную команду испытуемого (Рисунок 1).

ПРЕДОБРАБОТКА: КЛАССИФИКАЦИЯ:

ВЫЧИСЛЕНИЕ ХАРАКТЕРНЫХ КАКОМ/ СЯПАППЛРАВПЕШЯ Г.гИЗНАЮЭ СООТМ!СТаШНАБС?ЛРИЗШ!В

Рисунок 1. Общая модель нейрокомпьютерного интерфейса

Блоком регистрации ментальных команд является электроэнцефалографическая система. ЭЭГ поступает в компьютер для обработки и выделения признаков, характерных для ментальной команды. Исполнительным устройством может служить инвалидная коляска, нейропротез, компьютерная программа или роботизированное устройство.

В ряде случаев, например, для людей с частичной или полной потерей двигательной активности, НКИ являются единственным возможным средством для взаимодействия с внешним миром. При этом немаловажную роль играет пропускная способность системы.

Вклад в развитие систем НКИ внесли ряд отечественных и зарубежных ученых. К сожалению, в нашей стране нет ни одной успешной реализации НКИ, поэтому создание методов и алгоритмов обработки ЭЭГ, а так же новых принципов взаимодействия мозг-компьютер, способных повысить скорость передачи информации во внешний мир, является актуальной на сегодняшний день задачей.

Целью данной диссертационной работы является проектирование методов и алгоритмов синтеза нейрокомпьютерного интерфейса на основе анализа вызванного потенциала Р300 электроэнцефалограммы.

Для достижения поставленной цели в диссертационной работе были решены следующие основные задачи:

1. Проведено исследование существующих систем НКИ.

2. Разработана функциональная структура аппаратно-

программного комплекса НКИ на основе анализа вызванного потенциала РЗОО электроэнцефалограммы для решения задачи ментального управления внешними устройствами.

3. Проведен анализ зависимости характеристик вызванного потенциала РЗОО от параметров зрительной стимуляции.

4. Предложен оптимальный набор отведений ЭЭГ, для

локализации вызванного потенциала РЗОО.

5. Разработаны методы и алгоритмы классификации

вызванного потенциала РЗОО для решения задачи синтеза нейрокомпьютерного интерфейса.

6. Выполнена практическая реализация разработанных

методов и алгоритмов при создании аппаратно-программного комплекса НКИ.

7. Проведена апробация методов и алгоритмов,

предложенных в диссертационной работе.

Научная новизна полученных результатов состоит в

теоретическом обосновании и разработке алгоритмов и

методов классификации вызванного потенциала РЗОО

электроэнцефалограммы в режиме реального времени для

решения задачи ментального управления внешними устройствами.

В ходе выполнения диссертационной работы получен ряд научных результатов:

1. Разработана методика создания эталонного набора

характеристик вызванного потенциала Р300 электроэнцефалограммы. Полученные данные используются для обучения ряда классификаторов.

2. Предложены оптимальные наборы параметров зрительной

стимуляции.

3. Разработана методика выделения значимого символа в

стимуляционной матрице.

4. Разработан новый вид матрицы стимулов -

пиктографический, позволяющий в 4 раза повысить пропускную способность НКИ системы.

5. Предложен новый алгоритм выявления компонента Р300

электроэнцефалограммы на основе усредненных результатов, полученных от группы классификаторов.

6. Определен оптимальный набор отведений ЭЭГ сигнала. Подобрана схема объединения отведений в группы по корреляционному признаку.

7. Предложен оптимальный набор параметров

классификатора вызванного потенциала Р300 электроэнцефалограммы на основе факторного анализа.

8. Предложен алгоритм классификации вызванного

потенциала Р300 электроэнцефалограммы для различных параметров матрицы визуальной стимуляции. Практическая значимость работы

Разработанные методы и алгоритмы синтеза нейрокомпьютерного интерфейса на основе анализа вызванного потенциала Р300 электроэнцефалограммы могут быть использованы:

1. Для ментального ввода текста в режиме реального времени людьми с частичной или полной потерей двигательной активности.

2. Для управления движущимися устройствами: роботы-манипуляторы, нейропротезы, инвалидные коляски и т.д. Достоверность научных положений и выводов подтверждается тестированием системы НКИ на доступных базах данных ЭЭГ, подтвердившим надежность разработанных методов и алгоритмов.

В результате проведенных исследований, получены и выносятся на защиту следующие основные научные результаты:

1. Использование разработанной стимуляционной матрицы

и предложенных параметров зрительной стимуляции позволяют выделять вызванный потенциал РЗОО электроэнцефалограммы без использования

светоизолированной камеры.

2. Предложенные алгоритмы обработки ЭЭГ позволяют

выделять индивидуальные особенности вызванного потенциала РЗОО электроэнцефалограммы для каждого испытуемого, что повышает достоверность распознавания ментальных команд.

3. Проведенный анализ позволяет сформировать

оптимальный набор отведений ЭЭГ для локализации области максимальной выраженности вызванного потенциала РЗОО электроэнцефалограммы.

4. Применение факторного анализа в задаче выделения

вызванного потенциала РЗОО электроэнцефалограммы позволяет сократить межстимулный интервал. Использование данной методики в 10 раз увеличивает пропускную способность системы.

5. Применение суперпозиции результатов классификации

методами максимума, площадей и ковариации позволяет повысить на 7% достоверность распознавания команд испытуемого по сравнению с использованием каждого метода в отдельности.

6. Предложенные методы и алгоритмы синтеза

нейрокомпьютерного интерфейса на основе анализа

вызванного потенциала Р300 электроэнцефалограммы могут быть использованы для управления внешним устройством в режиме реального времени.

Апробация работы проводилась на конференциях и семинарах:

1. на XIII, XIV, XV всероссийской межвузовская НТК студентов и аспирантов «Микроэлектроника и информатика» (Москва, 2006, 2007, 2008);

2. на конкурсе молодежных инновационных предпринимательских проектов «День науки Зеленоград» (Москва, 2007);

3. на II международной конференции «Человек и электромагнитные поля» (Саров, 2007);

4. на XX съезде Физиологического общества им. И.П. Павлова (Москва, 2007);

5. The 3rd, Russian-Bavarian Conference on Bio-Medical Engineering, (Erlangen, Germany, 2007);

6. на 14th World Congress of Psychophysiology «The Olympics of the brain» (Санкт-Петербург, 2008).

7. на всероссийской НПК "Количественная ЭЭГ и нейротерапия" (Санкт-Петербург, 2009).

Внедрение результатов работы

Предложенные методы и алгоритмы выделение вызванного потенциала РЗОО в режиме реального времени на основе анализа электроэнцефалограммы, а также спроектированная в рамках диссертационной работы система нейрокомпьютерного интерфейса, были внедрены:

• В НИИ Нейрохирургии имени академика H.H. Бурденко РАМН в системе компьютерного предъявления сложных зрительных и слуховых стимулов при регистрации когнитивных вызванных потенциалов здоровых испытуемых и пациентов нейрохирургической клиники, перенесших тяжелую черепно-мозговую травму с разной степенью нарушения сознания.

• В лаборатории сенсорных систем Института высшей

нервной деятельности и нейрофизиологии РАН в задаче отработки экспериментальных подходов к созданию символьного нейрокомпьютерного интерфейса для парализованных больных.

• В отделе разработки программного обеспечения ООО «Нейроботикс» при реализации коммерческого системы «Р300-ВС1» для управления роботизированными устройствами.

• На кафедре биомедицинских систем Московского государственного института электронной техники в лекционном курсе по дисциплине «Медицинские аппараты, системы и комплексы» для студентов, обучающихся по специальности 200401 «Биотехнические и медицинские аппараты и системы».

• В центре формирования компетенций «Электроника биомедицинских и экологических систем» Московского государственного института электронной техники в рамках учебно-исследовательской работы «Развитие

. технологической базы, методического и программного обеспечения, учебно-исследовательских работ и научно-инновационной деятельности в области разработки электронных биомедицинских изделий и аппаратуры», выполненной в ходе Инновационной образовательной программы «Современное профессиональное образование для российской инновационной системы в области электроники» (2006-2006).

Публикации

По теме диссертации опубликовано 13 научных работ, из них 2 статьи в журнале «Медицинская техника» и 1 статья в «Российском физиологическом журнале им. И.М. Сеченова».

Структура и объем работы

Диссертационная работа состоит из введения, пяти глав, заключения, списка используемой литературы и приложения, состоящего из двух частей. Общий объем работы составляет 126 страниц, в том числе 28 рисунков, 27 таблиц, 86

библиографических источников, 4 страницы приложений и 4 акта внедрения.

Содержание работы

Во введении дается определение нейрокомпьютерного интерфейса. Формулируются основные принципы работы систем подобного рода.

В первой главе даются общие понятия о строении головного мозга и регистрации ЭЭГ. Описывается международная схема расположения электродов «10-20», дается определение понятия вызванный потенциал.

На один и тот же характер стимулов, в зависимости от условий их подачи, условий регистрации (полосы применяемых усилителей, числа суммаций и т. д.), могут быть выделены разные как по своей природе, так и по характеристикам ответы. В настоящее время удается надежно выделить следующие основные ответы:

• ВП на зрительные стимулы: вспышки света и различные структурированные стимулы в обычной полосе частот ЭЭГ. Выделение стволовых компонентов зрительных ВП при широкой полосе частот усилителей и большом числе суммаций менее надежно, возможно из-за времени обработки в сетчатке (30—50 мс)

• ВП на слуховые стимулы в обычном диапазоне частот ЭЭГ и слуховые ВП мозгового ствола: широкий диапазон частот усилителей от 10 до 3000 Гц на щелчки либо на тональные стимулы, повторяющие частоту подаваемых звуковых колебаний

• ВП, инициируемые (связанные) с движением: моторные ВП, потенциалы готовности к движению и др. Полоса частот обычно расширяется в сторону низких частот (до 0,05 Гц)

• Когнитивные ВП (РЗОО)

Особое внимание во второй главе уделяется методики

выделения когнитивных ВП (Р300). Она основана на подаче в случайной последовательности серии двух стимулов, как незначимых, так и значимых, но резко отличающихся по параметрам друг от друга, на которые испытуемый должен реагировать (odd ball paradigm). При обычном выделении ответов на эти стимулы, без условия их опознания, выделяются длиннолатентные ВП, которые несколько отличаются друг от друга из-за различий параметров стимулов (Рисунок 2 А и Б). Однако ситуация меняется, если будет дана инструкция, что один из стимулов будет значимый, и на него нужно обращать внимание, он будет редко подаваться в ряду других стимулов, и его нужно опознать и подсчитать. При выделении и усреднении в такой серии стимулов ответов на незначимые частые стимулы получается волна, сходная при выделении в обычной последовательности.

А Б В Г

На рисунке (Рисунок 2) видно, что ответ на незначимый стимул совпадает с ответом на обычную стимуляцию (А). Ответ (Г) на значимый редкий стимул отличается от ответа (Б) появлением поздней позитивной волны с латентностью 312 мс. Эту волну с латентностью в области 300 мс и называют РЗОО. Разность двух ответов для этого стимула при обычной серии и в серии с условием распознания (то есть разность (Г) — (Б)) дает волну, связанную с эндогенными событиями, происходящими в мозге при опознании значимых стимулов, их удержании (запоминании), счете, принятии решений, то есть с атрибутами, связанными с мыслительными (когнитивными) функциями мозга.

Одной из ключевых проблем в задаче выделения вызванного

потенциала Р300 является большое число усреднений, необходимых для идентификации сигнала.

Системы нейрокомпьютерного интерфейса можно разбить на следующие группы:

• Инвазивные и неинвазивные

• Синхронные и асинхронные

• Универсальные и индивидуальные

• Работающие в режиме реального или отложенного времени Программно-аппаратный комплекс нейрокомпьютерного

интерфейса, основанного на анализе вызванного потенциала Р300 электроэнцефалограммы, является неинвазивной, синхронной системой с индивидуальным набором параметров классификатора, способной печатать текст в режиме реального времени по средствам ментальных команд.

Реализация Описание Недостатки

Р1ше11 & ОопсЫп Посимвольный ввод текста на основе анализа Р300. Низкая скорость ввода (0,33 сим/мин). Подготовка данных для классификатора происходит в ручном режиме.

АШбоп Посимвольный ввод текста на основе анализа Р300 (вспышка одновременно нескольких строк/столбцов). Матрица стимулов размерности 8x8 приводит к быстрому утомлению испытуемого. Большое число отведений (15). Статическая матрица символов.

ВегНп-ВС1 Ввод символов на основе анализа ментальных состояний Длительное время обучения испытуемого (1-3 месяца)

Таблица 1. Реализации систем нейрокомпьютерного интерфейса

В таблице 1 представлен сравнительный анализ систем ввода текста в компьютер с использованием технологии

нейрокомпьютерного интерфейса. Основным недостатком приведенных систем является низкая пропускная способность и вероятность опознания команды, длительное время обучения испытуемого, а также неизменяемая (статическая) матрица символов.

В нашей стране на сегодняшний день до сих пор нет реализованной НКИ системы, хотя разработки в этом направлении ведутся рядом научных групп.

В заключение первой главы формулируется задача данной диссертационной работы - создание программно-аппаратного комплекса нейрокомпьютерного интерфейса, основанного на анализе вызванного потенциала Р300 электроэнцефалограммы. Перечисляются основные этапы решения поставленной задачи.

Вторая глава посвящена описанию алгоритмов и методов выделения вызванного потенциала РЗОО электроэнцефалограммы. Распознавание строится по следующей схеме:

• предобработка сигнала - необходима для устранения шумов, декорреляции сигнала и устранения артефактов;

• параметризация сигнала - извлечение численных свойств фрагмента ЭЭГ, необходима для повышения информативности образа, снижения размерности входного пространства, повышения степени обобщения. Параметризованный образ - паттерн - подаётся на классификатор;

• классификация паттерна - преобразование паттерна в число, которое характеризует степень соответствия данного паттерна комплексу РЗОО;

• интерпретация результата - анализ выходных значений нескольких фрагментов ЭЭГ для определения, какой их них в большей степени похож на комплекс РЗОО

Для реализации задачи выделения компонента РЗОО используется ряд классификаторов. Для их обучения строятся две выборки:

• Обучающая - используется в процессе инициализации классификатора, она описывает явление. Классификатор

пытается построить по данному описанию модель. С точки зрения классификатора обучающая выборка всегда достоверна.;

• Тестовая - предназначена для оценки качества обучения классификатора, выбора модели, обладающей наилучшим соотношением степени обучения и обобщения, а так же выбора момента остановки классификатора

Для классификации используются следующие методы:

1. Метод максимумов

Данный подход основан на предположении, что после заданного числа усреднений компонент Р300 в интервале 220500 мс будет обладать четкой выраженностью. Назовем этот интервал «окном Р300» (Рисунок 3). Выявление Р300 в этом окне состоит из двух этапов. На первом этапе (обучение системы) выделяется максимальное значение потенциала в обучающей выборке. Затем от данной точки осуществляется поиск минимума вдоль временной оси графика в обоих направлениях вплоть до пересечения с нулевым значением.

На втором этапе (непосредственный анализ) данные ЭЭГ анализируются для выявления компонента Р300 по его амплитуде, которая рассчитывается как разница между самой низкой отрицательной точкой, предшествующей окну Р300, и самой высокой положительной точкой в окне Р300. Классифицирующая программа накапливает максимумы в течение каждой эпохи анализа. Затем происходит выбор максимального из них.

2. Метод площадей

В этом методе, так же как и в методе максимумов, входящие сигналы анализируются в окне Р300, причем в этом интервале вычисляется площадь между изолинией и волной ВП.

Рисунок 3. Основные параметры вызванного потенциала Р300

3. Ковариационный метод

Ковариационный метод использует усредненные значения обучающих данных, а анализ вызванного потенциала Р300 основан на вычислении ковариации входящих данных и значимого обучающего массива. «Образцовый» или «эталонный» компонент Р300 вычисляется в обучающей последовательности по средней оценке для значимых стимулов для каждого испытуемого. Классифицирующая программа накапливает коэффициенты ковариации в течение каждой эпохи. Затем происходит отбор максимального коэффициента.

4. Метод суперпозиции

Данный метод используется для выявления вызванного потенциала Р300 на основе усредненных данных, полученных в ковариационном методе, методах максимумов и площадей. На первом этапе происходит нормировка (1) полученных данных в интервале [0;1]:

ХМ-шш(Х) шах(А')-т!п(А')

<Х >=—-

,1 = 1..«

(1)

(2)

Данная параметризация позволяет исключить влияние изменения амплитуды сигнала на результаты распознавания. Затем данные усредняются (2), а их результаты заносятся в матрицу весов (Рисунок 4), после чего происходит выявление ячейки с максимальным весом.

ЭЭГ данные после вспышки 6 строк

Массив нормализ. значений | весов, полученных ! от классификатора ;[0.11;0.16; 1.00; 0.92; 0.75; 0.00]'

'<И1 0.11 0.11 0.11 0.11 0.1 П

<Ш> 0.16 0.16 0.16 0.16 0.16

1.00 1.00 1.00 1.00 1.00 1.00

0.92 0.92 0.92 0.92 0.92 0.92

0.75 0.75 0.75 0.75 0.75 0.75

(0.00 0.00 0.00 0.00 0.00 0.00,

ЭЭГ данные после вспышки 6 столбцов

Массив нормализ. значений ' весов, полученных от классификатора [(1.24;1.(Ю; 0.65; 0.00; 0.32; 0.87]

0.24 1.00 0.65 0.00 0.32 0.871

0.24 1.00 0.65 0.00 0.32 П.Н7

0.24 1.00 0.65 0.00 0.32 0.87

0.24 1.00 0.65 0.00 0.32 0.87

0.24 1.00 0.65 0.00 0,32 0.87

,0.24 1.00 0.65 0.00 0.32 0.87]

'0.35 1.11 0.76 0.11 0.43 0.981 А Б в г д Е

0.40 1.16 0.71 0.16 0.48 1.03 Ж 3 и й к л

1.24 @ >1.65 1.00 1.32 1.87 М( о п р с

1.16 1.92 1.57 0.92 1.24 1.79 т У ф X ц ч

0.99 1.75 1.30 0.75 1.07 1.62 III щ ь 1.1 ь э

,0.24 1.00 0.65 0.00 0.32 087, я • <

Рисунок 4. Использование метода суперпозиции 5. Линейный дискриминантный анализ

Линейный дискриминантный анализ является алгоритмом классификации, который разделяет входное множество на два класса.

Пусть исходная выборкаХ разделяется на две подвыборки X1 и X2, где X1 - выборка, состоящая из п1 векторов первого класса, X2 - выборка, состоящая из щ векторов второго класса. Пусть также (3) - центр первого класса, (4) - центр второго класса, (5) и (6) - несмещённая /-тая координата векторов первого и второго класса соответственно.

х' (3)

П,

Ъх?

2

х;=х'-х),1 = 1 ..и (5)

= 1 ..п (6)

Для дальнейших вычислений необходимо построить корреляционную матрицу Я, которая определяет степень корреляции между различными координатами. Данная матрица разбивается на две части - 5' и ^ соответствующие двум классам:

о о

1 X, X .•

$ / = -1—г (V)

-1

О О

ч2

(8)

л2 -1

5 = 5' +52 (9)

Результат классификации у на некотором входном векторе х вычисляется следующим образом:

у = (х-Х'+Х2)8(Хх-Х2)

(10)

Вектор у содержит действительные значения, причём если вектор х принадлежал первому классу, то выход будет положительным, а в противном случае - отрицательным.

б. Метод наименьших квадратов

Метод наименьших квадратов может быть использован не только для аппроксимации таблично заданной функции, но и для решения задачи классификации.

Пусть имеется многомерное входное пространство. Выходное пространство зависит от желаемого количества классов, но для простоты будет рассмотрен случай двух классов (одномерное выходное пространство).

Таким образом, метод наименьших квадратов теперь переводит многомерные входные вектора в скаляр, который по сути является значением аппроксимируемой функции.

Для корректной работы классификатора, аппроксимируемую функцию следует задавать так:

где Хо - множество входных векторов первого класса, а Х\ -множество входных векторов второго класса.

Другим, более приемлемым, вариантом желаемой функции является:

Вид разделяющей поверхности зависит от порядка полинома аппроксимации. В данном исследовании рассматриваются полиномы первой степени, так как в таком случае разделяющая поверхность становится линейной (гиперплоскостью).

Пусть Х- пространство входных векторов размерности п, 7-целевая функция, а.м>- вектор весов размерности п+1.

(П)

(12)

т =

1 хи

1 Хгл

X,

1,и

X

2,"

(13)

1

т, 1

X.

где т - количество векторов в обучающей выборке.

Тогда результатом классификации будет вектор у, который вычисляется следующим образом:

у = Т\/ (14)

Задача состоит в подборе такого вектора весов м> классификатора, чтобы решение было оптимальным в плане квадрата ошибки интерполяции (15):

у,)2->ш п

(15)

/=1

Данная задача имеет единственное решение при условии:

к<п, (16)

и находится следующим образом (19):

Тм>г = 7, (17)

(Гг7>г =ТтУ, (18)

у/ =(ТтТУТт¥. (19)

Данное решение гарантирует наименьшую квадратичную ошибку.

7. Метод главных компонент

Метод главных компонент заключается в построении нового ортонормированного базиса для выборки X размерности п таким образом, чтобы орты были упорядочены в смысле дисперсии выборки по их направлениям.

Пусть выборка содержит ш векторов, тогда её матрица корреляций строится следующим образом (20):

Би=2 > *=1 • }=1 ■ -п ^20>

/=1

Собственными векторами данной матрицы называются такие вектора е, что выполняется условие (21):

= -\..п (21)

Эти вектора называются факторами данного распределения, а собственные числа X — факторными нагрузками. Фактор с наибольшей факторной нагрузкой характерен тем, что при проектировании на него, входные данные будут иметь большую дисперсию, чем при проектировании на любое другое направление.

Для того, чтобы перевести исходные вектора X в новое пространство X1 необходимо спроецировать вектора изначального пространства на орты нового базиса.

Пусть вектор хе/, тогда:

п }=1

х'еХ\ (23)

Суть метода главных компонент заключается в том, что не обязательно переводить вектора размерности п в другие вектора размерности п. При проецировании можно отбросить часть орт нового базиса. Так как орты упорядочены в смысле дисперсии выборки X на их направлениях, то отбрасывать следует орты с минимальной дисперсией, так как они менее информативны.

Данный классификатор является двухслойным. Оба его слоя линейны, первый выполняет сокращение входного пространства и сжатие данных, за счёт проецирования на несколько главных компонент исходной выборки, второй слой выполняет линейную классификацию в новом пространстве.

Основным параметром / данного классификатора является число главных компонент, которое определяет размерность промежуточного пространства. Если это число равно размерности исходного пространства, то первый слой не вносит

никаких изменений. Действительно, в таком случае проецирование производится на все факторы и фактически происходит поворот и масштабирование входного пространства. Данное преобразование не влияет на результаты линейной классификации.

Если число главных компонент равняется единице, то проецирование производится на один (главный) фактор и внутреннее пространство является скалярным пространством. В таком случае второй слой может разделить только два класса.

Таким образом, число используемых факторов не должно быть меньше, чем логарифм по основанию два от числа желаемых классов:

/>1 Оё2к (24)

В задаче распознавания комплекса Р300 к = 2, поэтому можно использовать любое число главных компонент, вплоть до/ = 1.

Основной особенностью данного классификатора является то, что увеличение числа используемых главных компонент не всегда приводит к росту точности как на обучающей, так и на тестовой выборке. Это вызвано тем, что в исходных данных наряду с информативной частью присутствует шум.

Преимуществом подхода, использующего главные компоненты, является то, что после проецирования на факторы, шум сосредоточен «в хвосте», то есть в факторах с наименьшими факторными нагрузками.

Таким образом, после проецирования, первые координаты несут информативную нагрузку, а последние - шум. Остаётся только определить точку перехода, до которой точность распознавания растёт, а после начинает падать.

В качестве второго слоя подходит любой алгоритм линейной классификации, в том числе и метод наименьших квадратов или линейный дискриминантный анализ.

В третьей главе описывается методика проведения эксперимента. Приводится общая схема работы программно-аппаратного комплекса нейрокомпьютерного интерфейса,

основанного на анализе вызванного потенциала Р300 электроэнцефалограммы (Рисунок 5), способов взаимодействия отдельных модулей комплекса, а так же протоколов передачи данных.

Дано кроткое описание интерфейса программы стимуляции и классификации. Показаны режимы работы матрицы стимулов:

• Буквенная матрица - режим ввода информации на основе идентификации буквы русского алфавита или служебного символа. Данный режим работы применим на этапе реабилитации для тяжелых больных. Стимуляция производится в относительно медленном режиме, а ввод информации происходит со скоростью 0,3 символов/мин;

• Матрица пиктограмм - режим ввода информации на основе идентификации значимого для испытуемого изображения (пиктограммы). Данный режим может быть использован пациентами, способными реагировать на высокую скорость стимуляции. Пиктограмма, как правило, символизирует команду или просьбу испытуемого («Я хочу пить», «Включите телевизор» и т.д.). Ввод информации происходит со скоростью 6,25 символов/мин.

................ ЭЭГданные

Протокол TCP/IP fit ~ ~ i (цифровыеди5В)

Результат | классификации

Метка MailSlot

Метка VGA

О

ЭЭГданные (аналоговые)

Рисунок 5. Общая схема работы программы

Так же приводится общая информация о количестве испытуемых, их возрасте, описываются условия проведения

эксперимента: фоновая освещенность помещения, где проходили опыты, параметры дисплея со стимуляционной матрицей, расстояние от глаз испытуемого, рассчитывается угловой размер символа матрицы, приводится текст инструкции для пациентов.

В главе приведено распределение методов классификации волны РЗОО в зависимости от параметров стимуляции (Таблица 2). Данное распределение построено на основе исследования свойств вызванного потенциала РЗОО.

Тип классификатора Медленны й режим Быстрый режим

Метод наименьших квадратов - +

Линейный дискриминантный анализ - +

Метод главных компонент - +

Метод максимумов + -

Метод площадей + -

Ковариационный метод + -

Метод суперпозиции + -

Таблица 2. Перечень методов, используемых для выделения компонента РЗОО при различных режимах работы системы

Особое внимание уделяется выбору электродов. Если для «медленного» ввода достаточно 1-го электрода (Р2 или СЪ), то для выделения вызванного потенциала РЗОО электроэнцефалограммы при коротких межстимульных интервалах необходима группа из 9 отведений: СРЗ, СР4, РЗ, Р4, PZ, 01, 02, ОЪ. Ключевой вопрос заключается в том, как в данной ситуации разбить электроды на группы, чтобы добиться максимальной точности распознавания комплекса РЗОО. Было выбрано три способа разбиения: все электроды рассматривать единой группой, сформировать разбиение на основе корреляции данных и выделить каждое отведение в отдельную группу.

Четвертая глава посвящена анализу полученных во время эксперимента данных и выбору оптимального классификатора и группы отведений.

Из результатов исследования следует, что лучшей точностью распознавания комплекса РЗОО как на обучающей, так и на

тестовой выборках обладает метод главных компонент с корреляционным разбиением электродов. Максимальная точность достигается при тождественной предобработке сигнала и методе параметризации путем деления на среднеквадратичное значение.

Данная комбинация методов выбирается в качестве оптимального алгоритма распознавания комплекса РЗОО на матрице пиктограмм. Ее точность на тестовой выборке составляет 75.13%.

В пятой главе приводятся результаты тестирования системы. Отдельно представлены результаты работы классификаторов для каждого из режимов работы.

Максимальная точность опознания при скорости ввода 6,25 сим/мин составила 83%, а средняя - 74,5%.

Наилучшие результаты для скорости ввода 0,56 сим/мин получены в среднем по программе оценки площади волны РЗОО от электрода Рг, в то время, как по максимальной амплитуде этой волны, эффективность опознания составила 40%, а при отведении от Сг, правильного вообще не происходит. Естественно, что совокупный критерий (суперпозиция методов) дал в большинстве случаев существенно лучшие результаты, чем отдельные алгоритмы (Таблица 3). __

PZ электрод СЪ электрод

Максимумов 40% 0%

Площадей 87% 27%

Ковариации 40% 47%

Суперпозиции 94% : 40%

Таблица 3. Точность распознавания вызванного потенциала РЗОО электроэнцефалограммы различными классификаторами для стимуляции с интервалами между стимулами - 1с

Полученные в диссертационной работе экспериментальные результаты подтвердили достоверность предложенной методики.

В заключение диссертационной работы сформулированы основные выводы и полученные результаты.

В приложении приведены результаты тестирования методов

и алгоритмов синтеза НКИ на основе анализа вызванного потенциала Р300 электроэнцефалограммы, рассчитана точность классификации паттерна для каждого варианта стимуляции.

Основные результаты диссертационной работы

1. Проведенный анализ существующих зарубежных систем НКИ показал, что основным недостатком является низкая пропускная способность, ограниченные возможности по расширению систем и адаптации к больным на разных этапах лечения.

2. Предложен метод выделения вызванного потенциала Р300 электроэнцефалограммы на основе суперпозиции методов, повышающий точность распознавания на 7%.

3. Разработан новый вид матрицы стимулов (пиктографический), благодаря которому пропускная способность системы увеличилась в 4 раза.

4. Предложен оптимальный набор параметров матрицы стимулов.

5. Определен оптимальный набор отведений, позволяющий локализовать области выраженности вызванного потенциала Р300.

6. Разработана оптимальная комбинация методов, образующая алгоритм распознавания вызванного потенциала Р300 для режима стимуляции с межстимульным интервалом 100 мс.

7. Разработан аппаратно-программный комплекс НКИ на основе анализа вызванного потенциала Р300 электроэнцефалограммы с использованием методов и алгоритмов, предложенных в работе.

8. Проведено тестирование разработанных методов и алгоритмов. Точность классификации при скорости ввода 6,25 сим/мин и 0,56 сим/мин составляет 74% и 94% соответственно.

Список работ, опубликованных по теме диссертации

В изданиях, рекомендованных ВАК:

1. Карловский Д.В., Конышев В. А., Селищев С.В. Нейрокомпьютерный интерфейс на основе Р300 // Медицинская техника. - 2007. - №1. - С. 28-32.

2. Конышев В.А., Карловский Д.В., Михайлова Е.С., Славуцкая А.В., Авдейчик В.Г., Шмелев А.С., Шевелев И.А. Исследование опознания задуманных букв и слов по волне Р300 вызванного потенциала мозга человека с помощью нейрокомпьютерного интерфейса // Российский физиологический журнал им. И.М. Сеченова. - 2007. - Т. 93. -№ 2. - С. 141-149.

3. Дорошенков Л.Г., Карловский Д.В. Система проектирования графов обработки ЭЭГ в задачах нейрокомпьютерного интерфейса // Медицинская техника. - 2009. -№3. - С. 16-19.

В других изданиях:

4. Karlovskiy D.V., Konyshev V.A. VisualMind Framework for Brain-Computer Interface development. - 3rd Russian-Bavarian Conference on Biomedical Engineering at Friedrich-Alexander-University Erlangen-Nuremberg and Fraunhofer Inctitute for Integrated Circuits IIS Erlangen, Bavaria, 2007. -pp 15-18.

5. Карловский Д.В. Формирование нейрокомпьютерного интерфейса на основе Р300 // Биомедицинские электронные системы: Сборник научных трудов. - М.: МИЭТ, 2007. - С. 113-125.

6. Карловский Д.В., Дорошенков Л.Г. Разработка программного модуля обработки и анализа ЭЭГ в режиме реального времени // Человек и элетромагнитные поля. Сборник материалов докладов II Международной конференции. - Саров: РФЯЦ-ВНИИЭФ, 2008. - С. 408 -411.

7. Карловский Д.В. Нейрокомпьютерный интерфейс на компоненте Р300 вызванных потенциалов // XIII Всероссийская межвузовская НТК студентов и аспирантов

«Микроэлектроника и информатика - 2006». Тезисы докладов. -М.: МИЭТ, 2006. -С. 317.

8. Дорошенков Л.Г., Кардовский Д.В. Разработка программного модуля обработки и анализа ЭЭГ в режиме реального времени // XIV Всероссийская межвузовская НТК студентов и аспирантов «Микроэлектроника и информатика - 2007». Тезисы докладов. - М.: МИЭТ, 2007. -С. 347.

9. Карловский Д.В. Дорошенков Л.Г. Система Visual mind для анализа ЭЭГ сигналов в задаче проектирования нейрокомпьютерных интерфейсов // II Международной конференции «Человек и электромагнитные поля». Тезисы докладов. Саров, 2007. - С. 97.

10. Карловский Д.В., Дорошенков Л.Г., Вавакина Е.В., Романов Д.Е., Оводов Ю.А. Нейрокомпьютерный интерфейс для управления внешними устройствами напрямую от сигналов мозга // Конкурс Молодежных инновационных предпринимательских проектов «День науки Зеленограда». Тезисы докладов. - М.: МИЭТ, 2007, - С. 15.

11. Карловский Д.В., Романов Д.Е., Вавакина Е.В. Нейрокомпьютерный интерфейс на основе Р300 // XX съезд Физиологического общества им. И.П. Павлова. Тезисы докладов. - М.: Издательский дом «Русский врач», 2007,-С. 258.

12. Карловский Д.В., Оводов Ю.А. Применение пиктографической матрицы при проектировании нейрокомпьютерного интерфейса на основе анализа волны Р300 // XV Всероссийская межвузовская НТК студентов и аспирантов «Микроэлектроника и информатика - 2008». Тезисы докладов. - М.: МИЭТ, 2008. - С. 264.

13. Shevelev I.A., Mikhailova E.S., Chicherov V.A., Konishev V.A., Karlovskiy D.V. Spatial gradient of P300 in the brain-computer-interface paradigm // International Journal of Psychophysiology, 2008.-pp. 181.

Подписано в печать:

Заказ № 1С1- Тираж /00 экз. Уч.-изд.л./^ Формат 60x84 1/16. Отпечатано в типографии МИЭТ (ТУ). 124498, Москва, МИЭТ (ТУ).

Оглавление.

Список и обозначение аббревиатур.

Список иллюстраций.

Список таблиц.

Список таблиц.

Введение.11

Цель работы.13

Научная новизна.13

Практическая значимость работы.14

Основные результаты работы.14

Достоверность полученных результатов.15

Апробации работы.15

4.5. Выводы

Для сравнения, приведём сводную таблицу точностей классификации для различных методов разбиения электродов и классификаторов (Таблица 25).

Точность

Классификатор Обучающая выборка Тестовая выборка ю о (j Метод наименьших квадратов 0.6742 0.5852 о с у Линейный дискриминантный анализ 0.7087 0.6255

Метод главных компонент 0.8711 0.6437

Метод наименьших квадратов 1.0000 0.7145

5 О б в с Линейный дискриминантный анализ 0.8611 0.7287

U Метод главных компонент 1.0000 0.7513 н Метод наименьших квадратов 0.9243 0.6145 ю о и о Линейный дискриминантный анализ 0.7766 0.6644 с и Метод главных компонент 0.9038 0.6587

Заключение

К основным результатам диссертационной работы можно отнести следующее:

• Проведенный анализ существующих зарубежных систем НЬСИ показал, что основным недостатком является низкая пропускная способность, ограниченные возможности по расширению систем и адаптации к больным на разных этапах лечения.

• Предложен метод выделения вызванного потенциала РЗОО электроэнцефалограммы на основе суперпозиции методов, повышающий точность распознавания на 7%.

• Разработан новый вид матрицы стимулов (пиктографический), благодаря которому пропускная способность системы увеличилась в 4 раза.

• Предложен оптимальный набор параметров матрицы стимулов.

• Определен оптимальный набор отведений, позволяющий локализовать области выраженности вызванного потенциала РЗОО.

• Разработана оптимальная комбинация методов, образующая алгоритм распознавания вызванного потенциала РЗОО для режима стимуляции с межстимульным интервалом 100 мс.

• Разработан аппаратно-программный комплекс НКИ на основе анализа вызванного потенциала РЗОО электроэнцефалограммы с использованием методов и алгоритмов, предложенных в работе.

• Проведено тестирование разработанных методов и алгоритмов. Точность классификации при межстимульных интервалах в 100 мс и ЮООмс составляет 74% и 94% соответственно.

1. Крепкий Р., Ласков П., Курио Г., Бланкерц Б., Мюллер К.-Р. По моему хотенью. Берлинский нейро-компьютерный интерфейс // Наука и жизнь 2004. №11. URL: http://www.nki.ru/archive/articles/472 (дата обращения 26.10.2009).

2. Wolpaw J.R., Birbaumer N, McFarland DJ, Pfurtscheller G, Vaughan TM. Brain-computer interfaces for communication and control. // EEG Clinical Neurophysiology 113,2002 pp. 767-791.

3. Levine SP, Huggins JE, BeMent SL, Kushwaha RK, Schuh LA, Rohde MM, Passaro EA, Ross DA, Elisevich KV, Smith BJ. A direct brain interface based on event-related potentials. // IEEE Transactions on Rehabilitation Engineering 8(2), 2002 pp. 180-185.

4. Гнездицкий B.B. Вызванные потенциалы мозга в клинической практике. Таганрог: ТРТУ, 1997. - 264 с.

5. Regan D. Human brain electrophysiology. Evoked Potentiales and Evoked Magnetic Fields in Science and Medicine. // IEEE Transactions on Rehabilitation Engineering, 1987,-pp. 179-185.

6. Picton T.W., Hillyard S.D. Auditory human ЕР: II. Attention effect. EEG Clinical Neurophysiology 36, 1974, pp. 191-199.

7. Трошина E.M. Анализ потенциалов, связанных с движением в норме и при поражениях головного мозга. // Автореферат канд. диссертации М., 1992.

8. Jorg J., Hielscher Н. et al. Evozierte Potentiale in Klinik und Praxis. Eine Einfuhrung in VEP, SEP, AEP, МЕР, РЗОО and PAP. // Springer Verlag, 1993, pp. 278-284.

9. Tesse J. et al. CNV and the destruction-arousal hypotheses. // EEG and Clinical Neurophysiology 41, 1976, pp. 277-286.

10. Vaughan H.G., Ritter W. The sources of auditory evoked responses recorded from the human scalp. // EEG and Clinical Neurophysiology v.28, 1970, pp. 360-367.

11. Guerit J.M. Les potentiels evoques. Masson, Paris, 1998. 399 p.

12. Гнездицкий B.B., Коптелов Ю.М., Корепина O.C. Роль трехмерной локализации источников ЭЭГ и ВП в клинической практике. // Труды конференции «Современное состояние методов неинвазивной диагностики в медицине». Украина, Ялта-Гурзуф, 1996, с. 102-105.

13. Shibasaki Н., Nakamura М., Nishida Se et al. Periodical discharge and myoclonus in Creutzfeldt-Jacob decease: diagnostic usage of averaging method of time locked muscle jerk. // Ann. Neurol. 9, 1981, p. 150.

14. Gevins A., Smith M.E. et al. High-resolution EEG mapping of cortical activation related to working memory: effects of task difficulty, type of processing and practice. // Cerebral cortex 7, 1997, pp. 374-385.

15. Видаль Ж.Ж. Обнаружение процессов, происходящих в головном мозге по ЭЭГ в реальном масштабе времени. ТИИЭР, 1977, №5, т.65, с. 49-58.

16. Pratt Н., Bleich N., Sussel Z. Three-channel Lissajous-trajectories of auditory brain-stem evoked potentials in patient with neurological lesions affecting the brainstem: preliminary impressions. // Audiology v.26, №4, 1987, pp. 247-255.

17. Scandinavian symposium on brainstem response (ABR). // Ed. LunbergT. Stockholm, 1981, pp. 109-112.

18. Mauguiere F., Desmedt J.E., Courjon J. Neural generators of N18 and P14 far field SSEP: patients with lesion of thalamus or thalamocortical radiations. // EEG Clinical Neurophysiology 56, 1983, pp. 283-292.

19. Гнездинский B.B. Обратная задача ЭЭГ и клиническая энцефалография (картирование и локализация источников электрической активности мозга) Таганрог: ТРТУ. - 2000. - 640 с.

20. Костандов Э.А. Восприятие и эмоции. М., Наука - 1977. 248 с.

21. Goodin D.S., Squires К.С., Starr A. Long latency ERP in dementia. // Brain 101, 1978, pp. 635-648.

22. Polish J. Cognitive evoked potentials. // Current directions in psychological science v.2, №6, 1993, pp. 175-179.

23. Naatanen R. et al. Attention and MMN. // Psychophysiology 30, 1993, pp. 436-450.

24. Архипова H.A. Соотношение суммарной ЭЭГ и нейронной активности коры в зоне очаговой патологии головного мозга. // Автореф. канд. диссерт. Москва, 1972.

25. Cooper R., Winter A.L., Crow H.J., Walter W.G. Comparison of subcortical, cortical and scalp activity using chronically indwelling electrodes in man. // EEG Clinical Neurophysiology v.18, 1965, pp. 217-228.

26. Heath R.G., Galbraith G.C. Sensory evoked responses recorded simultaneously from human cortex and scalp. // Nature №5070, v. 212, 1966, pp. 1535-1537.

27. Richer F. et al. Intracerebral amplitude distributions of the auditory EP. // EEG Clinical Neurophysiology74, 1989, pp. 202-208.

28. Domino E.F. et al. Simultaneous recordings of scalp and epidural somatosensory evoked responses in man. // Science v.145, 1964, pp. 119-120.

29. Stohr R.C., Goldring V.P. EP after removal sensory zone. // J. Neurosurg. v.31, 1969, pp. 117-127.

30. Kraus N., Ozdamar O., Heydemann P.T., Stein L., Reed N.L. Auditory brain-stem responses in hydrocephalic patients. // EEG Clinical Neurophysiology v.59, №4, 1984, pp. 310-317.

31. Allison Т., Matsumiga Y., Goff G.D., Goff W.R. The scalp topography of human visual evoked potentials. // EEG Clinical Neurophysiology v.42, №2, 1977, pp. 185-197.

32. Hosek R.S., Sances В., Jolat R.W., Larson J. Contributions of intracerebral currents to the EEG and evoked potentials. // IEEE Trans. Biomed. Eng. v.BME-25, v.5, 1978, p. 405.

33. Creutzfeldt О., Watanabs S.,Hux H.D. Relations between EEG phenomena and potentials of single cortical cells. 1. Evoked responses after thalamic and epicortical stimulation. // EEG Clinical Neurophysiology v.20, 1966, pp. 1-8.

34. Creutzfeldt O. Neuronal basis of EEG-waves. // Handbook of EEG and Clinical Neurophysiology Edd. Creutzfeldt O., Elsevier, Amsterdam v.2, 1974, pp. 153-165.

35. Creutzfeldt O. Generality of the functional structure of the neocortex. //Naturwissenschaften v. 64, 1977, p.507.

36. Hendersen C.J., Bulter S.R., Glass A. The localization of equivalent dipoles of EEG sources by the application of electrical field theory. // EEG and Clinical Neurophysiology v. 39, №2, 1975, pp. 117-130.

37. Гнездицкий B.B., Юзефова C.M., Авакян E.H. Исследование ВП и BP методом избирательного усреднения у больных с посттравматической эпилепсией. // «Нейропсихология и психиатрия» им. С.С. Корсакова №2, 1996, с. 41-44.

38. Fender D.H. Source localization of brain electrical activity. In: A.S. Gevins and A. Remont (Eds.), Methods of Analysis of Brain electrical and magnetic signals. // Amsterdam, Elsivier, 1987, p. 355-403.

39. Polish J., Niedermeyer E., Lopes da Silva F.H. Clinical application of P300: method, measurement and interpretation. // EEG basic principle, Baltimore, William and Wilkins, 1993, pp. 1005- 1018.

40. Pfefferbaum A., Ford J., Johnson R. et al. Clinical application of P300. I. Normal aging. II. Dementia, depression and schizophrenia. // EEG and Clinical Neurophysiology 59, 1984, pp. 85-116.

41. Polich J., Kok A. Cognitive and biological determinants of P300: an integrative review. // Biological Psychology 41, 1995, pp. 103-146.

42. Goodin D.S., Aminoff MJ. Electrophysiological differences between subtypes of dementia. //Brain 109, 1986, pp. 1103-1113.

43. Polish J., Kok A. Cognitive and biological determinants of P300: an integrative review. // Biological Psychology 41, 1995, pp. 103-146.

44. Гнездицкий В.В., Ревенок Е.В., Корепина О.С., Калашникова Л.А., Брутян А.Г. Анализ РЗОО при когнитивных нарушениях у больных с сосудистыми заболеваниями головного мозга. // Труды конференции «Ишемия мозга». С.-Петербург, 1997, с. 41-45.

45. Официальный сайт фирмы «Cyberkineticsinc». Электронный ресурс]. URL: http://www.cyberkineticsinc.com (дата обращения 26.10.2009).

46. Официальный сайт фирмы «Neural Signals». Электронный ресурс]. URL: http://www.neuralsignals.com (дата обращения 26.10.2009).

47. Wolpaw J.R., McFarland DJ, Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans. // PNAS 101(51), 2004, pp. 17849-17854

48. Farwell L.A, Donchin E. Talking off the top of your head: towards mental prosthesis utilizing event-related brain potentials. // Electroenceph. Clinical Neurophysiology 70, 1988, pp. 510-523.

49. Donchin E, Spencer KM, Wijesinghe R. The mental prosthesis:assessing the speed of a P300-based brain-computer interface. // IEEE Transactions on Rehabilitation Engineering 8(2), 2000, pp. 174-179.

50. Allison В. P3 or not P3: Toward a Better P300 BCI. // PhD Thesis. -UCSD 2004.

51. Allison В., Pineda A. Effects of SOA and flash pattern manipulations on ERPs, performance, and preference: Implications for a BCI system. // Internation Journal of Psychophysiology 59, 2006, pp. 127-140.

52. Kelly SP, Lalor E, Reilly RB, Foxe JJ. Visual Spatial Attention Tracking using High-Density SSVEP Data for Independent Brain-Computer Communication. // IEEE Transactions on neural systems and rehabilitation engineering 13, 2005, pp 172-178.

53. Wolpaw J.R., McFarland DJ. Multichannel EEG-based brain-computer communication. Electroenceph. Clinical Neurophysiology 90, 1994, pp. 444-449.

54. Wolpaw J.R., McFarland DJ., Vaughan TM., Schalk G. The Wadsworth Center Brain-Computer Interface (BCI) Research and Development Program. // IEEE Transactions on Rehabilitation Engineering 11(2), 2003, pp. 204-207.

55. Birbaumer N, Ghanayim N, Hinterberger T, Iversen I, Kotchoubey B, Kubler A, Perelmouter J, Taub E, Flor H. A spelling device for the paralyzed. Nature 398, 1999, pp. 297-298.

56. Birbaumer N, Hinterberger T, Kubler A, Neumann N. The Though-Translation Device (TTD): Neurobehavioral Mechanisms and Clinical Outcome. // IEEE Transactions on Rehabilitation Engineering 11(2), 2003, pp. 120-123.

57. Millan J.del R., Franze M., Mourino J., Cincotti F., Babiloni F. Relevant EEG features for the classification of spontaneous motor-related tasks. // Biological Cybernetics 86(2), 2002, pp. 89-95.

58. Parra L.C., Spence C.D., Gerson A.D., Sajda P. Response Error Correction A Demonstration of Impoved Human-Machine Performance Using Real-Time EEG Monitoring. // IEEE Trans. Rehab. Eng 11(2), 2003, pp. 173177.

59. Schalk G., McFarland D.J., Hinterberger Т., Birbaumer N., Wolpaw J.R., BCI2000: A General-Purpose Brain-Computer Interface (BCI) System. // IEEE Trans. Biomed. Engng. 51(6), 2004, pp. 1034-1043.

60. Millan J.del R., Renkens F., Mourino J., Gerstner W. Noninvasive Brain-Actuated Control of a Mobile Robot by Human EEG. // IEEE Trans. Biomed. Eng. 51(6), 2004, pp. 1026-1033.

61. Bayliss JD, A Flexible Brain-Computer Interface. // PhD Thesis, 2001; U. Rochester.

62. Kostov A, Polak M. Parallel Man-Machine Training in Development of EEG-Based Cursor Control. // IEEE Trans. Biomed. Eng 8(2), 2000, pp. 203205.

63. Hari R, Salenius S. Rhythmical corticomotor communication. // NeuroReport 26(1-3), 1999, pp. 51-62.

64. Pfurscheller G, Zalaudek K, Neuper C. Event-related beta synchronization after wrist, finger and thumb movement. // Electroenceph. Clinical Neurophysiology 109, 1998, pp. 154-160.

65. Penny W.D., Roberts S.J., Stokes M.J. Imagined Hand Movements Identified from the EEG Mu-Rhythm. // IEEE Transactions on Rehabilitation Engineering 8(2), 2000, pp. 214-215.

66. Pfurscheller G., Neuper C., Flotzinger D., Pregenzer M. EEG-based discrimination between imagination of right and left hand movement. // Electroenceph. Clinical Neurophysiology 103, 1997, pp. 642-651.

67. Дорошенков Л.Г., Карловский Д.В. Система проектирования графов обработки ЭЭГ в задачах нейрокомпьютерного интерфейса // Медицинская техника. 2009. - №3. - С. 16-19.

68. Карловский Д.В. Дорошенков Л.Г. Система Visual mind для анализа ЭЭГ сигналов в задаче проектирования нейрокомпьютерных интерфейсов. // II Международная конференция «Человек и электромагнитные поля»: Тезисы докладов. Саров, 2007. - 97 с.

69. Карловский Д.В., Дорошенков Л.Г. Разработка программного модуля обработки и анализа ЭЭГ в режиме реального времени. // II Международная конференция «Человек и элетромагнитные поля»: Сборник материалов докладов. Саров: РФЯЦ-ВНИИЭФ, 2008. - с. 408411.

70. Официальный сайт фирмы «The Math Works, Inc.». Электронный ресурс]. URL: http://www.mathworks.com (дата обращения 26.10.2009).

71. Карловский Д.В. Формирование нейрокомпьютерного интерфейса не основе РЗОО. // Биомедицинские электронные системы: Сборник научных трудов. М.: МИЭТ, 2007. - с. 113-125.

72. Shevelev I.A., Mikhailova E.S., Chicherov V.A., Konishev V.A., Karlovskiy D.V. Spatial gradient of P300 in the brain-computer-interface paradigm. // International Journal of Psychophysiology, 2008, pp. 181.

73. Официальный сайт фирмы «Нейроботикс». Электронный ресурс]. URL:www.neurobotics.ru (дата обращения 26.10.2009).

74. Карловский Д.В., Конышев В.А., Селищев С.В. Нейрокомпьютерный интерфейс на основе РЗОО. // Медицинская техника №1,2007, с 28-32.

75. Карловский Д.В., Романов Д.Е., Вавакина Е.В. Нейрокомпьютерный интерфейс на основе РЗОО. // XX съезд Физиологического общества им. И.П. Павлова: Тезисы докладов- М.: Издательский дом «Русский врач», 2007. с. 258.