автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Идентификация музыкальных объектов на основе непрерывного вейвлет-преобразования

На правах рукописи Фадеев Александр Сергеевич

ИДЕНТИФИКАЦИЯ МУЗЫКАЛЬНЫХ ОБЪЕКТОВ НА ОСНОВЕ НЕПРЕРЫВНОГО ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ

Специальность 05.13.01 Системный анализ, управление и обработка информации (отрасль: промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Томск — 2008

003453040

Работа выполнена на кафедре Автоматики и компьютерных систем Государственного образовательного учреждения высшего профессионального образования «Томский политехнический университет».

Научный руководитель: доктор технических наук, профессор

Цапко Геннадий Павлович

Официальные оппоненты: доктор технических наук, профессор

Гончаров Валерий Иванович

кандидат технических наук, доцент Конев Антон Александрович

Ведущая организация: Государственное образовательное

учреждение высшего профессионального образования «Новосибирский государственный технический университет», г. Новосибирск

Защита диссертации состоится 10 декабря 2008 г. в 14:30 на заседании совета по защите докторских и кандидатских диссертаций Д 212.269.06 при Томском политехническом университете по адресу: г. Томск, ул. Советская, 84, институт «Кибернетический центр» ТПУ.

С диссертацией можно ознакомиться в Научно-технической библиотеке Томского политехнического университета по адресу: г. Томск, ул. Белинского, 55.

Автореферат разослан « ноября 2008 г.

Ученый секретарь Совета кандидат технических наук, доцент СонькинМ.А.

Общая характеристика работы

В современных мультимедийных системах для хранения и обработки музыкальных произведений используются различные форматы. Большинство форматов музыкальных произведений можно классифицировать на амплитудно-временные и объектные. К амплитудно-временным форматам относятся сигналы в аналоговом виде и цифровые форматы импульсно-кодовой модуляции сигнала. К объектным форматам относятся форматы нотных записей и такие, как форматы, основанные на цифровом интерфейсе музыкальных синтезаторов MIDI (Musical Instrument Digital Interface). Форматы MIDI, так же как и нотная запись, позволяют описать ноты как объекты музыкального произведения с определенным набором свойств и отношений между ними.

В соответствие двум классам форматов введено и два типа преобразований музыкальных сигналов между ними. В настоящее время задача получения амплитудно-временных форматов музыкальных произведений по существующим объектным решена, и это решение активно используется, например, при звукозаписи произведений, исполняемых оркестром по нотам.

Актуальность работы обусловлена потребностью отдельных отраслей промышленности в автоматизированном получении объектного формата многоголосной мелодии по амплитудно-временному. Далее в работе эта задача названа задачей идентификации музыкальных объектов. Идентификация востребована в современной индустрии разработки программно-аппаратных средств, требующих графического и аудио-оформления событий пользовательского интерфейса. Малый объем файлов MIDI-формата позволяет включать элементы музыкального оформления без существенного увеличения физического объема разрабатываемых программных продуктов и требований к аппаратной части ЭВМ. Также высокую потребность в автоматизированных системах идентификации музыкальных объектов испытывают производители систем караоке, и отрасли промышленности связанные с реставрацией звукозаписей, нотным представлением игры виртуозов-исполнителей и композиторов, уменьшением объемов звуковых данных, процессом обучения и др.

К настоящему моменту было предпринято большое количество попыток автоматизировать процесс идентификаций мелодий музыкальных произведений и формирования по ним объектных форматов. Среди таких систем стоит отметить системы Мартинса JI. (Martins £.), Серафина С. (Serafín S.), Фуджишима Т. (Fujishima Т.), Левью П. (Leveau Р.), Эмия В. (Emiya V.) и др. Несмотря на высокие показатели работы систем в отдельных режимах, все они обладают существенными ограничениями в применении к реальным сигналам.

Некоторые авторы (Райен С. (Rein S), Рейслин М. (Reisslein А/.), Ливингстон Дж. (Livingston J.) и др.) предлагают использовать аппарат непрерывного вейвлет-преобразования (НВП) в качестве математического аппарата, позволяющего сформировать амплитудно-частотно-временное представление сигнала. Затем на основании наборов гармоник в каждый момент времени предлагается установление соответствия одному из тембральных базисов музыкальных инструментов и идентификация частотно-временных параметров объекта-ноты. Однако в качестве базиса НВП они используют стандартные вейвлет-функции. Применение же искусственно созданных базисов НВП на основе звучания музыкальных инструментов должно no-¿ зволить настраивать само НВП на идентификацию нот музыкальных инструментов с'

теми же частотными свойствами, что и свойства базиса. Определение наличия таких возможностей потребовало исследований в области НВП в аспекте эффективности и целесообразности его применения для идентификации музыкальных объектов.

Целью диссертационной работы является идентификация объектов-нот одно- и многоголосных мелодий отдельных музыкальных инструментов, а также идентификация партий определенных музыкальных инструментов на фоне звучания остальных в звукозаписи музыкальных произведений с использованием модификаций аппарата непрерывного вейвлет-преобразования.

Для реализации цели работы были поставлены следующие задачи исследования:

1. Провести анализ характеристик музыкальных сигналов, способов их описания, форм представления, форматов записи и возможных преобразований.

2. Провести обзор и анализ существующих систем распознавания музыкальной информации.

3. Оценить целесообразность применения НВП к идентификации музыкальных объектов, выявить технические границы возможностей его применения.

4. На основе проведенного анализа внести изменения и дополнения к аппарату НВП, позволяющие формировать базис НВП с заданными избирательными способностями. Разработать алгоритм повышения информативности результатов НВП, позволяющий автоматизировать дальнейшую обработку сигнала в среде искусственной нейронной сети (ИНС).

5. Модифицировать ИНС с прямой передачей типа «Л/ахМ?/» для решения задачи классификации музыкальных сигналов. Обеспечить возможность задания степени полифонической идентификации сети за счет изменения числа скрытых слоев.

6. Реализовать разработанные подсистемы в виде программно-технического комплекса. Разработать механизмы сопряжения форматов входных и выходных сигналов с применяющимися в настоящее время в мультимедийных системах.

7. Провести качественную и количественную оценку работы отдельных компонентов и системы в целом.

Методы исследования: методы статистической обработки результатов экспериментов; непараметрические методы идентификации; метод графо-аналитического исследования интерпретаций сигналов; метод слухового анализа музыкальных сигналов; методологии разработки и тестирования программного обеспечения. Научная новизна работы:

1. Предложен метод формирования частных вейвлет-функций заданной избирательности, использующий фрагмент сигнала одной ноты различных музыкальных инструментов.

2. Обоснован способ формирования базисного вейвлета для задачи идентификации объектов в музыкальном произведении, заключающийся в формировании вейвлета на основе 16 периодов основного тона ноты «Ля субконтроктавы» музыкального инструмента.

3. Предложен способ изменения масштабного коэффициента НВП, заключающийся в формировании значений частоты вейвлетов, соответствующих частотам 96 тонов европейского равномерно темперированного строя музыки, что

4.

5,

1.

2,

3.

4,

5.

6.

1,

2.

3.

4,

5,

6.

позволило создать систему автоматизированной идентификации музыкальных объектов с диапазоном распознаваемых нот, составляющим 8 октав. Разработан алгоритм повышения информативности результатов НВП, использующий наложение секущих на их частотные срезы с длиной, обратно пропорциональной значению частоты вейвлета текущего масштаба. Для ИНС прямой передачи «Л/согЛ'е/» с прямыми связями предложено в качестве настроечного параметра использовать число слоев сети. Изменение числа слоев ИНС позволило изменять степень полифонической идентификации системы в целом.

Практическая значимость работы:

Разработан метод идентификации одноголосных и многоголосных мелодий с количеством одновременно звучащих двух и более нот.

Разработан пакет прикладных программ, реализующих алгоритм непрерывного вейвлет-преобразования для сигналов и вейвлетов, представленных решетчатыми функциями. Пакет позволяет в качестве варьируемых параметров использовать частотно-временное окно исследования сигнала, базисный вейвлет, методы изменения коэффициентов НВП.

Программно реализован алгоритм повышения информативности результатов НВП в системах автоматизированной обработки.

Разработана программа, имитирующая работу ИНС поиска максимумов с варьируемым числом слоев.

На базе персонального компьютера реализован программно-технический комплекс, включающий программные реализации НВП, ИНС, других алгоритмов и методов, описанных в работе, и ряда коммерческих программных продуктов.

Разработаны формальные показатели оценки качества систем идентификации музыкальных объектов.

Основные положения диссертации, выносимые на защиту: Метод формирования материнских вейвлетов заданной избирательности. Метод формализации и дискретизации НВП в задаче идентификации объектов музыкальных произведений с целью уменьшения вычислительной избыточности.

Способ изменения масштабного коэффициента при формировании семейства вейвлет-функций, позволяющий классифицировать музыкальные объекты в соответствии с 96 полутонами европейского равномерно темперированного строя музыки.

Метод повышения информативности результатов НВП путем использования секущей на интервалах, кратных периоду гармонических составляющих сигнала.

Метод изменения степени полифонической идентификации ИНС путем варьирования числа скрытых слоев сети.

Структура и элементы программно-технического комплекса идентификации музыкальных объектов.

Личный вклад соискателя заключается в проведении теоретических иссле-ий, их практической реализации, получении основных результатов, изложен-

ных в работе, их объяснении и интерпретации, авторском сопровождении при внедрении.

Сведения об апробации результатов диссертации:

Основные результаты диссертации были доложены на XII международной научно-практической конференции студентов и молодых ученых «Современные техника и технологии» (Томск, 2006 г.); международной открытой научной конференции «Современные проблемы информатизации в моделировании и программировании» (Воронеж, 2006 г.); IV, V и VI Всероссийских научно-практических конференциях студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» (Томск, 2006 — 2008 гг.).

Внедрения:

Результаты работы были использованы при выполнении проекта внедрения системы идентификации музыкальных объектов в ООО Группа компаний «Интант» (г. Томск) и ООО «Тропикана» (г. Томск).

Результаты используются при выполнении научных исследований и выпускных квалификационных работ студентов кафедры автоматики и компьютерных систем Томского политехнического университета.

Сведения о публикациях по теме диссертации:

По теме диссертации опубликовано 9 работ. Из них 4 статьи — в журналах и 5 — в сборниках трудов конференций. 3 статьи опубликованы в ведущих рецензируемых журналах, рекомендованных Высшей аттестационной комиссией Министерства образования и науки Российской Федерации.

Структура диссертации, ее объем:

Диссертация состоит из введения, четырех глав, заключения, приложения и списка цитируемой литературы. В работе содержится 180 страниц печатного текста, 93 рисунка, библиография из 118 наименований на 12 страницах. Общий объем диссертации составляет 191 страницу.

Содержание работы

Во введении приводится обоснование актуальности работы, определяются цели и задачи исследования, научная новизна полученных результатов и их теоретическая и практическая значимость, формулируются положения, выносимые на защиту, приводятся основные характеристики работы.

Первая глава посвящена вопросам изучения предметной области: музыкальному сигналу, его форматам, описаниям и преобразованиям, формализации задачи идентификации музыкальных объектов. В главе вводятся основные понятия и термины, используемые в работе.

Музыкальным сигналом называется сигнал, полученный из звуков музыкальных инструментов путем аудиозаписи, воспроизведения ранее записанного сигнала, генерацией или иным способом. Наименьшей составляющей музыкального сигнала является звуковой объект — нота (О,) одного музыкального инструмента. Каждая нота О, обладает набором свойств: тон (/и), тембр, определяемый музыкальным инструментом (к), время начала звучания (0), продолжительность (6>), громкость (А): ОгСКА,, т„ 0„ в, /с,).

Совокупность нот О одного инструмента к, образует партию. Партию, исполненную на одном музыкальном инструменте, называют мелодией. Совокупность партий разных инструментов образует партитуру. Партитура музыкального произ-

ведения О содержит описание всех нот всех музыкальных инструментов 0={01, О2, ...О,,... Оц}. О представляет собой музыкальное произведение в объектном виде. Для музыкального произведения также характерны темп (скорость следования метрических счетных единиц) и степень многоголосности (полифонии) — максимальное количество нот, присутствующих в звучании одновременно.

Тембр ноты определяется музыкальным инструментом и отражается на ее амплитудно-частотном спектре (рисунок 1). В спектре ноты присутствует основная гармоника наибольшей амплитуды, определяющая тон ноты и ряд обертонов на кратных частотах выше основного тона. Исследования амплитудно-частотных характеристик показали, что для музыкальных инструментов, звучание которых производится свободными колебаниями (гитара, фортепиано, колокольчик, скрипка пиццикато и др.), амплитуда обертонов значительно меньше амплитуды основного тона, и их общее количество относительно невелико. Однако для музыкальных инструментов, звучание которых формируется автоколебаниями под действием сторонней силы (орган, труба, скрипка и др.), амплитуда и общее количество обертонов значительно превышают амплитуду и количество обертонов музыкальных инструментов со свободными колебаниями.

Сигналы большинства музыкальных инструментов, представленные в амплитудно-временном формате, обладают свойством автомодельности. Это свойство позволяет из временной функции одной (базовой) ноты и0(О определенного музыкального инструмента получить временную функцию любой другой ноты /7,(0 {с требуемой частотой основного тона) этого же музыкального инструмента масштабированием функции п0Ц): «,(/) = п0(//т,), где т, — коэффициент масштабирования, / — положение ноты п,{1) по высоте относительно ноты п0({). Для равномерно темперированного строя европейской музыки т, =212, 1=0,±1,±2.... Это свойство применено во всех современных музыкальных синтезаторах, использующих метод волнового табличного синтеза.

В общем виде для формирования амплитудно-временного формата ДО музыкального произведения музыкальный синтезатор использует музыкальное произведение в объектном виде О и базис — набор базовых нот Лго={ио*(0} Для всех к-инструментов: /(¡) = Т(Ыа,о). Здесь Т— аналог математического оператора, выполняющий прямое преобразование музыкального сигнала из объектного О в амплитудно-временной формат/(/). Процесс звукозаписи оркестра, исполняющего музыкальное произведение по нотным партитурам, представляет собой прямое преобразование: в качестве объектного формата О используется нотная запись, базис Ы0 образуют музыкальные инструменты. Формируемая звукозапись представляет собой амплитудно-временной формат произведения.

Аналогично прямому Т, введем и обратное преобразование (Т'') амплитудно-временного формата музыкального сигнала ДО в объектный О: О = Г~1(/(0,№0). В результате обратного преобразования из музыкального сигнала ДО на основе базовых нот Л'о формируются объекты 0,=0(А„ т„ в„ 0, к,). Решение задачи обратного

-Ь-11 --Т г —(--

- г!:": . т -- -- - -

к к *Ч I 11_ !

• |

Л ж т Иг 4,- 4 - X

Рисунок 1 — Амплитудно-частотный спектр звука ноты фортепиано

преобразования представляет собой решение задачи идентификации музыкальных объектов.

В мировой практике в основном используются качественные (субъективные) показатели оценки идентификации музыкальных композиций. Для комплексной оценки обратного преобразования ТЛ был предложен ряд показателей: относительное количество распознанных нот ЛЯ>, относительное количество нераспознанных нот ДКн, относительное количество нот, совпавших в распознаваемом и оригинальном произведениях АКс, среднее относительное отклонение времени начала звучания каждой ноты АО, среднее относительное отклонение времени продолжительности звучания каждой ноты Д<9.

Однако музыкальные произведения как произведения искусства принято оценивать качественно. В некоторых случаях качественные и количественные оценки сильно расходятся. Например, разница в продолжительности звучания нот слушателем может быть не замечена, однако в количественном эквиваленте отражена.

Обзор систем идентификации объектов музыкального сигнала показал, что существуют методы, которые обеспечивают высокие показатели при идентификации отдельных звуков. Однако при применении этих методов к более сложным задачам сегментации многоголосных фрагментов мелодий, в которых звучит больше одной ноты (созвучия, аккорды), или идентификации партий отдельных инструментов на фоне звучания других, показатели значительно ухудшаются. Кроме того, высокие показатели в искусственной среде значительно снижаются при обработке естественных сигналов, используемых в мировой практике обработки звука.

Тенденции последних лет в разработке систем идентификации музыкальных сигналов ведут к популяризации методов, способных идентифицировать составляющие сигнала в два этапа, без разделения сигнала на временные компоненты:

1) классификация присутствующих в музыкальном сигнале объектов по классам

музыкальных инструментов;

2) идентификация параметров каждого отдельного объекта-ноты.

В решении задачи классификации музыкальных инструментов предлагается использовать базу данных об их тембральных образах. Большинство современных разработок предлагает использовать амплитудно-частотно-временные образы звучания нот музыкальных сигналов. Решения о соответствии конкретного тембрального образа сигналу производятся на основании их сравнения в амплитудно-частотно-временном представлении (АЧВП).

Переход от амплитудно-временного представления к АЧВП осуществляется методами оконного и быстрого преобразований Фурье, частотной фильтрации, методами вейвлет-преобразований и др.

Само сравнение АЧВП сигнала с АЧВП образа музыкального инструмента, принятие на его основе решения, а также решение задачи идентификации параметров каждого отдельного объекта (ноты) производятся, как правило, эвристическими алгоритмами и искусственными нейронными сетями.

В диссертационной работе для перехода к АЧВП музыкального сигнала принято решение применить достаточно гибкий и перспективный аппарат НВП. Особенностью предлагаемого подхода является использование не стандартных, а искусственно сконструированных из сигналов отдельных музыкальных инструментов вейвлетов.

Вторая глава посвящена описанию специфики непрерывного вейвлет-преобразования, возможностей его применения в практических задачах и задачах анализа музыкальных сигналов, представлению и интерпретации результатов.

Вейвлет-преобразования на сегодняшний день являются достаточно мощным инструментом исследования структуры нестационарных данных. Вейвлеты получили применение при решении широкого круга задач, связанных с подавлением шумов, сжатием больших объемов информации, анализом изображений, синтезом сигналов и т.д. С ростом возможностей вычислительной техники вейвлет-преобразования приобрели большое значение в различных областях науки. К возможностям вейвлет-преобразования можно отнести способность определять мгновенную амплитуду, фазу и частоту периодических компонент нестационарных широкополосных сигналов.

НВП сигнала^*) состоит в его разложении по некоторому базису, сконструированному из функции базисного вейвлета посредством ее масштабирования и сдвигов вдоль оси времени:

Здесь [^н/](т,5) — коэффициенты преобразования, 5 — масштаб вейвлета, г — параметр смещения вейвлета вдоль оси времени, символом «*» обозначена операция комплексного сопряжения. Выбор базисной функции и>(/) и формируемого на ее основе семейства вейвлетов 1сп(/) = |.г|л'2и^-—^ определяется целями исследования. С

помощью выбора базисных вейвлет-функций можно добиться выявления требуемых свойств рассматриваемого сигнала. Выбор осуществляется эмпирически.

Высокую популярность получил вейвлет Хаара. Наиболее часто этот вейвлет применяется в системах дискретного вейвлет-преобразования, фильтрации, сжатия аудио- и видеосигналов (рисунок 2, а). В системах непрерывных преобразований, как правило, применяются вейвлеты, имеющие аналитические выражения, легко интегрируемые и дифференцируемые численными методами. К таким вейвлетам относятся вейвлеты Гауса, Морле, Добеши и др. (рисунок 2, б, в). Аналитическое выражение для вейвлета Морле имеет вид: ^Моги (/) = е~' ^ со$(5/).

а)

-1

0,5 1 ^с

40' к

в) Л

V V *

Рисунок 2 — Вейвлеты: а) Хаара; б) Добеши первого порядка; в) Морле Базисные вейвлеты должны удовлетворять ряду требований:

• частотной локализации: й>((о) —»0, при со —>оо;

• временной локализации: м'(г)—+0, при >«;

нулевого среднего: 0;

ограниченности энергии:

§w(t)f dt < со.

• кусочной непрерывности;

• автомодельное™.

Функции, удовлетворяющие этим требованиям, могут быть использованы в качестве базиса вейвлет-преобразований.

Результатом НВП является поверхность IV(t,s), отражающая степень корреляции конкретного вейвлета w„ (i) из одного семейства с функцией сигнала /(i). Однако W(t,s) может интерпретироваться как АЧВП ут"---.. сигнала. Многие базисные вейвлеты обладают щг,s)f ' Jji узким (локализованным) частотным спектром г- . it ям ja,..-^ <р(со) вокруг основной частоты а>0- При масшта- а 7 ешН > #.. ТЮш / бировании таких вейвлетов параметром s изме- ,/ . "ЛвМи * % няется и значение основной частоты (os-s-coa, / ¿шШИЯШ :. mHF/ где Юо — основная частота вейвлета wB (г) при : 'г s=l. Параметр т определяет смещение вейвлета вдоль оси времени С в абсолютных единицах времени. В массиве результатов НВП W(s,t) параметр т можно заменить на переменную времени t, а параметр s — на отношение s=coJa>o- Если величина со0 для конкретного базисного вейвлета известна, то результаты НВП (V(oj„t) могут быть представлены как в пространстве W-s—t, так и в пространстве частота-время: W-cos—t. При графической интерпретации результатов на плоскости cos-t ось t представляет собой ось времени, а ось cos — ось относительной частоты (сos-s-u>o)■ При интерпретации результатов НВП в пространстве W-cos-t ось W представляет собой ось значений НВП в каждой точке ws=s-(o0, и t= г (рисунок 3).

Переход к частотно-временной плоскости при построении графических изображений по значениям W(r,s) позволяет проследить за поведением частотных составляющих сигнала в каждый момент времени на интервале наблюдения. На рисунке (рисунок 4) приведена амплитудно-частотно-временная характеристика сигнала модельной системы J(t)=p(t)+h(t). В состав сигнала fif) входит «полезный» сигнал p{t), частота которого по закону расхо-

Рисунок 3 — Представления результатов НВП для сигнала /(/) = 8т(2500+зт(ЗООг): а) объемная фигура (скалограмма); б) карта проекций изолиний; в) результат сглаживания

Рисунок 4 — Графическая интерпретация результатов НВП для сигнала Д/)=р(/)+й(/) дящегося колебательного процесса (сигнал частотно модулирован расходящимися колебаниями). В начальный момент времени частота сигнала р(() составляет 400 Гц.

(iip(t) изменяется

В исследуемом сигнале А/) также присутствует сигнал помехи К(). Частота сигнала помехи на всем интервале наблюдения постоянна о_>/,(7)=50с~ .

НВП сигнала позволяет построить графическое представление

результатов НВП Щт,х) (рисунок 4).

В работе приводятся примеры графической интерпретации НВП ряда сложных модельных сигналов, а также НВП реальных сигналов солнечной активности и электрических сигналов радиоволн. Широкие возможности графической интерпретации результатов вейвлет-преобразований позволяют выполнять анализ частотно-временной структуры сигнала и принимать решения относительно частотной динамики сигнала. Однако само НВП не решает задач идентификации и принятия решений и требует дальнейшей обработки результатов другими системами.

Третья глявя представляет собой описание основных теоретических и практических исследований в области адаптации математического аппарата НВП к задачам идентификации музыкальных объектов.

Для исследования влияния формы материнского вейвлета на результат НВП был проведен ряд экспериментов с использованием модельного сигнала ^(0 = вт(2 ■ я • 25 • <) + зт(2 ■ ^ • 120 • <) и стандартных вейвлет-функций Хаара, Добеши, Гауса, Мейера, Морле и др. Установлено, что схожесть частотных спектров исследуемого сигнала и вейвлет-функции дает наилучшую частотную локализацию гармонических составляющих сигнала в массиве выходных значений Щт,х). И наоборот, для получения наилучших результатов при использовании НВП следует выбирать материнский вейвлет таким образом, чтобы его амплитудно-частотная характеристика была как можно ближе к амплитудно-частотной характеристике элементарных составляющих сигнала.

Было сделано предположение, что дальнейшее повышение информативности результатов возможно при абсолютном совпадении вейвлет-функции и исследуемого сигнала в каждый момент времени. Так как в основе НВП лежит корреляция сигнала ДО и вейвлета

*>,(/) = »[-]: И£(г)= то значе-

/ -со

ния Щ,(т) будут максимальным для таких г, при которых функции Д/) и м\(/-т) равны: г). Такое равенство может быть обеспечено при применении вейвлет-функции, сформированной из локального участка исследуемого музыкального сигнала: и\(/)= Д/+т). Для задачи идентификации нот музыкального инструмента материнский вейвлет формируется из локального участка функции сигнала базовой ноты этого инструмента п0(1): >е(0= >?о(/+/о), 0 < ( < Г (рисунок 5).

Для соответствия требованиям, предъяв-

ит

к А й Л

\т '

| ' I 1

И м

Рисунок 5 — Функция И0(0 и сформированный на основе ее фрагмента вейвлет м'(0

ляемым к базисным вейвлетам при выборе значений /0 и Т, необходимо использовать периодический участок сигнала п0(>) с нулевыми начальным и конечным моментами

т+1,

и0(?о)=0 и «о(7,+го)=0, такой, чтобы \п0(Г)Ж = 0. Кроме того при / г [О,Т].

'«

Для оценки избирательной способности создаваемых вейвлетов были созданы базисные вейвлеты из сигналов некоторых музыкальных инструментов (скрипка, скрипка пиццикато, орган, колокольчик, фортепиано, труба и др.). Каждый из сформированных вейвлетов был использован в НВП с каждым из сигналов тех же музыкальных инструментов.

Анализ графических интерпретаций полученных значений Щг,я) позволил разделить исследуемые сигналы на две группы: группу музыкальных инструментов со свободными колебаниями и группу музыкальных инструментов с автоколебаниями. Результаты НВП сигналов музыкальных инструментов со свободными колебаниями содержали четко выраженную основную гармонику исследуемого сигнала на всем временном интервале, что соответствует наличию одной ноты в исследуемом интервале времени (рисунок 6).

Рисунок 6 — Результаты НВП: а) сигнал — звук колокольчика, материнский вейвлет — вейвлет-колокольчик; б) сигнал — звук гитары, материнский вейвлет — вейвлет-гитара

При НВП сигналов музыкальных инструментов с автоколебаниями с применением различных вейвлетов (из обеих групп) идентифицировать частоту основной гармоники на фоне остальных удавалось только в случае применения к сигналу одноименного вейвлета. В остальных случаях, как показывают графические интерпретации НВП (рисунок 7), амплитуда основной гармоники равна или значительно меньше амплитуд других частотных составляющих.

Рисунок 7 — Результаты НВП: а) сигнал — звук органа, материнский вейвлет — вейвлет-орган; б) сигнал — звук трубы, материнский вейвлет — вейвлет-скрипка

Эксперимент показывает способность выявления объекта (ноты определенного инструмента) в музыкальном фрагменте при помощи одноименного вейвлета. I Причем НВП выявляет не частотные составляющие (набор и поведение гармоник) в сигнале, а частоту основной гармоники самого сигнала (следовательно, и тон ноты музыкального инструмента), его временное положение и длительность. Тогда как стандартные вейвлеты позволяют получить лишь представление об изменениях частотных составляющих сигнала во времени, а не об объектах — нотах определенного инструмента в целом.

Одним из свойств базисного вейвлета, определяющего его избирательную ! способность, является его локализация в частотной и временной областях. При НВП каждый вейвлет одного семейства (полученный из одного материнского вейвлета) образует частотно-временное окно конечного размера. Площадь окна для вейвлетов одного семейства на плоскости s~г всегда остается постоянной.

Однако в ходе проведения ряда экспериментов выяснилось, что при изменении самого вейвлета геометрические характеристики окна изменяются. Так, с увеличением количества периодов в материнском вейвле-те (а следовательно, и во всех вейв-летах семейства) окно вытягивается вдоль оси времени, сужаясь относительно оси масштабов, и наоборот, с уменьшением числа периодов в материнском вейвлете окно вытягивается вдоль оси масштабов s, сужаясь вдоль оси времени (рисунок 8).

С целью оценки разрешающей способности искусственно создаваемых материнских вейвлетов был проведен эксперимент. Целью эксперимента являлось определение количества периодов в вейвлете, позволяющего идентифицировать частотные масштабы т, всех нот, присутствующих в сигнале одновременно. В эксперименте использовано идеализированное трезвучие «до-мажор» первой октавы: /(/) = sin(2iг261,6/) + ««(2ж329,6/) + х/п(2яг392<).

Для исследования тестового сигнала были созданы материнские вейвлеты fwj(t). Количество периодов гармонического сигнала в вейвлетах составляло 1, 2, 4, 8 и 16 периодов соответственно (рисунок 9).

Результаты НВП сигнала ДО с каждым из созданных вейвлетов приведены на рисунке (рисунок 10). Визуальный анализ графических интерпретаций Щя,т) позволяет сделать вывод, что

вейвлет с одним периодом (N= I) позволил точно Рисунок 9 — Материнские определить локализацию сигнала во времени (от т0 вейвлеты с числом периодов до Ti), но в частотной области идентифицировать гармонического сигнала 1,2, три гармонических составляющих не представля- 4 и 16

Рисунок 8 — Окно частотно-временной локализации вейвлетов с числом периодов а) N=2 и б) N=8

ется возможным (высокое разрешение по времени, но низкое по частоте).

Вейвлет с 16 периодами (N=16) определил локализацию всех трех гармонических составляющих, однако ошибка временной локализации (Дт) стала сравнима с длительностью сигнала (высокое разрешение по частоте, но низкое по времени).

Кроме того, установлено, что уже при 16 периодах вейвлета НВП из-за низких временных показателей не позволяет идентифицировать длительность коротких нот (шестнадцатых) при достаточно больших темпах исполнения музыкальных произведений, характерных для танцевальных ритмов (120 уд./мин и выше). Дальнейшее увеличение числа периодов в вейвлете привело бы к еще более низким показателям, л*

А-1 НШ(1УШ1ИШУЙ1ШИ11ШЙ11ур{И

А—2

N=4

А—8

№=16

т0-Дт

т0

Т]+Дт

т

Рисунок 10

т0-Дт Т0 Т11 т^Дт

- Графические интерпретации результатов НВП для вейвлетов с различным числом периодов N гармонического сигнала

Для вейвлетов с числом периодов //=16 цГц

была произведена оценка способности идентифицировать временные составляющие ноты наименьшей длительности Было вычислено условие, задающее продолжительность Т

16

400 390

вейвлета во времени: >Г>--, где и — час-

и

тота основного тона идентифицируемой ноты. Зависимость и(^) (рисунок 11) определяет минимальную (граничную) частоту о основного тона ноты продолжительностью которая будет однозначно идентифицирована вейвлетом с 16 периодами. Так, для музы-

0,09

0.125

03 0,0+1

Рисунок 11 — Зависимость гранич-кальных композиций с темпом воспроизведе- ной частоты идентификации основно-ния 120 уд./мин точная идентификация време- го тона ноты от ее продолжительно-ни начала и окончания звучания ноты воз- сти

можна только для нот выше «до» большой октавы с частотой основного тона 130,8 Гц и длительностью не меньшей 0,125 с.

*A tfl

1шш il Dwnixii^ta j. .

Рисунок 12 — Наложение секущих F{t) на функцию /!(/) и формирование огибающей A'(t)

1

cons,

ш0 ■

основная час-

НВП основано на корреляции сигнала и вейвле-та, что порождает в результирующем массиве W(t,s) положительные, отрицательные и нулевые значения даже в тех частотно-временных участках, где сигнал присутствует явно. На рисунке это отображается чередованием светлых и темных пятен (рисунок 3, а и б). Для визуального анализа такое чередование не создает больших проблем, однако автоматизированная обработка результатов существенно осложняется.

В работе был предложен эвристический алгоритм, использующий для каждого масштабного коэффициента s, наибольшие значения секущих F(t) с длиной, равной периоду сигнала и вейвлета Т:

а(

т=

'/2

тота вейвлета w(s,z,t) при s-1; A'(t)=max[/t(i), F(t)}.

Применение этого алгоритма позволило сформировать амплитудные огибающие A'(t) (рисунок 12), сгладившие последовательности пиков в результатах НВП (рисунок 3, в).

Для уменьшения избыточности НВП было принято использовать в вычислениях дискретные значения параметра масштабирования s и параметра временного сдвига т.

Большинство современных мультимедийных форматов импульсно-кодовой модуляции (например, CDDA и Microsoft Waweform Data) сохраняют сигнал с частотой дискретизации v=44100 Гц. Поэтому целесообразно в исследованиях использовать частоту дискретизации v=44100 с'1 для сигналов и вейвлетов. Приращение параметра временного сдвига г принято равным минимально возможному значению —

периоду квантования сигналов: тк = А г = — = —!— с.

v 44100

В европейском хорошо темперированном строе частоты основных гармоник всех нот дискретизованы. Значения параметра масштабирования s должны строго соответствовать частотам основных тонов и могут быть и

описаны аналитически: s, = 27.5 -2п. Здесь 27,5 — частота ноты «ля» субконтроктавы (Гц) и частота основного тона базисного вейвлета, а i = [l, 9б] — порядковый номер ноты относительно ноты «ля» субконтроктавы (например, номер клавиши фортепиано). Соответственно количеству частотных уровней sh в выходном массиве WJ[r,s) количество частотных уровней S =96. Это значение обусловлено наибольшим значением нот, которое способен воспроизвести музыкальный инструмент.

НВП, осуществляя преобразование сигнала, не решает задач идентификации. Визуально выявляемые в сигнале образы нот необходимо идентифицировать при помощи автоматизированного компонента.

«

Рисунок 13 — Структура ИНС MaxNet

В качестве такого компонента была выбрана стандартная искусственная нейронная сеть (ИНС) прямой передачи МахМе1 (рисунок 13). Сеть функционирует таким образом, что в установившемся режиме в выходном слое ненулевое значение присутствует на выходе только одного нейрона. Значение на выходе сети соответствует максимальному входному значению. Сеть состоит из множества нейросетевых компараторов и имеет число слоев п = / +1, где I — количество входных сигналов. Для/=128 п= 15.

Однако сеть не способна выявить больше одного локального максимума и не может использоваться при идентификации нескольких нот, звучащих одновременно.

В связи с этим было принято решение модифицировать ИНС. Модифицированная ИНС состоит из множества нейросетевых блоков сравнения (рисунок 14), включенных на каждом слое параллельно и осуществляющих выбор сигнала максимального значения из поданных на вход каждого блока. На выходе У, каждого ней-росетевого блока сравнения формируется сигнал равный Х„ если X, > Х^,. На втором выходе У3., формируется нулевое значение сигнала. Так, на выходе У| установится значение сигнала У] =Х\ тогда и только тогда, когда Х\ > Хг.

Рисунок 14 — Структура модифицированной ИНС МахНа

стр(Х„М М,к\ =

Передаточная функция нейронов стр имеет вид в общем случае: Х1, если Мц <Х,и М1к < Х1 О, если Л/ц > X, или М1к > X'

где X, — вход в блок сравнения, У, — соответствующий X, выход блока сравнения, М={МцМа} — набор выходных сигналов соседних нейронов выбора сигналов максимального значения (Му-тах(Хь Х,)).

Число слоев для модифицированной сети поиска максимумов определяется по /

формуле: п = —, где / — число входов, п

число слоев ИНС.

Модифицированная сеть поиска максимумов обладает рядом особенностей. Сеть избыточна. Количество слоев п модифицированной сети больше количества слоев сети МахпеХ.

Количество нейронов N во всех слоях одинаково, N = 2-1, структура всех слоев идентична, что делает возможным реализовать сеть с помощью процедур на алгоритмических языках для ЭВМ с архитектурой Фон-Неймана, а не для нейронных компьютеров.

Количество ненулевых сигналов У на выходе неполной сети зависит от коли/

чества слоев сети и определяется по формуле: £

и + 1

, где Е(х) — функ-

ция, определяющая целую часть числа х.

Для обработки результатов НВП музыкальных сигналов многоголосных мелодий в задачах идентификации амплитудно-частотных составляющих объектов-нот ИНС использует число входов и выходов /=96. На вход сети подаются значения частотного среза т, соответствующие состоянию музыкального сигнала в момент времени г:

В результате работы ИНС на выходе сети формируется массив значений К(л:) с числом ненулевых значений сигналов У'. Число слоев п является настроечным параметром сети, позволяющим изменять степень полифонической идентификации ИНС.

Изменение количества слоев п ИНС приводит к изменению минимально возможного интервала р между двумя ненулевыми выходными значениями сети: р-п + 1. Этот интервал характеризует количество полутонов между двумя нотами, звучащими одновременно. Так, например, для сети с п=6 число ненулевых значений сети У-13, а минимальный музыкальный гармонический интервал, определяемый сетью, — квинта с числом полутонов р=7.

Четвертая глава работы содержит описание программно-технического комплекса и его практического применения к задачам идентификации музыкальных объектов. Основу комплекса представляет НВП и ряд алгоритмических решений, предложенных в третьей главе работы.

ПТК состоит из трех модулей и позволяет выполнять прямое преобразование сигнала, обратное преобразование, а также осуществлять контроль над сигналами на каждой стадии обработки (рисунок 15).

Л0_________

I

0

1

Модуль формирования музыкального сигнала

Модуль математических преобразований

Wf\x, s)

Рисунок 15 — Структура программно-технического комплекса ПТК использует амплитудно-временное представление музыкального сигнала fit) и f(t) в виде файлов Microsoft Waveform Data и объектное представление сигнала О и О' в виде файлов стандарта Standart Midi File.

Контур обратной связи (по О') используется для воспроизведения, отображения фрагментов или корректировки полученных М/£>/-объектов, а также для оценки качественных и количественных характеристик работы системы в целом.

Аппаратными компонентами комплекса являются персональный компьютер и А/Д>/-клавиатура Yamaha PSR-620. В качестве программных компонентов используются коммерческие программные продукты: Секвенсор Cakswalk Sonar 4.0, музыкальный синтезатор Yamaha S-YXG50, цифровой музыкальный процессор Sony Sound

Forge 7.0. и ряд разработанных программ, реализованных в средах Delphi 2007 for Win32 и MS Visual Studio.

Реализованные в работе программные компоненты выполняют функции НВП сигнала ДО с произвольным вейвлетом w(t), сглаживания выходных результатов НВП Wfljj) методом секущих, формирования графических изображений для Wf[t,s), идентификации частотных и временных параметров объектов и формирования файла О в формате SMF.

Апробация программно-технического комплекса проходила как на модельных сигналах, сформированных в объектном виде, так и на реальных фрагментах музыкальных произведений, представленных в формате решетчатых функций.

В качестве модельных были использованы одно- и многоголосные мелодии популярных композиций в MIDI-формате. При помощи музыкального синтезатора с каждым А//£У-сигналом О было произведено прямое преобразование /(*) = сигналы в амплитудно-временном формате ДО были представлены в виде файлов Microsoft Waveform Data. На основе базисной ноты музыкального инструмента по (t), используемого в мелодиях, формировался одноименный вейвлет wk(t).

Для идентификации нот в сигнале ДО осуществлялось обратное преобразование О'= T'(f(t), N0): сигнал ДО подвергался НВП с использованием вейвлета w (0, обработке алгоритмом наложения секущих и модифицированной ИНС. Полученный сигнал О' по цепи обратной связи (рисунок 15) передавался в секвенсор Cakewalk Sonar 4.0, где производились сравнение с оригинальным сигналом О (рисунок 16) и оценка качества работы комплекса в целом.

Рисунок 16 — Нотная запись мелодии «Мопеу-топеу-топеу» группы АВВА: а)

сигнала О; б) сигнала О'

Результаты экспериментов позволили выявить ряд особенностей системы.

1. Частотный диапазон распознаваемых объектов составляет 96 полутонов (8 октав) от ноты «ля» субконтроктавы до ноты «ля» пятой октавы.

2. При идентификации нот одноголосных мелодий для музыкальных инструментов, звук которых формируется автоколебаниями, относительное количество нот, совпавших в распознаваемом и оригинальном произведениях М"се[80, 90]%, среднее относительное отклонение времени начала звучания каждой ноты Лбе [10, 20]%; для музыкальных инструментов, звук которых формируется свободными колебаниями, Л/^е [95,100]%, Аве [1,2]%.

3. Степень полифонической идентификации системы составляет 3 — 4 голоса. При полифонии в четыре голоса, АКсе [80, 90]%, Аве [1, 5]% для музыкальных инструментов со свободными колебаниями и АКсе [50, 70]%, АОе [20, 40]% для инструментов с автоколебаниями. При идентификации мелодий с количеством одно-

временно звучащих нот больше четырех, АКС < 80% для инструментов со свободными колебаниями.

4. Количество идентифицируемых музыкальных инструментов составляет 16. Это количество соответствует количеству сформированных и опробованных в работе системы базисных вейвлетов (фортепиано, колокольчик, электропианино, скрипка, и др.). Количество вейвлетов музыкальных инструментов может дополняться новыми.

5. При идентификации звучания отдельного инструмента на фоне других для музыкальных инструментов, звук которых формируется автоколебаниями, АА"с=35%, для музыкальных инструментов, звук которых формируется свободными колебаниями, АКс=95%,

Заключение

В работе предложен и обоснован метод формирования частных вейвлет-функций (базисных вейвлетов и семейств на их основе). Показана возможность формирования базиса с заранее заданными частотно-временными свойствами и его применения в задачах анализа нестационарных сигналов. Предложена система изменения масштабного коэффициента семейства вейвлетов в НВП, позволяющая классифицировать музыкальные объекты в соответствии с 96 полутонами европейского равномерно темперированного строя музыки. Разработан алгоритм увеличения информативности результатов НВП, позволяющий применять их для дальнейшей автоматизированной обработки.

На основе искусственной нейронной сети MaxNct предложена модифицированная ИНС поиска максимумов с прямыми связями. Количество слоев сети предложено варьировать в качестве настроечного параметра степени полифонической идентификации системы в целом.

Разработан программно-технический комплекс, интегрировавший исследования в области НВП и ИНС. Комплекс позволяет решать задачи идентификации партии определенного музыкального инструмента с идентификацией в ней объектов-нот: их высотного положения и временных характеристик. Экспериментально доказана возможность идентификации партии полифонического исполнения одним инструментом (когда в каждый момент времени может звучать более одной ноты), а также партии одного инструмента на фоне звучания других.

Сформированы материнские вейвлеты шестнадцати музыкальных инструментов и сигналов несинусоидальной формы. Отработана методика формирования материнских вейвлетов, позволяющая получать определенный вейвлет для требуемого музыкального инструмента и сигнала с заданными характеристиками.

Разработаны пять программных приложений, выполняющих функции основных этапов идентификации музыкальных объектов. В процессе отладки программного обеспечения была расширена функциональность разработанных программных компонентов, получившая применение в задачах спектрального анализа в отраслях промышленности, не связанных с обработкой музыкальных сигналов.

Перечень публикации по теме диссертации 1. Фадеев, А. С. Метод преобразования форматов музыкальной информации [Текст] / А. С. Фадеев, Е. А. Кочегурова // Цифровая обработка сигналов. — 2007. — №3, —С. 46—51.

2. Фадеев, А. С Формирование вейвлет-функций в задаче идентификации музыкальных сигналов [Текст] / А. С. Фадеев // Известия Томского политехнического университета. — 2007. — Т. 311. — Jfe 5. — С. 81—86.

3. Фадеев, А. С. Подготовка результатов непрерывного вейвлет-преобразования к автоматизированной обработке [Текст] / А. С. Фадеев, Е. А. Кочегурова // Известия Томского политехнического университета. — 2006. — Т. 309. — № 7. — С. 32—35.

4. Фадеев, А. С. К вопросу о применении искусственных нейронных сетей и непрерывных вейвлет-преобразований в задачах распознавания музыкальных образов [Текст] / А. С. Фадеев // Информационные технологии моделирования и управления. — 2007. — Вып. 7 (41). — С. 790—794.

5. Фадеев, А. С. Применение вейвлегг-анализа в задаче исследования естественных радиошумов звукового диапазона ¡Текст] / А. С. Фадеев, И. А. Заикин // Молодежь и современные информационные технологии: Сборник трудов VI Всеросс. научно-практи. конф. студентов, аспирантов и молодых ученых, 26—28 фев. 2008 г. — Томск: СПб Графике, 2008. — С. 96—97.

6. Фадеев, А. С. Формирование базисного вейвлета в задачах анализа музыкальной информации [Текст] / А. С. Фадеев, Е. А. Кочегурова, И. А.Заикин И Молодежь и современные информационные технологии: Сборник трудов V Всеросс. научно-практ. конф. студентов, аспирантов и молодых ученых, 27 фев. — 1 мар. 2007 г.

— Томск: Изд-воТПУ, 2007, —С. 179—181.

7. Фадеев, А. С. Вейвлет анализ в задаче идентификации музыкальной информации [Текст] / А. С. Фадеев, Е. А. Кочегурова Н Молодежь и современные информационные технологии: Сб. трудов IV Всеросс. научно-практ. конф. студентов, аспирантов и молодых ученых 28 фев. — 2 мар. 2006 г. — Томск: Изд-во ТПУ, 2006.

— С. 149—151.

8. Фадеев, А. С. Выбор вейвлет-функций для анализа музыкальной информации [Текст] / А. С. Фадеев, Е. А. Кочегурова // Современные техника и технологии: Труды XII Междунар. научно-практ. конф. студентов и молодых ученых — г. Томск, 26—30 мар. 2007 г. — Томск: Изд-во ТПУ, 2006 — Т. 2. — С. 194—196.

9. Фадеев, А. С. К вопросу о преобразовании музыкальных форматов [Текст] / А. С. Фадеев, Е.А. Кочегурова // Современные проблемы информатизации в моделировании и программировании: Труды XI Междунар. открытой научн. конф. — г. Воронеж, нояб. 2005 г. — янв. 2006 г. — Вып. 11. — Воронеж: Научная книга, 2006. — С. 255—257.

Подписано к печати 06.11.2008. Тираж 125 экз. Кол-во стр. 20. Заказ № 118 Бумага офсетная. Формат А-5. Печать RISO. Отпечатано в типографии ООО «РауШ мбх» Лицензия Серия ПД № 12-0092 от 03.05.2001г. 634034, г. Томск, ул. Усова 7, ком. 046 тел. (3822) 56-44-54

ВВЕДЕНИЕ

ГЛАВА 1. МЕТОДЫ ИДЕНТИФИКАЦИИ ОБЪЕКТОВ МУЗЫКАЛЬНЫХ СИГНАЛОВ.

1.1 Форматы и преобразования музыкальных сигналов.

1.1.1 Амплитудно-временной формат.

1.1.2 Объектный формат.

1.1.3 Преобразования музыкальных сигналов.

1.1.4 Преобразование объектного формата в амплитудно-временной.

1.1.5 Преобразование амплитудно-временного формата в объектный.

1.1.6 Задача идентификации музыкальных объектов.33.

1.1.7 Выбор структуры системы идентификации музыкальных объектов

1.1.8 Оценка качества работы системы идентификации.

1.2 Музыкальный сигнал в задаче идентификации музыкальных объектов.

1.2.1 Характеристики музыкальных звуков.40,

1.2.2 Структура звука музыкального инструмента.

1.2.3 Классификации музыкальных сигналов.

1.2.4 Характеристики музыкального произведения.

1.2.5 Графические формы представления музыкальных сигналов.

1.3 Методы идентификации музыкальных объектов.

1.3.1 Обзор методов идентификации музыкальных объектов.

1.3.2 Психоакустические методы анализа музыкального сигнала.

1.4 Выводы по главе 1.

ГЛАВА 2. НЕПРЕРЫВНОЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАГШЕ В ЗАДАЧАХ ОБРАБОТКИ СИГНАЛОВ.

2.1 Введение в вейвлет-преобразоваиия.

2.1.1 Определение вейвлет-преобразовапия.

2.1.2 Разложение по вейвлетам.

2.1.3 Дискретное вейвлет-преобразование.

2.1.4 Непрерывное вейвлет-преобразование.

2.1.5 Обратное вейвлет-преобразование.

2.1.6 Свойства базисных вейвлетов.

2.1.7 Примеры базисных вейвлетов.

2.1.8 Выбор базисного вейвлета.

2.2 Интерпретация результатов непрерывного вейвлет-преобразов апия.

2.2.1 Представление результатов НВП на частотно-временной плоскости.

2.3 Графическая интерпретация результатов вейвлет-преобразований.

2.3.1 Скалограммы.

2.3.2 Карты проекций изолиний.

2.3.3 Скелетоны.

2.4 Примеры применения НВП в прикладных задачах.

2.4.1 Модельные сигналы.

2.4.2 Экспериментальные сигналы.

2.5 Выводы по главе 2.

ГЛАВА 3. АДАПТАЦИЯ МАТЕМАТИЧЕСКОГО АППАРАТА К ЗАДАЧАМ ИДЕНТИФИКАЦИИ МУЗЫКАЛЬНЫХ ОБЪЕКТОВ.

3.1 Исследования в области вейвлет-преобразования.

3.1.1 Влияние формы материнского вейвлета на результат НВП.

3.1.2 О необходимости формирования собственных материнских вейвлетов.'.

3.1.3 Алгоритм формирования базисного вейвлета заданной избирательности.:.-.-.:.-. .V. т.т.л.v.;v.:.т. ;;:.-.

3.1.4 Оценка избирательной способности сформированных вейвлетов

3.1.5 Выбор длины базисного вейвлета.

3.1.6 Формализация параметров НВП.

3.2 Подготовка результатов НВП к автоматизированной обработке.

3.2.1 Особенности корреляции сигнала и вейвлета.

3.2.2 Формирование результатов НВП в полуплоскости положительных значений.

3.2.3 Сглаживание результатов НВП методом секущих.

3.2.4 Применение НВП к непериодическим сигналам.

3.3 Применение искусственной нейронной сети в задаче идентификации музыкальных сигналов.

3.3.1 Принцип работы ИНС MaxNet.

3.3.2 Модификация сети MaxNet для решсиия задачи классификации звуковых сигналов.

3.3.3 Реализация модифицированной сети поиска максимумов.

3.4 выводы по главе 3.

ГЛАВА 4. РЕАЛИЗАЦИЯ ПРОГРАММНО-ТЕХНИЧЕСКОГО КОМПЛЕКСА ИДЕНТИФИКАЦИИ МУЗЫКАЛЬНЫХ ОБЪЕКТОВ.

4.1 Преобразования музыкального сигнала.

4.2 Программно-технический комплекс.

4.2.1 Модуль формирования музыкального сигнала.

4.2.2 Модуль математических преобразований.

4.2.3 Модуль идентификации и распознавания.

4.2.4 Контур обратной связи.

4.3 Практическое применение программно-технического комплекса в задачах идентификации музыкальных объектов.

4.3.1 Идентификация нот одноголосной мелодии.

4.3.2 Идентификация нот многоголосной мелодий.

4.3.3 Идентификация объектов отдельных инструментов.

4.3.4 Идентификация объектов аудиозаписи одного инструмента.

4.3.5 Идентификация объектов аудиозаписи двух инструментов.

4.4 выводы по главе 4.

Мир человека наполнен звуками различного происхождения. Среди них голоса людей и животных, звуки технологических приборов и агрегатов, звуки природных явлений, бытовой шум и т.д. Большую часть звуков человек производит сам или при помощи специальных устройств, к которым относятся и музыкальные инструменты. Музыка, создаваемая музыкальными инструментами, сопровождает человека с древних времен. В современном мире музыка составляет часть быта человека. Музыку можно услышать не только на концертах оркестров и ансамблей, но и по радио, телевидению, при помощи мультимедийных компьютеров и мобильных устройств.

Большинство людей, как правило, используют музыкальные произведения, сохраненные в виде фонограмм на цифровых или аналоговых носителях. Однако композиторы и музыканты используют различные формы объектного представления музыкальных произведений. Одной из форм представления музыкального произведения в объектном виде является нотная запись. Первые записи нот в виде объектов использовались в Древнем Китай, Египте и Древней Греции. В привычном виде нотная запись существует и используется с XVII в. [1, 2]. В современном мире цифровых технологий существуют несколько объектных форматов, но наибольшую популярность имеет формат MIDI {Musical Instrument Digital Interface — цифровой интерфейс музыкальных синтезаторов) [1]. Формат MIDI, гак же как и нотная запись позволяет описать ноты, как объекты музыкального произведения с определенным набором свойств и отношения между ними.

Объектные представления музыкальных произведений, как нотная запись и M/DZ-формат, обладают большим количеством достоинств, о чем свидетельствует их высокая популярность (например, практически все современные мобильные телефоны позволяют воспроизводить полифонические мелодии MIDI-формата). Объектные форматы позволяют выполнять редактирование отдельных партий музыкальных инструментов. Например, в объектном виде возможно изменение свойств отдельной, ошибочной, ноты; замена звучания одного инструмента другим и т.д. Объектные форматы музыкальных сигналов используется большинством систем «караоке», музыкальными синтезаторами, мультимедийными ЭВМ и программными музыкальными редакторами [1 ].

Музыкальные произведения в объектных форматах востребованы в современной индустрии разработки программно-аппаратных средств, требующих графического и аудио-оформления событий пользовательского интерфейса. Малый объем файлов MIDI-формата позволяет включать элементы музыкального оформления без существенного увеличения физического объема разрабатываемых программных продуктов и требований к аппаратной части ЭВМ. Музыкальное оформление отдельных событий позволяет значительно повысить информативность и привлекательность выпускаемых программных продуктов в целом.

Широкое применение объектных форматов музыкальных сигналов оставляет актуальной задачу создания музыкальной партитуры в объектном формате по имеющейся звукозаписи музыкального произведения (на аналоговом или цифровом носителе). Этот процесс связан с рядом особенностей [3]:

• Нотное письмо является достаточно сложным объектным аппаратом и требует высокой квалификации знаний от человека его использующего, что является большой проблемой для начинающих музыкантов.

• Время, затрачиваемое на формирование нотной записи, достаточно велико и требует от музыканта запоминания больших объемов информации, что может быть неприемлемым для композитора, впервые исполняющего произведение, особенно если произведение продолжительное и темп исполнения высокий.

• Даже если музыкальное произведение записано на каком-либо носителе, для его представлении в потном или объектном цифровом виде музыкант-аранжировщик вынужден на слух подбирать партии каждого музыкального инструмента, а затем воспроизводить их при помощи клавишного синтезатора или записывать нотным письмом. Например, каждая композиция системы караоке подбирается музыкантом на слух и имеет в своем составе в среднем 6 — 9 партий разных музыкальных инструментов со средней продолжительностью звучания 3 — 5 минут. • В объектном формате возможна реставрация аудиозаписей плохого качества тех музыкальных произведений, нотные партитуры которых были утрачены. По полученному объектному формату, музыкальное произведение может быть исполнено заново и записано на современные цифровые носители. Но процесс создания объектного формата реставрируемого произведения требует тех же человеческих ресурсов, что и процесс создания караоке-произведения.

Обоснование актуальности работы

Задача получения нотной записи многоголосной мелодии по звукозаписи музыкального произведения является высоко актуальной. Далее в работе такая задача носит название идентификации музыкальных объектов.

Кроме того, актуальной является и задача реализации системы, позволяющей в автоматизированном режиме идентифицировать одно- и многоголосные мелодии отдельных музыкальных инструментов, формируя нотную запись, а также идентифицировать партии определенных музыкальных инструментов на фоне звучания остальных.

К настоящему моменту было произведено большое количество попыток автоматизировать процесс идентификации нот мелодий музыкальных произведений и формирования по ним объектных форматов. Среди таких систем стоит отметить системы Мартинса JI. [55], Серафина С. [57], Фуджишима Т. [58] Jle-вью П. [59] Эмия В. [60] и др. Не смотря на высокие показатели работы систем в отдельных режимах, системы обладают существенными ограничениями в применении к реальным сигналам. Стоит отметить, что на современной мировой музыкальной эстраде автоматизированные системы идентификации музыкальных сигналов не получили применения из-за низких качественных и количественных показателей [3,4].

Большинство существующих систем идентификации раскладывают фрагменты музыкальных произведений в частотный ряд различными методами, а затем группируют локальные частотные экстремумы в наборы гармоник, на основании которых осуществляется установление соответствия тембральным образам музыкальных инструментов [55 — 72]. Однако такой подход показывает высокие результаты только при анализе музыкальных произведений, в каждый момент которых звучит только одна пота. При анализе фрагментов мелодий, в которых звучит больше одной ноты (созвучия, аккорды), частотные диапазоны гармоник отдельных нот пересекаются, и качественные характеристики систем значительно снижаются.

Кроме того, существующие системы не позволяют идентифицировать партию отдельного инструмента на фоне звучания других [4]. А музыкант, с соответствующей квалификацией, справляется с этой задачей весьма удовлетворительно.

Анализ работы музыкантов [3, 16] позволяет сделать вывод, что человек, при идентификации музыкального произведения, содержит в памяти образ (образец) звучания нот каждого инструмента. Наличие таких образов (образцов) позволяет с малой долей ошибок классифицировать партии каждого инструмента на фоне общей фонограммы и идентифицировать объекты-ноты каждой партии. А наличие отдельных обертонов (тонов по частоте выше основного тона звучащей ноты) человек, как правило, не слышит.

Такое наблюдение потребовало для реализации автоматизированной системы использования математического аппарата, позволяющего оперировать заранее заданными образами (образцами) нот музыкальных инструментов. Основным требованием к математическому аппарату было наличие способности выявлять схожие (с высокой степенью корреляции) с образцом фрагменты музыкального произведения на этапе формирования амплитудно-частотно-временной характеристики.

В качестве перспективного аппарата, позволяющего сформировать амплитудно-частотно-временное представление сигнала с использованием изменяемого базиса был выбран аппарат непрерывного вейвлет-преобразования

Вейвлет-преобразования на сегодняшний день являются достаточно мощным инструментом исследования структуры нестационарных данных [79 — 85]. Вейвлеты получили применение при решении широкого круга задач связанных с подавлением шумов, сжатием больших объемов информации, анализом изображений, синтезом сигналом и т.д. С ростом возможностей вычислительной техники вейвлет-преобразования приобрели широкое значение в различных областях науки. К возможностям вейвлет-преобразования можно отнести способность определять мгновенную амплитуду, фазу и частоту периодических компонент нестационарных широкополосных сигналов. Вейвлет-преобразование является инструментом многомасштабного анализа, позволяющим одновременно анализировать структуру сигналов в разных диапазонах масштабов наблюдения. Возможностям вейвлетов и НВП полностью посвящена вторая глава данной диссертационной работы.

НВП сигнала^/) состоит в его разложении по некоторому базису, сконструированному из функции-вейвлета w(t), посредством ее масштабирования и сдвигов вдоль оси времени:

Здесь [Wwf](r,s) — коэффициенты преобразования, s — масштаб вейвлета, т — параметр смещения вдоль оси времени, символом «*» обозначена операция комплексного сопряжения. Базисная функция w(t) и формируемое на ее основе семейство вейвлетов определяется целями исследования.Выбором базисных

НВП). вейвлет-функций можно добиться выявления требуемых свойств рассматриваемого сигнала.

Базисные вейвлеты обладают свойством автомодельности. Это свойство используется при получении всех вейвлетов одного семейства. Таким же свойством обладает сигнал одной ноты музыкального инструмента: применив механизм сжатия (растяжения) сигнала одной ноты вдоль временной составляющей, можно получить семейство нот всего диапазона этого же инструмента. Такое сходство вейвлетов и сигналов музыкальных инструментов позволяет на основе сигналов музыкальных инструментов создавать базисные вейвлеты. Такие вейвлеты позволяют настраивать само НВП на идентификацию нот музыкальных инструментов с теми же частотными свойствами. Определение наличия таких возможностей потребовало дополнительных исследований в области НВП. Такие исследования приведены в третьей главе настоящей диссертационной работы.

Несмотря на широко развитые средства и методы графической интерпретации результатов НВП, непосредственно само НВП не решает задачи идентификации образов. В качестве выходных значений НВП формирует двумерный массив чисел \JV%vf\(j:,s\ содержащий информацию о степени корреляции каждого вейвлета семейства с сигналом — некий аналог амплитудно-частотпо-временной характеристики сигнала. На основе анализа этой характеристики можно сделать выводы относительно наличия в сигнале нот музыкального инструмента и их амплитудно-частотно-временпых отношений.

Для идентификации музыкальных объектов — нот в массиве результатов НВП [WJ\{t,s) в работе предложено применение аппарата искусственных нейронных сетей (ИНС). Нейронные сети широко применяются при решении задач распознавания образов, прогнозирования, синтеза, принятия решений и управления [6, 7, 8, 9]. В третьей главе работы описана ИНС прямой передачи с возможностью изменения количества слоев сети. ИНС на основе коэффициентов вейвлет-преобразования формирует образы музыкальных объектов, вычисляя такие их свойства, как высота ноты, время начала, продолжительность звучания, громкость.

Цель и задачи исследования

Целью работы является идентификация объектов-нот одно- и многоголосных мелодий отдельных музыкальных инструментов, а также идентификация партий определенных музыкальных инструментов на фоне звучания остальных в звукозаписях музыкальных произведений с использованием модификаций аппарата непрерывного вейвлег-преобразования.

Для реализации цели работы были поставлены и решены следующие задачи исследования:

1. Провести анализ характеристик музыкальных сигналов, способов их описания, форм представления, форматов записи и возможных преобразований.

2. Провести обзор и анализ существующих систем идентификации музыкальной информации.

3. Оценить возможность применения НВП к идентификации музыкальных объектов, выявить технические границы возможностей его применения.

4. На основе проведенного анализа внести изменения и дополнения к аппарату НВП, позволяющие формировать базис НВП с заданными избирательными способностями. Разработать алгоритм повышения информативности результатов НВП, позволяющий выполнять дальнейшую автоматизированную обработку в среде ИНС.

5. Выполнить модификацию ИНС с прямой передачей типа «MaxNet» для решения задачи классификации музыкальных сигналов. Обеспечить возможность изменения степени полифонической идентификации сети за счет изменения числа скрытых слоев.

6. Реализовать разработанные подсистемы в виде программно-технического комплекса; провести отладку их взаимодействия. Разработать механизмы сопряжения форматов входных и выходных сигналов с применяющимися в настоящее время в мультимедийных системах.

7. Провести качественную и количественную оценку работы отдельных компонентов и системы в целом.

Методы исследования: методы статистической обработки результатов экспериментов; непараметрические методы идентификации; метод графоаналитического исследования интерпретаций сигналов; метод слухового анализа музыкальных сигналов; методологии разработки и тестирования программного обеспечения.

Научная новизна работы

1. Предложен метод формирования частных вейвлет-фуикций заданной избирательности и семейств вейвлетов на их основе, использующий фрагмент сигнала одной ноты различных музыкальных инструментов.

2. Обоснованы критерии формирования базисного вейвлета для задачи идентификации объектов в музыкальном произведении, заключающиеся в формировании вейвлета на основе 16 периодов основного тона ноты «Ля субконтроктавы» музыкального инструмента.

3. Предложен способ изменения масштабного коэффициента НВП, заключающийся в формировании значений частоты вейвлетов соответствующих частотам 96 тонов европейского равномерно темперированного строя музыки, что позволило создать систему автоматизированной идентификации музыкальных объектов с диапазоном распознаваемых йот, составляющим 8 октав.

4. Разработан алгоритм увеличения информативности результатов НВП, использующий наложение секущих на их частотные срезы с длиной обратно пропорциональной значению частоты вейвлета текущего масштаба.

5. Для ИНС прямой передачи «MaxNet» с прямыми связями предложено использовать число слоев сети в качестве настроечного параметра. Изменение числа слоев ИНС позволило изменять степень полифонической идентификации системы в целом. Практическая значимость работы

1. Разработан метод идентификации одноголосных и многоголосных мелодий с количеством одновременно звучащих двух и более нот.

2. Разработан пакет прикладных программ, реализующих алгоритм непрерывного вейвлет-преобразовапия для сигналов и вейвлетов, представленных решетчатыми функциями. Пакет позволяет в качестве варьируемых параметров использовать частотно-временное окно исследования сигнала, базисный вейвлет, методы изменения коэффициентов НВП.

3. Программно реализован алгоритм повышения информативности результатов НВП в системах автоматизированной обработки.

4. Разработана программа, имитирующая работу ИНС поиска максимумов с варьируемым числом слоев.

5. На базе персонального компьютера реализован программно-технический комплекс, включающий программные реализации НВП, ИНС, других алгоритмов и методов, описанных в работе, и ряда коммерческих программных продуктов.

6. Разработаны формальные показатели оценки качества систем идентификации музыкальных объектов.

Основные положения диссертации, выносимые на защиту:

1. Метод формирования материнских вейвлетов заданной избирательности.

2. Метод формализации и дискретизации НВГ1 в задаче идентификации объектов музыкальных произведений с целью уменьшения вычислительной избыточности.

3. Способ изменения масштабного коэффициента при формировании семейства вейвлет-функций, позволяющий классифицировать музыкальные объекты в соответствии с 96 полутонами европейского равномерно темперированного строя музыки.

4. Метод повышения информативности результатов НВП путем использования секущей на интервалах, кратных периоду гармонических составляющих сигнала.

5. Метод изменения степени полифонической идентификации ИНС путем варьирования числа скрытых слоев сети.

6. Структура и элементы программно-технического комплекса идентификации музыкальных объектов.

Личный вклад соискателя заключается в проведении теоретических исследований, их практической реализации, получении основных результатов, изложенных в работе, их интерпретации, авторском сопровождении при внедрении.

Разработка общей структуры работы, программная реализация компонентов и подготовка публикаций к печати выполнены совместно с соавторами. Сведения об апробации результатов диссертации

Основные результаты диссертации докладывались и обсуждались на XII международной научно-практической конференции студентов и молодых ученых «Современные техника и технологии» (Томск, 2006 г.); международной открытой научной конференции «Современные проблемы информатизации в моделировании и программировании» (Воронеж, 2006 г.); IV, V и VI Всероссийских научно-практических конференциях студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» (Томск, 2006 — 2008 гг.).

Внедрения.

Результаты работы в виде программно-технического комплекса использованы при формировании музыкального оформления пользовательского интерфейса программного обеспечения, предназначенного для встраиваемых систем и сетевых устройств, разрабатываемых группой компаний «Интант» (г. Томск), при анализе и графической интерпретации численных значений защитного потенциала газопровода «Парабель-кузбасс» в ООО «Антикор - ЭХЗ», объемов ГСМ в ОАО «МК 44» и при формировании нотной партитуры по звукозаписи джазовых импровизаций в ООО «Тропикана» (г. Томск).

Результаты используются при выполнении научно-исследовательской работы и выпускных квалификационных работ студентов кафедры автоматики и компьютерных систем Томского политехнического университета.

Сведения о публикациях (по теме диссертации)

По теме диссертации опубликовано 9 работ [24 — 32]. Из них 4 статьи в журналах и 5 статей в сборниках трудов коиферепций/3 статьи опубликованы в ведущих рецензируемых журналах [24 — 26], рекомендованных Высшей аттестационной комиссией Министерства образования и науки Российской Федерации.

Структура диссертации, ее объем.

Диссертация состоит из введения, четырех глав, заключения, приложения и списка цитируемой литературы. В работе содержится 180 страниц печатного текста, 93 рисунка, библиография из 118 наименований на 12 страницах. Общий объем диссертации составляет 191 страницу.

4.4 Выводы по главе 4

1. Программно-технический комплекс в целом успешно реализует ряд описанных в работе методов преобразования сигналов. Однако, в некоторых случаях, хорошо изученные свойства отдельных алгоритмов и методов при их объединении приводят к ухудшению общего результата. Стоит отметить, что качественные показатели в некоторых случаях значительно превосходят количественные. Учитывая особенности слухового аппарата человека, многие временные и гармонические изменения при аудиальпом анализе музыкальных произведений малозаметны. Так, одна ошибочно определенная нота в аккорде из четырех звуков в количественном выражении дает ошибку в 25%, а в качественном, если не нарушены гармонические каноны произведения, ошибка может быть пе обнаружена. В связи с этим, ряд количественных показателей стоит учитывать с учетом качественных поправок.

2. Частотный диапазон распознаваемых объектов составляет 96 полутонов (8 октав) от ноты «ля» субконтроктавы до ноты «ля» пятой октавы. Это объясняется однородностью НВП во всем частотном диапазоне преобразований, абсолютной идентичностью всех 96 нейронов каждого слоя ИНС, отсутствием частотных фильтров и нелинейных преобразований в системе в целом.

3. При идентификации нот одноголосных мелодий для музыкальных инструментов, звук которых формируется автоколебаниями, относительное количество ног, совпавших в распознаваемом и оригинальном произведениях A/ifce[80, 90]%, среднее относительное отклонение времени начала звучания каждой ноты Ав е [10, 20]%.

4. При идентификации нот одноголосных мелодий для музыкальных инструментов, звук которых формируется свободными колебаниями, АКсе [95,100]%, Ав е [1,2]%.

5. Степень полифонической идентификации системы составляет 3 — 4 голоса. При полифонии в четыре голоса, АКсе [80, 90]%, Д0е[1, 5]% для музыкальных инструментов со свободными колебаниями и АЯ"с е[50, 70]%, Аве [20, 40]% для инструментов с автоколебаниями. Примерная зависимость качества работы системы от количества распознаваемых г олосов приведена на рисунке (рисунок 4-23). Стоит заметить, что система способна распознавать ноты и в аккордах с количеством одновременно звучащих пот больше четырех, но количество ошибочно определяемых параметров объек

Рисунок 4-23 — Зависимость качества распознавания объектов системы от степени полифонической идентификации

6. Количество идентифицируемых музыкальных инструментов составляет 16. Это количество соответствует количеству сформированных и опробованных в работе системы базисных вейвлетов. Распознаваемые инструменты: фортепиано, колокольчик, электро-пианино, скрипка, скрипка пиццикато, труба, орган и др. При наличии возможности создания материнского вейвлета» количество инструментов может дополняться новыми. Для создания материнского вейвлета необходимо иметь звукозапись отдельных нот музыкального инструмента.

7. При идентификации звучания отдельного инструмента па фоне других для музыкальных инструментов, звук которых формируется автоколебаниями, АКс=35%.

8. При идентификации звучания отдельного инструмента на фоне дру- -гих для музыкальных инструментов, звук которых формируется свободными колебаниями, АКс=95%.

ЗАКЛЮЧЕНИЕ

В работе предложен и обоснован метод формирования частных вейвлет-функций (базисных вейвлетов и семейств па их основе). Показана возможность формирования базиса с заранее заданными частотно-временными свойствами и его применения в задачах анализа нестационарных сигналов. Предложена система изменения масштабного коэффициента семейства вейвлетов в НВП, позволяющая классифицировать музыкальные объекты в соответствии с 96 полутонами европейского равномерно темперированного строя музыки. Разработан алгоритм увеличения информативности результатов НВП, позволяющий применять их для дальнейшей автоматизированной обработки.

На основе искусственной нейронной сети MaxNet предложена модифицированная ИНС поиска максимумов с прямыми связями. Количество слоев сети предложено варьировать в качестве настроечного параметра степени полифонической идентификации системы в целом.

Разработан программно-технический комплекс, ^интегрировавший исследования в области НВП и ИНС. Комплекс позволяет решать задачи идентификации партии определенного музыкального инструмента с идентификацией в ней объектов-нот: их высотного положения и временных характеристик. Экспериментально доказана возможность идентификации партии полифонического исполнения одним инструментом (когда в каждый момент времени может звучать более одной йоты), а также партии одного инструмента на фоне звучания других.

Сформированы материнские вейвлеты шестнадцати музыкальных инструментов и сигналов несинусоидальной формы. Отработана методика формирования материнских вейвлетов, позволяющая получать определенный вейвлет для требуемого музыкального инструмента и сигнала с заданными характеристиками.

Разработаны пять программных приложений, выполняющих функции основных этапов идентификации музыкальных объектов. В процессе отладки программного обеспечения была расширена функциональность разработанных программных компонентов, получившая применение в задачах спектрального анализа в отраслях промышленности, не связанных с обработкой музыкальных сигналов.

1. Benson, D. Music Text.: A Mathematical Offering /D. Benson. — Cambridge University Press, 2007. — 536 p.

2. Волошинов, А. В. Математика и искусство Текст. / А. В. Волошинов. — М.: Просвещение, 1992. — 335 с.

3. Думский, Д. В. Применение вей влет-анализа в задачах исследования структуры сигналов Текст.: Дис. . канд. физ.-мат. наук / Д. В. Думский. — Саратов, 2005.— 154 с.

4. Уоссермен, Ф. Нейрокомпыотерпая техника Текст. / Ф. Уоссермеп. — М.: Мир, 1992. — 184 с.

5. Горбань, А. Н. Нейронные сети на персональном компьютере Текст. / А. Н. Горбань, Д. А. Россиев. —Новосибирск: Наука, 1996. 276 с.

6. Nigrin, A. Neural Networks for Pattern Recognition Text. / A. Nigrin. — MIT Press, 1993. —413 p.

7. Haykin, S. Neural Networks Text.: A Comprehensive Foundation / S. Haykin. — Prentice Hall, 1999. — 842 p.

8. Фейнман, Р. Фейнмановские лекции но физике Текст. / Р. Фейнман, Р. Лейтон, М. Сэндс. — М.: Мир, 1967. — Т. 4: Кинетика. Теплота. Звук. — 440 с.

9. Ландсберг, Г. С. Элементарный учебник физики Текст. / Г. С. Ланд-сберг. — М.: Наука, 1985. — Том 3: Колебания и волны. Оптика. Атомная и ядерная физика. — 656 с.

10. Алдошина, И. А. Электроакустика и звуковое вещание Текст.: учебное пособие для ВУЗов / И. А. Алдошина, Э. И. Вологдин, А. 11. Ефимов. — М.: Горячая линия—Телеком. 872с.

11. Кудинов, А.А. Использование распознавания образов для обработки и восстановления музыкальных сигналов Текст.: Дис. . канд. технич. наук / А. А. Кудипов. — М., 2003. — 179 с.

12. Слуховая система Текст. / под ред. Альтман Я. А., — Лен.: Наука, 1990.621 с.

13. Физиология речи. Восприятие речи человеком Текст. / Чистович JI.A., Венцов А.В., Гранстрем М.П., и др. —- Лен.: Наука, 1976. — 385 с.

14. Алдошина, И. А. Основы психоакустики. Часть 1 Текст. / И. А. Алдошина // Звукорежиссер. — 1999. — №6. — С. 27—32.

15. Иванченко, Г. В. Психология восприятия музыки Текст.: подходы, проблемы, перспективы / Г. В. Иванченко. — М.: Смысл, 2001. — 264 с.

16. Старчеус, М. С. Слух музыканта Текст. / М. С. Старчеус. — М.: Моск. гос. консерватория им. П.И. Чайковского, 2003. — 640 с.

17. ANSI — American National Standards Institute Electronic resource. — Title from the screen. —Access mode: http://ansi.org/, free.

18. Мальтер, Л. И. Таблицы по инструмептоведеиию Текст. / Л. И. Маль-тер. —М. Музыка, 1965. — 100 с.

19. Вахромеев, В. А. Элементарная теория музыки Текст. / В. А. Вахромеев.

20. М.: Высш. шк., 2003. — 462 с.

21. Большая советская энциклопедия Текст. — М. Советская энциклопедия, 1972. — Т. 9.: Евклид — Ибсен. — 624 с.

22. Большая советская энциклопедия Текст. — М. Советская энциклопедия, 1974. — Т. 18.: Никко — Отолиты. — 632 с.

23. Фадеев, А. С. Метод преобразования форматов музыкальной информации Текст. / А. С. Фадеев, Е. А. Кочегурова // Цифровая обработка сигналов.2007. — № 3. — С. 46—51.

24. Фадеев, А. С. Формирование вейвлет-фуикций в задаче идентификации музыкальных сигналов Текст. / А. С. Фадеев // Известия Томского политехнического университета. — 2007. — Т. 311. — № 5. — С. 81—86.

25. Фадеев, А. С. Подготовка результатов непрерывного вейвлет-преобразования к автоматизированной обработке Текст. / А. С. Фадеев, Е. А. Кочегурова // Известия Томского политехнического университета. — 2006. — Т. 309. — № 7. — С. 32—35.

26. Моль, А. Теория информации и эстетическое восприятие Текст. / Абра-амМоль.—М.: Мир, 1966. — 312 с.

27. Каганов, В. И. Колебания и волны в природе и технике Текст.: Компьютеризированный курс / В. И. Каганов. — М.: Горячая линия-Телеком, 2008. — 336 с.

28. Белунцов, В. О. Новейший самоучитель работы на компьютере для музыкантов Текст. / В. О. Белунцов. — М.: ДЕСС, 2003. — 560 с.

29. Белунцов, В. О. Музыкальные возможности компьютера Текст.: справочник / В. О. Белунцов. — СПб.: Питер, 2000. — 432 с.

30. Музыченко, Е. В. Программирование подсистемы MIDI Текст. / Е. В. Музыченко // Компьютер Пресс. — 2000. — №9. — С 32—39.

31. Харуто, А. В. Музыкальная информатика. Компьютер и звук Текст.: учебное пособие по теоретическому курсу для студентов и аспирантов музыкального вуза / А. В. Харутою. — М.: Московская государственная консерватория, 2000. — 387 с.

32. Кинтцель, Т. Руководство программиста по работе со звуком Текст. / Тим Кинтцель. — М.: ДМК Пресс, 2000. — 432 с.

33. Харуто, А. В. Компьютерный анализ звука в музыковедческом исследовании Текст. / А. В. Харуто // Труды междунар. научн. симпоз. "Информационный подход в эмпирической эстетике". — г.Таганрог, 1998. — С. 189—208.

34. Лукин, А. Введение в цифровую обработку сигналов Текст. / А. Лукин.1. М.: МГУ, 2002. — 48 с.

35. Сергиенко, А. Б. Цифровая обработка сигналов Текст. / Сергиепко А. Б.

36. СПб.: Питер, 2003. — 608 с.

37. Оппенгейм, А. В. Цифровая обработка сигналов Текст. / А. В. Оппен-гейм, Р. В. Шафер. — М.: Связь, 1979. — 416 с.

38. Сиберт, У. М. Цепи, сигналы, системы Текст. / У. М. Сиберт ; пер. с англ. Э. Я. Пастрона, В. А Усика; под. ред. И. С. Рыжака. — В 2-х ч.— М.: Мир, 1988. —Ч. 2. —360 с.

39. Шелухин, О. И. Цифровая обработка и передача речи Текст. / О. И. Ше-лухин, Н. Ф. Лукьянцев ; под ред. О. И. Шелухипа. — М.: Радио и связь, 2000.456 с.

40. Галяшина, Е. И. Основы судебного речеведения Текст. / Е. И. Галяши-на. — М: СТЭНСИ, 2003. — 236 с.

41. Сиберт, У. М. Цепи, сигналы, системы Текст. / У. М. Сиберт ; пер. с англ. Э. Я. Пастрона ; под. ред. Л. А. Шпирта — В 2-х ч. — Пер. с англ. — М.: Мир, 1988.—Ч. 1. —336 с.

42. Moorer, J. A. — On the Transcription of Musical Sound by Computer Text. / J. A. Moorer // Computer Music Journal. — 1977. V. 1. — No. 4. — P. 32—38.

43. Moorer, J. A. Lexicon of Analyzed Tones (Part III: The Trumpet) Text.: analysis and plotting programs / J. A. Moorer, J. M. Grey, J. Strawn // Computer Music Journal. — 1978. — V.2. — No. 2. — P. 23—31.

44. Chafe, C. Source separation and note identification in polyphonic music / C. Chafe, D. Jaffe // Acoustics, Speech, and Signal Processing, IEEE International Conference on ICASSP. Apos 86.—V. 11, 1986. —P. 1289— 1292.

45. Maher, R. C. Development and evaluation of a method for the separation of musical duet signals / R. C. Maher // Proc. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, NY, Mohonk, October, 1989. — P. 1 — 3.

46. Kashino, K. Music recognition using note transition context Electronic resource. / K. Kashino, H. Murase // Proc. of the 1998 IEEE ICASSP. Seattle. 1998. — Access mode: http://ieeexplore.ieee.org/iel4/5518/14898/00679655.pdf, free.

47. Martin, K. D. Sound-Source Recognition Electronic resource.: A Theory and Computational Model / K. D. Martin // Ph.D. thesis, MIT. Cambridge, MA, 1999. — Access mode: http://sound.media.mit.edu/Papers/kdm-phdthesis.pdf, free.

48. Schottstaedt, W. Machine Tongues XVII. CLM Text.: Music V Meets Common Lisp / William Schottstaedt // Computer Music Journal. — 1994. — Vol.18. —No.2.—P. 30—38.

49. Serafin, S. A pattern recognition approach to invert a bowed string physical model Text. / S. Serafin, , H. Thornburg, J. O. Smith III // Proc. of the International Symposium on Musical Acoustics (ISMA-2001), Perugia, Italy, 2001. — P. 241— 245.

50. Fujishima, T. Realtime Chord Recognition of Musical Sound Text.: a System Using Common Lisp Music / T. Fujishima // Proc. of the International Computer Music Conference, Beijing: International Computer Music Association, China, 1999. — P. 464—467.

51. Emiya, V. Multipitch Estimation of Quasi-IIarmonic Sounds in Colored Noise Text. / V. Emiya, R. Badeau, B. David //Proc. of the 10th Int. Conference on Digital Audio Effects (DAFx-07), Bordeaux, France, 2007. — P. 93—98.

52. Herrera, P. Signal Processing Methods for Music Transcription Text. / P. Herrera, A. Klapuri, M. Davy. — New York, 2006. — Chapter 6: Automatic Classification of Pitched Musical Instrument Sounds. — 437 p.

53. Харуто, А. В. Компьютерные методы анализа звука в музыковедческом исследовании Текст. / А. В. Харуто // Музыка и время. — 2005. — № 8, — С. 55—59.

54. Eggink, J. Instrument recognition in accompanied sonatas and concertos Text. / J. Eggink, G. J. Brown // Proc. of IEEE Int. Conf. on Audio, Speech and Signal Processing (ICASSP). — V-4. — 2004. P.: IV-217 — IV-220.

55. Martin, K. D. Automatic Transcription of Simple Polyphonic Music Electronic resource. / K. D. Martin // Computer Music Journal. — 2002. — No 1(7). — Access mode: http://alumni.media.mit.edu/~lcdm/researcli/papers/kdm-TR399.pdf, free.

56. McAdams, S. Audition: cognitive psychology of music in The Mind-Brain Continuum Text. / S. McAdams; eds. R. Llinas, P. Churchland. — MIT Press — 1996. —P. 251—279.

57. Scheirer, E.D. Music Listening Systems Text. / E. D. Scheirer. — PhD Thesis. — Massachusetts Institute of Technology. — 2000.

58. Smith, L. S. Sound Segmentation using onsets and offsets Electronic Resource. /Leslie S. Smith // Interface Journal of New Music Research, No 18(6), 2000. — Access mode: http://www.informaworld.com/index/793740949.pdf, free.

59. Харуто, А. В. Компьютерная расшифровка фонограмм фольклорного пения / А. В. Харуто; под ред. Л. Дорфмана, К. Мартиндейла, В. Петрова, П. Махотки, Дж. Купчика // Творчество в искусстве — искусство творчества. — 2000.—С. 325-1336.

60. Livingston, J. Musical Instrument Identification using wavelets and Neural Networks Text. / J.Livingston, N. Shepard. — The University of Texas at Austin. — Austin, Texas, USA, 2005. — 20 p.

61. Мясников, JI. JI. Распознавание звуковых образов Текст. / JI. JI. Мясников, Е. М. Мясникова. — М.: Наука, 1984. — 158 с.

62. Симаненков, И. О. Цифровые синтезаторы музыкальных звуков Текст. / И. О. Симаненков // Компьютерра. — 1998. — № 32. — С. 21—24.

63. Grossmann, A. Decomposition of Hardy functions into square integrable wavelets of constant shape Text. / A. Grossmann, J. Morlet // SIAM J. Math. Anal. — 1984. —T. 15.—P 723—736.

64. Витязев, В. В. Вейвлет-анализ солнечной активности за 300 лет Электронный ресурс. / В. В. Витязев. — НИАИ им. В. В. Соболева, СПбГУ С.Петербург, 2001. — 9 с. — Режим доступа: http://www.astro.spbu.ru/astro/pub-lications/vityazev/sun.pdf, свободный.

65. Гелиогеофизические связи Электронный ресурс.: Энциклопедия «Круго-свет». — Загл. с экрана. — Режим доступа: http://www.krugosvet.ru/articles/125/-1012579/1012579al .htm, свободный.

66. Астафьева, Н. М. Вейвлет-анализ Текст.: основы теории и примеры применения / Н. М. Астафьева // Успехи физических паук. — 1996. — Т. 166. — № 11. —С 1145—1170.

67. Дремин, И. М. Вейвлеты и их применение Текст. / И. М. Дремин, О. В. Иванов, В. А. Нечитайло // Успехи физических наук. — 2001. — Т.171, № 5. — С. 465—501.

68. Wavelet Analysis and Its Applications Text. / ed. by Charles K. Chui. — San Diego: Academ. Press Inc., 1992.

69. Vol. 1 : An Introduction to Wavelets. — 266 p.

70. Vol. 2: Wavelets: A Tutorial in Theory and Applications. 723 p.

71. Васильева, JI. Г. Преобразования Фурье и вейвлет-преобразования. Их свойства и применения Текст. / Л. Г. Васильева, Я. М. Жилейкин, Ю. И. Оси-пик // Вычислительные методы и программирование. — 2002. — Т. 3. — С 172—175.

72. Beltran, J. R. Additive Synthesis based on the Continuous Wavelet Transform Electronic resource.: A Sinusoidal Plus Transient Model / J. R. Beltran, F. Beltran.

73. Dept of Electronic Engineering and Communications, University of Zaragoza, Spain. 2003. — Access mode: http://www.elec.qmul.ac.uk/dafx03/proce-edings/pdfs/dafxl 4.pdf, free.

74. Чуй, К. Введение в вэйвлеты Текст. / К. Чуй. — М.: Мир, 2001. — 412 с.

75. Meyer, Y. Wavelets: Algorithms and Applications / Y. Meyer. — Philadelphia, PA: SI AM Press, 1993.

76. Coifman, R. R. Wavelet analysis and signal processing Text. / Ronald R. Coifman, Yves Meyer, M. Victor Wickerhauser. // Wavelets and their applications.1992. —Jones and Bartlett, Boston, MA. — P. 153—178.

77. Wavelets Text. / by Eds.: J. M. Combes, A. Grossmann, P. Tchamitchian. — Berlin: Springer-Verlag, 1989. — 331 p.

78. Grossman, J. Decomposition of Hardy functions into square integrable wavelets of constant shape Text. / J. Grossman, A. Morlet // SIAM J. Math. Anal. — 1984.—№ 15. —P. 723—736.

79. Grossmann, A. Wavelets and Their Applications / A. Grossmann, J. Morlet ; Ed. R Coifman. — Boston: Jones and Barlett Publ., 1992. — 234 p.

80. Новиков, JI. В. Основы вейвлет-анализа сигналов Текст.: учебное Пособие / Л. В. Новиков. — СПб.: ООО «МОДУС+», 1999. — 152 с.

81. Поршнев, С. В. Применение непрерывного вейвлет-преобразования для обработки широкополосных частотно-модулированных сигналов Текст. / С. В. Поршнев // Вычислительные методы и программирование. — 2003. — Т. 4. С 104—116.

82. Козлов, П. В. Вейвлет-преобразоваиие и анализ временных рядов Текст. / П. В. Козлов, Б. Б. Чен // вестник КРСУ. — 2002. —Т2, № 2. — С. 64—69.

83. Сонечкин, Д. М. Оценка тренда глобального потепления с помощью вейвлетного анализа Текст. / Д. М. Сонечкин, Н. М. Даценко, Н. Н. Иващенко // Изв. РАН. Физика атмосферы и океана. — 1997. — Т.ЗЗ. — № 2. — С.184— 94.

84. Graps, A. An Introduction to Wavelets Text. / Amara Graps // IEEE Computational Science & Engineering, June 1995. — V.2, n.2. — P.50—61.

85. Strang, G. Wavelet transforms versus Fourier Transforms Text. / G. Strang // Bull. Am. Math. Soc. — 1993. — V. 28. — P. 288—305.

86. Mallat, S. G. A Wavelet Tour of Of Signal Processing Text. / S. G. Mallat. — San Diego, Academic Press, 1998. — 663 p.

87. Корн Г., Корн E. Справочник по математике для научных работников и инженеров Текст. / Г. Корн, Е. Кори. — М.: Наука, 1984. — 831 с.

88. Чижевский, А. Л. Земное эхо солнечных бурь Текст. / А. Л. Чижевский. — М.: Мысль, 1973. — 368 с.

89. Малая математическая энциклопедия Текст. / Э. Фрид, И. Пастор, П. Ре-вес, И. Рейман, И. Ружа. — Будапешт, Венгрия: изд. Академии наук Венгрии. 1976. —698 с.

90. Дьяконов, В. MATLAB. Обработка сигналов и изображений Текст.: специальный справочник / В. Дьяконов, И. Абраменкова. — СПб.: Питер, 2002.608 с.

91. Смоленков, Н. К. Основы теории вейвлетов. Вейвлеты в MATLAB Текст. / Н. К. Смоленков. — М.: ДМК Пресс, 2005. — 304 с.

92. Макаров, Е. Г. Инженерные расчеты в Malhcad Текст.: учебный курс / Е. Г. Макаров. — СПб.: Митер, 2005. — 448 с.

93. Шерман, Н. Формирование равномерно-темперированного строя Текст. / Н. Шерман. — М.: Музыка, 1964. — 214 с.

94. Волконский, А. Основы темперации Текст. 7 А. Волконский. — М.: Композитор, 1998. — 91 с.

95. Михайлова, Н. Немецко-русский музыкальный словарь Текст. / Н. Михайлова, А. Кипнис, Д. Кипиис. — М.: Советский композитор, 1976. — 28 с.

96. Symmetrien in der Musik. Fur ein Zusammenspiel von Musik und Mathema-tik Text. // Neue Zeitschrift fur Musik. — 1982. — Heft 12. — S. 12—19.

97. Gotze, H. Musik und Mathematik Text. / Heinz Gotze, Rudolf Wille // Salz-burger Musikgesprach 1984 unter Vorsitz von Flerbert von Karajan. — Berlin, 1985.1. S.4—31.

98. Wolfram, S. Theory and applications of cellular automata Text. / S. Wolfram. —World Scientific Pub Co Inc, 1986. — 570 p.

99. Минаев, Ю. H. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в иейросетевом логическом базисе Текст. / Ю. Н. Минаев, О. Ю. Филимонова, Лиес Бенамсур. — М.: Горячая линия-Телеком, 2003. — 205с.

100. Шахтарин, Б. И. Синтезаторы частот Текст. / Б. И. Шахтарин. — М.: Горячая линия—Телеком, 2007. — 128 с.

101. Комашинский, В. И. Нейронные сети и их применение в системах управ-ления и связи Текст. / В. И. Комашинский. — М.: Горячая линия-Телеком, 2003. ■— 205 с.

102. Lippman, R. P., An introduction to computing with neural nets Text. / R. P. Lippman // IEEE ASS Magazine. — 1987. — Apr. — P. 4 — 22.

103. Lindsey, C. Review of hardware neural networks: a user's perspective / C. Lindsey , T Lindblad // Proc. of the Third Workshop on Neural Networks: From Biology to High Energy Physics, Isola d'Elba, Italy, September 26-30. — 1994.

104. Архангельский, А. Я. Delphi 7 Текст.: справочное пособие / А. Я. Архангельский. — М.: Бином, 2004. — 1023 с.

105. Радзишевский, А. Ю. Основы аналогового и цифрового звука Текст. / А.Ю. Радзишевский. — М.: Вильяме, 2006. — 288 с.

106. Kabal, P. Audio File Format Specifications Electronic resource. / P. Kabal.

107. TSP Lab, ECE, Montreal: McGill University Press, 2006. — Access mode: http://bellatrix.ece.mcgill.ca/Documents/AudioFonTiats/INRS-Telecom/INRS-Tele-com.html, free.

108. ГОСТ 7.1—2003. Библиографическая запись. Библиографическое описание Текст.: общие требования и правила составления. — Взамен ГОСТ 7.1— 84 ; введ. 2004—07—01. — М.: Изд-во стандартов, 2004. — 81 с.

109. Гусак, А. А. Справочник по высшей математике Текст. / А. А. Гусак, Г. М. Гусак, Е. А. Бричикова. — 2-е изд., стереотип. — М.: ТстраСистемс, 2000.640 с.