автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Модели, методы и алгоритмы кодирования изображений в устройствах систем на кристалле

ФАХМИ ШАКИБ СУБХИЕВИЧ

МОДЕЛИ, МЕТОДЫ И АЛГОРИТМЫ КОДИРОВАНИЯ ИЗОБРАЖЕНИЙ В УСТРОЙСТВАХ СИСТЕМ НА КРИСТАЛЛЕ

Специальность: 05.13.05 - элементы и устройства вычислительной техники и систем управления

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

1 о Щр 2011

Санкт-Петербург 2011

4840224

Работа выполнена в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В. И. Ульянова (Ленина)

Научный консультант:

Официальные оппоненты:

Ведущая организация:

доктор технических наук, профессор Цыцулин Александр Константинович

доктор технических наук, профессор Адамов Юрий Федорович

доктор технических наук, профессор Гуров Игорь Петрович

доктор технических наук, профессор Кокаев Олег Григорьевич

ФГУП Научно-исследовательский институт микроэлектронной аппаратуры «Прогресс» г. Москва

Защита состоится «17» мая 2011 г. в 1500 часов на заседании совета по защите докторских и кандидатских диссертаций Д 212.238.02 при Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В. И. Ульянова (Ленина) (197376, Санкт-Петербург, ул. Проф. Попова, 5).

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан « » 2011 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просьба направлять по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, д. 5, ученому секретарю совета Д 212.238.02.

Ученый секретарь совета ,

кандидат технических наук, доцент^/й^^^тСафьянников Н. М.

/

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Объединение вычислительной техники, телевидения и техники связи стало не только возможным, но и востребованным, благодаря теоретическому и технологическому единству изделий этих отраслей техники. Возрастание сложности электронных компонентов привело к возникновению принципиально новых элементов и устройств микроэлектроники для обработки изображений - систем на кристалле и видеосистем на кристалле, включающих в свой состав фотоприёмник и устройство цифровой обработки.

Проектирование устройств кодирования непрерывных источников сигналов разбивается на два основных этапа. На начальном этапе определяются основные параметры кодера на основе теории информации, а на завершающем осуществляется непосредственное проектирование требуемого устройства, в основе которого лежит методология создания цифровых СБИС. Первый этап должен осуществляться на основе математической теории связи К. Шеннона, которая обосновывает возможность достижения равенства скорости формирования информации (энтропии или эпсилон-энтропии) и пропускной способности канала ее передачи. Существенный вклад в развитие теории кодирования непрерывных источников сигналов, в том числе изображений, внесли: А. Н. Колмогоров, Р. Л. Добрунгин, Б. С. Цыбаков, Л. И. Хромов, Р. Галлагер, А. Витерби, Дж. Омура, Р. Гонсалес, Я. Ричардсон, Р. Вествэтер, И. И. Цуккерман, В. А. Сойфер, В. В. Александров, А. А. Потапов, и др.

Оптимальные методы кодирования изображений формализованы в основном для стационарных сигналов, и их разработка была нацелена, в первую очередь, на повышение эффективности использования канала связи. Вместе с тем, для создания автономных малогабаритных систем формирования и передачи изображений (например, беспилотных летательных аппаратов) актуальна другая цель - обеспечение эффективности использования кодера источника, сложность которого постоянно возрастает. Для корректной оценки работы кодера непрерывного нестационарного источника важно учесть не только ошибку передачи и скорость передачи полезной информации, но и затраты на сложность кодера, которая в конечном счёте влияет на массу аппаратуры.

Первый шаг в этом направлении сделан в области разработки «быстрых» алгоритмов - Дж. Кули и Дж. Тьюки, Л. Томас, Ч. Редер, Р. Блейхут, Г. Нуссбаумер и др. Реализация таких «быстрых» алгоритмов наиболее полно обеспечивается использованием методов разработки СБИС класса систем на кристалле. В развитие методологии завершающего этапа проектирования специализированных систем и смешанных систем на кристалле обработки сигналов существенный вклад внесли Т. Кайлат, М. Китинг, Р. Брикауд, Г. Мартин, В. К. Шмидт, А. С. Сигов, В. Г. Немудров, Ю. Ф. Адамов, Ю. И. Тишин, Т. Т. Палташев и др.

Существующие кодеры источников непрерывных изображений на основе «быстрых» алгоритмов с использованием технологии систем на кристалле и видеосистем на кристалле оптимизируются на основе принципа декомпозиции. Однако имеется потребность в обосновании оптимальности сложной системы кодирования видеоинформации, а не оптимальности подсистем, её составляющих.

Потребность повышения эффективности кодирования видеоинформации отражается в ряде Федеральных целевых программ, включающих создание:

• автономных аппаратов наблюдения, обеспечивающих передачу видеоинформации с использованием цифровых каналов связи;

• современной отечественной электронной компонентной базы элементов и устройств вычислительной техники для систем кодирования и декодирования изображений.

Таким образом, в научном плане работа посвящена решению проблемы разработки теоретических основ и прикладных методов проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования изображений в прикладных системах, имеющих важное хозяйственное значение при создании автономных аппаратов наблюдения и современной отечественной электронной компонентной базы.

Теоретический аспект сформированной проблемы заключается:

• в развитии методов разработки устройств кодирования, обеспечивающих обобщённую эффективность кодера, при которой

одновременно оптимизируется скорость передачи, минимизируются ошибки передачи и сложность кодирования информации;

• в разработке эффективных методов и алгоритмов кодирования нестационарных сигналов изображений;

• в развитии методов смешанного проектирования кодирующих устройств в виде сложных функциональных блоков (СФ-блоков или /Р-блоков) систем на кристалле.

Практический аспект проблемы состоит в повышении обобщённой эффективности цифровых кодеров непрерывных сигналов изображений для малогабаритных бортовых видеоинформационных систем. Эти системы могут быть оптимизированы, спроектированы и реализованы на основе адекватной теории, эффективных алгоритмов и технологии СБИС класса «система на кристалле» и перспективной разновидности -видеосистем на кристалле. В результате решения проблемы конечный пользователь автономной видеоинформационной системы сможет получить существенное увеличение количества и качества информации в единицу времени на единицу массы аппарата.

Цель работы - совершенствование теоретической и технической базы средств вычислительной техники в части разработки методов, алгоритмов и структур устройств сжатия изображений, учитывающих свойства источника (пространственно-временную нестационарность) и существенное ограничение сложности реализации, что характерно для сложно-функциональных блоков БИС/СБИС класса систем на кристалле.

В соответствии с поставленной целью в диссертационной работе решаются задачи разработки:

1) методики начального этапа проектирования устройств кодирования изображений в системах на кристалле, опирающейся на показатель качества, учитывающий сложность кодера;

2) методики определения степени распараллеливания ввода изображений и оптимального распределения площади кристалла между фотоприёмником и вычислителем в рамках начального этапа проектирования устройств кодирования изображений в видеосистемах на кристалле;

3) моделей, методов и алгоритмов кодирования, опирающихся как на модели спектрального преобразования сигналов, так и на

модели без перехода в спектральную область, а также определение их оптимальных параметров и областей применения;

4) методов обеспечения совместимости синтезируемых оптимальных кодеров со стандартными протоколами обмена видеоинформацией;

5) методики, обеспечивающей оценку качества кодирования нестационарных сигналов изображений.

Объект исследования: разработка научных основ создания методов, алгоритмов и телекоммуникационных устройств преобразования информации с целью сжатия изображений, реализуемых в виде принципиально новых элементов и устройств -СФ- блоков систем на кристалле, синтезируемых на основе формализованной априорной информации, обоснованного выбора критерия качества и ограничения вычислительной сложности кодера.

Предмет исследования: модели, методы и алгоритмы кодирования изображений в устройствах, реализуемых в виде СФ-блоков систем на кристалле и видеосистем на кристалле.

Методы исследования: базируются на использовании математического аппарата теории вероятностей; теории информации, включая теорию кодирования зашумлённых непрерывных сигналов; теории вычислительных систем; имитационного моделирования.

Научная новизна работы:

1. Разработана методика начального этапа проектирования кодирующих устройств в системах на кристалле, опирающаяся на введённую триаду:

• предложенный критерий эффективности кодера, включающий взвешенную сумму (на основе вектора концепции системы) потери полезной информации, скорости передачи и сложности кодера,

• введённое понятие об эпсилон-энтропии с ограничением сложности как минимума скорости кода при заданной сложности,

• формализацию взаимообмена скорости передачи и сложности кодера.

2. Предложена и экспериментально подтверждена гипотеза о возможности выражения эпсилон-энтропии непрерывного источника в виде среднего гармонического отношения сложности кодера и эпсилон-энтропии при ограничении сложности.

3. Обоснован метод кодирования с переходом в спектральную область (трёхмерное дискретное косинусное преобразование) с адаптацией размеров кодируемых многомерных видеофрагментов.

4. Обоснован полигонально-пространственный метод кодирования изображений по опорным точкам, обеспечивающий максимальное распараллеливание вычислений для модели кодирующих устройств, которая основана на рекурсивном выделении опорных точек.

5. Систематизированы алгоритмы кодирования на основе дискретного полигонального преобразования по опорным точкам.

6. Обосновано применение метода трихотомии при разработке структур устройств кодирования сигналов изображений.

7. Обоснована методика распределения площади кристалла между фотоприёмной и вычислительной подсистемами видеосистемы на кристалле.

8. Разработана классификация сюжетов на основе предложенной меры нестационарности сигналов изображений.

Практическая ценность.

1. Разработаны адаптивные алгоритмы на основе дискретного косинусного преобразования (ДКП) и оптимальные для сжатия изображений с малой нестационарностью, позволяющие увеличить количество и качество видеоинформации на единицу массы кодера, т. е. при заданной ошибке передачи и заданной сложности увеличить коэффициент сжатия в 1,5 раза.

2. Разработаны алгоритмы на основе дискретного полигонального преобразования (ДПП) по опорным точкам, которые оптимальны с точки зрения сжатия изображений большой нестационарности. Они позволяют при заданной ошибке увеличить коэффициент сжатия в 1,5...2 раза.

3. Программно реализованы два СФ-блока кодирования и декодирования изображений на основе адаптивного трёхмерного дискретного косинусного преобразования.

4. Реализована специализированная СБИС в виде СФ-блока преобразования видеоданных, обеспечивающего совместимость предложенного ДКП кодера со стандартными протоколами обмена видеоинформацией. Блок позволяет снизить трафик почти в два раза для телевидения стандартного разрешения и примерно в 1,4 раза для телевидения высокой четкости, при задержке преобразования меньше соответствующей совокупной задержки в 2...3 раза.

5. Разработана классификация изображений на основе меры нестационарности и меры широкополосности источника сигналов, позволяющая определить область применения каждого из разработанных методов.

6. Разработанный лабораторный стенд и методическое обеспечение для изучения технологии проектирования устройств класса «система на кристалле» обеспечивают подготовку высококвалифицированных кадров.

Реализация результатов работы.

Основная часть результатов получена при проведении НИОКР во ФГУП «НИИ Телевидения» и СПбГЭТУ «ЛЭТИ», и изложена в отчетах по ОКР «Цифра-СФ» «Разработка ряда высокопроизводительных сложных функциональных блоков для специальных систем цифровой передачи данных» и ОКР «Цифра-ЗВ-ЛЭТИ» «Моделирование алгоритмов кодирования и декодирования видеоинформации для реализации высокопроизводительных сложных функциональных блоков специальных систем цифровой передачи данных», о чем имеются акты о внедрении. Методика совместного проектирования аппаратного и программного обеспечения, позволяющая значительно сократить время цикла разработки СФ-блоков систем и видеосистем на кристалле, использована при разработке лабораторного стенда на базе технологии «реконфигурируемая система на кристалле», который используется в учебном процессе в СПбГЭТУ «ЛЭТИ» и Тихоокеанском государственном университете.

Основные научные положения, выносимые на защиту:

1. Начальный этап проектирования кодирующих устройств в системах на кристалле должен опираться на введённую триаду: предложенный критерий эффективности кодера, введённое понятие эпсилон-энтропии с ограничением сложности и функционал, связывающий скорость передачи и сложность.

2. Для формализации взаимосвязи скорости передачи и сложности кодера целесообразно использовать функционал, восходящий к их среднему гармоническому отношению.

3. Оптимальное сжатие (оптимальная потеря информации или оптимальная ошибка передачи) определяется соотношением компонентов вектора концепции системы.

4. При кодировании изображений с малой нестационарностью следует применять адаптивный спектральный метод сжатия, для которого с позиций введённого критерия наиболее эффективен метод дискрегного косинусного преобразования с адаптацией размеров трёхмерных видеофрагментов.

5. При кодировании изображений с большой нестационарностью целесообразно применять кодирование без перехода в спектральную область. При этом эффективен адаптивный алгоритм кодирования по опорным точкам с использованием трихотомии кодируемого изображения.

6. Методика оценки эффективности кодирующих устройств должна использовать компактную представительную выборку изображений.

7. Оптимальное распределение площади кристалла между фотоприёмной и вычислительной подсистемами находится с учётом формализованной взаимосвязи скорости передачи и сложности кодера.

8. Структура видеосистем на кристалле должна использовать множественные потоки данных между фотоприёмной и вычислительной подсистемами.

Апробация работы. Результаты, полученные в работе на различных стадиях ее выполнения, докладывались и обсуждались на 6 международных конференциях: 1) A versatile real time video codec based on Three-Dimensional Discrete Cosine Transform. ШС 2008, RAI International Congress and Exhibition Centre; 2) IX Международной конференции. Распознавание 2010. Новые архитектурные решения в видеосистемах на кристалле// 18-20 мая 2010. Курск 2010; 3) 7-ой Международной конференции "Телевидение: передача и обработка изображений" Проектирование видеосистем на системном уровне в среде САПР NCLaunch 29-30 июня 2009/ СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2009; 4) XV Международной конференции "Современное образование: содержание, технологии, качество" Пирамидально-рекурсивная триангуляционная обработка видеоинформации по опорным точкам/ СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2009; 5) 64-ой научно-технической конференции. Универсальный видеокодек реального времени на основе ДКП-30//Сборник трудов СПбНТОРЭС им. А. С. Попова. Апрель 2009 СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2009; 6) Междунар. конф. «Приборостроение в

экологии и безопасности человека. Обработка и вывод информации для решения задач экологии на ЖК-дисплей с применением технологии «система на кристалле»/ СПб 31.01-02 февраля 2007г., а также на конференциях профессорско-преподавательского состава СПбГЭТУ, СПб, 2005-2010 г. и получили положительную оценку.

Публикации. Результаты диссертационной работы отражены в 92 работах, в том числе двух монографиях, 27 статьях, 10 из которых опубликованы в изданиях, входящих в перечень ВАК РФ. Оригинальность технических решений защищена тремя патентами и 20 программами для ЭВМ.

Объем и структура диссертации. Диссертационная работа состоит из введения, пяти глав, заключения, библиографического списка, содержащего 201 наименование, содержит 290 страниц основного текста, включая 74 рисунка и 7 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации и практической значимости рассматриваемой проблемы, определены трудности, возникающие на пути решения поставленной проблемы, сформулированы цели и задачи исследований, сформулированы полученные в работе новые научные положения, выносимые на защиту, приведены краткие сведения об апробации работы.

В первой главе проведен анализ проблемы синтеза устройств (СФ-блоков) систем на кристалле (СнК) и видеосистем на кристалле (ВСнК) для кодирования и декодирования изображений в прикладных системах, сделаны выводы и поставлены задачи, подлежащие решению в данной работе.

На начальном этапе проектирования сделан акцент на постановке задачи поиска отмеченного (оптимального) эталона кодирования непрерывных сигналов при ограничении сложности кодера. Показано, что решить проблему разработки теоретических основ и прикладных методов проектирования устройств телекоммуникации и вычислительной техники можно только формализовав начальный этап проектирования систем на кристалле для кодирования изображений. Такая формализация должна включать адекватные модели сигналов (в частности, учитывающие входной шум изображений, их классификацию по детальности и

нестационарности) и корректный учёт главного ограничения при проектировании кодеров непрерывных источников - их сложности. При этом, в силу постоянного улучшения норм точности изготовления СБИС, актуальностью отличается не столько учёт конкретного значения ограничения сложности функциональных устройств, сколько формализация взаимосвязи скорости передачи и сложности кодера.

В заключение первой главы делается вывод, что на завершающем этапе системного проектирования кодирующих устройств типа систем на кристалле важен выбор класса кодера на основе априорной информации о кодируемых изображениях, выбор метода кодирования с учетом сложности кодера, меры нестационарности изображения и обеспечение средств модификации маршрута проектирования видеосистем на кристалле. При этом отмечается, наличие трёх особенностей проектирования: учет сложности кодера, распределение площади кристалла СБИС между фотоприёмником и вычислителем и определение степени параллелизма передачи сигналов от массива фотоприёмных элементов к кодеру-вычислителю.

Вторая глава посвящена теоретическому обоснованию оптимальных параметров кодера источника непрерывных сигналов изображений, определяемых на основе опорной триады: априорной информации о сигнале, критерия качества передачи сигналов и принятых ограничений на реализацию.

Формализованный учёт сложности кодирующих устройств, стимулированный созданием и развитием СБИС и систем на кристалле, требует пересмотра понятия «эффективное» кодирование. В круг учитываемых величин, связанных с кодированием источника (показателей качества системы), должны войти не только точность передачи (ошибка) и скорость передачи, но и сложность. Известно, что эти величины взаимосвязаны, и оптимизацию кодера надо делать (минимум) по трём параметрам: по битовой скорости, по искажению и по вычислительной сложности. В развитие этой идеи в работе предложен критерий эффективности кодирования, учитывающий не только меру приближения к эпсилон-энтропии источника, но и то, какими информационными средствами достигнуто данное приближение, в первую очередь, - какой сложностью кодера. Следуя методике векторного синтеза системы связи, в работе был предложен

обобщённый показатель эффективности Р, включающий взвешенную сумму {Р,} совокупности частных информационных показателей качества кодера источника, которые связанны с ошибкой передачи в: а) потери полезной информации А/, б) скорости передачи Я, в) сложности Шк кодера. Вектор весовых коэффициентов {с,} при них называют «вектором концепции системы». Для обеспечения общего информационного подхода к решению задачи оптимизации системы связи все частные информационные показатели качества Р,(е) приведены к виду, имеющему единую размерность информации (например, бит):

Р =£с;Р,(е) =с0Л/(е)+С1Д(е)+с2 М\{?)+съ ВД-хш'и. (1) Для выявления основных свойств критерия качества рассмотрим его частный случай при с3 = 0, характерный для бортовых систем прикладного телевидения, акцентирующих внимание на сложности кодера, опуская индекс при обозначении сложности кодера:

Р =1сД(е) = с0А/(£)+С1Й(Г.)+С2 (2)

Введённый критерий позволяет объективно сравнивать произвольные кодеры, отличающиеся по всем параметрам -ошибке передачи, скорости передачи и сложности, если зафиксировать выборку испытательных сигналов.

Формула эпсилон-энтропии, связывающая нижнюю границу скорости передачи сигнала НЕ с его известным спектром амплитуд {А*} и с задаваемой ошибкой е, вычисляется как конечная сумма п логарифмов спектрального отношения дисперсий Хк к порогу 0:

П \ со

Не=фо8-+,пряг = вп+%Хк. (3)

1 " *=л+]

Известно, что для широкого класса задач требуемая сложность вычислений (эпсилон-сложность, т.е. минимальное количество операций, необходимое для кодирования изображений с точностью е) логарифмически связана с задаваемой ошибкой: 1/е). С точностью до констант, учитывающих возможные затраты на энтропийное кодирование и восстановление сигналов в ходе итерационного кодирования, так же как и эпсилон-энтропия, эпсилон-сложность представлена суммой логарифмов спектрального отношения сигнал/ошибка:

k=1 ö

Исходя из одинакового влияния на ошибку передачи скорости передачи Я и сложности IV кодера (аналогично передаче от дискретного источника по дискретному каналу), в анализ кодеров введено понятие о нижней границе для скорости передачи при ограничении сложности Яе№. При этом эпсилон-энтропия НЕ является пределом эпсилон-энтропии с ограничением сложности

и эпсилон-сложности

НЛН,

Запретная область

1

W/Hc —►

Рисунок 1- Взаимообмен скорости и сложности кодера

HEW

fVE: lim #£* = lim IV = Hz.

Для формализации взаимообмена скорости передачи и сложности кодера предложен

функционал взаимосвязи эпсилон-энтропии с

ограничением сложности Н™ и сложности W кодирования, отличающийся от

гармонического среднего

отсутствием множителя числа слагаемых (рис. 1):

WHC

HZ =

W-HB

(5)

Начальный этап проектирования кодера источника на основе вышеизложенного иллюстрируется на рис. 2, показывающем взаимосвязь трёх важнейших величин: ошибки передачи, скорости передачи и сложности.

Из рисунка видно, что при одной и той же ошибке передачи £1 переход от способа кодирования 2\ к способу кодирования 2г определяется ценой перехода от сложности Щ к большей сложности 1¥г и обеспечивает лучшее приближение к эпсилон-энтропии: В2<Яи

Уменьшение назначаемой ошибки в соответствии с формулами (3) и (5) ведет к увеличению эпсилон-энтропии и сдвигу границы реализуемых кодов на рис. 1 вправо и вверх, на рис. 2 влево и вверх.

Учёт взаимообмена скорости передачи информации и сложности кодера, формализуемый формулой (5), позволил найти

минимум в обобщенном критерии (2), который приводится к виду:

Р = с0Л7+(л/^ + л/^)2Я6.(6)

Потеря полезной

информации составляющая

(7)

к = 1 ь мин к

и кодовая эпсилон-энтропия зависят от минимальной ошибки емин.:

H^^Jag-^—. (8)

к=\ Бмин к

точность, скорость и сложность кодера

Из обобщённого

критерия эффективности кодера (6) с учётом формул (7) и (8) получено оптимальное значение ошибки передачи:

ОПТ грг —TJ. (?)

C0-[VC1 +VC2 J

Данное выражение показывает, что, не смотря на монотонный характер возрастания ошибки из-за сжатия непрерывного сигнала, существует конкретное значение оптимального сжатия (оптимальной скорости передачи) и оптимальной деградации качества сигнала, полностью определяемых вектором концепции системы.

Таким образом, разработанное в этой главе теоретическое обоснование проектирования кодеров непрерывных источников опирается на предложенный критерий эффективности кодера (3), введённое понятие об эпсилон-энтропии с ограничением сложности и формализацию взаимообмена скорости передачи и сложности кодера (5). Оно даёт искомый эталон эффективности кодера, служащий опорой на следующем этапе проектирования -определения структуры и параметров кодеров непрерывных источников по заданной априорной информации и численным значениям ограничения сложности.

Третья глава посвящена разработке моделей, методов и алгоритмов кодирования и декодирования изображений с переходом в спектральную область сигнала (на примере дискретного косинусного преобразования (ДКП)) и без перехода в спектральную область (на примере дискретного полигонального преобразования (ЦПП) по опорным точкам).

Спектральный метод. В контексте необходимости декорреляции, видеосигнал как многомерная функция имеет оптимальное разложение по всем своим аргументам. Поэтому для устранения временной корреляции нет существенных формальных оснований использовать средства, отличающиеся от применяемых для пространственной декорреляции.

В соответствии с этим разработан новый метод адаптивного трехмерного дискретного косинусного преобразования (ДКП-ЗБ) для кодирования и декодирования видеоинформации, так как для большинства практически значимых классов кусочно-стационарных изображений по критерию минимума, требуемого для передачи количества информации при заданном уровне качества изображения, этот метод является оптимальным (асимптотически оптимальным).

С точки зрения вычислительной сложности алгоритм кодирования и декодирования на основе ДКГТ-ЗО характеризуется примерно в 10 раз меньшими временными затратами в сравнении с известными стандартами (MPEG). Это достигается в основном за счет временной межкадровой корреляции и отсутствия механизмов компенсации движений.

Кроме того, предложены алгоритмы кодирования изображений, адаптированные к различным динамическим сюжетам - без движения и с движением (рис. 3). При этом для групп кадров видеопотока с движением осуществляется разбиение потока на видеокубы различного размера (при интенсивном движении размер видеокуба делается меньше).

Для групп видеопотока с движением на этапе кодирования (рис. За), вычисляется среднеквадратическое отклонение (о) между первым сегментом видеокуба и последним, далее в зависимости от заданных порогов (сп и а2) формируются кубы: без движения (при сг<с71-КБД), с низкой (при СТ1<сг<сг2-КНД) и высокой скоростью движения (при ст>аг-КВД). А на этапе декодирования (рис. 36) восстановление видеопотока выполняется в обратном порядке.

Предварительный анализ движения в пределах одной группы и задание соответствующих значений порогов (с]=4 и о2 =24) позволили, при сохранении качества видеоинформации, существенно уменьшить скорости передачи по сравнению с известными кодерами (при размерах куба 8 и 16 в 1,5...2 раза, а при размерах 4—16 в 2...3 раза).

Приём видеопотока (группа с движением)

Анализ движения?

Анализ типа ^движения?

Приём

I.

Энтропийное

декодирование -*-

Анализ движения?

Анализ типа движения?

ОДКП-ЗО ОДКЛ-ЗБ

кцд квд

1 1

"Г

Восстановление видеопотока

Рисунок 3 - Упрощенные адаптивные алгоритмы формирования видеокубов: а) кодирования и б) декодирования видеоинформации

На основе разработанного метода и алгоритмов ДКП-ЗБ предложен вариант СФ-блока высокоскоростного преобразования элементарного ДКП-ЗО-видеопотока в элементарный поток МРЕО-2 без трудоемких многомерных преобразований отсчетов, позволяющего: а) снижать трафик в глобальных сетях распределения данных; б) перераспределять трафик между двумя видами сетей передачи видеоданных, в которых требуется экономия трафика (глобальные сети Интернет, видео по требованию, спутниковое телевещание, /Р-телевидение), и в которых этого ограничения не требуется; в) повышать качество

видео за счет модифицированного обратного ДКП по времени трансформант и формирования из них /я/га-кадров (с наименьшими потерями) в соответствии со стандартом МРЕО-2.

Пространственный метод. Одним из перспективных направлений кодирования изображений является применение триангуляционных методов. Однако, возможности их применения ддя проектирования высокопроизводительных видеосистем в настоящее время ограничены, во-первых, ввиду отсутствия эффективных алгоритмов поиска опорных точек (ОТ) и, во-вторых, из-за нерегулярности процесса соединения ОТ в треугольники (рис. 4).

Исходное изображение

Оценка точности

Рекурсивное разбиение и поиск опорных точек

Управлешгеточностыо, скоростью и сложностью Передача

1

Результирующее изображение

Триангуляция опорных точек

и

Рисунок 4 - Модель кодирования и декодирования по опорным точкам

Исходя из вышесказанного, в работе решена задача развития триангуляционных методов с использованием пирамидально-рекурсивного подхода в организации процесса поиска ОТ (рис. 5а) и их соединения в треугольники (рис. 56). Поиск опорных точек осуществляется рекурсивным разбиением изображения на определенное число полигонов. Далее оценивается точность аппроксимации полигонами при условии, что плоскость полигона определяется линейной интерполяцией яркостей в пределах полигона (анализ точности выполняется управлением числа ОТ). Те полигоны, точность аппроксимации которых не удовлетворительна, подлежат дальнейшему разбиению и анализу до тех пор, пока все изображение не окажется покрытым неравномерной полигональной сеткой. Данный метод существенно упрощает построение триангуляции, так как ОТ жестко связаны определенной структурой.

Введение регулярности явилось базой для создания параллельных алгоритмов кодирования и декодирования изображений по ОТ. Обращено внимание на возможность деления

изображения на полигоны различной формы (треугольники, квадраты и прямоугольники). При этом получены сравнительные оценки эффективности их использования.

Осуществлена систематизация алгоритмов кодирования и декодирования по опорным точкам, основанная на признаках: форма полигона, число полигонов после разбиения, расположения ОТ в пределах полигона. Предложено описание совокупности ОТ, ориентированное на решение задачи поиска ближайших соседей ОТ.

Рисунок 5 - Упрощенные алгоритмы: а) - кодирования, б) - декодирования по опорным точкам

Алгоритмы с произвольным расположением ОТ в пределах полигона обладают более высоким коэффициентом сжатия при меньшем количестве разбиений, однако выявлено, что в процессе восстановления по ОТ возникают те же трудности, что при решении задачи триангуляции из-за нерегулярности связей. Но предложенная регулярная триангуляция характеризуется в 2...3 раза меньшей вычислительной сложностью, чем классический вариант триангуляции.

В работе разработана математическая модель для оптимизации параметров системы кодирования по опорным точкам, позволяющая определить: необходимое число ОТ, количество полигонов после разбиения (трихотомии кодируемого изображения), среднее число операций на точку, объем рабочей памяти, количество пустых полигонов (однородные полигоны, не подлежащие разбиению и не имеющие опорную точку) и т. д.

Применение в работе рекурсивного разбиения изображения на три полигона и последующее восстановление с использованием триангуляции объясняется следующими основными причинами:

• аналитически и экспериментально доказана эффективность трихотомии при кодировании и декодировании сигналов изображений;

• треугольник является простейшим полигоном, вершины которого однозначно задают грани, аппроксимирующие изображение;

• вычислительная сложность 0(п' log п зависит от п' - числа опорных точек.

В четвертой главе рассмотрены наиболее существенные особенности проектирования смешанных систем на кристалле и, в частности, видеосистем на кристалле при учёте специфики совместного функционирования фотоприёмника и вычислителя с использованием современных САПР на основе технологии «система на кристалле». Разработаны структуры СнК и ВСнК кодирования и декодирования изображений на основе ДКП-Зй иДПП по опорным точкам.

Распределение площади видеосистемы на кристалле между фотоприемником и вычислителем осуществляется на основе взаимообмена количества получаемой информации и её качества, понимаемого как соотношение скорости создания видеоинформации и количества информации, переданной по каналу. Оптимизация осуществляется исходя из достижения максимума функционала, включающего взвешенную сумму полезной информации и взятой с обратным знаком переданной информации. Принципиальным отличием проектирования видеосистемы на кристалле по сравнению с проектированием операционных устройств кодирования изображений на основе методологии вектора концепции является учёт ряда дополнительных требований и не варьируемых ограничений:

• общей площади кристалла Я, распределяемой между площадью 5Ф фотоприёмной секции и площадью вычислительной секции;

• площади вентиля вычислительной подсистемы, определяемой нормой точности изготовления СБИС;

• требуемого (назначаемого) динамического диапазона изменения сигнала пиксела, равного отношению максимального числа электронов (2 в пикселе к минимально различимому числу

электронов д. Динамический диапазон обычно определяют не только как отношение этих чисел, но и как двоичный логарифм этого отношения, имеющий смысл числа разрядов АЦП: т =

Таким образом, вектор концепции видеосистемы на кристалле включает совокупность констант {со, <?ь т}. Коэффициент

сжатия информации в видеосистеме на кристалле делается управляемым, обеспечивающим изменение скорости передачи и, соответственно, назначаемой ошибки е. Так как в готовой видеосистеме на кристалле сложность кодера и количество пикселов фотоприёмной секции фиксированы, то при проектировании следует исходить из необходимости обеспечения требуемого качества изображения при минимальном сжатии. При заданной норме точности изготовления СБИС площадь ¿ч вентиля вычислительной подсистемы равна элементарной площади фотодиода накопления фотоэлектронов, необходимой для накопления минимально различимого числа электронов д. Диапазон изменения интенсивности сигнала <2^ является целой степенью числа 2: <2^=2т. Тогда скорость создания информации Н на выходе фотоприёмной секции (до сжатия изображения в кодере источника) определяется числом элементов в фотоприёмной секции видеосистемы 5ф/.5т2т, и динамическим диапазоном сигнала т, измеряемом в битах на пиксел:

Н=8фт/5Т2т. (10)

Сложность IV вычислительной подсистемы видеосистемы на кристалле с учётом ограничения полной площади 5 = 5ф + составит:

И^и/у^-Яф У (И)

Максимизируемый функционал, являющийся критерием информационного качества видеосистемы, запишем в виде

Р = соН - СгЯ. (12)

Для нахождения максимума критерия качества (12) используем величину Нк эпсилон-энтропии с ограничением сложности качества и при скорости передачи К достаточно близкой к Тогда, формула для взаимообмена сложности кодирования и скорости передачи (5) преобразует функционал (12) к виду:

Р=с0-Н-с^ЩЖ-Н). (13)

С учётом выражений (10) и (11) функционал (13) можно преобразовать к виду, содержащему кроме совокупности весовых коэффициентов {со, с\} искомую величину ^ф/5 и константу 2т1ш.

Эта величина имеет смысл отношения площади накопительной ячейки пиксела к площади вычислительной ячейки, обеспечивающей выполнение одной /н-разрядной операции над сигналом пиксела:

р^&шт =с0 V5 -^(оу5, (!- ад)/(1~(1+т/2'") V5))- (14)

Взяв производную с1Р'/(1(8ф/5) и приравняв её нулю, получим значение оптимальной площади фотоприёмной секции:

Полученная зависимость оптимального соотношения площадей фотоприёмной и вычислительной подсистем в рамках одной видеосистемы на кристалле показывает, что распределение площади целиком определяется вектором концепции видеосистемы на кристалле. При этом требуемая разрядность АЦП влияет на распределение площади значительно слабее, чем отношение весовых коэффициентов со и с\ при одинаковом количестве и качестве переданной видеоинформации.

Следует отметить, что системный подход требует отказа от старой концепции единственного потока данных между фотоприёмником и вычислителем и перехода к новой концепции распараллеливания потоков видеоинформации не только внутри вычислителя, но и на его входе.

Множественные потоки данных широко применяются в вычислительной технике и используются при построении моделей, структурных схем и алгоритмов кодирования изображений, изложенных ниже.

Подход к задаче распараллеливания ввода видеоинформации в вычислительную подсистему ВСнК должен основываться на максимизации количества и качества видеоинформации. Концептуально он аналогичен рассмотренному ранее распределению площади ВСнК между фотоприёмником и вычислителем. Отличие этих задач состоит в том, что оптимизация структуры ВСнК нацелена на увеличение быстродействия (учитываемое в рамках функционала (13)) и должна осуществляться с учётом согласования структуры вычислителя с варьируемым числом каналов связи фотоприёмного массива с вычислителем. Например, если организован множественный поток данных из фотоприёмного массива с параллельным считыванием п

(15)

соседних пикселов (типичное значение п равно 8 для формирования фрагментов при дискретном косинусном преобразовании изображений), то структура вычислителя содержит один процессор без буферного ЗУ. Вычислитель с множественным потоком данных должен работать при той же скорости, что и вычислитель при единственном потоке видеоинформации. Если множественный поток данных будет организован путём параллельного считывания N разнесённых пикселов, то структура вычислителя содержит N процессоров, снабжённых буферными ЗУ, но работающими со скоростью, в т раз меньшей.

В работе разработаны новые архитектурные решения, использующие множественные потоки данных в видеосистемах на кристалле, где стабилизация изображений и высокая чувствительность к смещению изображения и широкий диапазон компенсируемых смещений и ускорений смещения достигается благодаря прямому методу измерения смещения без использования вспомогательных датчиков ускорения (рис. 6).

Рисунок 6 - Функциональная схема виброустойчивой системы формирования изображений с использованием СБИС ВСнК с разделением фрагментов формирования основного изображения и а) формирования оценок смещения изображений и б) структура пикселов основного и вспомогательных фрагментов

Предложенный способ распараллеливания ввода видеоинформации из фотоприёмных массивов видеосистем на кристалле в вычислительную подсистему является эффективным средством повышения быстродействия и точности ВСнК, органически дополняющим распараллеливание вычислений. Так как скорость передачи видеоинформации из фотоприёмных

массивов ВСнК является критическим параметром, определяющим быстродействие системы в целом, то использование множественных потоков данных на входе вычислительной подсистемы оказывается принципиально необходимым атрибутом видеосистем на кристалле и их функциональных устройств - СФ-блоков.

В главе разработаны архитектуры видеосистем на кристалле на основе ДКП-З Э с различными степенями адаптации к сюжетам и сложности реализации (рис. 7) и на основе дискретного полигонального преобразования (ДПП) по опорным точкам (рис. 8), характеризующиеся наличием устройства управления точностью, скоростью и сложностью. Разработаны структуры и синтезированы основные элементы и устройства в виде СФ-блоков упомянутых видеосистем и верифицированы с помощью разработанного макета на базе технологии «реконфигурируемая система на кристалле» со встроенным 32-х разрядным процессором.

По сравнению со стандартными алгоритмами кодирования видеоинформации с компенсацией движения, разработанные структуры ДКП-ЗД имеют три главных преимущества:

• оценка движения требует существенно меньшего числа операций на пиксел;

• декодер является симметричным кодеру с почти идентичной структурой и меньшей сложностью, что позволяет их объединить в одну СнК;

• простота аппаратной реализации, что является ключевым фактором при реализации мобильных систем сжатия видеосигнала.

Последовательное применение принципа адекватности физической структуры видеосистем пространственно-временной структуре процессов вычислений, реализующее заданный набор операций, дает основание считать, что разработанные архитектуры видеосистем на кристалле являются оптимальными для выполнения сжатия и восстановления изображений как на основе ДКП, так и на основе ДПП по опорным точкам.

Таким образом, в этой главе получены следующие основные результаты:

• разработаны функциональные схемы многопроцессорной системы с учетом максимальной возможности распараллеливания алгоритмов кодирования и декодирования по опорным точкам;

Рисунок 7 - Структурная схема СиК кодирования а) и Декодирования б) на основе ДКП-ЗБ

Информационные параметры видеосистемы на кристалле

Рисунок 8 - Структурная схема СнК а) кодирования и б) декодирования изображений на основе ДПП по ОТ

• разработана методика проектирования видеосистем на кристалле, включающая оптимальное распределение площади кристалла между фотоприёмной и вычислительной подсистемами, и определяемая вектором концепции ВСнК;

• разработан лабораторный стенд на базе технологии «реконфигурируемая система на кристалле», позволяющая аппаратно-программную отладку и прототипирование проектов СФ-блоков СнК и ВСнК;

• осуществлен расчет производительности видеосистем реального времени для разработанных методов кодирования.

Материал пятой главы посвящен подтверждению корректности принятых при разработке теории моделей и гипотез, для чего разработана методика оценки алгоритмов кодирования и декодирования, проведены экспериментальные исследования разработанных методов и оценена их эффективность по предложенному критерию (2) на компактной представительной выборке изображений, сформированной с учётом их нестационарности и широкополосности.

Наглядное представление взаимообмена скорости и сложности, соответствующего формуле (5), может быть дано номограммой (рис. 9).

Рисунок 9 - Номограмма сложности УУ и скорости передачи Я изображений для различных методов кодирования источника

Анализ номограммы показывает, что численные значения скорости передачи и сложности кодирования в эксперименте хорошо совпадают с предложенным функционалом (5): линии, соединяющие сложность и скорость передачи для каждого из

методов кодирования пересеклись в одной точке на вертикальной оси номограммы, которая соответствует эпсилон-энтропии кодера источника.

Выбор того или иного способа кодирования непрерывного источника означает выбор конкретного вектора концепции системы, то есть соотношения коэффициентов с\ и Сг в критерии (3), а выбор назначаемой ошибки означает выбор отношения коэффициента со при потере полезной информации к коэффициентам с1 и с2- Взаимообмен скорости передачи и сложности при фиксированной ошибке передачи представлен в таблице, в которой каждому из рассмотренных способов кодирования непрерывного источника (ДВП- дискретное вейвлет преобразование, ТрК- триангуляционное кодирование, ПКЛ-преобразование Карунена-Лоэва) сопоставлено соответствующее значение соотношения весовых коэффициентов с\яс2ъ критерии (3).

Таблица - Скорость передачи и сложность кодера при различных методах кодирования

Метод Относительная Относительная С)/С2

скорость передачи сложность

ДКП 1,62 1 2,6

ДВП 1,5 1,5 4

ДПП 1,25 3,5 16

ТрК 1,1 10 100

ПКЛ 1 00 00

Ранжирование всех изображений по нестационарности и широкополосности позволило выбрать девять изображений, которые составили компактную представительную выборку сюжетов. При практической реализации алгоритмов кодирования и декодирования изображений на основе предложенных спектрального и полигонального методов была исследована взаимосвязь трех величин: ошибки передачи, скорости передачи и сложности кодера.

В соответствии с теоретическим трёхмерным графиком (рис. 2) эксперименты на представительной выборке сюжетов показали (рис. 10), что уменьшение назначаемой ошибки при любом методе ведёт и к увеличению скорости передачи при фиксированной сложности устройства кодирования, и к увеличению сложности кодера при фиксированной скорости передачи.

Изображение

ДДбит/пикс.)

Изображение

К (бит/пике.)

Изображение

^^(опер./пикс.)

' й^оперТпикс.)

ЩоперУпикс.)

^ЯоперТпикс.)

ДКП .......ДВП _ ДПП--ТрК.

Рисунок 10 - Результаты экспериментов и области применения кодеров: изображения 1-3 с малой степенью нестационарности; изображения 4-6 с большой степенью нестационарности

Таким образом, стремление к передаче информации максимального качества при сжатии непрерывного зашумлённого сигнала в соответствии с формулой (9) ведёт, во-первых, к необходимости учёта потенциального количества информации в передаваемом непрерывном зашумлённом сигнале, и, во-вторых, к тому, что вектор концепции в критерии (3) не должен назначаться

Экспериментальные исследования показали, что дискретно-полигональное преобразование не только ценой почти трехкратного усложнения кодера позволяет снизить скорость передачи на 30% по сравнению с вейвлет-кодированием (ДВП), но и обеспечивает в среднем скорость передачи на 25% большую, чем эпсилон-энтропия кодируемого изображения.

Таким образом, экспериментальные исследования подтвердили допустимость принятых при разработке теории, моделей и гипотез.

В заключении поясняется общность решенных задач, обеспечивающая внутреннее единство диссертации, и опирающаяся на введение нового понятия информационной эффективности устройств кодирования непрерывных источников изображений, учитывающей не только эффективность сжатия сигналов, но и затраченную для этого сложность устройства. Показана значимость опоры на учёт сложности устройств кодирования непрерывных источников изображений для реализации СФ-блоков систем на кристалле и видеосистем на кристалле. Отмечаются результаты, полученные самостоятельно и в соавторстве.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

В диссертационной работе в рамках решения поставленной научно-технической проблемы разработки теоретических основ и прикладных методов системного проектирования устройств кодирования видеоинформации в прикладных системах, получены следующие основные результаты:

1. Обосновано проведение системного проектирования устройств кодирования на основе триады: предложенного критерия эффективности кодера, включающего взвешенную сумму потери полезной информации, скорости передачи и сложности; введённого

произвольно, а учитывать требование с0 >

понятия эпсилон-энтропии с ограничением сложности и предложенного функционала взаимообмена скорости передачи и сложности.

2. Обосновано существование оптимальной потери информации и ошибки передачи зашумленных непрерывных сигналов, определяемых соотношением компонентов вектора концепции системы.

3. Обосновано распределение площади кристалла между фотоприёмной и вычислительной подсистемами с учётом формализованного взаимообмена скорости передачи непрерывного сигнала и сложности кодера.

4. Показано, что ценой увеличения вычислительной сложности кодера в 2,8 раза метод дискретного пространственного преобразования позволяет на 15% лучше для большинства изображений представительной выборки, чем дискретное косинусное преобразование приблизиться к эпсилон-энтропии источника.

5. Показано, что применение метода кодирования источника на основе ДПП по опорным точкам (без перехода в спектральную область) позволяет достичь лучшей эффективности кодирования для класса изображений с большой мерой нестационарности изображений по сравнению с ДКП (до 1,4 раза), и по сравнению с вейвлет кодированием (до 1,2 раза).

6. Показано, что применение метода трихотомии в ДПП позволяет на 20% сократить вычислительные затраты по сравнению с известными алгоритмами на основе дихотомии и тетрахотомии.

7. Разработан способ адаптации с переменными размерами пространственных и временных интервалов вычисления ДКП-ЗО (в диапазонах от 4 до 32 пикселей видеокуба и от 4 до 128 кадров), позволяющий уменьшить вычислительную сложность на 4 порядка меньше, чем у кодеров и на 2...3 порядка меньше, чем у декодеров, реализованных по стандартам MPEG.

8. Получена аналитическая модель для определения оптимальных параметров систем кодирования нестационарных изображений по опорным точкам.

9. Показано, что использование адаптивного метода кодирования нестационарных изображений на основе ДПП по опорным точкам с однородной компактной структурой данных позволяет в 2...3 раза увеличить скорость построения

триангуляции на этапе декодирования и восстановления сжатых видеоданных.

10. Разработана специализированная СБИС в виде СФ-блока преобразования видеоконтента, который обеспечивает совместимость предложенного адаптивного ДКП кодера со стандартными протоколами обмена видеоинформацией. Этот блок позволяет снизить трафик почти в два раза для видео стандартного разрешения и, примерно, в 1,4 раза для видео высокой четкости.

Разработанная методика концептуального проектирования устройств кодирования непрерывных источников изображений на основе введённого обобщённого показателя эффективности кодера (3) и взаимообмена скорости передачи и сложности кодера (5) позволяет формализовать начальный этап проектирования, особенно актуальный при реализации кодеров в виде СБИС и СФ-блоков систем и видеосистем на кристалле.

Совокупность проведенных теоретических и экспериментальных исследований и полученных новых научных и практических результатов показывает, что поставленная в диссертационной работе актуальная проблема разработки теоретических основ и прикладных методов проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования сигналов изображений решена.

СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ Монографии

1. Твердотельная революция в телевидении [Текст]: монография / Ш. С. Фахми [и др.]; под ред. А. А. Умбиталиева и А. К. Цыцулина - М.: Радио и связь, 2006. - 310 с.

2. Фахми, Ш. С. Проектирование устройств обработки сигналов ' на основе технологии «система на кристалле» [Текст]: монография / Ш. С. Фахми, В. В. Березин. - СПб: Изд-во СПбГЭТУ «ЛЭТИ», 2005. - 144 с.

Статьи в журналах, входящих в перечень ВАК РФ

3. Фахми, Ш. С. Адаптивный алгоритм кодирования видеоинформации на основе трехмерного дискретного косинусного

преобразования [Текст] / Ш. С. Фахми, И. А. Зубакин // Изв. вузов России. Сер. Радиоэлектроника. - 2010. - Вып. 1.- С. 49-54.

4. Фахми, Ш. С. Аппаратно-программное проектирование сложных функциональных блоков с использованием систем на кристалле [Текст] / Ш. С. Фахми, И. А. Зубакин, С. С. Шагаров // Науч. тех. вестник СПбГУ ИТМО. - 2010.- № 2(66).- С. 90-98.

5. Фахми, Ш. С. Сопряженное проектирование на базе реконфигурируемых систем на кристалле [Текст] / Ш. С. Фахми, Е. В. Костикова // Информационно-управляющие системы,- 2010.-№ 3,- С. 38-43.

6. Фахми, Ш. С. Классификация нестационарных изображений и разработка методики оценки алгоритмов кодирования источника [Текст] / III. С. Фахми, И. А. Зубакин // Науч. тех. вестник СПбГУ ИТМО,- 2010.- № 2(66).- С. 54- 59.

7. Фахми, Ш. С. Адаптивные алгоритмы кодирования видеоинформации [Текст] / Ш. С. Фахми, И. А. Зубакин, С. С. Шагаров // Приборы,- 2010,- № 4.- С. 28-31.

8. Фахми, Ш. С. Аналитическая модель оценки степени приближения к эпсилон-энтропии на основе пирамидально-рекурсивного метода кодирования изображений [Текст] / Ш. С. Фахми // Вестник ТОГУ.- 2010,- № 1 (16).- С. 32-44.

9. Фахми, Ш. С. Отладка аппаратно-программного обеспечения реконфигурируемых систем на кристалле [Текст] / Ш. С. Фахми, В. В. Березин, Р. Н. Золотухо // Компоненты и технологии.- 2003.- № 7.- С. 118-122.

10. Фахми, Ш. С. Специализированная СБИС преобразования видеоданных [Текст]/ Ш. С. Фахми, А. А. Умбиталиев, Н. Н. Шипилов, С. М. Ибатуллин // Науч. тех. вестник СПбГУ ИТМО,- 2010,- № 4(68).- С. 84-88.

11. Фахми, Ш. С. Развитие триангуляционного подхода для кодирования и декодирования нестационарных изображений [Текст] / Ш. С. Фахми // Вестник ТОГУ.- 2010,- № 3 (18).- С. 81-90.

Патенты и свидетельства о регистрации программ для ЭВМ

12. Патент РФ № 2384987. Способ стабилизации изображений [Текст]/ Фахми Ш. С., Цыцулин А. К., Переспелое А. В. // Опуб. 20.03. 2010 Б.И. № 8.

13. Патент РФ № 2375838. Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования [Текст]/ Фахми Ш. С., Ибатуллин С. М., Ибатулин В. Ф., Иванов К. В., Шипилов Н. Н., Умбиталиев А. А., Цыцулин А. К.//Опуб. 10.12. 2009, Б. И. № 34.

14. Заявка РФ на изобретение № 2009143443. Способ распространения и транскодирования видеоконтента [Текст]/Фахм и Ш.С., Умбиталиев А. А., Шипилов Н. Н, Ибатуллин С. Н. // приоритет 24.11.2009. Решение о выдаче патента на изобретение от 08.09.2010.

15. Свидетельство о государственной регистрации программы для ЭВМ № 2007613644 Пирамидальное кодирование изображений по опорным точкам / Ш. С. Фахми - зарег. в Реестре программ для ЭВМ 27.08.2007.

16. Свидетельство о государственной регистрации программы для ЭВМ №2008615181 Трехмерная генерация изображений по опорным точкам 3D TV CODER v. 1.0 / Ш. С. Фахми - зарег. в Реестре программ для ЭВМ 28.10.2008.

17. Свидетельство о государственной регистрации программы для ЭВМ №2009615442. Кодер изображений на основе триангуляции CTV-RI / Ш. С. Фахми - зарег. в Реестре программ для ЭВМ 01.10.2009.

18. Свидетельство о государственной регистрации программы для ЭВМ № 2010613202. Рекурсивный триангуляционный кодек NUT RT. / Ш. С. Фахми - зарег. в Реестре программ для ЭВМ 14.05.2010.

19. Свидетельство о государственной регистрации программы для ЭВМ №2010614956. Классификатор нестационарных изображений NUT IK / Ш. С. Фахми -зарег. в Реестре программ для ЭВМ 29.07.2010.

20. Свидетельство о государственной регистрации программы для ЭВМ № 2010614957. Адаптивный пространственный кодер изображений NIIN ДПП-3 / Ш. С. Фахми - зарег. в Реестре программ для ЭВМ 29.07.2010.

21. Свидетельство о государственной регистрации программы для ЭВМ № 2010615390. Кодек изображений на основе адаптивного двумерного дискретного косинусного преобразования NIIN A 2DCT / Ш. С Фахми - зарег. в Реестре программ для ЭВМ 20.08.2010.

22. Свидетельство о государственной регистрации программы для ЭВМ №2010615985. Аппаратно-программное обеспечение системы на кристалле для быстродействующей передачи изображений/ В. В. Березин, В. В. Бородулин, А. В. Зенкевич,

A. Г. Шоберг, Ш. С. Фахми. - зарегистрировано в Реестре программ для ЭВМ 13.09.2010.

23. Свидетельство о государственной регистрации программы для ЭВМ № 2007614093. Подсистема автоматизации триангуляционного кодирования и декодирования видео информации/ Ю. Т. Лячек, А. И. Ларистов, Ш. С. Фахми зарегистрировано в Реестре программ для ЭВМ 25.07.2009.

24. Свидетельство о государственной регистрации программы для ЭВМ № 2008610552. Полигональное кодирование видеоинформации / В. В. Березин, Ш. С. Фахми. зарегистрировано в Реестре программ для ЭВМ 30.01.2008.

25. Свидетельство о государственной регистрации программы для ЭВМ № 20086615872. Высокопроизводительный кодек на основе дискретного косинусного преобразования/ Ш. С. Фахми, С. М. Ибатуллин, В. Ф. Ибатулин, Н. Н.Шипилов, А. А. Умбитлиев - зарегистрировано в Реестре программ для ЭВМ 13.09.2010.

26. Свидетельство о государственной регистрации программы для ЭВМ № 2009612326. Программное обеспечение видеосистемы на кристалле в составе беспроводной камеры / В. В. Березин,

B.В. Бородулин, Ш. С. Фахми. - зарегистрировано в Реестре программ для ЭВМ 18.03.2009.

27. Свидетельство о государственной регистрации программы для ЭВМ № 2008614479. Дискретное косинусное преобразование видеосигнала NUT VCS 3D-DCT / Н. Н. Шипилов, Ш. С. Фахми. -зарегистрировано в Реестре программ для ЭВМ 17.09.08.

28. Свидетельство о государственной регистрации программы для ЭВМ № 2007613740. Пирамидально-рекурсивное кодирование видеоинформации Video Coder RT v 1.0 / А. А. Умбиталиев, A.K. Цыцулин, Ш. С. Фахми. - зарегистрировано в Реестре программ для ЭВМ 03.09.07.

Статьи в трудах зарубежных конференций

29. Sh. S. Fahmi, S. М. Ibatullin, V. F. Ibatulin, К. V. Ivanov, A. A. Umbitaliev, N. N. Shipilov, A. K. Tsytsulin. A versatile real time video codec based on three-dimensional discrete cosine transform. IBC

2008, RAI International Congress and Exhibition Centre Amsterdam. The Netherlands. Conference 11-15 September 2008. PP. 386-391.

Прочие статьи и материалы конференций

30. Фахми, Ш. С. Пирамидально-рекурсивная обработка изображений [Текст] / Ш. С. Фахми, А. И. Ларистов // Изв. ЛЭТИ. -2006.-Вып. 5.-С 3-9 с.

31. Фахми, Ш. С. Физическое прототипирование цифровых устройств обработки сигналов на системном уровне [Текст] / Ш. С. Фахми // Вопросы радиоэлектроники. Сер. Техника телевидения. - 2009. - Вып. 2. - С. 118-129.

32. Фахми, Ш. С. Проектирование цифровых устройств обработки сигналов на базе технологии «система на кристалле» [Текст] / Ш. С. Фахми // Изв. СПбГЭТУ «ЛЭТИ». Сер. Инф., упр. и комп. технол. - 2009. - Вып. 5. - С. 23-32.

33. Фахми, Ш. С. Обзор методов кодирования и декодирования изображений [Текст] / Ш. С. Фахми, И. А. Зубакин // Вопросы радиоэлектроники. Сер. Техника телевидения. -2008. - Вып. 1. - С. 13-41.

34. Фахми, Ш. С. Алгоритм сжатия и восстановления изображений методом деления на треугольники [Текст] / Ш. С. Фахми, В. В. Шах, В. К. Шмидт // Изв. СПбГЭТУ. - 1993. -Вып. 448.-С. 5-15.

35. Фахми, Ш. С. Полигональная рекурсивная обработка видеоинформации [Текст] / Ш. С. Фахми // Вопросы радиоэлектроники. Сер. Техника телевидения. -2008. - Вып. 1. - С. 42-51.

36. Фахми, Ш. С. Кодирование и декодирование видеоинформации [Текст] / Ш.С. Фахми // Вопросы радиоэлектроники. Сер. Техника телевидения. - 2007. - Вып. 2. - С. 43-51.

37. Фахми, Ш. С. Оценка степени приближения к энтропии на основе пирамидально-рекурсивного метода кодирования изображений [Текст] / Ш. С. Фахми // Изв. СПбГЭТУ «ЛЭТИ». -2010.-Вып. 4.-С. 8-17.

38. Фахми, Ш. С. Кодирование видеосигналов [Текст] / Ш. С. Фахми // Изв. СПбГЭТУ «ЛЭТИ». Сер. Инф., упр. и комп. технол. - 2007. - Вып. 3. - С.34-40.

39. Фахми, Ш. С. Решения уравнения связи [Текст] / Ш. С. Фахми, И. А. Зубакин, А. К. Цыцулин // Вопросы радиоэлектроники. Сер. Техника телевидения. -2008. -Вып. 2. - С. 3-22.

40. Фахми, Ш. С. Алгоритм сжатия изображений с предсказанием по ОТ [Текст] / Ш. С. Фахми, В. В. Шах, В. К. Шмидг; ЛЭТИ. -Л, 1991. - 30 с. - Деп. в ВИНИТИ 04.02.91, № 523-В91.

41. Шакиб Ф. Оценка степени сжатия изображений с использованием рекурсивного метода разбиения [Текст] / Ф . Шакиб, В. В. Шах, В. К. Шмидт // Изв. СПбГЭТУ. - 1993. - Вып. 462. - С. 54-65.

42. Фахми, Ш. С. Алгоритм сжатия и восстановления изображений с пирамидально-рекурсивной структурой данных [Текст] / Ш. С. Фахми, В. В. Шах, В. К. Шмидт; СПбГЭТУ. - СПб., 1993. - 10 с. - Деп. в ВИНИТИ 11.02.93, № 350-В93.

43. Фахми, Ш. С. Аналитическая модель оценки эффективности кодирования по опорным точкам [Текст] / Ш. С. Фахми // Изв. СПбГЭТУ ЛЭТИ. - 2006. - Вып. 5 - С. 10-15.

44. Фахми, Ш.С. Начальный этап проектирования кодера источника непрерывного сигнала [Текст] / Ш. С. Фахми, И. А. Зубакин, А. К. Цыцулин // Вопросы радиоэлектроники. Сер. Техника телевидения. - 2010 - Вып. 2. - С. 17-32.

45. Фахми, Ш. С. Сложно-функциональный блок транскодирования видеоконтента [Текст] / Ш.С. Фахми, А. А. Умбиталиев, Н. Н. Шипилов, С. М. Ибатуллин // Вопросы радиоэлектроники. Сер. Техника телевидения. - 2010 - Вып. 2. - С. 75-82.

46. Фахми, Ш. С. Использование возможностей контроллера динамической памяти как составной части "системы на кристалле" [Текст] / Ш. С. Фахми, В. В. Березин // Неразрушаю щий контроль и диагностика окружающей среды, материалов и промышленных изделий: межвуз. сб. науч. работ СЗТУ СПб.: Изд-во СЗТУ, 2004.-Вып. 9.-С. 213-225.

47. Фахми, Ш.С. Методическое сопровождение процесса проектирования цифровых устройств обработки сигналов [Текст] / Ш.С. Фахми, В.В. Березин // Современные технологии обучения: матер. X Междунар. науч.-техн. конф. СПб: Изд-во СПбГЭТУ "ЛЭТИ", 2004. С. 125-127.

48. Фахми, Ш.С. Внедрение в учебный процесс дисциплин кафедры САПР основ проектирования для устройств класса «система на кристалле» [Текст] / Ш.С. Фахми, В.В Березин // Современные технологии обучения: матер. XI Междунар. науч.-техн. конф. СПб: Изд-во СПбГЭТУ "ЛЭТИ", 2005. С. 29-31.

49. Фахми, Ш. С. Перспективы отечественных видеосистем на кристалле [Текст] / Ш. С. Фахми, А. К. Цыцулин // Телевидение: передача и обработка изображений: матер.У1 Междунар. науч,-техн. конф. СПб: Изд-во СПбГЭТУ "ЛЭТИ", 2008. С. 11-13.

50. Фахми, Ш. С. Отладка аппаратно-программного обеспечения реконфигурируемых видео систем на кристалле [Текст] / Ш. С. Фахми // Современное образование: содержание, технологии, качество: матер. XIV Междунар. науч.-техн. конф. СПб: Изд-во СПбГЭТУ «ЛЭТИ», 2008. С. 128.

51. Фахми, Ш. С. Влияние шага квантования косинусного преобразования на качество восстановленных видеоданных [Текст] / Ш.С. Фахми, Ю.Т. Лячек // Марийский гос. тех. ун-т.: сб. матер, всероссийской науч,-практич. конф. с междунар. участием. Йошкар-Ола: Изд-во Марийского гос. тех. ун-та, 2009. Том 1. С. 42-46.

52. Фахми, Ш.С. Анализ архитектур устройств класса «видеосистем на кристалле» [Текст] / Ш. С. Фахми, Д.А. Заверженец, А. К. Цыцулин, И. А. Зубакин. 1! Современное образование: содержание, технологии, качество: матер. XV Междунар. науч.-техн. конф. СПб: Изд-во СПбГЭТУ "ЛЭТИ", 2009. С. 143-145.

53. Фахми, Ш.С. Новые архитектурные решения в видеосистемах на кристалле [Текст] / Ш. С. Фахми, А. К. Цыцулин // Распознавание 2010: сб. матер. IX Междунар. конф. Курск: Изд-во КГТУ, 2010. С. 112-114стр.

54. Фахми, Ш.С. Пирамидально-рекурсивный метод в задачах кодирования и декодирования нестационарных сигналов изображений [Текст] / Ш. С. Фахми// Распознавание 2010: сб. матер. IX Междунар. науч.-техн. конф. Курск: Изд-во КГТУ, 2010. С. 175-177.

Соискатель

Ш. С. Фахми

Подписано в печать 02.02.11, Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 2,25. Тираж 100 экз. Заказ 6.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

Введение.

Глава 1. Обзор методов кодирования изображений и постановка проблемы проектирования устройств видеосистем на кристалле , для кодирования изображений.

1.1. Модели кодирования и передачи изображений.

1.2. Специфика моделей кодеров при реализации в виде СФ-блоков с учётом вычислительной сложности.

1.3. Методы и алгоритмы кодирования непрерывных нестационарных источников. Классификация методов кодирования изображений.

1.4. Проблематика разработки методов и алгоритмов кодирования изображений в устройствах систем на кристалле.

Постановка задач исследований.

1.5. Выводы по главе.

Глава 2. Проектирование видеосистем на кристалле на основе обобщенного показателя эффективности.

2.1. Идеальное кодирование в смешанной системе.

2.2. Обобщенный критерий качества кодирования непрерывных зашумленных источников.

2.3. Выбор метода кодирования непрерывного источника с учетом сложности кодера.

2.4. Оптимальные методы кодирования непрерывных сигналов для передачи по дискретному каналу.

2.4. Выводы по главе.

Глава 3. Разработка алгоритмов кодирования и декодирования изображений.

3.1. Адаптивные алгоритмы малой сложности с кодированием в спектральной области.

3.2. Адаптивные алгоритмы высокой сложности с кодированием в пространственной области сигнала.

3.3. Адаптивные алгоритмы средней сложности с кодированием в пространственной области сигнала.

3.4. Систематизация алгоритмов сжатия и восстановления изображений на основе метода дискретного пространственного преобразования.

3.5. Аналитическая модель поиска оптимальных параметров устройств кодирования изображений по опорным точкам.

3.6. Выводы по главе.

Глава 4. Разработка структур специализированных устройств видеосистем на кристалле.

4.1. Модифицированный маршрут проектирования видеосистем на кристалле.

4.2. Распределение площади кристалла видеосистем на кристалле между фотоприёмником и вычислителем.

4.3. Множественные потоки данных при вводе изображений в процессор видеосистем на кристалле.

4.4. Разработка структур устройств кодирования изображений видеосистем на кристалле.

4.4.1. Разработка структуры кодера на основе трёхмерного дискретного косинусного преобразования.

4.4.2. Разработка структуры кодера на основе дискретного пространственного преобразования по опорным точкам.

4.5. Разработка макета сопряженного проектирования устройств кодирования изображений на основе технологии «система на кристалле».

4.6. Выводы по главе.

Глава 5. Экспериментальные исследования алгоритмов кодирования и декодирования нестационарных изображений.

5.1. Разработка методики тестирования кодеров непрерывных нестационарных источников на основе компактной представительной выборки сюжетов.

5.2. Результаты моделирования алгоритмов кодирования дискретного косинусного преобразования.

5.2.1. Кодирование и декодирование изображений.

5.2.2. Кодирование и декодирование видеоинформации.

5.3. Результаты моделирования алгоритмов кодирования дискретного пространственного преобразования.

5.4. Результаты экспериментальных исследований и оценка точности, скорости и сложности кодирующих устройств.

5.5. Выводы по главе.

Диссертация посвящена решению проблемы разработки теоретических основ и прикладных методов системного проектирования элементов и устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования нестационарных сигналов изображений в прикладных системах, и актуальной для нового направления развития отечественной радиоэлектроники - систем на кристалле и их компонентов — сложно-функциональных блоков (СФ-блоков).

Основной идеей разработанных теоретических основ проектирования является повышение эффективности методов, алгоритмов и структур кодеров изображений, предназначенных для их сжатия и реализуемых в виде СФ-блоков видеосистем на кристалле, и обеспечивающих наилучшие информационные характеристики при учёте ограничения на вычислительную сложность кодера, вытекающего из ограничения площади кристалла проектируемой СБИС. Важной особенностью решаемой проблемы является нестационарность и зашумленность реальных изображений, формируемых цифровыми фотоаппаратами, телекамерами, /Р-камерами и т. п.

В решение проблемы повышения эффективности в ходе синтеза специализированных устройств, в том числе и устройств кодирования изображений внесли свой вклад крупные зарубежные и отечественные учёные, такие как: Катаев С. И., Зубарев Ю. Б., Цуккерман И. И., Левит А. Б., Гуткин Л. С., Рыфтин Я. А., Александров В. В., Шмидт В. К., Борисов Ю. И., Пустынский И. Н., Хромов Л. И., Ярославский Л. П., Потапов А. А., Василенко Г. И., Вествэтер Р., ТраубДж., Нуссбаумер Г., Ричардсон Я., Рабинер Л., Прэтг У., Кайлат Т., Оппенгейм А. и др.

Актуальность решения этой проблемы определяется необходимостью синтеза перспективных информационно-вычислительных систем обработки нестационарных сигналов изображений, которые должны опираться, с одной стороны, на использование однокристальных устройств формирования и кодирования видеоинформации, выполняемых в виде систем на кристалле (СнК) и видеосистем на кристалле (ВСнК) [1—43]. С другой стороны решение проблемы должно опираться на достижения в области информационной теории связи [44 — 90], полученные при формализации методов достижения информационного равновесия, т. е. равенства эпсилон-энтропии источника и пропускной способности канала связи.

Идея равновесия лежит и в основе информационного проектирования систем связи реального времени, ядром которого является уравнение связи, формализующее принцип минимума информации при заданном её качестве [70 -77].

Решение уравнения связи преследует цель достижения равновесия в скорости создания информации источником сигнала и скорости передачи информации через канал связи. Под каналом связи в последующем изложении понимается широкий круг устройств связи источников изображений с компьютерным получателем вне зависимости от локализации вычислительной подсистемы — будь то на том же кристалле, что и массив фоточувствительных элементов, будь то в виде удалённого компьютера.

Для однокристальных видеоинформационных устройств важнейшим ограничением, используемом при синтезе кодера источника, является сложность кодера [91—126]. При этом возникает проблема поиска методов кодирования искажённых шумом нестационарных изображений, обеспечивающих наилучшее согласование источника изображений с каналом связи, т. е. наилучшее приближение к информационному равновесию (равенству эпсилон-энтропии и пропускной способности канала) при учёте ограничения сложности кодера источника.

Кодеры, обеспечивающие лучшее приближение к эпсилон-энтропии искажённых шумом нестационарных изображений, должны опираться не только на методы спектрального анализа [127-158], но и на методы анализа и обработки исходных изображений без перехода к спектральным отображениям [152—154].

Уравнение связи решается при формализации опорной триады путём приведения её к сопряжённой (понятие введено в [А64]). Опорная триада - это совокупность априорной информации, критерия качества и ограничений. В приложении к кодированию непрерывных зашумленных источников опорная триада обычно включает априорную информацию, ошибку передачи и сложность [159, 91-109].

Научные задачи синтеза оптимальных кодеров, адаптации телекамер и классификации несемантических образов (поставленные в [70, 71] и имеющие развитие в [А1]) уже во многом решены. Сегодня для развития задач синтеза актуально создание программируемых адаптивных однокристальных кодеров и декодеров, вплоть до размещения на одном кристалле фотоприёмной матрицы, кодера источника (устройства сжатия) и либо решающего устройства, либо (при удалённом пользователе) - кодера канала.

Современный уровень полупроводниковой технологии, позволяющий размещать на одном кристалле более миллиарда вентилей (с возможностью реализовывать на кристалле одновременно процессоры, аналоговые блоки, цифровую и программируемую логику и т. д.) определил революционные изменения в микроэлектронике и в целом индустрии вычислительной техники и радиоэлектроники. Противоречие между желательностью и возможностями применения СБИС в специализированных устройствах и, в частности, в системах обработки видеоинформации вызвало к жизни концепцию программирования структур. Благодаря программированию структур в электронной промышленности произошла универсализация схем и появился новый подход в проектировании на системном уровне, заключающийся в повторном использовании сложно-функциональных блоков (СФ-блоков) при проектировании видеосистем на кристалле [1— 43, А1, А2].

Важнейшим аспектом создания кодеров непрерывных источников изображений при реализации их и в аппаратном, и/или программном виде является их сложность. Самую большую сложность от компьютерных систем потребовали системы обработки и представления изображений, так как обработка в реальном времени нестационарных непрерывных изображений характеризуется предельными значениями быстродействия вычислений, скорости передачи информации по каналам связи и ёмкости памяти.

Видеосистемы на кристалле — это информационные машины, олицетворяющие триединство информационной теории, технологии реализации метода согласования источника с каналом связи и собственно техники в ходе её функционирования (вместе с результатом — полученной видеоинформацией). Системы обработки и передачи изображений создаются при опоре на теорию кодирования для каналов и источников. Единый комплекс, включающий систему обработки изображений, систему (сеть) связи и компьютер (компьютеры), создаётся на базе принципов системотехники. При этом в круг учитываемых величин, связанных с кодированием источника (показателей качества системы), должны войти не только точность передачи (ошибка) и скорость передачи, но и сложность. Известно, что эти величины взаимосвязаны: «Оптимизацию видеокодека надо делать (минимум) по трём параметрам: по битовой скорости, по искажению и по вычислительной сложности. Все они влияют друг на друга. Например, оптимизация соотношения скорость/искажение достигается за счёт повышения сложности кодирования, "быстрые" алгоритмы оценки движения часто имеют низкую вычислительную сложность за счёт снижения эффективности кодирования и т. д. Эффективность кодирования и сложность кодирования являются настоящими антиподами» [137]. Эффективность кодирования должна оцениваться не только мерой приближения к эпсилон-энтропии источника, но и какими информационными средствами достигнуто данное приближение и, в первую очередь, какой сложностью кодера.

Важным методологическим принципом в синтезе сложных систем, в том числе видеосистем на кристалле, является применение единственного критерия качества, определяемого целью системы, и отнесение сколь угодно большого количества параметров и свойств системы к ограничениям, искомым параметрам или показателям помехоустойчивости. В системотехнике основным критерием качества работы системы обычно считается вероятность решения поставленной задачи, т. е. вероятность выполнения системой своей цели [160—166]. Главным ограничением считается количество выделяемых ресурсов. Под ресурсами можно понимать актуальную для мобильных телевизионных систем массу; в иных случаях это может быть энергопотребление, габариты и стоимость (или совокупность этих показателей). Формальная запись задачи синтеза имеет вид уравнения системы, позволяющего найти набор искомых параметров как аргумент максимума вероятности решения системой целевой задачи [159 —195]. Решение уравнения системы может быть получено как аналитически, так и с помощью различных итерационных процедур, известных в исследовании операций как методы динамического программирования [194]. Методика аналитического решения уравнений этого типа освоена, в частности, при вычислении эпсилон-энтропии случайных процессов. Основным свойством решения уравнения системы является то, что в оптимальной системе отводимые ресурсы целесообразно распределить между всеми её составляющими так, чтобы существовало определённое равновесие между компонентами системы.

Изложенное находится в русле подготовленного Управлением радиоэлектронной промышленности и систем управления ФАП России документа «.Стратегия развития электронной промышленности на ближайшие годы» [8]. На данном этапе развития наиболее перспективное направление разработок видеоинформатики - создание видеосистем на кристалле, которые позволят реализовать системы технического и искусственного зрения, сопоставимые по характеристикам с биологическим зрением [186-200]. Ведущие производители СБИС используют технологии с проектными нормами точности 0,065 мкм. Вместе с тем строительство фабрик с проектными нормами 0,18 мкм, предусмотренное Федеральной программой перевооружения радиоэлектронной отрасли, выводит отечественную микроэлектронику на уровень, минимально достаточный для самостоятельного выпуска видеосистем на кристалле класса «активный пиксель». Для создания видеосистем на кристалле класса «цифровой пиксель» требуются более высокие проектные нормы, и (будем надеяться — временная) кооперация отечественных системных и кристальных центров проектирования СБИС с зарубежными изготовителями кристаллов. Управление радиоэлектроники и систем управления РФ в рамках Федеральной целевой программы «.Национальная технологическая база» на 2010-2015 гг. вкладывает средства в создание сети дизайн-центров и перевооружение собственного микроэлектронного производства [1-43]. В результате, можно надеяться, российские предприятия перестанут «со стороны наблюдать за происходящими в мире фотоэлектроники процессами, не имея возможности принять в них какое-то участие, так как для выпуска современных КМОП датчиков необходимо существенное переоснащение производства» [17].

Целью работы является совершенствование теоретической и технической базы средств вычислительной техники в части разработки методов, алгоритмов и структур кодеров сжатия изображений, учитывающих свойства источника (пространственно-временную нестационарность) и существенное ограничение сложности реализации кодеров, типичное для сложно-функциональных блоков систем на кристалле.

Главной особенностью этой проблемы является объединение с одной стороны, методологии векторного синтеза кодера источника и методологии достижения информационного равновесия в модели системы источник—канал. С другой стороны — объединение в рамках предложенного критерия сугубо информационных показателей, относящихся как к внешним показателям работы кодера (потеря информации и скорость передачи), так и к внутренним показателям (вычислительная сложность).

Для достижения поставленной цели необходимо проанализировать особенности непрерывных и нестационарных сигналов и разработать метод и архитектуры видеосистемы на кристалле, включающий этапы статистического синтеза, который позволил бы для каждой группы изображений с различными уровнями априорной неопределенности решить следующие задачи разработки:

1) методики начального этапа проектирования операционных устройств кодирования изображений в системах на кристалле, опирающейся на показатель качества, учитывающий сложность кодера;

2) методики начального этапа проектирования операционных устройств кодирования изображений в видеосистемах на кристалле, включающей определение степени распараллеливания ввода изображений и оптимальное распределение площади кристалла между фотоприёмником и вычислителем;

3) моделей, методов и алгоритмов кодирования, опирающихся как на — - - - модели спектрального преобразования сигналов, так и на модели без перехода в спектральную область, а также определение их оптимальных параметров и областей применения;

4) классификации изображений и методики оценки качества кодирования.

В соответствии с методологией оптимизации радиоэлектронных устройств по совокупности показателей качества эффективность систем обработки изображений на системном уровне целесообразно сформировать с учётом весовых показателей качества системы в целом [159, 171, 172].

Цифровая обработка изображений влилась в информатику не только как потребитель схемотехнических и программных продуктов, оно привнесло в неё серьёзные результаты теории и технологии связи. Конечно, этот подход известен давно, и Н. Винер писал: «исходя из моих общих идей, я рассматривал автоматические вычислительные машины также как одну из форм систем связи» [46]. Руководящим тезисом при этом было мнение основоположника компьютерной техники Дж. Фон Неймана, более полувека назад отметившего, что «вполне возможно, что мы уже недалеки от пределов сложности, которую можно достичь в искусственных автоматах, не продвигаясь особенно в глубь теории информации» [91]. Важно также, что один из важнейших методов построения высокопроизводительных вычислительных систем видеообработки — распараллеливание вычислений [94—97] — в форме метода параллельного (многоэлементного) накопления — родился в телевидении существенно раньше, чем в вычислительной технике.

Теория информации, теория алгоритмов и теория сложности вычислительных систем имеют несколько точек соприкосновения. Достаточно назвать алгоритмическую теорию информации [45,48], теорию передачи сигналов [50 —59] и теорию конечных автоматов [91—113].

В настоящее время научно-технический прогресс привёл к резкому увеличению возможностей вычислительной техники и построению на её основе специализированных устройств, что, казалось бы, должно было привести к решению основных задач восприятия и обработки видеоданных техническими системами. Однако проблема не исчезла, а лишь возросло понимание её значимости и специфических трудностей. Сложившаяся ситуация вынуждает исследователей делать всё больший упор на развитие новых подходов и способов в обработке изображений, чтобы найти пути преодоления разрыва между «машинным» и «человеческим» восприятием [152—154, 186—200].

Разработчики стандартных алгоритмов кодирования источника стремятся создать универсальный алгоритм, обеспечивающий наилучшее субъективное качество передачи сигнала при его неизвестных и переменных статистических свойствах в пространстве и времени и при не формализованных (скрыто учитываемых) ограничениях скорости передачи и сложности кодирующих устройств. Почти все подобные исследования не учитывают в явном виде изменения статистик сигналов в пространстве и времени при постановке задачи, и оговорки о скорости изменения сигнала в пространстве и времени, в лучшем случае, всплывают где-то в середине, или даже в конце изложения. При этом каждый исследователь считает свой вклад в кодирование телевизионных сигналов шагом к такому универсальному кодированию, качество которого определяется экспертной оценкой [140]. Вместе с тем представляется перспективным применение известных результатов теории передачи информации при разработке и объективной оценке эффективности кодеков цифрового телевидения не только в части кодирования канала, но и в части кодирования источника, сигнал которого априори известен приблизительно и нестационарен [А1].

Основные проблемы, стоящие перед разработчиками систем кодирования нестационарного источника - это:

• проблема априорной неопределенности статистик сигнала и помех (в силу необозримого разнообразия статистик эта проблема решена лишь для ряда простых наборов априорной информации, и главным достижением теории является выделение двух направлений разработки: устойчивых алгоритмов и адаптивных алгоритмов);

• проблема нестационарности кодируемых сигналов (в силу необозримого разнообразия статистик эта проблема также, как и проблема априорной неопределённости, решена лишь для ряда простых наборов нестационарности, и главным достижением теории является выделение класса кусочно-стационарных сигналов и алгоритмов обнаружения интервалов стационарности или сегментации сигналов и изображений);

• проблема сложности кодирования, состоящая в формализации связи трёх величин: точности передачи, скорости передачи и сложности кодера (декодера); решение этой проблемы известно лишь для некоторых типов кодирования.

В силу развития микроэлектроники и появления в ней СБИС класса систем на кристалле с числом элементов более десяти миллионов транзисторов на одном чипе, ограничение на сложность кодера становится фактором, всё менее определяющим его структуру, и весьма актуальными становятся кодеры, обеспечивающие наилучшее приближение к эпсилон-энтропии при кодировании реальных сюжетов, отличающихся нестационарностью сигналов. Решение проблемы кодирования нестационарных изображений определяется необходимостью создания нового поколения видеосистем на кристалле, отличающихся структурированными данными и существенно меньшими массогабаритными характеристиками при сохранении и далее увеличении перерабатываемого количества видеоинформации. К таким системам относятся: бортовые космические системы технического зрения, авиационные и гидрооптические системы анализа и обработки изображений. В них требуется решение задач обнаружения, представления, оценивания, передачи видеоинформации, распознавания образов и управления в реальном времени автоматически или при ограниченном участии оператора.

Такое повышение плотности информационных элементов телевизионной и вычислительной техники приводит к тому, что система приобретает новое качество - фотоприемник и устройство обработки связаны несколькими каналами связи, позволяющими резко, на один-два порядка повысить быстродействие видеосистемы и достижимые кадровые частоты, и передавать видеоинформацию и принимать по ней решения, а так же управлять процессами адаптации обеих подсистем к свойствам сигналов и этапам наблюдения. Поэтому новый класс систем требует специального названия и в работе использован термин «пирамидально-рекурсивные видеосистемы на кристалле», означающий интегральную систему, в которой на основе единства цели, конструктивного единства и общности методов синтеза и проектирования объединены телевизионная и вычислительная подсистемы.

Практика создания видеосистем прикладного назначения, опирающаяся на теоретические методы структурного и статистического параметрического синтеза [152—154] и методы проектирования сложных радиотехнических систем предполагает достижение главной цели системы с учетом совокупности весовых коэффициентов при выбранных частных показателях качества системы. Эту совокупность называют вектором концепции системы [159].

Синтез систем на кристалле и видеосистем на кристалле при заданных параметрах системы: скорости, точности и ограничениях, — опирается на методологические основы ряда научных направлений, в частности, синтаксические методы представления* видеоданных, теорию систем, теорию связи и теорию.проектирования вычислительных машин и систем.

Анализ состояния отечественных и зарубежных разработок видеосистем на кристалле для кодирования и декодирования нестационарных изображений показывает, что указанная проблема на основе традиционной методологии не решается [137]. Традиционные методологии позволяют создавать только устройства обработки видеоинформации на базе отдельных микросхем при использовании спектральных методов обработки с применением заранее определенных ортогональных базисов быстрых преобразований Фурье, Адамара, Вейвлет и т. п. [127-152].

Необходимым для решения обозначенных прикладных задач кодирования и декодирования нестационарных изображений является применение алгоритмов:

• высокой сложности на основе триангуляционно-пространственных методов поиска и сжатия информации;

• средней сложности, основанных на пирамидально-рекурсивных способах представления и кодирования • видеоинформации, позволяющих повышение быстродействия и качества при существенном уменьшении массы и габаритов видеосистем;

• малой степени сложности, базирующихся на применении быстрого дискретного косинусного преобразования, благодаря чему стало возможным на современном этапе развития микроэлектроники объединение в одном кристалле и фотоприемника, и вычислителя для кодирования и передачи видеоинформации.

Появившиеся «видеосистемы на кристалле» являются фактором нового этапа микроэлектронной революции, когда и телевизионная система становится полностью однокристальной. Дополнительные выдвигаемые требования -сверхмалые габариты подобных систем при достаточно высокой вычислительной сложности. Одним из важнейших направлений в развитии информационно-коммуникационных технологий является внедрение технологии «система на кристалле» и «видеосистема на кристалле». Так, «Федеральная космическая программа на 2006 —2015 годы» предусматривает: увеличение периодичности наблюдений Земли из космоса с доведением его до реального масштаба времени; повышение разрешения дистанционного зондирования Земли до 0,5 метра; высоко оперативное выявление катастрофических явлений и аварий. Для обеспечения этих требований намечено освоение новой технологии проектирования и производства радиоэлектронной аппаратуры ракетно-космической техники с использованием СБИС «системы на кристалле». Благодаря их применению, планируется создать системы наблюдения, управления и телеметрии с повышенным до 20 лет ресурсом, уменьшенными в 10 раз массогабаритньтми характеристиками, уменьшенной в 2 раза потребляемой мощностью, в 2 раза уменьшенной ценой и, что особенно важно, уменьшенными в 5 раз сроками разработки аппаратуры [8].

Методология разработки видеосистем с использованием новой технологии «система на кристалле» на системном уровне существенно отличается от существующих методов создания устройств на обычных печатных платах: появляются как новые возможности, так и новые ограничения. Особенностью новой методологии является повторное использование заранее разработанных СФ-блоков - основных частей любой системы на кристалле [1, 2].

Рождение видеосистем на кристалле не только прекратило дискуссию на тему, является ли телекамера вынесенной наружу частью компьютера (аналогично тому, что глаз является вынесенной наружу частью мозга), но и обратило взор разработчиков на необходимость распределения площади кристалла между фотоприёмником и вычислителем. В прикладном телевидении давно осознано, что телевизионную систему, состоящую из оптической и фотоприёмной подсистем необходимо проектировать как единое целое [70 —79, А1, А2]. Однако именно второй этап твердотельной революции радикально усилил этот тезис [А1]: телевизионная система, объединяющая в себе оптическую, фотоприёмную и вычислительную подсистемы должна проектироваться как единое целое. Развитие видеосистем на кристалле превращает однокристальную камеру в центральный (в пределе — единственный) узел системы формирования и обработки изображений, для которой становится актуальной задача распределения ресурсов между фотоприемником и подсистемой обработки видеоданных для наилучшего выполнения системой стоящей перед ней цели.

Диссертация содержит введение, пять глав и заключение.

5.5. Выводы по главе

1. Экспериментальные исследования подтвердили существование нижней границы сложности, необходимой для достижения заданной скорости передачи непрерывных сигналов по дискретному каналу и не противоречат введенному понятию эпсилон-энтропии сигнала при ограничении сложности и введённому функционалу взаимообмена сложности и скорости передачи, связанному с гармоническим средним.

2. Оценка эффективности кодирования и декодирования сигналов изображений должна опираться на методику, основанную на объективной оценке эффективности и включающуюся два свойства источника: нестационарность и широкополосность.

3. Разработан способ адаптации с переменными размерами пространственных и временных интервалов вычисления ДКП-ЗБ (в диапазонах от 4 до 32 пикселей видеокуба и от 4 до 128 кадров), позволяющий уменьшить вычислительную сложность на 4 порядка меньше, чем у кодеров и на 2.3 порядка меньше, чем у декодеров, реализованных по стандартам MPEG.

4. Показано, что ценой увеличения вычислительной сложности кодера в 2,8 раза метод дискретного пространственного преобразования позволяет на 15% лучше для большинства изображений представительной выборки, чем дискретное косинусное преобразование приблизиться к эпсилон-энтропии источника.

5. Показано, что применение метода кодирования источника на основе ДПП по опорным точкам (без перехода в спектральную область) позволяет достичь лучшей эффективности кодирования для класса изображений с большой мерой нестационарности изображений по сравнению с ДКП (до 1,4 раза), и по сравнению с вейвлет кодированием (до 1,2 раза).

6. Показано, что применение метода трихотомии в ДПП позволяет на 20% сократить вычислительные затраты по сравнению с известными алгоритмами на основе дихотомии и тетрахотомии.

Материалы, представленные в главе 5, отражены в следующих работах автора: [А1-АЗ, А21, АЗЗ-А41, А58, А68-А76, А84-А92].

Заключение

Данная диссертация посвящена решению проблемы разработки теоретических основ и прикладных методов системного проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования ' сигналов изображений в прикладных системах, и актуальной для нового направления развития отечественной радиоэлектроники — систем на кристалле и их компонент — сложно-функциональных блоков (СФ-блоков, в англоязычной литературе /Р-блоков). Основной идеей разработанных теоретических основ проектирования является повышение эффективности методов, алгоритмов и структур кодеров изображений, предназначенных для их сжатия и реализуемых в виде сложно-функциональных блоков видеосистем на кристалле, и обеспечивающих наилучшие информационные характеристики при учёте ограничения на вычислительную сложность кодера, вытекающего из ограничения площади кристалла проектируемой СБИС. Важной особенностью решаемой проблемы является нестационарность и зашумлённость реальных изображений, формируемых цифровыми фотоаппаратами, телекамерами, IP-камерами и т. п.

Данная работа представляет собой исследование в области современных науки, техники и технологий, и является попыткой синтеза концептуального и прагматического подходов, то есть попыткой, с одной стороны, объяснения общих закономерностей и изложения нового знания, и, с другой стороны, получением результатов, которые могут быть воплощены в современную пользующуюся спросом технологию.

Теоретической основой сжатия изображений — разработки кодеров непрерывных источников для передачи сигналов по дискретному каналу — являются основная теорема Шеннона, разложение Карунена-Лоэва и теория передачи сигналов с ограниченной точностью (эпсилон-энтропии, в англоязычной литературе rate distortion theory). Трудностью приложения этих теорий и используемых ими моделей к практике является разнообразие во всех трёх элементах опорной триады синтеза: часто не формализованных критериев качества переданной видеоинформации, априорной информации о сигналах (статистики наблюдаемых сюжетов) и имеющихся ограничений. Существование многочисленных практических методов кодирования означает, что на практике чаще всего решают не столько проблему оптимизации сжатия, сколько проблему преодоления априорной неопределённости о статистике передаваемых нестационарных сигналов в совокупности с нечётко сформулированными критериями качества и ограничениями. Для разработки теоретических основ проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования видеоинформации в прикладных системах, потребовалось внести конкретные уточнения во все три элемента опорной триады синтеза кодера. В части априорной информации эта конкретика состоит в учёте не только традиционных показателей - энтропии (эпсилон-энтропии) и широкополосности сигналов изображений, но и во введении меры нестационарности сигналов. Это позволило из огромного разнообразия сюжетов сформировать компактную представительную выборку, используемую при тестировании кодеров. В части критериев качества передачи сигналов изображений новизна состоит в синтезе кодера непрерывного источника для передачи по дискретному каналу при опоре на введённую А. Н. Колмогоровым эпсилон-энтропию с ограниченной максимальной ошибкой. Это позволило показать, что не только в дискретной, но и в смешанной системе передачи непрерывного источника по дискретному каналу может быть достигнуто информационное равновесие, то есть равенство скорости создания информации источником и скорости её передачи через канал связи. В части ограничений при разработке теоретических основ проектирования * устройств телекоммуникации и вычислительной техники сделан акцент на весьма актуальный для однокристальных устройств учёт доступной сложности кодеров. Здесь вычислительная сложность устройств понимается как требуемое число вентилей, то есть произведение числа выполняемых операций на среднюю разрядность операций. Такой учёт потребовал выхода за рамки указанных основных теорий, так как они либо игнорируют понятие сложности, либо явно предполагают требование бесконечной сложности при реализации кодеров и декодеров. Теоретическую основу проектирования в части учёта сложности составило введение нового понятия условной эплилон-энтропии с ограничением сложности, то есть нижней грани скорости передачи для достижения заданного уровня искажений при заданной сложности кодера. Эта условная эпсилон-энтропия, так же как и другая подобная величина — условная эпсилон-энтропия с задержкой (М. С. Пинскер), будучи больше безусловной эпсилон-энтропии, выдвигают повышенные требования к пропускной способности канала связи. Так как при передаче изображений практически всегда допустима существенная задержка (даже в системах управления стыковкой космических аппаратов допустима задержка ив несколько кадров), то в разработанных теоретических основах используется лишь введённая эпсилон-энтропия с ограничением сложности. Важным компонентом теории синтеза кодеров является учёт связи сложности кодера с введённой величиной условной эпсилон-энтропии с ограничением сложности. При этом сложность имеет два вида: переменной величины, выбираемой проектировщиком, и константы, определяемой минимальной сложностью для достижения заданной ошибки при произвольной скорости передачи (эпсилон-сложность, Дж. Трауб). Эта взаимосвязь (интуитивно понятная, см. напр., Я. Ричардсон) формализуется с помощью функционала, показывающего, что безусловная эпсилон-энтропия является (с точностью до множителя 2) средним гармоническим условной эпсилон-энтропии с ограничением сложности и численного значения ограничения сложности.

Разработанные теоретические основы проектирования позволяют перейти от часто используемого при оптимизации сжатия эвристического синтеза (изобретательства) к формализованному статистическому синтезу на основе формализованных моделей сигналов и устройств. При этом устраняется имевшийся разрыв между формализацией внешних характеристик кодера — сжатия и потери информации — и его внутренних характеристик, в первую очередь вычислительной сложности. Объединение этих внешних и внутренних характеристик в единую модель в диссертации осуществлено на основе методологии векторного синтеза систем, известного в теории систем и радиотехнике (напр., Н. Н. Моисеев, Л. С. Гуткин).

В диссертации развивается концепция эффективности кодирования, ранее трактовавшаяся только в смысле степени приближения к эпсилон-энтропии источника (понятие эффективного кодирования в этом смысле введено Оливером и подробно исследовано Д. А. Новиком, И. И. Цуккерманом, Д. С. Лебедевым, Л. П. Ярославским, В. А. Свириденко и др.). Отличие новой концепции состоит в учёте не только степени приближения к эпсилон-энтропии, но и в прямом учёте ограничения вычислительных ресурсов компьютерных устройств обработки. В работе используются основные результаты теории связи, однако акцент делается на принципах системотехники, согласно которым исследование сложности систем производится в первую очередь с' целью снижения требуемой сложности при достижении требуемого результата, т. е. поиск компромисса для двух противоречивых критериев — качества решения и сложности процедуры решения (Дж. Клир). Развиваемая концепция актуальна на современном этапе развития системотехники и микроэлектроники, характеризуемом слиянием вычислительной техники и техники средств связи, в том числе техники обработки и передачи изображений (Ю. И. Борисов), и в первую очередь она актуальна в новом научно-техническом направлении — системах на кристалле (В. Г. Немудров). Конструктивным шагом на пути применения методологии векторного синтеза кодера источника непрерывных зашумленных сигналов явилось введение критерия эффективности кодера источника, включающего взвешенную сумму потери полезной информации, скорости передачи (имеющей предел в виде эпсилон-энтропии) и вычислительной сложности кодера. В диссертации в рамках статистического синтеза искомый оптимум параметров кодера находится по предложенному обобщённому критерию эффективности кодера при условии, что параметры кодера уже оптимизированы с точки зрения информационного равновесия -равенства эпсилон-энтропии источника и пропускной способности канала связи (К. Шеннон, Л. И. Хромов).

Возможность широкого использования предложенного критерия эффективности устройств кодирования источника обусловлена разнообразием весовых коэффициентов (векторов концепции системы по терминологии Н. Н. Моисеева) при информационных показателях качества — потери полезной информации, скорости передачи информации и сложности кодирующего устройства, соответствующих различным прикладным системам передачи зашумлённых изображений. В- частности, существенное различие в векторах концепции вещательных и специальных бортовых системах приводят к обоснованию применения в них принципиально различных классов кодеров источника, например с использованием или без использования многомерных спектральных преобразований сигналов. В отличие от распространённого на ранних этапах развития теории синтеза оптимальных систем передачи и обработки информации критерия эффективность-стоимость (Б. Р. Левин, Ю. М. Казаринов и др.), развитая концепция векторного синтеза кодеров непрерывных источников опирается исключительно на информационные показатели качества. Это позволило перейти к следующему этапу синтеза устройств систем на кристалле и с позиций развитой теории проектирования рассмотреть и определить потенциальные сферы применения различных классов кодеров непрерывных источников - в том числе и использующих спектральные преобразования изображений, и обрабатывающих непосредственно входные сигналы. Так, выбор между пирамидально-рекурсивными методами кодирования непрерывных источников (Александров В. В., Горский Н. Д.) и основанными на дискретном косинусном преобразовании (ДКП), в частности, трёхмерном (Прэтт У., Ричардсон Я., Умбиталиев А. А.) должен осуществляться с учётом соотношения весовых коэффициентов скорости передачи и сложности. В системах на кристалле с менее жёсткими ограничениями сложности (площади) следует остановиться на дискретном полигональном преобразовании (ДПП), в системах с более жесткими ограничениями - на ДКП.

Формализация методики начального этапа проектирования кодеров непрерывного источника в диссертации основана на параметрическом статистическом синтезе и доведена до ряда оптимальных решений. Эта формализация сосредоточена в выражениях для кодовой эпсилон-энтропии с ограничением сложности Щ и сложности Ж кодирующего устройства, учитывающего все рассмотренные оптимумы — по информационному равновесию и по качеству переданной информации с учётом предложенной аппроксимации взаимообмена скорости передачи информации и сложности кодера. Эти решения опираются на вектор концепции системы (соотношение цен скорости передачи и сложности кодера) и спектр оптимальной оценки сигнала, полученной из его смеси с шумом. При этом спектр сигнала оптимальным образом усекается не по каким-либо субъективным показателям, а исходя из достижения информационного равновесия при ряде ограничений. Получены выражения для оптимальной сложности кодирующего устройства Bi двух вариантах: гипотетического идеального кодера и кодера со спектральным преобразованием сигнала, реализующего предложенный итерационный алгоритм вычисления спектральных транс формант.

Разработанные основы теории проектирования устройств систем на кристалле, имеющие ядром критерий качества устройств кодировании, понятие эпсилон-энтропии с ограничением сложности закон взаимообмена сложности и скорости передачи, позволяют осуществлять прогноз перспективности применения различных классов алгоритмов в различных прикладных задачах с различными статистическими свойствами изображений.

Разработка прикладных методов проектирования элементов и устройств телекоммуникации в базисе элементов функциональной микроэлектроники, предназначенных для кодирования сигналов изображений в прикладных системах, опирается на современные информационные технологии. Последние олицетворены, в первую очередь, в развитой сети базовых центров проектирования системного и кристального уровней и заводы по производству СБИС, оснащённые ёмкими базами данных как по СФ-блокам, так и по составляющим их элементарным узлам. Требуемые в практике проектирования методы опираются как на формализованные маршруты проектирования (в нашей стране стандартизованные ФГУП «НИИМА «Прогресс») и традиционные инструменты проектирования (программирование на языках С++, Verilog, используемые ведущими фирмами разработки программного обеспечения САПР элементов функциональной электроники — Cadance, Xilirtx, Synopsys, Altera, АВОКАД и др.), так и оригинальные результаты, относящиеся к модификации традиционного маршрута, обусловленные спецификой видеосистем на кристалле. Проектирование современных кодеров непрерывных источников видеоинформации предполагает совмещение в единой системе на кристалле ряда элементов и устройств (СФ-блоков) - как из библиотек стандартных узлов, так и специально разрабатываемых. В качестве примеров таких специально разработанных функциональных узлов можно указать на разработанные ФГУП «НИИТ» при участии автора по ТЗ Минпромторга РФ СФ-блоки кодеров и декодеров изображений на основе трёхмерного дискретного косинусного преобразования, которые могут быть воплощены в самостоятельные СБИС, и использованы как компонент иных систем на кристалле.

Прикладные методы проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники для второго класса систем на кристалле — видеосистем на кристалле - имеют свою специфику. Существуют по крайней мере две принципиальных особенности видеосистем на кристалле, ведущих к необходимости включения в стандартный маршрут проектирования соответствующих этапов.

Во-первых, проектирование видеосистем на кристалле — неразрывный процесс, не допускающий декомпозицию системы на подсистемы, в ходе которого фотоприёмник и устройство компьютерной обработки не могут оптимизироваться раздельно. Для реализации этой концепции в работе предложен прикладной метод проектирования устройств, предполагающий включение в типовой маршрут этапа определения оптимального распределения площадей фотоприёмной и вычислительной подсистем. Искомый оптимум находится по максимуму функционала, составленного из взвешенной суммы полезной информации и взятых с отрицательным знаком информационных затрат на передачу. Результат оптимизации распределения площади кристалла между подсистемами показал, что максимум количества и качества информации достигается при площадях фотоприёмной и вычислительной подсистем, полностью определяемых вектором концепции системы, расширенным за счёт введение в состав вектора концепции кроме указанных весовых коэффициентов при информационных параметрах ещё ограничения площади кристалла, нормы точности и требуемого динамического диапазона интенсивности световых сигналов

Во-вторых, при создании быстродействующих видеосистем на кристалле следует опираться на модель вычислительного устройства с множественным потоком данных и включать в принятый маршрут проектирования определение степени параллелизма (числа каналов) передачи сигналов от массива фотоприёмных элементов к кодеру-вычислителю. В' частности, при создании специализированных видеосистем- на кристалле с компенсацией смаза движущегося изображения концепция множественного потока данных предписывает использование кроме основного массива фоточувствительных элементов двух дополнительных массивов, сигналы которых соответствующими устройствами преобразуются в сигналы управления пространственным положением видеосистемы на кристалле.

Основным научным результатом диссертации является разработка теоретических основ проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования видеоинформации в прикладных системах, и актуальной для нового направления развития отечественной радиоэлектроники - систем на кристалле и их компонент — сложно-функциональных блоков. Ядро этих теоретических основ составляет метод синтеза кодеров непрерывных нестационарных сигналов изображений, опирающийся на предложенный обобщённый критерий эффективности кодирования, включающий взвешенную сумму потери полезной информации, скорости передачи и вычислительной сложности кодера. Важными характеристиками разработанного метода является формализация в рамках одного критерия внешних характеристик кодера (сжатия и потери информации) и внутренних характеристик (вычислительной сложности). Основные новые элементы разработанного метода синтеза кодеров непрерывных источников, реализуемых как видеосистемы на кристалле, изложенные в диссертации, опираются на системотехнику с её приложениями к передаче информации и к микроэлектронике.

Отличительной особенностью разработанного в данной диссертации метода проектирования видеосистем является использование оптимизации по векторному показателю качества, включающему сугубо информационные показатели и вектор весовых коэффициентов (вектор концепции системы), установление закономерностей и обменных соотношений при кодировании, а также приложение разработанного метода к кодированию нестационарных сигналов изображений. В работе рассмотрено приложение разработанного метода синтеза к ряду классов кодеров источников изображений, в том числе методы адаптации кодеров на основе ДКП и оригинальные методы на основе систематизированных автором алгоритмов на основе ДПП.

Составляющими основного научного результата диссертации являются:

1. Обобщённый подход к разработке моделей, методов, алгоритмов и структур устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, базирующегося на синтезе по обобщённому показателю эффективности кодера непрерывного источника и на принципе информационного равновесия источника и канала; Л

2. Решение уравнения связи для модели смешанной системы с непрерывным источником и дискретным каналом, основанного на использовании эпсилон-энтропии с ограничением максимальной ошибки, введённой А. Н. Колмогоровым;

3. Формализация взаимосвязи введённой величины условной эпсилон-энтропии с ограничением сложности и численным значением вычислительной сложности.

4.Разделение сфер применения алгоритмов кодирования без перехода в спектральную область и с вычислением спектральных трансформант;

5.Оптимальные алгоритмы со спектральным преобразованием сигналов изображений, в частности итерационные алгоритмы и основанные на адаптивном трёхмерном дискретном косинусном преобразовании;

6.Систематизация алгоритмов кодирования и декодирования нестационарных изображений на основе пирамидально-рекурсивного метода обработки и представления видеоданных по опорным точкам без перехода в спектральную область сигнала;

7. Оптимальные алгоритмы на основе пирамидально-рекурсивного способа представления нестационарных изображений, минимизирующие вычислительные затраты благодаря применению метода трихотомии;

8. Модели видеосистемы на кристалле, учитывающей распределение площади кристалла между подсистемами, в том числе между фотоприёмной матрицей и вычислителем;

9. Модели для определения оптимального числа элементарных ячеек при дискретном пространственном преобразовании, обеспечивающего максимального приближения к эпсилон-энтропии, определены сферы применения различных вариантов алгоритмов дискретного пространственного преобразования по опорным точкам.

Теоретический стержень работы состоит в разработке модели преобразования информации в устройствах, в явном виде учитывающей как ограничение сложности устройства, так и взаимообмен скорости передачи и сложности кодера непрерывного источника. Главной особенностью этого стержня работы является объединение с одной стороны, методологии векторного синтеза кодера источника и методологии достижения информационного равновесия в модели системы источник-канал, а с другой стороны - объединение в рамках предложенного критерия сугубо информационных показателей, относящихся как к внешним показателям работы кодера (потеря информации и скорость передачи), так и к внутренним показателям (вычислительная сложность).

Дополнительными научными результатами являются:

• способ стабилизации изображения, использующего видеосистему на кристалле с множественным потоком видеоданных, включающем сложные функциональные блоки измерения смещения, формирования сигналов управления и механического перемещения фотоприемной матрицы;

• новые архитектурные решения видеосистем на кристалле для адаптивного кодирования и декодирования нестационарных сигналов изображений в пространственной и временной области;

• обеспечение совместимости предложенных решений по структуре кодеров непрерывного источника со стандартными протоколами обмена видеоинформацией;

• структура и параметры видеосистем на кристалле, использующих кодер источника на основе дискретного полигонального преобразования по опорным точкам;

• оптимальная структура опорных точек (число полигонов после разбиения для иерархического описания информационного поля) и параметры видеосистемы на кристалле кодера источника на основе дискретного полигонального преобразования;

• структура и параметры видеосистем на кристалле с множественными потоками видеоинформации;

• методика формирования компактной представительной выборки сюжетов для тестирования кодеров источника видеоинформации, опирающаяся на известную меру широкополосности сигналов и предложенную меру нестационарности сигналов, определяемую скоростью изменения конечного набора статистик сигналов аналогично тому, как скорость изменения сигнала определяет его широкополосность.

• структурные схемы СФ-блоков и видеосистем на кристалле сжатия и восстановления изображений на основе ДПП с учетом максимальной возможности распараллеливания алгоритмов разбиения и поиска опорных точек;

• структурные схемы СФ-блоков и видеосистем на кристалле сжатия и восстановления изображений на основе ДКП с учетом потенциальных возможностей взаимообмена сложности кодирования и скорости передачи;

• методика проектирования видеосистемы на кристалле, основанная на определении критического пути максимально распараллеленного алгоритма (для процесса сжатия связана с анализом полигона на разбиение, и расчета максимального быстродействия, а для процесса восстановления — двумерной аппроксимации яркостей, т. е. закраска полигона).

Наиболее важными результатами, изложенными в диссертации и дающими практический выигрыш в качественных характеристиках при проектировании видеосистем на кристалле реального времени, являются:

1. Показано, что ценой увеличения вычислительной сложности кодера в 2,8 раза метод ДПП позволяет на 15% лучше, чем ДКП приблизиться к эпсилон-энтропии источника;

2. Показано, что применение метода кодирования источника на основе ДПП по опорным точкам (без перехода в спектральную область) позволяет достичь лучшей эффективности кодирования нестационарных изображений и по сравнению с ДКП (до 1,4 раза), и по сравнению с Вейвлет кодированием (до 1,2 раза); различие в эффективности исследованных методов кодирования зависит от класса изображений, определяемого его широкополо сностью и нестационарностью;

3. Показано, что применение метода трихотомии в ДПП по опорным точкам позволяет на 20% сократить вычислительные затраты по сравнению с известными алгоритмами на основе дихотомии и тетрахотомии;

4. Разработан СФ-блок преобразования видеоданных, обеспечивающий высокоскоростное преобразование элементарного ДКП-31) видеопотока в элементарный поток MPEG-2 без использования многомерных преобразований отсчетов. Его сложность на порядок ниже совокупной сложности ДКП-3-D декодера и ДКП-2£)-кодера, а задержка преобразуемого элементарного потока меньше совокупной задержки в 2.3 раза;

5. Разработан способ адаптации с переменными размерами пространственных и временных интервалов вычисления ДКП-ЗБ (в пределах от 8x8 до 64x64 пикселей и от 4 до 128 кадров), позволяющий уменьшить вычислительную сложность кодеров и декодеров до 107оп./с, что на 4 порядка меньше, чем у кодеров и на 2.3 порядка меньше, чем у декодеров, реализованных по стандартам MPEG;

6. Получена аналитическая модель для определения оптимального числа элементарных ячеек после разбиения, обеспечивающего максимальное приближение к условной эпсилон-энтропии изображений с равновероятным распределением опорных точек, определены сферы применения различных вариантов алгоритмов, реализующих дискретное полигональное преобразование.

7. Показано, что использование адаптивного метода кодирования изображений на основе ДПП по опорным точкам нестационарных с однородной компактной структурой представления видеоданных позволяет в 2.3 раза увеличить скорость построения регулярную триангуляционную сетку, чем классические алгоритмы триангуляции, при восстановлении результирующих изображений;

8. Разработан макет для сопряженного проектирования устройств кодирования изображений на базе технологии «система на кристалле» с встроенным ARM процессором А7 (с тактовой частотой не менее 60 МГц) и с возможностью обеспечения аппаратно-программной загрузки и проверки СФ-блоков на всех этапах проектирования.

Публикация результатов. Основные результаты опубликованы в 90 научных работах, из них 2 монографии, 28 статей (из них 12 в журналах, рекомендованных ВАК), 3 патента РФ, 26 докладов на научных всероссийских и' международных конференциях и 20 зарегистрированных программ для ЭВМ. При этом модели и обоснование применения метода на основе дискретного пространственного преобразования, алгоритмы и программы получены самостоятельно, изобретение адаптивного метода на основе дискретного косинусного преобразования и оценка его эффективности в соавторстве с Умбиталиевым А. А., Шипиловым Н. Н, Ибатуллиным С. М., Ибатулиным В. Ф. и Ивановым К. В., а способ стабилизации на основе множественного потока видеоинформации, аппроксимация взаимообмена сложности кодера и скорости передачи, обоснование достижения информационного равновесия в смешанной системе связи в соавторстве с Цыцулиным А. К. и Зубакиным И. А.; разработка макета для сопряженного проектирования элементов и устройств кодирования на основе технологии «система на кристалле» со встроенным 32-разрядным ARM процессором — совместно с Березиным В. В.

Внедрение результатов исследований. Разработанные теоретические основы и прикладные методы проектирования устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, в том числе методы синтеза видеосистем на кристалле и СФ-блоков кодирования непрерывных нестационарных источников нашли применение в ходе выполнения НИОКР во ФГУП «НИИ телевидения» и СПбГЭТУ «ЛЭТИ», и изложены в отчетах по ОКР «Цифра-СФ»- «Разработка ряда высокопроизводительных сложных функциональных блоков для специальных систем цифровой передачи данных» и «Цифра-ЗБ»-«Моделирование алгоритмов кодирования и декодирования видеоинформации для реализации высокопроизводительных сложных функциональных блоков специальных систем цифровой передачи данных», о чем имеются акты о внедрении.

Методика совместного проектирования аппаратного и программного обеспечения, позволяющая значительно сократить время цикла разработки сложных систем, доведена до практического применения в учебном процессе и используется в СПбГЭТУ «ЛЭТИ» и Тихоокеанском государственном университете. При этом используется макет видеосистемы на кристалле на базе технологии «система на кристалле» с встроенным ARM процессором А7, 4 учебных пособия и 5 методических указаний к лабораторным работам.

Совокупность изложенного показывает, что поставленная актуальная проблема разработки теоретических основ и прикладных методов проектирования элементов и устройств телекоммуникации и вычислительной техники в базисе элементов функциональной микроэлектроники, предназначенных для кодирования видеоинформации в прикладных системах, решена.

1. Немудров В. Г., Мартин. М. Системы на кристалле. Проектирование и развитие. М., Техносфера, 2004. 216с.

2. Немудров В. Г. «Прогресс» в проектировании отечественных СБИС // Электроника: Наука, Технология, Бизнес. 2002. № 6. С.5 9.

3. Борисов Ю. И. Первая отечественная система на кристалле с быстродействующими ЦАП/АЦП 600 Мвыборок/с по двум квадратурным каналам // Электроника: наука, технология, бизнес. 2004. № 2. С. 36—42.

4. Борисов Ю. И., Шабанов Б. М. Одно из направлений развития САПР для создания сложных технических систем // Информационные технологии. 2003. № 10. С. 2-17.

5. Борисов Ю. И. Отечественная электронная промышленность и компонентная база. Перспективы развития. /Электроника: Наука, технология, бизнес. 2006, №2 (68), с. 6.-9.

6. Борисов Ю. И. Новый шаг отечественной микроэлектроники// Наука и технологии в промышленности. 2003, №12, с. 3 — 11.

7. Адамов Ю.Ф., Губин Я. С и др. Аналоговые блоки в системах на кристалле//Электроника: наука, технология, бизнес. №8, 2004,-с.48—51.

8. Постановление правительства Российской федерации «О внесении изменений и дополнений в федеральную целевую программу Национальная технологическая база» , № 816, г. Москва, 13.11.02.

9. ГрушвицкийР, Мурсаев А., Угрюмов Е. Проектирование систем на микросхемах программируемой логики. Учеб. Пос. СПб. БХВ-Петербург. 2002,606 с.

10. Ю.Шагурин И., Шалтырев В., Волов А. «Большие» БРОА как элементная база для реализации систем на кристалле//Элекгронные компоненты, 2006, №5, с.83-88.

11. П.Несс Р. Ежегодное исследование рынка встраиваемых систем//Электронные компоненты, 2007, №11, с.69-77.

12. Казённое Г. Г. Основы проектирования интегральных схем и систем. — М.: БИНОМ. Лаборатория знаний. 2005. с. 295.

13. Армстронг Дж. Р. Моделирование цифровых систем на языке УНОЬ. Пер. с англ./М.: Мир, 1992.-175 с.

14. Потехин Д.С., Тарасов И.Е. Разработка систем цифровой обработки сигналов на базе ПЛИС. -М.: Горячая линия-Телеком; 2007.-248с.

15. Авдонин Б. Н., Мартынов В. В. Электроника. Вчера. Сегодня. Завтра?. Очерки по истории, технологии, экономике. М.: ИКП «Дека», 2005 600 с.

16. Адамов Д.Ф., Адамов Ю.Ф., Тишин Ю.Т. БМК компании UniqueICs. Экономическая целесообразность и технические характеристики//Электроника: наука, технология, бизнес. № 7, 2005,-с.66-69.

17. Тимофеев Б. С. Автоматическая настройка телевизионных систем с помощью микро-ЭВМ. М.: Радио и связь. 1988.- 160 с.

18. Тимофеев Б. С. Видеокомпьютерные системы для наблюдения за движущимися объектами // Известия высших учебных заведений России. Радиоэлектроника. 2003. № 4. С. 32.

19. Бухтев А., Немудров В. Системы на кристалле. Новые тенденции // Электроника: Наука, Технология, Бизнес. 2004. № 3. С.52 56.

20. Стешенко В.Б., Руткевич A.B., Бумагин A.B., Гулин Ю.Ю., Воронков Д.И., Гречищев Д.Ю., Евстигнеева Е.В., Синельникова М.В. Опыт разработки СБИС типа СнК на основе встроенных микропроцессорных ядер, Компоненты и технологии, 2008, № 9.

21. Жан М. Рабаи, Ананта Чандракасан, Боривож Николич. Цифровые интегральные схемы. Методология проектирования, 2-е издание.: Пер. с англ. -М.: ООО «И.Д. Вильяме», 2007.

22. Умбиталиев А. А., Полосин Л. Л., Третьяк С. А. Проекты национальных стандартов цифрового телевидения высокой и повышенной четкости. Вопросы радиоэлектроники, сер. Техника телевидения, 2009 № 2 с. 7-15.

23. Умбиталиев А. А., Цыцулин А. К. Основные направления развития телевизионной техники. Вопросы радиоэлектроники, сер. Техника телевидения,2006 № 1 с. 3-13.

24. Губарев В.А. Актуальные вопросы применения современной электронной компонентной базы в системах управления. Вопросы радиоэлектроники, серия электронная вычислительная техника, 2006, вып. 2, стр. 116-123.

25. Н. Chang, L. Cooke, М. Hunt, et al, Surviving the SOC revolution: A guide to platform-based design, Norwell. MA: Kluwer, 1999.

26. А. В. Бухтеев. Методы и средства проектирования систем на кристалле, Chip news, 2003 г., №4, стр. 4-14.

27. N. Н. Weste, К. Eshraghian, Principles of CMOS VLSI design. A systems perspective, Addison Wesley publishing company, 1994.

28. Стемпковский, A. JI. Шилин, В. А. КМОП-ф ото диодные СБИС. Перспективная элементная база однокристальных систем приема и обработки информации // ЭЛЕКТРОНИКА: Наука, Технология, Бизнес № 2/2003. С 14-20.

29. Российский рынок микроэлектроники. Перспективы развития: докл. на конф. газеты «Ведомости» зам. Министра Минпромторговли РФ Ю. И. Борисова. — М., 2010.

30. Суворова Е.А., Шейнин Ю.Е. Проектирование цифровых систем на VHDL. СПб, БХВ-С.-Петербург, 2003, 576 с.

31. Наливкин И. В. Отечественная микроэлектроника для телекоммуникации: реалии и перспективы//Электросвязь. № 4, 2010,-с. 17-26.

32. R. Doering, Y. Nishi, Limits of integrated circuit manufacturing, Proceedings of the IEEE, v. 89, №3,2001, p. 375-393.

33. R. E. Bryant, K.-T. Cheng, A. B. Kahng, et al, Limitations and challenges of computer-aided design technology for CMOS VLSI, Proceedings of the IEEE, v. 89, №3, p. 341-362,2001.

34. Baltiysky S., Gurov I., De Nicola S., Ferraro P., Finizio A., Coppola G. Characterization of microelectromechanical systems by digital holography method //Imaging Sci. J. 2006. V. 54. P. 103-110.

35. E. Riccobene, P. Scandurra. Modelling SystemC Process Behaviour by the UML Method State Machines. In Proc. Of RISE'04. LNCS 3475, Springer.

36. E. Riccobene, P. Scandurra, A. Rosti and S. Bocchio. A UML 2.0 Profile for SystemC. ST Microelectronics Technical Report AST-AGR-2005-3.

37. E. Riccobene, P. Scandurra, A. Rosti, S. Bocchio. A SoC Design Methodology Based on a UML 2.0 Profile for SystemC. In Proc. ofDATE'05. IEEE Computer Society Press.

38. G. Martin. UML and VCC. White paper, Cadence Design Systems, bic, Dec. 1999.

39. G. Martin, L. Lavagno, J.L. Guerin. Embedded UML: a merger of real-time UML and co-design. In Proc. of CODES'Ol.

40. A. Habibi and S. Tahar. A Survey on System On Chip Design Languages. In Proc. of IWSOC'03. IEEE Computer Society Press.

41. K. D. Nguyen, Z. Sun, P. S. Tbiagarajan and Weng-Fai Wong. Model-driven SoC Design Via Executable UML to System C. In Proc. of RTSS'04. IEEE Computer Society Pi ess.

42. ШеннонК. Работы по теории информации и кибернетике. М.: ИЛ, 1963. - 832 с.

43. Колмогоров А. Н. Теория информации и теория алгоритмов. М.: Наука, 1987.- 304с.

44. Винер Н. Кибернетика или управление и связь в животном и машине. М., Сов. радио, 1968. 328 с.

45. Галлагер Р. Теория информации и надёжная связь. М.: Сов. радио, 1974. -720 с.

46. Колмогоров А. Н. Три подхода к определению понятия «количество информации»//ППИ. 1965. № 1.

47. Миддлтон Д. Введение в статистическую теорию связи. — Т.2. М.: Сов. радио, 1962. — 832 с.

48. Фано Р. Передача информации. Статистическая теория связи. М.: Мир, 1965.- 439 с.

49. Оливер Б. Эффективное кодирование. В кн. Теория информации и ее приложения. Под ред. Харкевича А. А. М.: Физико-математическая литература. 1959, 328с.

50. Бриллюэн Л. Наука и теория информации. М.: Физматгиз, 1960. -392 с. 53 .Горбунов А.К., Пинскер М.С. Эпсилон-энтрпия с задержкой при малойсреднеквадратической ошибке воспроизведения// проблемы передачиинформации.- 1987.-Т. 23. № 2-С-3-8.

51. Д. Миддлтон Введение в статистическую теорию связи. Т.1. М.: Сов. радио, 1961.-782 с.

52. ДобрущинР. JL, Цыбаков Б. С.' Передача'информации с дополнительным шумом // Проблемы передачи информации. -1963. №14. С. 21-42.

53. Costas J. P. Coding with linear systems // Proceeding IRE, 1952, vol. 40, pp. 1101-1103.

54. Цыбаков Б. С. Линейное кодирование сообщений // Радиотехника и электроника.- 1962. т.7,№1. С. 375-385.

55. Френке Л. Теория сигналов. М.: Мир, 1974. - 344 с.

56. Ван Трис Г. Теория обнаружения, оценок и модуляции. Т.1. М.: Сов. радио, 1972. - 744 с.

57. Вудворд Ф. М. Теория вероятностей и теория информации с приложениями к радиолокации. — М.:Радио и связь, 1955. — 128 с.

58. Котельников В. А. Теория потенциальной помехоустойчивости. — М., Энергоиздат, 1956- 152 с. '

59. Быховский М.А. Пионеры информационного века. История развития теории связи. Серия «История электросвязи и радиотехники» М.: ЗАО «РИЦ «Техносфера», 2006.-376с.бЗ.Чисар И. Кернер Я. Теория информации .М.: Мир, 1985.

60. Левин Б.Р., Шварц В. Вероятностные модели и методы в системах связи и управления. — М., Радио и связь, 1985. — 312 с.

61. Кузнецов H.A. Информационное взаимодействие в технических и живых системах. Информационные процессы. Т. 1, №1, с. 1—9.

62. Новик Д. А. Эффективное кодирование. —М.: Энергия. 1965. 235с.

63. Фано Р. Передача информации. Статистическая теория связи. М.: Наука, 1987.-304С.

64. Витерби А. Д., Омура Дж. К. Принципы цифровой связи и кодирования. М., Радио и связь, 1982. 536 с.

65. Брилтоэн Л. Наука и теория информации. М.: Физматгиз, 1960. -392 с.

66. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твёрдотельное телевидение. М.: Радио и связь. 1986.

67. Хромов JT. И., Цыцулин А. К., КуликовА. Н. Видеоинформатика. М., Радио и связь, 1991 - 232 с.

68. Хромов Л.И. Информационная теория связи на пороге XXI века. СПб.: НИИТ, 1996. -88 с.

69. Хромов Л.И Теория информации и теория познания. СПб.: РФО, 2006. -200с.

70. Хромов Л. И., Литвинчук Л. А. Оценка пропускной способности телевизионного канала с учетом линейных искажений и нескольких источников шума. Техника средств связи, сер. Техника телевидения, 1981, вып. 1, с.3-10.

71. Хромов Л. И., Ковригин А. Б., Цыцулин А. К., Мартынихин А. В. Идеальное линейное кодирование. Техника средств связи, сер. Техника телевидения, 2007, вып. 2, с. 82—91.

72. Ю.И. Бочаров, A.C. Гуменюк, А.Б. Симаков, П.А. Шевченко. Проектирование БИС класса «Система на кристалле: Учебное пособие. — М.: МИФИ, 2008.- 188 с.

73. Цыцулин А. К. Избирательность и теория информации. Вопросы радиоэлектроники, сер. Техника телевидения. - 2007. № 1, с 3—9.

74. Цыцулин А. К. Телевидение и космос. СПб: СПбГЭТУ «ЛЭТИ»,2003.-228 с.

75. Д. Сэломон. Сжатие данных, изображения и звука. -М.: Техносфера,2004. 368 с.

76. Хромов Л. И., Ковригин А. Б., Мартынихин А. В. Принцип равновесного согласования в теории информации. ДАН, т. 344, №1, с. 30, 31.

77. Сигов A.C., Нефедов В.И. Основы радиоэлектроники и связи. -М.: Выш. школа, 2009, 735с.

78. Сойфер В.А. Прикладная теория информации. Учеб. пос. -Куйбышев: КуАИ, 1985, 93с.

79. Методы компьютерной оптики. / под ред. Сойфер В.А. уч. для ВУЗов.-М.: ФИЗМАТЛИТ, 2003, 688с.

80. Zadeh L.A. Fuzzy Sets. Information and control. Vol.8, pp.338-353.

81. Цифровое кодирование телевизионных изображений/ И .И. Цуккерман, Б. М. Кац, Д. С. Лебедев и др.; под ред. И. И. Цуккермана М.: Радио и связь,1981.-240 с.

82. Кошелев В.Н. Квантование с минимальной энтропией. Проблемы передачи информации, 1963, вып. 3, с.151-156.

83. Величкин А.И. Передача аналоговых сообщений по цифровым каналам связи. — М.:радио и связь 1983.-240.

84. Gray R.M. Neuhoff D.L. Quantization. IEEE Transaction on information theory. Vol.44№ 6. October 1998. pp.2325-2383.89.3юко А.Г., Кловский Д.Д. Теория передачи сигналов. M.: Радио и связь, 1986. 226с.

85. Цыцулин А. К. Теория линейного кодирования зашумленных сигналов. — Вопросы радиоэлектроники, сер. Техника телевидения. 2009. № 2, с. 16-40.

86. Фон Нейман Дж. Теория самовоспроизводящихся автоматов. М.: Мир, 1971.-382 с.

87. Трауб Дж., Васильковский Г., Вожьняковский X. Информация, неопределенность, сложность. М.: Мир, 1988. — 184 с.

88. Сверхбольшие интегральные схемы и современная обработка сигналов.-под ред. С. Гуна, X. Уайтхауса, Т. Кайлата. — М.: Радио и связь, 1989. —470с.

89. Грицык В. В. Распараллеливание алгоритмов обработки информации в системах реального времени. — Киев: Наука. Думка, 1981, 216с.

90. Воеводин В.В, Воеводин Вл.В. Параллельные вычисления.- СПб.: БХВ-Петербург, 2002,-608с.

91. Хокин Р., Джесскауп К. Параллельные ЭВМ: Архитектура, программирование и алгоритмы. Пер. с англ. ОМ.: Радио и связь, 1986.- 392с.

92. Головкин Б. А. Параллельные вычислительные системы.- М.: Наука, 1980. 520с.

93. Ахо А. и др. Построение и анализ вычислительных алгоритмов/А. Ахо, Дж.Хопкрофт, Дж. Ульман: Пер с англ. —М.: Мир, 1979ю-536с.

94. Солодовников В. В., Бирюков В. Ф., Тумаркин В. И. Принцип сложности в теории управления. О проектировании технически оптимальных систем и проблеме корректности. М.: Наука, 1977.-341 с.

95. Микропроцессорные системы: Учеб. пособие для вузов / Сост.: Е.К. Александров, Р. И. Грушвицкий, М. С. Куприянов и др.; Под общ. ред. Д. В.

96. Пузанкова; Политехника. СПб., 2002. — 935 с.

97. Супер-ЭВМ. Аппаратная и программная организация / Под ред. С. Ферибаха; Пер. с англ. М.: Радио и связь, 1991.

98. Шмидт В. К. и др. Специализированные ЭВМ/ Учебник для вузов. Под ред. Смолова В. Б. -М.: Выш школа, 1981. 279 с.

99. Ларионов A.M. и др. Вычислительные комплексы, системы и мети/ Учебник для вузов. -.Л.: Энергоатамиздат, 1987. 288 с.

100. Васильев В.В., Кузьмин В.В., Сети Петри, параллельные алгоритмы и модели мультипроцессорных систем. Киев: 1990. 370с.

101. Хорошевский В.Г. Инженерный анализ функционирования вычислительных машин и систем. М.: радио и связь, 1967, 325с.

102. Каган Е. М., Крейн А. Я. Модели конфликтов в памяти мультипроцессорных систем// автоматика и вычислительная техника. 1982. № 2-с. 59-65.

103. Системы параллельной обработки. / под ред. Ивенса Д. Пер. с англ. .М.: Мир, 1985. 423 с.

104. Гаврилов Н.А. Логическое проектирование дискретных автоматов. М.: Наука. 1977. 342с.

105. Барский А.Б. Параллельные процессы в вычислительных системах. Планирование и организации. М.; радио и связь 1980. 233с.

106. Цыцулин А. К., Зубакин И. А. Моделирование влияния ограничения сложности кодера на качество кодирования изображения с преобразования. Вопросы радиоэлектроники, сер. Техника телевидения, 2006, вып. 2, 2ю-32-40.

107. D. Agrafiotis, N. Canagarajah, D. К Bull, J. Kyle, H. Seers, and M. Dye, "A perceptually optimised video coding system for sign language communication at low bit rates," in Signal Processing: Image Communication, 2006, number 21, pp. 531-549.

108. K. Nakazono, Y. Nagashima, and A. Ichikawa, "Digital encoding applied to sign language video," in IEICE Trans. Inf. & Sys., June 2006, vol. E89-D.

109. ПЗ.Никалаев Б.И.Последовательная передача дискретных сообщений по непрерывным каналам с памятью. -М.: Радио и связь, 1988.-264с.

110. Парфенов В.И., Сергеева Е.В. Применение дискриминантной процедуры при синтезе и анализе телекоммуникационной системы, основаннойна манипуляции статистическими характеристиками случайного процесса//Вестник ВГУ. 2008 № 1. С.70-74.

111. Вайнштейн JI.A., Зубаков В.Д. Выделение сигналов на фоне случайных помех.-М.: Сов. радио, 1960г.446 с.

112. Т. Wiegand, М. Lightsone, D. Mukherjee, Т. George Camplbell, and S. Mitra, "Rate-distortion optimized mode selection for very low bit rate video coding and the emerging

113. H.263 standard," in IEEE Trans. Circuits and Systems for Video Technology, April 1996, vol. 6.

114. R. Vanam, E. A. Riskin, and R. E. Ladner, "H.264/MPEG-4 AYC encoder parameter selection algorithms for complexity distortion tradeoff," in Proc. of DCC, Mar. 2009.

115. Миленький, A.B. Классификация сигналов в условиях неопределенности / A.B. Миленький. — М. : Сов. радио, 1975. — 328 с.

116. R. Westwater, В. Furth, "Real-time video compression", Boston Klumer Cop., 1993.

117. M.P. Servais, G. De Jager, "Video Compression using the Three Dimensional Discrete Cosine Transform", Proc. COMSIG, 1997, pp. 27-32.

118. M. C. Lee, K. W. Chan, D. A. Adjeroh, "Quantization of 3D-DCT coefficients and Scan Order for Video Compression", Journal of visual communication and image representation, Vol. 8. No. 4, Dec, pp.405-422, 1997.

119. N. Bozinovic, J. Konrad. Scan order and quantization for ЗО-ДКП coding. IS&T/SPIE Symposium on Image and Video Communications and Proc., Jul. 8-11,2003.

120. H.A. Peterson, "An improved detection model for DCT coefficient quantization", SPIE Proceedings 1913, 1993, pp.191-201.

121. Гонсалес P., Вудс P. Цифровая обработка изображений. M.: Техносфера, 2006. - 1072 с.

122. Ахмед Н., Pao К. Р. Ортогональные преобразования при обработке цифровых сигналов. М.: Связь, 1980. - 248 с.

123. Цифровое кодирование телевизионных изображений/ И .И. Цуккерман, Б. М. Кац, Д. С. Лебедев и др.; под ред. И. И. Цуккермана,- М.: Радио и связь, 1981.-240 с.

124. Оппенгейм A.B., Шафер Р.В. Цифровая обработка сигналов: Mí: Связь, 1979.-416 с.

125. Лукин. А. Введение в цифровую обработку сигналов. М.: МГУ, 2002.

126. Воробьев В.И., Грибунин В.Г. «Теория и практика вейвлет преобразования» ВУС, 1999. С.1 -204.

127. Дворкович A.B., Дворкович В.П., Зубарев Ю.Б. и др. Цифровая обработка телевизионных и компьютерных изображений. -М.: Издание международного центра научной и технической информации, 1997,-212 с.

128. Птачек М. Цифровое телевидение. -М.: Радио и связь, 1990, 512 с.

129. Кричевский P.E. Сжатие и поиск информации-М.: Радио и связь,1989,-168 с.

130. Ватолин Д.С. Алгоритмы сжатия изображений. МГУ им. М.В. Ломоносова: Мет. пос. 1999, 76 с.

131. Ричардсон Ян. Видеокодирование. Н.264 и MPEG-4 стандарты нового поколения. М.: Техносфера, 2005. 368 с.

132. Теория кодирования./ Т. Касами, И. Токура и др.: Пер. с япон./Под ред. Б. С. Цыбакова и С. И. Гельфанда.-М.: Мир, -1978.

133. Зубарев Ю: Б., Дворкович В. П., Нечепаев В. В., Соколов А. Ю. Методы анализа и компенсации движения в динамических изображениях // Электросвязь. 1998. № 11. С.

134. Прэтт У. Цифровая обработка изображений. Т.1,2. М.: Мир, 1982.

135. Рабинер Л., Гоулд Б. Теория и применение цифровой обработки сигналов. М.: Мир, 1978. 848 с.

136. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии. М., 2003. С. 182-186.

137. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов. М.: Мир, 1989. -448 с.

138. Ярославский Л.П. Введение в цифровую обработку изображений. -М.: Сов. радио, 1979.

139. Методы компьютерной обработки изображений/ под ред. Сойфер В.А. уч. для ВУЗов.-М.: ФИЗМАТЛИТ, 2003, 784с.

140. Добеши И. Десять лекций по вейвлетам. М., Ижевск, 2004. 463 с.

141. Джайн А.К. Сжатие видеоинформации: Обзор. ТИИЭР, т. 69, № 3, март 1981. С. 71-112.

142. Джайн А.К. Успехи в области математических моделей для обработки изображений. ТИИЭР, т. 69, № 5, май 1981. С. 937.

143. Александров В. В., Горский И.Д. Представление и обработка изображений. Рекурсивный подход. Л.: наука, 1985.

144. Александров В. В., Горский И.Д. Алгоритмы и программы структурного метода обработки данных. — Л.: наука, 1983. 192с.

145. Горский Н.Д., Мысько С.Н. Представление изображения на основе рекурсивной структуры и его связь с преобразованием Адамара. -В кн.: Системы автоматизации в науке и производстве. М.: Наука, 1984.

146. Умбиталиев А. А. Перспективы развития цифрового телерадиовещания: комплексное решение внедрения цифрового телевидения в регионах. Вопросы радиоэлектроники, сер. Техника телевидения, 2008. № 2 с. 3-8.

147. Умбиталиев А. А., Шипи лов Н. Н. Применение позиционно-полиадических систем счисления в модулярных вычислительных структурах обработки сигналов и изображений. Вопросы радиоэлектроники, сер. Техника телевидения, 2007 № 1 с. 60-69.

148. Александров В.В., Горский Н.Д. Рекурсивный подход к обработке данных. -Прикладная информатика, 1984, вып.2(7),с.34-49.

149. Зубарев Ю.Б., Кривошеев М.И., Красносельский И.Н. Цифровое телевизионное вещание. Основы, методы, системы.-М.:НИИР, 2001.-568с.

150. Feig, Е., and Е. Linzer (1990) "Discrete Cosine Transform Algorithms for Image Data Compression," in Proceedings Electronic Imaging '90 East, pages 84-87, Boston, MA. Feldspar (2003) is at http://www.zlib.org/feldspar.html.

151. Ф. Препарата, M. Шеймос. Вычислительная геометрия: Введение .-М: Мир, 1989,- 478с.

152. Floyd, R., and L. Steinberg (1975) "An Adaptive Algorithm for Spatial Gray Scale," in Society for Information Display 1975 Symposium Digest of Technical Papers, p. 36.

153. Моисеев H.H. Математические задачи системного,анализа. M., Наука, 1981.-488 с.

154. Репин В. Г., Тартаковский Г. H Статистический синтез при априорной неопределенности и адаптация информационных систем. М.: Сов. радио, 1977-32 с.

155. Левин Б. Р., Шварц В. Вероятностные модели и методы в системах управления и связи. М.: Радио и связь, 1985. 312 с.

156. Левин. Б. Р. Теоретические основы статистической радиотехники. М.: Сов. радио, 1976. 288 с.

157. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991. — 608 с.

158. Солодовников В.В., Тумаркин В.И. Теория сложности, системный синтез и автоматизация проектирования// Информатика, управление, вычислительная техника: Сб. статей. Вып.1. М.: Машиностроение, 1987.-272 с.

159. Reichel J., Ziliani F. Method of selecting among N "spatial video codes" the optimum codes for a same input signal. International Application Number: PCT/IB2003/005852. Priority Data: 17.12.2002.

160. Гуд Г. X., Макол P. Э. Системотехника. Введение в проектирование больших систем //Пер. с англ. под. ред. Г. H Поварова. М.: Сов. радио, 1962 г. 383 с.

161. Клир Дж. Системология. М.: Радио и связь, 1990. 544 с.

162. Шилейко A.B., Кочнев В.Ф., Химущин Ф.Ф. Введение в информационную /под ред. Шилейко А.В.-М.: Радио и связь, 1985.-280с.

163. Свириденко В. А. Анализ систем со сжатием данных. М.: Связь, 1977. 184с.

164. Нуссбаумер Г. Быстрое преобразование Фурье и алгоритмы вычисления сверток. М: Радио и связь, 1985. 248с.

165. Гуткин Л.С. Оптимизация радиоэлектронных устройств. М.: Сов. радио, 1975, 366с.

166. Окунев Ю.Б., Плотников В. А. Принципы системного подхода к проектированию в технике связи. М.: Связь, 1976,184с.

167. Стратонович Р.Л. Принципы адаптивного приема. М.: Сов. радио, 1973.144с.

168. G. Shen, G. P. Gao, S. Li, H. Y. Shum, and Y. Q. Zhang, "Accelerate video decoding with generic GPU," IEEE Trans, on Circuits and- Systems for Video Technology 5, pp. 685-693, May 2005.

169. Гуров И.П. Компьютерная фотоннка: принципы, проблемы и перспективы //Научно-технический вестник СПбГУ ИТМО. 2005. Вып. 21. С. 5-20.

170. J. Valentim, P. Nunes, and F. Pereia, "An alternative complexity model for the MPEG-4 video verifier mechanism," in IEEE Int. Conf. on Image Processing (ICIP2001), pp. 461-464, Oct. 2001.

171. J. Valentim, P. Nunes, and F. Pereia, "Evaluating MPEG-4 video decoding complexity for an alternative video complexity verifier model," IEEE Trans, on Circuits and Systems for Video Technology 12, pp. 1034-1044, Nov. 2002.

172. Y. Wang and S. F. Chang, "Complexity adaptive H.264 encoding for light weight stream," in IEEE Int. Conf. Acoustics, Speech and Signal Processing (ICASSP), pp. П25-28, May 2006.

173. Y. Wang, "Low-complexity H.264 decoder: motion estimation and mode decision," in Online. Available: http://www.ee.columbia.edu/ ywang/Research/camed.html,

174. Скворцов A.B. Триангуляция Делоне и её применение. Томск: Изд-во Том. ун-та, 2002. -128 с.

175. S. W. Lee and С.-С. J. Kuo, "Complexity modeling for motion compensation in H.264/AVC decoder," in IEEE Int. Conf. on Image Processing (ICIP), Aug 2007.

176. Куликов С.А. Разложение телевизионных изображений по средним арифметическим значениям // Вопросы радиоэлектроники. Сер. Техника телевидения. 1988 - Вып. 6. - С. 23-29.

177. М. van der Schaar and Y. Andreopoulos, "Rate-distortion-complexity modeling for network and receiver aware adaptation," IEEE Trans, on Multimedia 7, pp. 471^179, June 2005.

178. Borko Furht. Real-Time Video Compression. Techniques and Algorithms. Florida Atlantic University. 1997 by Kluwer Academic Publishers.

179. D. Marpe, H. Schwarz, and T. Wiegand, "Context-based adaptive binary arithmetic coding in the H264/AVC video compression standard," IEEE Trans, on Circuits and Systems for Video Technology 13, pp. 620-636, July 2003.

180. Эксперименты с машинным зрением. В.П. Андреев, Д.А. Белов и др.: Под ред. И. А. Овсеевича. АН СССР ИППИ-М.: наука, 1987.

181. СБИС для распознавания и обработки изображений. Пер с англ., под ред. К. Фу. М.: Мир, 1988.

182. Гридин В.Н., Титов B.C., Труфанов М.И. Адаптивные системы технического зрения. Центр информ. технологии в проектировании РАН. -М.: Наука, 2009.-441 с.

183. Системы технического зрения. Справ. / Сырямкин В.И., Титов B.C., Якушенков Ю.Г. и др. Томск: МГП «РАСКО», 1992. 376 с.

184. Техническое зрение роботов. Пер. с англ. Под ред. проф. JI. Пью. М.: Машиностроение, 1987.

185. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход. М.: Вильяме, 2004. 928 с.

186. Горелик A.JL, Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. М.: Радио и связь, 1985. 160 с.

187. СБИС для распознавания и обработки изображений. Пер с англ., под ред. К. Фу. М.: Мир, 1988.

188. Беллман Р., Дрейфус С. Прикладные задачи динамического программирования. М.: Наука, 1965. — 460 с.

189. Ту Дж., Гонсалес Р. Принципы распознавания образов, М. 1978 240 с.

190. Файн В. С. Опознавание изображений, М. 1970. — 290 с.

191. Кухарев Г.А., Биометрические системы:, Методы и средства идентификации личности человека, -СПб.: Политехника, 2001. —240 с.

192. A. Andoni and P. Indyk. Near-optimal hashing algorithms for approximate nearest neighbor in high dimensions. In FOCS, pages 459—468, 2006.

193. R Datta, D. Joshi, J. Li, and J. Z.Wang. Image retrieval: Ideas, influences, and trends of the new age. ACM Computing Surveys, page to appear, 2008.

194. K. Grauman and T. Darrell. Pyramid match hashing: Sub-linear time indexing over partial correspondences. In Proc. CVPR, 2007.

195. J. Hayes and A. Efros. Scene completion using millions of photographs. SIGGRAPH, 2007.

196. Авторский список литературы

197. Al. Фахми Ш С., Цыцулин А.К., Шипилов H.H., Умбиталиев A.A., Березин B.B. Твердотельная революция в телевидении // М.: Радио и связь, 2006 г. 350с.

198. А2. Фахми Ш. С., Березин В. В. Проектирование устройств обработки сигналов на основе технологии «система на кристалле» // Научное издание. СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2005. с. 144.

199. A4. Фахми Ш.С., Костикова Е.В. Сопряженное проектирование на базе реконфигурируемых систем на кристалле // Информационно-управляющие системы. 2010. № 3. С. 38-43.

200. А5. Фахми Ш.С., Зубакин И.А., Шагаров С.С. Аппаратно-программное проектирование сложных функциональных блоков с использованием систем на кристалле // Науч. тех. вестник СПбГУ ИТМО. 2010. № 2(66). С. 90-98.

201. А6. Фахми Ш.С. Иванов К.А. Михалков В.А. Учебная САПР топологии матричных БИС: Методические указания к курсовому проектированию по дисциплине «Автоматизация конструкторского и технологического проектирования» // Изд-во СПбГЭТУ "ЛЭТИ", 2001. 28 с.

202. А7. Фахми Ш. С., Березин В. В., Золотухо Р. Н. Отладка аппаратно-программного обеспечения реконфигурируемых систем на кристалле // Компоненты и технологии. 2003. № 7. С. 118-122.

203. А8. Фахми Ш. С., Березин В. В., Лячек Ю. Т. Автоматизация проектирования электронных устройств: Учеб. Пособие // СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2003. 80 с.

204. AlO. Фахми Ш. С., Березин В. В. Контроллер аппаратного стека протоколов для коммуникации в сетях Ethernet 10/100 Mb // Проблемы машиноведения и машиностроения. СПб., 2004. С. 115-122. (Межвуз. сб. СЗТУ. Вып. 32 ).

205. All. БерезинВ.В., ФахмиШ.С. Методическое сопровождение процессапроектирования цифровых устройств обработки сигналов // X Междунар. конф.

206. Современные технологии обучения», СПб., 21.04.2004. / СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2004. С. 125-127.

207. А13. Березин В.В., Фахми Ш.С. Аппаратно-программные средства для проектирования цифровых устройств // Учебное пособие. СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2005. с. 60.

208. А14. Проектирование цифровых устройств на базе CSoC семейства А7: Методические указания к лабораторным работам / Сост.: В. В. Березин, Ш. С. Фахми // СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2005.

209. А15. Фахми Ш.С. Проектирование БИС на базе «система на кристалле» // Учебное пособие. СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2006. с. 80.

210. Al 6. Ларистов А.И., Фахми Ш.С. Пирамидально-рекурсивная обработка изображений // Изв.ЛЭТИ. СПб.: СПбГЭТУ "ЛЭТИ", 2006. с. 3-11.

211. А17. Фахми Ш. С. Отладка аппаратно-программного обеспечения реконфтурируемых видео систем на кристалле / Материалы XIV международной конференции «Современное образование, технологии, качество»/ СПб.: Изд-во СПбГЭТУ "ЛЭТИ', 2008. С. 128.

212. Al 8. Фахми Ш.С, Цыцулин А.К. Перспективы отечественных видеосистем на кристалле «Телевидение. Передача и обработка изображений» // VI международная конференция, 18-20 июня 2008, СПб, стр. 11—13.

213. А19. Фахми Ш. С., Михалков В. А. Основы проектирования цифровых устройств на базе технологии «система на кристалле» // Мет. указания. СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2008. с. 27.

214. А23. Фахми Ш.С. Физическое прототипирование цифровых устройств обработки сигналов на системном уровне // Вопросы радиоэлектроники, сер. Техника телевидения, 2009, вып. 2, с. 118-129.

215. А24. Фахми Ш. С., Цыцулин А. К. Видеосистемы на кристалле: новые архитектурные решения в задачах обработки видеоинформации. Датчики и системы,2011 г., № 4 С.58-62.

216. А25. Фахми Ш. С. Проектирование цифровых устройств обработки сигналов на базе технологии «система на кристалле» // Изв. СПбГЭТУ "ЛЭТИ". Сер. «Инф., упр. и комп. технол.». 2009. Вып. 5. С. 23-32.

217. А26. Фахми Ш.С., Цыцулин А.К. Новые архитектурные решения в видеосистемах на кристалле // Сборник материалов IX Международной конференции. Распознавание 2010. 18-20 мая 2010. Курск 2010, КГТУ, С. 112-114.

218. А27. Патент № 2384967 (РФ). Способ стабилизации изображений / Фахми Ш.С., Цыцулин А.К., Переспелов A.B. // Зарегистрировано в гос. реестре изобретений РФ 20.03.2010.

219. А28. Зубакин И.А., Фахми Ш.С. Обзор методов кодирования и декодирования изображений // Вопросы радиоэлектроники, сер. Техника телевидения, 2008, вып. 1, с. 13-41.

220. А29. Фахми Ш.С. , Зубакин И.А. Основы видеоинформатики. // Учебное пособие. СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2009. с. 64.

221. АЗО. Фахми Ш.С., Шах В.В., Шмидт В.К. Алгоритм сжатия изображений с предсказанием по ОТ. // ЛЭТИ-Л1 Деп. в ВИНИТИ 04.02.91, № 523-В91.-30 с.

222. АЗ 1. Фахми Ш. С. Пирамидально-рекурсивный метод в задачах кодирования и декодирования нестационарных сигналов изображений // Сборник материалов IX Международной конференции. Распознавание 2010. 1820 мая 2010. Курск 2010, КГТУ, 175-177стр.

223. А32. Фахми Ш.С., Шах В.В., Шмидт В.К. Алгоритм сжатия и восстановления изображений с пирамидально-рекурсивной структурой данных // СПбГЭТУ- СПб. Деп. в ВИНИТИ 11.02.93, № 350-В93.-10 с.

224. АЗЗ. Фахми Ш.С., Шах В.В., Шмидт В.К. Аналитическая модель для оценки степени сжатия информации по опорным точкам // Методы и аппаратно-программные средства цифровой обработки сигналов. СПб., 1993. № 1. С. 40-45.

225. А34. Фахми Ш.С., Шах В.В. Алгоритм сжатия и восстановления изображений с предсказанием по ОТ // Материалы 46-ой научно-технической конференции. Л. 1991.С. 60-61.

226. А35. Фахми Ш.С., Шах В.В. Сжатие изображений с предсказанием по ОТ // Материалы 47-ой научно-технической конференции. Л. 1992. С. 59.

227. А36. Фахми Ш.С., Шах В.В. Кодирование и декодирования полутоновых изображений методом деления на треугольники // Материалы 48-ой научно-технической конференции. СПб., 1993. С. 91-92.

228. А37. Фахми Ш.С., Шах В.В., Шмидг В.К. Алгоритм сжатия и восстановления изображений методом деления на треугольники // Изв. СПбГЭТУ, 1993, Вып. 448. С. 5-15.

229. АЗ8. Фахми Ш.С. Проектирование структур данных в контексте ООП: Методические указания к курсовому проектированию по дисциплине «Структуры данных» // СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2002. 15 с.

230. АЗ9. Фахми Ш.С. Аналитическая модель оценки эффективности кодирования по опорным точкам // Изв. ЛЭТИ. СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2006. 5 с.

231. А42. Фахми Ш.С., Заверженец Д.А. Пирамидально-рекурсивные методы обработки видеоинформации // Материалы 64-ой научно-технической конференции. Сборник трудов СПбНТОРЭС им. A.C. Попова. Апрель 2009 / СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2009. С. 43-44.

232. А44. Фахми Ш.С. Аналитическая модель оценки степени приближения к эпсилон-энтропии на основе пирамидально-рекурсивного метода кодирования изображений //Вестника ТОГУ. 2010. № 1 (16). С. 32-44.

233. А45. Фахми Ш.С. Полигональная рекурсивная обработка видеоинформации // Вопросы радиоэлектроники, сер. Техника телевидения, 2008, вып. 1, с.42-51.

234. А46. Цыцулин А. К., Фахми Ш. С., Колесников Е.- И., Очкур С. В. Функционал взаимообмена сложности и точности систем кодирования непрерывного сигнала. Информационные технологии.—2011—№ 4.-С.71—77.

235. А47. Фахми Ш.С. Пространственный пирамидально-рекурсивный метод кодирования и декодирования видеоинформации // Материалы VI международной конференции «Телевидение: передача и обработка изображений» / СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2008. С. 108.

236. А48. Фахми Ш.С. Кодирование и декодирование видеоинформации // Вопросы радиоэлектроники, сер. Техника телевидения, 2007, вып. 2, с.43-51.

237. А49. Фахми Ш.С. Пирамидально-рекурсивные структуры кодирования и декодирования изображений // 61-я научно-техническая конференция профессорско-преподавательского состава университета / СПб., Изд-во СПбГЭТУ "ЛЭТИ", 2008. С. 33.

238. А50. Свидетельство №2010613202 (РФ). Рекурсивный триангуляционный кодек NDT RT / Фахми Ш. С. // Зарегистрировано в гос. реестре изобретений РФ 14.05.2010.

239. А51. Свидетельство №2007614093 (РФ). Подсистема автоматизации триангуляционного кодирования и декодирования видеоинформации / Ларистов А.И., Лячек Ю.Т., Фахми Ш.С. // Зарегистрировано в реестре для ЭВМ 25.09.07.

240. А52. Свидетельство №2007613644 (РФ). Пирамидальное кодирование изображений по опорным точкам / Фахми Ш.С. // Зарегистрировано в реестре для ЭВМ 27.08.07.

241. А53. Свидетельство №2008610552 (РФ). Полигональное кодирование видеоинформации» 2RD TV CODER v. 2.0 / Фахми Ш.С., Березин B.B. // Зарегистрировано в реестре для ЭВМ 30.01.08.

242. А54. Свидетельство №2008615181 (РФ). Трехмерная генерация изображений по опорным точкам 3D TV CODER v. 1.0 / Фахми Ш.С. // Зарегистрировано в реестре для ЭВМ 28.10.08.

243. А55. Свидетельство №2009615441 (РФ). Автоматизированный поиск опорных точек при кодировании изображений CTV-AR / Зубакин И.А., Фахми Ш. С. // Зарегистрировано в реестре для ЭВМ 01.10.09.

244. А56. Свидетельство №2009615442 (РФ). Кодер изображений на основе триангуляции CTV-RI / Фахми Ш. С. // Зарегистрировано в реестре для ЭВМ 01.10.09.

245. А57. Свидетельство №2007613740 (РФ). Пирамидально-рекурсивное кодирование видео информации Video Coder RT v 1.0. / Умбиталиев A.A., Цыцулин A.K., Фахми Ш.С. // Зарегистрировано в реестре для ЭВМ 03.09.07.

246. А58. Свидетельство №2005611739 (РФ). Быстродействующий классификатор случайных полей / Березин В. В., Иванов А. В., Ресовский В. А., Фахми Ш. С. // Зарегистрировано в реестре для ЭВМ 14.07.05.

247. А59. Фахми Ш.С. Обработка и вывод информации для решения задач экологии на ЖК-дисплей с применением технологии «система на кристалле» // Междунар. конф. «Приборостроение в экологии и безопасности человека», труды конференции СПб 31янв.-02 февраля 2007г.

248. А60.Фахми Ш. С. Оценка степени приближения к энтропии на основе пирамидально-рекурсивного метода кодирования изображений // Изв. СПбГЭТУ "ЛЭТИ". 2010. Вып. 4. С. 8-17.

249. А61. Фахми Ш. С. Кодирование видеосигналов // Изв. СПбГЭТУ "ЛЭТИ". Сер. «Инф., упр. и комп. технол.». 2007. Вып.З. С.34—40.

250. А62. Фахми Ш. С., Ларистов А.И., Лячек Ю.Т. Трехмерное дискретное косинусное преобразование видеоинформации // Материалы VI международной конференции «Телевидение: передача и обработка изображений» / СПб.: Изд-во СПбГЭТУ "ЛЭТИ", 2008. С. 101.

251. A64. Фахми Ш. С. , Цыцулин A.K., Зубакин И.А. Решения уравнения связи // Материалы конференции «Научно-технические проблемы в промышленности» к 100-летию НИИ «ВЕКТОР» / СПб.: 12-14 ноября 2008. С. 53-54.

252. А65. Фахми Ш.С., Зубакин И.А., Цыцулин А. К. Решения уравнения связи // Вопросы радиоэлектроники, сер. Техника телевидения, 2008, вып. 2, с.3-22.

253. А66. Свидетельство № 2008614479. Дискретное косинусное преобразование видеосигнала NUT VCS 3D-DCT / Шипилов H.H., Фахми Ш.С. // Зарегистрировано в реестре для ЭВМ 17.09.08.

254. А67. Свидетельство №20086615872. Высокопроизводительный кодек на основе дискретного косинусного преобразования MIT 3D-DCT / Шипилов H.H., Фахми Ш.С., Умбиталиев A.A., Ибатуллин С.М., Ибатулин В.Ф. // Зарегистрировано в реестре для ЭВМ 09.12.08.

255. А68. Фахми Ш. С. Очкур, C.B. Реализация ДКП-ЗБ кодирования: алгоритмы и схемотехнические решения // Материалы VII международнойконференции "Телевидение: передача и обработка изображений" 29-30 июня 2009 / СПб., Изд-во СПбГЭТУ "ЛЭТИ", 09. С. 136-142.

256. А69. Фахми, Ш. С. Очкур С. В. Универсальный видеокодек реального времени на основе ДКП-ЗБ // Материалы 64-ой научно-технической конференции. Сборник трудов СПбНТОРЭС им. A.C. Попова. Апрель 2009 / СПб., Изд-во СПбГЭТУ "ЛЭТИ", 09. С. 41-42.

257. А71. Свидетельство № 2009612325 Программное обеспечение видеосистемы на кристалле в составе беспроводной камеры / Березин В.В, Марков И.В., Фахми Ш. С. // Зарегистрировано в реестре для ЭВМ 07.05.09.

258. А72. Свидетельство № 2009612326. Программное обеспечение для быстродействующей передачи видеоизображения в составе беспроводной телевизионной камеры / Березин В.В, Бородулин В.В., Фахми Ш. С. // Зарегистрировано в реестре для ЭВМ 07.05.09.

259. А73. Свидетельство №2009612327. Аппаратно-программное обеспечение вейвлет- кодирования TV-изображений / Березин В.В, Зинкевич A.B., Фахми Ш. С. // Зарегистрировано в реестре для ЭВМ 07.05.09.

260. А75. Заявка РФ на изобретение № 2009143443. Способ распространения и транскодирования видеоконтента Текст./Фахми Ш. С., Умби талиев А. А., Шипилов Н. Н, Ибатуллин С. НУ/ приоритет 24.11.2009. Решение о выдаче патента на изобретение от 08.09.2010.

261. А80. Фахми Ш. С., Зубакин И.А. Адаптивный алгоритм кодирования видеоинформации на основе трехмерного дискретного косинусного преобразования //Изв. вузов России. Радиоэлектроника. 2010. Вып. 1. С. 49-54.

262. А82. Фахми Ш. С. Специализированная СБИС преобразования видеоданных Текст./Умбиталиев А.А, Шипилов H.H., Ибатуллин С.М.//Науч. тех. вестник СПбГУ ИТМО. 2010. № 4(68). С. 84-88.

263. А84. Фахми Ш.С., Зубакин И.А. Классификация нестационарных изображений и разработка методики оценки алгоритмов кодирования источника // Науч. тех. вестник СПбГУ ИТМО. 2010. № 2(66). С. 54 59.

264. А85. Фахми Ш.С., Зубакин И.А., Шагаров С.С. Адаптивные алгоритмы кодирования видеоинформации // Приборы. 2010. № 4. С. 28 -31.

265. А86. Свидетельство №2010614956 от 10.06.2010. Классификатор нестационарных изображений NIIT ПС / Фахми Ш.С. // Зарегистрировано в гос. реестре изобретений РФ 29.07.2010.

266. А87. Свидетельство №2010614957 от 10.06.2010. Адаптивный пространственный кодер изображений NIIN ДПП-3 / Фахми Ш. С. // Зарегистрировано в гос. реестре изобретений РФ 29.07.2010.

267. А88. Свидетельство об № 2010615390 от 22.06.2010. Кодек изображений на основе адаптивного двумерного дискретного косинусного преобразования NIIN A 2DCT / Фахми Ш. С. // Зарегистрировано в гос. реестре изобретений РФ 20.08.2010.

268. А89. Фахми Ш. С. Развитие триангуляционного подхода для кодирования и декодирования нестационарных изображений Текст./ Фахми Ш. С.// Вестник ТОГУ. 2010. № 3 (18). С. 81-90.

269. А91. Фахми, Ш. С. Начальный этап проектирования кодера источника непрерывного сигнала Текст. / ILL С. Фахми, И. А. Зубакин, А. К. Цыцулин // Вопросы радиоэлектроники. Сер. Техника телевидения. — 2010. -Вып. 2. С. 17-32.

270. А92. Фахми, Ш.С. Сложно-функциональный блок транскодирования видеоконтента Текст. / Ш. С. Фахми, А. А. Умбиталиев, Н. Н. Шипилов // Информационные технологии. — 2010 № 12. С. 21—24.