автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Аппаратура цифровой компрессии видеосигнала для разведывательных микросистем с низкой пропускной способностью канала передачи данных

Введение

Глава 1. Обзор средств и методов обработки цифрового, видеосигнала для построения микросистем с низкой пропускной способностью канала передачи данных

1.1 Микросистемы, их классификация и применение.

1.2 Обзор современных миниатюрных средств получения и обработки видеосигнала

1.3 Обзор средств компрессии цифрового видеосигнала для передачи по каналам с низкой пропускной способностью.

1. 4 Требования, предъявляемые при кодировании видеоинформации . V.

1.5 Эталонные изображения и критерии оценки качества

1.6 Постановка задачи диссертационной работы.

Выводы.

Глава 2. Разработка и исследование методики комплексной компрессии цифрового видеосигнала для использования в микросистемах с низкой пропускной способностью канала передачи данных (2КНПС)

2 .1 Подготовка видеокадра, полученного с ПЗСвидеокамеры.

2 . 2 Методика предсказания смещения с использованием обрабатываемых областей нефиксированного размера ( 2КНПС-1).

2.3 Методика компрессии статического изображения с использованием кодирующего набора двумерных функций 2КНПС-2 ).

Выводы.

Глава 3- Разработка и исследование аппаратуры цифровой обработки видеосигнала для разведывательных микросистем с низкой пропускной способностью канала передачи данных . 89 3 .1 Аппаратура цифровой обработки видеосигнала

Видеоблок).

3.2 Модуль цифровой обработки видео (МЦОВ)

Выводы.

Глава 4. Результаты экспериментальных исследований.11б

4.1 Сравнение быстрых методов поиска векторов смещения

4.2 использование комплексной методики 2КНПС

Выводы.

Актуальность работы. В последнее время цифровая обработка видеосигналов [1], ив частности компрессия цифрового видеоизображения, становится все более приоритетной и важной областью исследований. Недавние достижения в технологии цифровой обработки видеоинформации сделали возможным создание новых средств связи, в которых визуальная информация играет важную роль [2].

Эти средства связи достаточно широко применяются в специализированных областях как гражданского, так и военного назначения. К таким областям применения можно отнести медицинскую технику, аппаратуру для дистанционного контроля и управления, мобильные миниатюрные средства визуального наблюдения. В то же время телевидение с высоким разрешением, оборудование для проведения видеоконференции, видеофон, средства архивирования и мультимедиа - лишь некоторые примеры использования тех же технологий в повседневной жизни.

В конечном счете, имеются две основные причины, определяющие необходимость компрессии цифрового видеоизображения. Эти причины заключаются, во-первых, в требованиях к объему памяти, необходимому для хранения видеофрагментов, и, во-вторых, в пропускной способности канала передачи данных, которая во многих случаях не позволяет осуществлять передачу видеоизображения в реальном масштабе времени.

Например, без схемы компрессии, типичные статические изображения (со спутника или цифровой фотокамеры) с разрешающей способностью 2048 х 3072 пикселя при 24 разрядах цветовой глубины, без использования компрессии, заняли бы 18 МБ памяти, делая невозможным размещение более чем 30 изображений на одном компакт диске. Передача цельных изображений с высоким разрешением может потребовать неприемлемо большого времени при передаче через нагруженные компьютерные цифровые сети и может вызывать серьезные проблемы в администрировании.

Аналогичные трудности возникают при использовании в качестве канала доставки данных радиоканала (например, радиоканал, функционирующий при отсутствии прямой видимости между устройствами, участвующими в радиообмене или канал, реализованный при помощи сети радиомодемов с коммутацией пакетов) , что характерно для разведывательных систем, или какого-либо другого канала с достаточно низкой пропускной способностью. При этом усовершенствования лишь в технологиях передачи информации не решают проблему.

В то же время даже при условии существования каналов передачи данных с достаточно большой пропускной способностью, использование ряда новейших технологий может быть поставлено под вопрос без применения технологий цифровой компрессии [3] • Например, телевидение с высоким разрешением требует 1440 пикселей на строку и 1050 строк для каждого кадра составляющей освещенности, 720 пикселей на строку и 525 строк для каждого кадра составляющей chrominance. При воспроизведении 30 кадров в секунду при 8 бит/пиксель на канал, возникающий в результате трафик данных - приблизительно 545 Мбит/с. Такое огромное количество данных быстро превысило бы пропускную способность обычных ЛВС, и, без применения средств компрессии, передача видеоизображения стала бы возможна лишь в случае использования таких дорогостоящих технологий, как Gigabit Ethernet или 1000BASE-SX/LX.

На решение задачи дистанционного наблюдения, контроля и управления большое влияние оказывает выбор типа канала, используемого при информационном обмене. Во многих случаях при передаче данных возможно использование лишь радиоканалов. К таким случаям относится использование в качестве источника видеосигнала разведывательного аппарата с закрепленной видеосистемой. При отсутствии «прямой» видимости с принимающей станцией, например, при малых высотах и габаритах летательного аппарата, а также ввиду специфики решаемой задачи, скорость передачи данных может не превышать 19,2 Кбит/с.

Учитывая, что эффективная работа с видеоинформацией уже сегодня является одной из ключевых задач, а применение малогабаритных разведывательных аппаратов имеет большие перспективы, в частности при оценке состояния и ремонте магистральных газо- и нефтепроводов, а также решении ряда специальных задач, разработка новых методов цифровой компрессии видеосигнала, ориентированных на низкие скорости передачи, а также проведение исследований, направленных на совершенствование известных методов [4], является в настоящее время актуальной задачей.

В то же время, применяемые в настоящее время методы компрессии обладают рядом существенных недостатков, которые существенно ограничивают области применения. К числу наиболее значительных недостатков можно отнести следующие.

• Системы компрессии, широко распространенные в настоящее время, в значительной части применяют DCT (ДК[П]) -преобразование. Для ДКП реализованы быстрые алгоритмы вычисления, и применение ДКП при сравнительно низких значениях коэффициента сжатия (КС) дает хороший результат. Однако при низких скоростях передачи, для которых характерны большие значения КС, использование ДКП приводит к проявлению граничных неоднородностей и, кроме того, особенности реализации таковы, что в процессе семплирования при больших значениях КС в число отбрасываемых частотных коэффициентов могут попасть такие, которые определяют значительную энергию изображения. При скоростях передачи менее 20 Кбит/с число передаваемых коэффициентов настолько мало, что воспроизводимое изображение характеризуется значительными дефектами.

• При предсказании смещения, играющем важную роль в цифровой компрессии видеосигнала, как правило, применяются методы с фиксированным размером обрабатываемых областей. При этом затрудняется определение векторов смещения для динамически меняющегося изображения, отсутствует механизм объединения областей с общим вектором смещения, затруднена адаптация к изменяющимся условиям передачи .

• Как следствие вышеперечисленных факторов, передаваемое изображение характеризуется низким визуальным качеством.

В связи с этим, целью проводимого исследования является разработка средств повышения качества передаваемого изображения за счет улучшения существующих или применения новых методик обработки видеосигнала и разработка методики компрессии цифрового видеосигнала, ориентированной на большое значение коэффициента сжатия (канал передачи с низкой пропускной способностью) и пригодной для применения в разведывательных микросистемах .

Для достижения поставленной цели требуется решить следующие задачи: проанализировать существующие методы межкадрового и внутрикадрового кодирования, разработать методику компрессии, основанную на анализе пространственной и временной корреляции видеосигнала, разработать аппаратуру, позволяющую выполнить программную реализацию разработанной методики компрессии.

В результате проведенных исследований получены следующие результаты: проведен анализ существующих методов динамической (межкадровой) и статической (внутрикадровой) компрессии; разработана методика компрессии цифрового видеоизображения 2КНПС, в состав которой входит методика предсказания смещения 2КНПС-1 и методика компрессии статического изображения 2КНПС-2; разработана аппаратура, обеспечивающая программную реализацию методики компрессии 2КНПС.

Научная новизна работы состоит в развитии теории и практики методов обработки цифрового видеосигнала для последующей передачи по каналам с низкой пропускной способностью, разработке новых и развитии существующих методик и алгоритмов динамической и статической компрессии, развитии теории и практики применения средств цифровой обработки видеосигнала для разведывательных микросистем. Внедрение основных результатов диссертационной работы позволит расширить диапазон использования разведывательных микросистем, а также повысить качество передачи цифрового видеосигнала при больших значениях КС, снизить время передачи, объем хранимой информации, а также уменьшить стоимость хранения и передачи.

В связи с этим на защиту выносится:

• методика компрессии цифрового видеосигнала «2КНПС», позволяющая повысить качество видеоизображения при передаче по информационным каналам с низкой пропускной способностью, в состав которой входит методика предсказания смещения «2КНПС-1», методика компрессии статического изображения «2КНПС-2», а также элементы предварительной обработки видеоизображения;

• микропроцессорная аппаратура, применимая для разведывательных задач и обеспечивающая программную реализацию разработанной методики ЗКНПС;

• как следствие вышеперечисленного, повышение качества видеоизображения, передаваемого с разведывательного аппарата по информационному каналу с низкой пропускной способностью.

Все основные положения и результаты, изложенные в диссертационной работе, получены автором лично.

Диссертация выполнена в рамках НИР, проводимых OJIBC и СУ МИЭТ (ТУ). Тематика диссертации соответствует перечню приоритетных направлений фундаментальных исследований по теме 2.2.7 - «Интегрированные телекоммуникационные системы и сети», утвержденной президиумом РАН, т.к. определяет уровень развития технологий XXI века.

Достоверность полученных результатов подтверждается использованием классических методов исследования, а также соответствием экспериментальных данных теоретическим исследованиям .

Практическая значимость результатов проведенных исследований заключается в возможности улучшения качества изображения, передаваемого по каналам с низкой пропускной способностью, в том числе и с разведывательного аппарата, использующего радиоканал передачи данных. Разработанные методы кодирования и предсказания смещения позволяют облегчить решение практических задач по конструированию аппаратуры передачи цифрового видеосигнала [5].

Внедрение результатов работы:

Методика компрессии цифрового видеосигнала 2КНПС, программные модули на ее основе и рекомендации по разработке ап

БУИ-УТ паратуры использованы в системах, разрабатываемых в рамках ОКР «Обзор» в 2001 г. в ФГУП НПП «ОПТЭКС», что подтверждено актом внедрения.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на Международной научно -технической конференции «Новые информационные технологии» (Судак, 1995); на межвузовской научно - технической конференции «Микроэлектроника и информатика - 96» (Москва, 1996); на межвузовской научно - технической конференции «Микроэлектро

ВЫВОДЫ

1. На основе выполненного сравнения основных быстрых блоковых методов по количеству точек, для которых осуществляется расчет и по значению MSE для модификации в соответствии с предлагаемой методикой предсказания смещения с блоками нефиксированного размера выбран метод HSA (MSE = 156,22 для эталона «Сад»).

2. Показана возможность снижения значения MSE при использовании предлагаемой методики предсказания смещения. 'Для эталона «Прораб» показано снижение MSE в среднем на 9,5% при сохранении числа блоков разбиения. Для эталона «Баржа» снижение числа блоков разбиения при фиксированном

- 133 значении MSE составило в среднем 16%. Для других рассмотренных эталонов число блоков уменьшилось в среднем на 24%.

3. Установлено, что применение предлагаемого метода статической компрессии позволяет снизить значение PSNR по сравнению с методом на основе ДКП. Для эталона «Баржа» значение PSNR для предлагаемого метода составило 30,37 (для 10 Кбит/с), для Н.263 - 30,03.

4. Произведено сравнение результатов совместного использования комбинации предлагаемых методов статической и динамической компрессии по сравнению с комбинацией TMN - DCT. Продемонстрировано снижение значения PSNR. Для эталона прораб PSNR снизилось в среднем на 6 единиц.

5. Продемонстрировано визуальное повышение качества передаваемого изображения при использовании разработанной методики 2КНПС по сравнению с комбинацией TMN - DCT для эталонов «МИЭТ» и «Панорама».

ЗАКЛЮЧЕНИЕ

По результатам диссертационной работы можно сделать следующие основные выводы:

1. Разработана методика компрессии цифрового видеосигнала 2КНПС для использования на разведывательных аппаратах с низкой пропускной способностью канала передачи данных, при этом:

1) Разработан алгоритм быстрого перевода пикселей изображения из цветовой системы R-G-B в систему Y-Cb-Cr, используемую при обработке и передаче цифрового видео. Предложенный алгоритм позволяет уменьшить вычислительные затраты приблизительно в 5 раз.

2) Разработана методика предсказания смещения 2КНПС-1. Выведены основные соотношения для выполнения операций над матрицами смещения, используемые при группировании матриц смещения, построении бинарного дерева векторов смещения.

3) Разработан алгоритм построения дерева векторов смещения. На примере показан процесс формирования дерева векторов смещения.

4) Показано, что методика 2КНПС-1 позволяет учитывать корреляцию векторов смещения соседних областей, делает возможным дифференцированный подход к определению векторов смещения для сложных участков изображения.

5) Показана возможность снижения значения MSE при использовании 2КНПС-1. Для эталона «Прораб» показано снижение MSE в среднем на 9,5% при сохранении числа блоков разбиения. Для рассмотренных эталонов число блоков разбиения при фиксированном значении MSE снизилось более чем на 16%.

6) Разработаны обобщенные алгоритмы работы кодирующего и декодирующего программных модулей методики статической компрессии 2КНПС-2.

7) Установлено, что применение предлагаемого метода статической компрессии 2КНПС-2 позволяет снизить PSNR по сравнению с методом на основе ДКП для больших значений КС. Для эталона «Баржа» значение PSNR для предлагаемого метода составило 30,37 (для 10 Кбит/с), для Н.2б3 - 30,03.

8) Произведено сравнение результатов совместного использования методик 2КНПС-1 и 2КНПС-2 (методика 2КНПС) по сравнению с Н.263. Для эталона «Прораб» значение PSNR снизилось в среднем на бДб.

9) Продемонстрировано визуальное повышение качества передаваемого изображения при использовании разработанной методики 2КНПС по сравнению с Н.263 для эталонов «МИЭТ» и «Панорама».

10) Осуществлен предварительный расчет и проведена оценка вычислительной сложности комплекса алгоритмов состоящего из предварительной обработки видеокадра, предсказания смещения и компрессии разностного изображения. Как следствие - определены требования к аппаратуре при разработке модуля цифровой обработки видеоизображения для разведывательного аппарата с малой пропускной способностью канала передачи данных.

Разработана аппаратура цифровой обработки видеосигнала, реализующая методику цифровой обработки (компрессии) видеоизображения 2КНПС, при этом:

1) Произведен расчет необходимой вычислительной производительности МЦОВ для решения задачи компрессии видеоизображения. Обоснована возможность параллельной обработки данных модулем цифровой обработки видеосигнала.

- 136

2) Исследована и разработана функциональная схема МЦОВ с двумя цифровыми сигнальными процессорами. Обоснован выбор типа ЦСП, проведены расчеты, подтверждающие допустимость использования ЦСП JI1879BM1 для решения поставленной задачи.

3) Исследованы алгоритмы совместного доступа к общим ресурсам при параллельной обработке данных двумя ЦСП. Определены требования необходимого объема памяти. Разработан алгоритм взаимодействия двух ЦСП, позволяющий решить поставленную задачу без применения механизма арбитража совместно используемых данных. Разработаны схемы доступа к внешним устройствам.

4) Предложена схема организации памяти для МЦОВ с двумя ЦСП. Разработаны схемы подключения различных банков памяти МЦОВ. Разработан алгоритм инициализации МЦОВ.

3. Как следствие перечисленного, использование предлагаемого МЦОВ, реализующего разработанную методику компрессии цифрового видеосигнала 2КНПС, позволяет повысить общее качество передаваемого с разведывательного аппарата видеоизображения и повысить адаптируемость бортовой видеосистемы к изменяющимся характеристикам канала передачи данных .

1. Ефимов А. В. Математическое моделирование и цифровая обработка информации: Сборник научных трудов, под редакцией Ефимова А. В. М.:МИЭТ, 1990. -182С.

2. Сапронов М. В. Методы и средства для представления видео-и аудиоинформации на ЭВМ. Тез. док. на межвузовской научно технической конференции «Микроэлектроника и информатика - 96». -Москва, 1996. -с 153

3. Сапронов М.В., Фоменко А.И. Способы применения глобальных вычислительных сетей для проведения статистических исследований. Тез. док. на межвузовской научно технической конференции «Микроэлектроника и информатика - 97». -Москва, 1997- -с 111.

4. Поспелов А.С. Некоторые математические задачи и алгоритмы цифровой обработки информации и использованием дискретных преобразований: Дисс. на соискание уч. степени д-ра физмат. наук. -М., 1992. -398с.

5. Бархоткин В. А. Проектирование и применение микропроцессорных управляющих систем. Межвузовский сборник научных трудов, под редакцией Бархоткина В. А. М.: МИЭТ, 1989.

6. ОФПИ «Бастион». Аналитическая записка «Микросистемы в России» от 15 ноября 1999 года.

7. Савченко Ю.В., Воробьев А.П., Тимукин В.А., Степанов Н.В. От чет о научно-исследовательской работе «Разработка и изготовление различных вариантов помехоустойчивого канала передачи видеоизображения», МИЭТ, 2000.

8. Сапронов М.В., Тез. док. на международной научно -' технической конференции «Новые информационные технологии». -Москва, 1995- -с 1259 Texas Instruments, "ТС211 192x165 pixel CCD Image Sensor", 1990

9. Texas Instruments, "CCD Image Sensors and Analog-to-Digltal Conversion", 1993

10. Burn-Brown Corporation, "Speed Plus CCD Signal Processor For Digital Cameras", June 1998

11. D. A. Huffman, "A method for the construction of minimum-redundancy codes", in Proc. Inst. Electrical Radio Engineers, vol. Proc. 40, pp. 1098-1101, Sept. 1952.

12. Дмитриев В. И. Прикладная теория информации: Учеб. для студ. Вузов. -М.: Высшая школа, 1989. -С. 320.

13. I. Н. Witten, R. М. Neal and J. G. Cleary, "Arithmetic Coding For Data Compression," Communications of the ACM, Vol-30, June 1987, pp. 520-540.

14. Мастрюков Д. Алгоритмы сжатия информации. Часть 2. Арифметическое кодирование // Монитор. -1994. -№1. -С.16 й$н£бМ., Иканопопулос А., Кошер М. Методы кодирования изображений второго поколения // ТИИЭР. -1985. Т.73- -№4 -С. 59-86

15. Т. A. Welch, "A technique for high performance data compression," IEEE Computer, vol. 17, no.6, pp. 8-19, June 1984.

16. Ярославский JI. П. Цифровая обработка сигналов в оптике и голографии. Введение в цифровую оптику. -М.: Радио и Связь. -1987. -296с.

17. Ярославский Л. П. Введение в цифровую обработку изображений. М.: Сов. радио 1979- -312с.2 0 Птачек М. Цифровое телевидение. Теория и техника / Пер. с чешского под ред. Л. С. Виленкина. -М. : Радио и Связь, 1990. -528с.

18. IS0/IEC 11172-2 (MPEG-1 Video), "Information Technology -Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s: Video," 1993.

19. ISO/IEC 13818-2 I ITU-T H.262 (MPEG-2 Video), "Information Technology Generic Coding of Moving Pictures and Associated Audio Information: Video,"1995

20. А. К. Jain, "Image data compression: A review", Proc. IEEE, vol. 69, PP.349-389, Mar. 1981

21. Трахман A.M., Трахман В.А. Основы теории дискретных сигналов на конечных интервалах. -М.: Советское Радио, 197532 Н. G. Musmann, P. Pirsch, and Н. J. Grallert, "Advancesin picture coding," Proc. IEEE, vol. 73, pp. 523-548, Apr. 1985

22. J. D. Robbins and A. N. Netravali, "Recursive motion compensation: a review," in Image Sequence Processing and Dynamic Scene Analysis, pp. 76-103,1983.

23. L. M. Po and С. K. Cheung, "A new center-biased orthogonal search algorithm for fast block motionestimation," in Proc. of IEEE Region Ten Conf., vol. 2, pp. 874-877, Nov. 1996.

24. Кочетков M. E. Компрессия цифровых изображений с использованием векторного квантования в области дискретных ортогональных преобразований. Диссертация на соискание ученой степени кандидата тех. наук. М.:МИЭТ, 1999•-199С

25. А. N. Netraveli and В. G. Haskell, "Digital Pictures, Representation, Compression and Standards," Plenum Press, New York, 2 nd ed., 19953 7 Michael Gosney and et al, "The Official Photo CD Handbook," Verbum, Inc., Peachpit Press, 1995

26. Виленкин Н.Я. Об одном классе полных ортогональных систем // Изв. АН СССР. Сер. Мат. -1947. -Т. 11. -С. 363-400.'

27. К. R. Rao and P. Yip, "Discrete cosine transform: Algorithms, Advantages, Applications," New York, NY: Academic Press, 1990.

28. W. K. Pratt and W. H. Chen, "Slant transform image coding," IEEE Trans. Commun., vol. 22, pp. 1075-1093, Aug. 1974.4 7 J. Vaisey and A. Gersho, "Simulated annealing and codebook design," Proc. ICASSP'88, pp. 1176-1179, Apr. 1988.

29. W. Н. Chen and W. К. Pratt, "Scene adaptive coder," IEEE Trans. Commun., vol. 32, no. 3, pp. 224-232, 1984.

30. M. L. Liou, "Visual telephony as an ISDN application," IEEE Communications Magazine, vol. 28, pp. 30-38, 1990.

31. J. M. F. Moura, R. S. Jasinschi, H. Shiojiri and J. C.' Lin, "Video over wireless," IEEE Pers. Commun., pp. 4454, Feb. 1996.

32. L. Hanzo and J. Streit, "Adaptivee low-rate wireless videophone schemes," IEEE Trans, on Circuits and Systems for Video Technology., vol. 5, no. 4, pp. 305-318, August 1995

33. X. Zhang, M. C. Cavenor and J. F. Arnold, "Adaptive quadtree coding of motion-compensated image sequences for use on the broadband ISDN,5' IEEE Trans, on Circuits and Systems for Video Technology., vol. 3, no. 3, pp. 222-229-, June 1993

34. W. К. Pratt and W. H. Chen, "Slant transform image coding," IEEE Trans. Commun., vol. 22, pp. Ю75-Ю93, Aug. 1974.

35. S. Mallat, Z. Zhang "Matching Pursuits With Time-Frequency Dictionaries" , IEEE Transactions on Signal Processing, Vol 41, № 12, December 1993, pp. 3397-3415

36. R. Neff and A. Zakhor, "Matching Pursuit Video Coding at Very Low Bit Rates," IEEE Data Compression Conference, Snowbird, Utah, March 1995, pp. 411-420.

37. E. Ванина, А. Смирнов, E. Братцева, Обзор рынка цифровых сигнальных процессоров, Компоненты и технологии, №8, 2000.6 4 НТЦ «Модуль». Процессор Л1879ВМ1 (NM6403), 2000 2001г.