автореферат диссертации по радиотехнике и связи, 05.12.04, диссертация на тему:Разработка цифровых методов и устройств преобразования параметров сигналов изображений в системах телевидения

На правах рукописи

Балобанов Андрей Владимирович

РАЗРАБОТКА ЦИФРОВЫХ МЕТОДОВ И УСТРОЙСТВ ПРЕОБРАЗОВАНИЯ ПАРАМЕТРОВ СИГНАЛОВ ИЗОБРАЖЕНИЙ В СИСТЕМАХ

ТЕЛЕВИДЕНИЯ

Специальность 05.12.04 - Радиотехника, в том числе системы и устройства телевидения

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

1 9 ДПР 2012

Москва 2012

005018248

Работа выполнена на кафедре телевидения им. СМ. Катаева Федерального государственного образовательного бюджетного учреждения высшего профессионального образования Московский технический университет связи и информатики (ФГОБУ ВПО МТУ СИ).

Научный руководитель:

доктор технических наук, профессор Безруков Вадим Николаевич

Официальные оппоненты:

доктор технических наук, профессор Локшин Марк Германович

кандидат технических наук, Ульянкин Сергей Викторович

Ведущая организация:

ФГУП Московское орденов Октябрьской Революции и Трудового Красного Знамени КБ "Электрон" (ФГУП МКБ "Электрон")

Защита состоится 10 мая 2012г. в 13.00 часов на заседании совета по защите докторских и кандидатских диссертаций Д219.001.01 при ФГОБУ ВПО Московский технический университет связи и информатики по адресу: 111024, Москва, ул. Авиамоторная, д. 8а, ауд. А-448.

С диссертацией можно ознакомиться в библиотеке Московского технического университета связи и информатики.

Автореферат разослан « 3 » О У 2012 г.

Ученый секретарь совета Д219.001.01 по защите докторских и кандидатских диссертаций, к.т.н., доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время в практику прикладного и вещательного телевидения активно внедряются системы телевидения высокой чёткости (ТВЧ). Это обусловило возрастание актуальности эффективного решения научно-технических задач по взаимному преобразованию сигналов телевизионных (ТВ) изображений стандартной чёткости и ТВЧ. Последнее связано с тем, что существующий в РФ обширный архив программ и видеоматериалов представлен изображениями (форматом) чёрно-белого и цветного телевидения (ЧБТ и ЦТ) стандартной чёткости. Весьма актуальным, соответственно, является эффективное решение задач реставрации и преобразования сигнала стандартной чёткости в стандарт с повышенным числом строк, чему и посвящено основное содержание данной диссертационной работы. Отдельный раздел её содержания, кроме того, посвящён задаче преобразования (кодирования) сигналов черно-белого ТВ по цветовому направлению.

Следует отметить, что большой вклад в решение задач преобразования параметров и обработки составляющих ТВ сигнала изображений внесён отечественными специалистами. Можно отметить работы в данном направлении С.И. Катаева, C.B. Новаковского, М.И. Кривошеева, В.Ф. Самойлова, Н.К. Игнатьева, Ю.Б.Зубарева, А.С.Селиванова, Г.А. Аванесова, Б.П. Хромого, В.Г. Маковеева, В.Н. Безрукова и др. Сложность эффективного решения данной задачи обусловлена необратимыми потерями информационной структуры изображений, которые возникают при формировании сигналов ЦТ и ЧБТ стандартной чёткости. Однако, сохранившиеся корреляционные связи, связанные, в том числе, и с нестабильностями положения камер и растра позволяют все же в существенной мере реставрировать, например, пространственную структуру изображений за счёт взаимной многомерной обработки составляющих ТВ сигнала изображений в реальном и частотном пространстве. При этом целесообразно разработать комплекс линейных и нелинейных методов (алгоритмов и устройств) реставрационной регенерации промежуточных элементов, пространственных или цветовых составляющих изображений. Полученные при её осуществлении составляющие подвергаются коррекции и преобразованию с последующим мультиплексированием уже общего преобразованного сигнала изображения по заданным критериям весового выбора элементов каждой составляющей.

Основное внимание в диссертационной работе уделено созданию универсальных методов преобразования параметров сигналов изображений, которые могут быть использованы для различных вариантов их цифрового кодирования и декодирования (сжатие спектра, отображение сигналов изображений, реставрации, архивирования и т. д.).

Цель и задачи работы. Целью настоящей диссертационной работы является разработка эффективных методов и устройств цифрового преобразования пространственных и цветовых параметров ТВ изображений в системах цифрового телевидения, учитывающих специфику и,.

искажения формирования (сжатия) соответствующих видеоинформационных сигналов, а также разработка и моделирование алгоритмов, реализующих предложенные методы. Для достижения поставленной цели в работе решены следующие научно-практические задачи:

1. Проведён анализ влияния линейных и нелинейных преобразований, которые осуществляются в процессе формирования стандартного ТВ сигнала, на пространственно-временные характеристики (параметры, искажения) соответствующих изображений;

2. Получены аналитические соотношения для оценки изменений масштаба контролируемых объектов и получены расчётные соотношения, конкретизирующие масштабные трансформации пространственных параметров проецируемых объектов в зависимости от условий и параметров видеоконтроля;

3. Разработан метод адаптивной коррекции интегральных искажений пространственной структуры ТВ изображений;

4. Предложен вариант осуществления цифровой фильтрации для последующей децимации дискретных в пределах внутрикадрового пространства сигналов ТВ изображений.

5. Разработан метод преобразования чересстрочной структуры последовательных во времени сигналов ТВ кадров в прогрессивную (построчную) структуру;

6. Предложен режим цветового кодирования чёрно-белых ТВ изображений, обеспечивающий значительное повышение визуальной информационной ёмкости чёрно-белых изображений.

Методы исследования. При решении поставленных задач в работе использованы, современные методы цифровой обработки изображений, статистической радиотехники, спектрального анализа и программирования.

Личный вклад. Все основные научные результаты, изложенные в диссертации, получены автором лично.

Научная новизна работы.

1. Получены соотношения, отражающие чересстрочную структуру дискретизации сигнала ТВ изображений и соответствующего спектра, и показана эффективность раздельного преобразования составляющих сигналов четных и нечетных полей.

2. Осуществлён теоретический анализ многомерных характеристик формирования отсчётов сигнала ТВ изображения с учётом пространственно- временного накопления.

3. Разработана методика и получены соотношения для вычислительной оценки линейных и нелинейных преобразований (искажений) характеристик конкретного ТВ изображения объекта в зависимости от его положения в пределах контролируемой сцены.

4. Разработаны основы эффективной коррекции апертурных искажений сигнала ТВ изображений адаптивного типа.

5. Аналитически показана целесообразность ограничения спектра сигналов ТВ изображений в диагональном направлении при децимации последовательности соответствующих отсчетов.

6. Обоснована импульсная характеристика (ИХ) и осуществлён анализ коэффициента передачи интерполирующего (отсутствующий в промежутке отсчёт) цифрового фильтра при преобразовании чересстрочной структуры растра в построчную.

7. Предложена методика, позволяющая определить оптимальный алгоритм цветокодирования при решении частных (разнородного типа) задач.

Практическая ценность работы.

1. Разработанные алгоритмы, устройства и соответствующие блоки преобразования параметров развёртки растра в цифровых системах ТВ стандартной и высокой чёткости.

2. Разработанные алгоритмы, структурные схемы устройства и соответствующих блоков преобразования параметров развёртки растра в цифровых системах телевидения стандартной и высокой чёткости.

3. Разработанный алгоритм ограничения спектра сигналов ТВ изображений при децимации последовательности соответствующих отсчётов.

4. Разработанные алгоритмы, структурные схемы устройства для реставрации пространственной чёткости сигналов ТВ изображений и блока адаптивной апертурной коррекции.

5. Разработанный алгоритм цветового кодирования чёрно-белых ТВ изображений, обеспечивающий выявление в структуре изображений конфигурации участков повышенной информационной ёмкости чёрно-белых изображений.

Реализация результатов работы. Результаты работы использованы при проведении учебного процесса на кафедре телевидения им. С.И. Катаева МТУСИ при подготовке методического пособия и программного обеспечения для лабораторной работы, при выполнении НИР "Искание-ТВРК" в лаборатории "Цифровой обработки телевизионных сигналов" МТУСИ, при выполнении работ по гранту РФФИ №10-07-00349 «Разработка комплекса методов и алгоритмов для систем реставрационного адаптивного преобразования сигналов телевидения в стандарт высокой и сверхвысокой чёткости». Результаты диссертации также внедрены в разработках устройств ТВ контроля объектов в закрытом акционерном обществе «СПЕЦВИДЕОПРОЕКТ», в ФГУП Государственном научно-производственном ракетно-космическом центре «ЦСКБ-ПРОГРЕСС», в клиниках ГБОУ ВПО «Самарский государственный медицинский университет» Минздравсоцразвития РФ, в ФГОБУ ВПО «Поволжского государственного университета телекоммуникаций и информатики». Реализация результатов работы подтверждена соответствующими актами.

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на 4-й Международный научно-технический конференции «Фундаментальные проблемы радиоэлектронного и оптоэлектронного приборостроения» ГШегтайс, 2005 г.; на Научно-технических конференциях профессорско-

преподавательского, научного и инженерно-технического состава МТУСИ в 2005, 2006 гг., на Московской отраслевой научно-технической конференции «Технологии информационного общества», 2007 г., на VII международной НТК «Проблемы техники и технологии телекоммуникации» в 2006 г., на 12-14 Российских научных конференциях профессорско-преподавательского состава, научных работников и аспирантов в 2005- 2007 гт.

Публикации. По теме диссертации опубликовано 19 печатных работ, в том числе пять статей в ведущих рецензируемых журналах, входящих в перечень ВАК, 2 положительных решения по заявке на изобретение.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы и трех приложений, изложена на 214 страницах. Библиография включает 91 наименование.

Основные положения, выносимые на защиту

1. Результаты теоретической оценки характеристик чересстрочной структуры дискретизации, соответствующего спектра и формирования отсчётов сигнала ТВ изображения с учётом пространственно- временного накопления.

2. Методика и полученные соотношения, обеспечивающие возможность вычислительной оценки линейных и нелинейных преобразований пространственных параметров конкретного ТВ изображения объекта в зависимости от его положения в пределах контролируемой сцены.

3. Разработанные алгоритмы ограничения спектра при децимации, реставрации пространственной чёткости сигналов ТВ изображений, их адаптивной апертурной коррекции и преобразования чересстрочной в последовательности кадров структуры строк в построчную.

4. Разработанные алгоритмы и программное обеспечение для цветокодирования сигналов ЧБТ.

5. Результаты экспериментального исследования разработанных алгоритмов.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы, указана цель диссертационной работы, определены задачи и методы исследования. Сформулированы научная новизна, практическая значимость и положения, выносимые на защиту, а также кратко излагается содержание работы.

В первой главе рассмотрены характеристики и параметры сигналов изображений в системах телевидения, особенности структуры спектра исходного ТВ сигнала, внутрикадровой дискретизации, формирования дискретных отсчетов сигналов ТВ изображений. Проанализированы искажения формирования сигналов ТВ изображений.

В первом разделе показано, что структура спектра текущего ТВ сигнала, соответствующая заданной последовательности кадров, определяется суммой спектров

6

отдельных её фрагментов в пределах отдельных строк, полукадров, кадров. Каждому отдельному фрагменту текущего ТВ сигнала свойственна своя специфика спектра. Её анализ обеспечивает выявление наиболее значимых (по весу) изменений в структуре изображений, которые и должны быть в условиях адаптивного сжатия переданы на приёмную сторону канала связи или преобразованы в системах цифрового ТВ с наиболее высоким визуальным качеством. Причём оценка "веса" данной компоненты в структуре спектра ТВ сигнала не определяется только её объёмом (произведение относительной амплитуды на протяжённость в пределах взаимно ортогональных направленийх,у,(,Л), но и должна учитывать специфику визуального восприятия. Появление дискретных и квазидискретных составляющих в структуре спектра ТВ сигнала отражает возникновение в его фрагментах по направлениям в пределах строк, смежных строк (пространственные направления) и смежных кадров (временное направление) корреляции и соответственно избыточности. Специфика последней может бьгть сравнительно жестко определена лишь в ограниченном по длительности фрагменте передаваемого изображения. При увеличении же времени анализа структура спектра во всё большей степени определяется его средней составляющей.

В последующих разделах первой главы показано, что в случае использования чересстрочной и построчной структур растра при фиксированной частоте строк и частоте кадров 25 Гц выигрыш первого варианта в субъективно воспринимаемой четкости значителен. Его величина будет возрастать при увеличении кадровой частоты и соответственно с уменьшением заметности мельканий.

Получен спектр функции дискретизации <](х,у,1)дпя стандартной системы ТВ вещания (чересстрочный растр):

Д,(ш„<в,,<э) =

(2р + \ \ . (24+1 „ ^

31П-

зш

. (2к+\ вт -а.

К 2 ■

яп

Л . (2/я+1 , VI

51П-

( . (2Ы + \ „ ( 2 . тТ,

Структура соотношений для с1{х, у, I) и Д¡(сох,о у,со) выявила преимущество

раздельного преобразования параметров составляющих сигнала ТВ изображений четных и нечетных полей при реализации элементов аппаратуры для систем цифрового телевидения. Целесообразно, в частности, осуществлять определение векторов движения в системах со сжатием спектра ТВ сигнала независимо по составляющим четных и нечетных полей с

относительной оценкой их общей специфики изменения в последовательности полу кадров. Это позволит избежать искажений оценки вектора движения обусловленных влиянием эффекта «расчески» на границах движущихся объектов. . К тому же, корреляционное сравнение полученных результатов оценки по последовательностям четных и нечетных полей позволит конкретизировать изменение функции вектора движения от полукадра к полукадру. Следует также отметить в данном случае возможность реализации реставрационной обработки с компенсацией временных изменений в смежных четных и нечетных полу кадрах.

В реальных системах телевидения форма отдельного отсчета в структуре дискретизации не является идеальной, т.е. не соответствует по виду многомерной б-функции. Если Н(х,у,1Д) -ограничивающая функция (или ИХ), определяющая форму отдельного отсчета в структуре дискретизации, то учет её не идеальности обеспечивается при свертке ограничивающей функции с соотношением для структуры дискретизации идеализированного вида. ИХ низкочастотной пространственно-временной фильтрации при накоплении уровня потенциального рельефа в пространстве светочувствительного элемента за время кадра, с некоторым приближением, может быть определена функцией следующего вида:

I при |х| <. Х^

-rect

їх

■rect

■2-У

О

■ rect

Ті

' Oj

■rect

2Л

ДЛ

oj

\npu\y\^YQ \npu\t\<LTQ 1 при \Я\ <. ДЛд

гяе' протяжённость отсчёта по соответствующему направлению.

Данной ИХ соответствует четырехмерный коэффициент низкочастотной фильтрации при формировании каждого пикселя сигнала ТВ изображения отдельного кадра основного цвета:

К0(а>х,шу, о>,тх) = Х0 Т0 ■ Г0 • Д^ ■

т. -ЛГ„

<о.-Хл

со.. ■ К,

о . <о -71 .о. -АА.

sin-2- sin—-3.

0.-К

<о-Т0 2

ш Д/Ір 2

2 2

где юх,а>у,й)д,а>- пространственные и временная частоты.

Согласно последнему соотношению, чем больше объём ИХ, тем меньше общая протяжённость сквозного многомерного коэффициента передачи ТВ системы.

При оптическом отображении электромагнитного излучения от исходной сцены на ТВ камеру (TBK) возникают нелинейные и линейные преобразования пространственной, временной и цветовой структуры соответствующих сигналов изображений. Показано, что специфика оптического отображения всего указанного пространства и отдельных объектов на TBK может быть выявлена на основе преобразований области проецирования. Контролируемые объекты оптически отображаются на светочувствительную поверхность TBK, установленной на

8

высоте h по отношению к контролируемому видеоинформационному пространству. При этом оптически проецируемые объекты, распределены в пределах указанного пространства, ограниченного функцией конуса. С учётом этого получено соотношение, показывающее нелинейный характер зависимости радиуса, а соответственно и площади ортогонально контролируемого пространства от изменений угла поля зрения у/ TBK:

G0(t//) = G((//)/G(0) = cos 2 (0,5)//). На рис 1.а,б представлены результаты проведённых

вычислений функции G0(|^) = G(0)/G(|^) = COS2(0,5(^). Пространство полученных значений

расчётной функции ограничено в соответствии с внутрикадровым пространством, имеющим

формат растра Р = Уи = У$' где высота растра, /-протяжённость. Согласно

представленным результатам, при угле поля зрения TBK порядка 16 градусов текущие изменения относительного масштаба, в пределах протяжённости отдельного контролируемого объекта во многих случаях являются несущественными. Проецирование пространственной структуры каждого из локальных объектов, распределенных в пределах внутрикадрового пространства, чаще всего реализуется под углом по отношению к оптической оси ОС.

Рис. 1. Зависимости от угла локализации по отношению к оптической оси масштаба (а) и изменение соответствующих сечений фиксированного уровня (б) при оптическом отображении контролируемых объектов на TBK

Данный угол может быть задан как, например, средний угол проецирования совокупности точек локального объекта или угол проецирования его центра тяжести. Чем большим является относительный размер локального объекта, тем большим является разброс углов проецирования совокупности соответствующих ему отсчётов. С учётом вышесказанного, при максимальных угловых размерах проецирования отсчётов отдельного объекта у/ < 8 градусов можно считать общий угол проецирования (угловой размер) Ai// конкретного

объекта, имеющим фиксированное значение и масштабными искажениями пространственной структуры самого объекта в данном случае можно пренебречь,

Масштабные изменения пространственной структуры, вносимые при видеоконтроле объектов с применением TBK, сопряжены с ухудшением разрешающей способное™ ТВ изображений на краях растра. Это обусловлено действием интегральных искажений в оптической системе, которые возрастают на краях её угла поля зрения и усредняющим действием площади светочувствительного элемента, те пространственными (апертурными), линейного типа, искажениями. Уменьшение же масштаба объекта при его отображении в краевые участки растра определяет сопутствующее расширение пространственного спектра сигнала проецированного изображения в область более высоких пространственных частот. Такое расширение сопровождается возрастанием здесь интегрального типа, искажений и степени подавления высокочастотных составляющих пространственного спектра. В результате возникает дополнительное ухудшение чёткости ТВ изображений на краях поля зрения TBK.

Одновременно с этим относительное увеличение проецируемой площади в пределах фиксированного угла поля зрения, которое имеет место на краях в ну тр и кадрового пространства, приводит к соответствующему падению амплитуды сигнала из-за сопутствующего снижения освещённости, порождая появление неравномерности фона и уровня в сигнале изображения на выходе TBK

-80 - 60 -40 -20 0 20 С 60 80 4-х

Рис.2. Амплитудно-пространственные искажения сигнала изображения в зависимости от угла поля зрения ТВ камеры: 1 - в горизонтальном направлении и 2 - под углом з 45 градусов.

На рис.2 показаны результаты вычисления сечений функции О0((//) в горизонтальном направлении и под углом в 45 градусов, которые, собственно, и отражают амплитудные искажения (аддитивные и мультипликативные измененгл уровня) сигналов ТВ изображений в зависимости от значения угла поля зрения ТВК.

Изменение угла, определяющего направление проецирования отдельного объекта по отношению к оптической оси ОС (отклонение его положен;«- пп чек 0'Л быка учтено

поворотом функции конуса на угол в относительно оси СЬс (поворот в плоскости yOz). При

этом координаты точек функции конуса по оси 0.Х не изменятся.

Отношения же между исходными координатами точек (_У, Z) и координатами точек

в в

повёрнутого конуса (у *, Z у) определяются, с учётом высоты установки TBK, в соответствии

со следующими выражениями: у = г-cosö, z = г-sinö.x = х

у У = г ■ cos(ö + ву) = г ■ cos в ■ cos в у -г -smd ■ sin в у = (>>-/»)• cos в у - z ■ sin в у (1), Z У = Г-sin(e+0y) = Г-sinö-cosdy +Г •cosö-sinöj, = (}>-й)-sin0y + Z-COSÖj,

Изменение угла проецирования по отношению к оптической оси (отклонение его положения по оси Ох) учитывается поворотом соотношения (1) на угол вх относительно оси 0* (поворот в плоскости xOz). При этом соотношения (1) изменяются следующим образом:

Q

х х = x-cos0x-((y-h)-sin0y + z-cos0y)-sm0x

qu (2)

у' = (y-h)-cos0y-z-sin0y

0yh0x

z * =x-sm6x + ((y-h)s\n9y + zcos0jy)-cos0x Подстановкой (2) в соотношение для функции конуса получено уравнение

2 2 (х • COS вх - ({у - И) • sin в у + Z • COSÖy) • sin вх) +{{y-h)-CO50y-Z- sin в у) -

-ig2—■ (х- ¡,\пвх +((у - h)- s'möy + z- cos0y ) • cos 0X)2 = 0

(3)

2

На рис.3 представлены результаты вычислительной оценки, на основе решения уравнения (3), трансформации конфигурации сечения проецируемой области видеоконтроля плоскостью г = г01 = сот! = 5 при фиксированном угле поля зрения у/ = 0,04-я и изменениях направления видеоконтроля конкретного объекта. Здесь, в частности, показаны для случая

= у!в^+0у = согя1 = 0,2-л изменения формы сечения функции проекции, ограниченной конусом, при отклонении его оси в горизонтальном, вертикальном и диагональном

направлениях на следующие значения составляющих {О ,6 ) угла отклонения:

х у

в =±0,2-я,в = 0,0 =0,0 =±0,2-я\0 =±0,141-я,в =0,141-я. х уху х у

Приведены, кроме того, результаты вычислений изменений формы сечений при, выборе составляющих отклонения вх,в оси проекции в соответствии со значениями:

в =0, в =0; в = -0,028-я, в = 0,028-я-; в =-0,084-я-, в = 0 084-я х у х у х у

Разработанная методика вычислительной оценки изменений масштаба контролируемых объектов позволяет учитывать и компенсировать с использованием обратных цифровых, нелинейного типа, преобразований изменения пространственных параметров контролируемых объектов, возникающих в зависимости от высоты установки (Л), расстояния от TBK до конкретного объекта (Z ), угловых размеров данного из контролируемых объектов (у/) и его координат в пределах внутрикадрового пространства.

При использовании TBK с большим углом поля зрения возрастает степень негативного влияния нелинейных и линейных искажений на качество передачи пространственной структуры сигналов изображений объектов, локализованных в краевых участках внутрикадрового пространства. Данное влияние следует учитывать при разработке новых и совершенствовании уже существующих методов внутрикадрового адаптивного сжатия спектра и передачи сигналов ТВ изображений. В частности, при увеличении угла поля зрения ТВ камеры существенным трансформациям подвергается пространственный спектр сигналов ТВ изображений.

г Л

\ / >

/

/

л ( --- >

к

V

/ \ V__ J

V J

у

Рис.3 Относительное изменение площади проекции видеоконтроля в зависимости от угловых координат вх, в у, при фиксированных 2 = 5, у/= 0,04-л-, И = 20

В связи с этим целесообразно адагттивно регулировать размер, конфигурацию и

ориентацию блоков при сжатии (Н.263,Н.264/АУС) в соответствии с сопутствующим падением

пространственной разрешающей способности в краевых областях растра. В верхней и нижней

частях растра, например, может быть реализовано увеличение размера блоков в горизонтальном

направлении, слева и справа - в вертикальном. Полученный на выходе кодирующего устройства

выигрыш в сжатии спектра сигнала изображения, при фиксированной скорости цифрового

потока, обеспечит резерв для снижения искажений квантования. При этом может достигаться

увеличение чёткости и снижение выбросов, возникающих, при реализации квантования, из-за

резкого ограничения спектра пространственной структуры ТВ изображений.

12

Во второй главе исследованы пространственно-временные искажения структуры сигналов ТВ изображений, осуществлена разработка методов адаптивной коррекции, преобразования и реставрации пространственно-временных параметров сигналов ТВ изображений. При этом показано, что формированию каждого пикселя сигнала ТВ изображения сопутствует низкочастотная фильтрация входного воздействия по независимым направлениям видеоинформационного пространства в соответствии четырёхмерным коэффициентом передачи К0(а,,ау,с>,фл,х,у,х<1,у0), уровень которого определяется координатами пикселя и объёмом. При неизменном по цветовому направлению const) и. отсчёте

воздействия с фиксированными координатами Ка(тх,туу о),тх,х,у,х0,у0) - К0(тх,еоу,а).

Увеличение протяжённости отсчётов (в горизонтальном или вертикальном направлениях и во времени) обуславливает возрастание в данном случае максимального уровня коэффициента передачи и соответствующее снижение относительного вклада высокочастотных пространственно-временных составляющих в сформированный видеоинформационный сигнал.

Накопление потенциального рельефа отдельного пикселя в течение, например, изменяющегося времени накопления (Тн) или времени кадра (Тк) определяет интегральное усреднение видеоинформации по временному направлению. При этом временной спектр сигнала изображения ограничивается в области верхних временных частот в соответствии с коэффициентом передачи процесса накопления К„(.а>). Согласно последнему, уровень временной частотной характеристики в реальных условиях определяется эквивалентным временем накопления потенциального рельефа в пределах конкретного отсчёта сигнала ТВ изображения (ТЭ<ТК) в пространстве кадра. Следовательно, уменьшение эквивалентного времени накопления, которое имеет место в пределах высокоградиентных изменений пространственной структуры объектов, ортогональных направлению движения, сопровождается падением уровня накопленного потенциального рельефа, соответствующего смежным отсчётам сигнала ТВ изображения. Если S(e>) спектр сигнала исходного изображения в пределах данного пикселя, то спектр накопленного изображения Sn(a) = S(a>) ■ Кп(а>). С учётом времени накопления имеем соотношение для спектра, учитывающее интегральные изменения, обусловленные усреднением пространственно-временной структуры изображений srn(<0x'e>y°>) = KR(ax,ay,x,y,x0,y0,z) ■ Кп(а) ■ S(e>x,ay,e>) = KR{e>x,ay) ■ Кп(а) ■ S(mx,<ay,a).

Движение с относительно высокой скоростью в соответствии с последним соотношением изменяет, например, форму точечных объектов, увеличивая их протяжённость в направлении, совпадающем с направлением вектора движения.

С учётом экспериментальных и теоретических результатов получено соотношение для двумерной апертурной характеристики {Kß(e>x,tDy)) типовой TBK п осуществлена оценка

соответствующей ИХ. Полученные результаты свидетельствуют о существенном увеличении минимальной протяженности передачи резких границ (до 5-6 пикселей) в пространственной структуре ТВ изображений, обусловленном действием апертурных искажений и о целесообразности использования коррекции искажений, как в горизонтальном, так и в вертикальном в пределах внутрикадрового пространства направлениях.

Во втором разделе второй главы осуществлена разработка метода коррекции интегральных искажений пространственной структуры ТВ изображений. При этом рассмотрено выделение дифференциальных (высокочастотных в горизонтальном направлении) составляющих известным методом с весовым вычитанием:

EB4r(tx ~тХ>'у) = E(fx ~ тх.'у) - 0.5 • E(tx,ty) - 0,5 • E(tx - 2rx,ty)

Здесь E(tx — Tx,t) - задержанный на интервал Тх сигнал, E(tx,ty) - текущий сигнал,

E(tx—2rx,ty) - задержанный на два интервала Тх сигнал ТВ изображения. Анализ

осуществлён в пространстве tx=tx — Tx, tx = tx + тх. Тогда

= Показано, что

вариант с задержкой на время, равное периоду следования двух пикселей, обеспечивает выделение высокочастотных составляющих (оценка по уровню 0,5 характеристик) от 1,5 до 5 МГц, а вариант с задержкой на время, равное периоду следования пикселей - от 3.0 до -11 МГц. Для первого варианта характерно относительное уменьшение полезных составляющих, полученных дифференцированием. К тому же здесь не подавляются шумовые воздействия в полосе частот, превышающей верхнюю граничную частоту спектра ТВ сигнала. Следовательно, данный вариант может эффективно использоваться лишь при высоком отношении сигнала к шуму, т. е. при условии, например, достаточного освещения сцены. Второй вариант обеспечивает смещение характеристики селекции в область относительно низких частот спектра сигнала изображения и, может использоваться и при пониженном отношении сигнала к шуму. Совместным использованием данных вариантов обеспечивается в условиях адаптивного изменения времени задержки в зависимости от, например, оценки (освещению сцены) изменения отношения сигнала изображения к шуму. Получены соотношения селекции высокочастотных пространственных составляющих коррекции. При этом характеристика канала частотной селекции горизонтальной составляющей имеет следующий вид

Ккг(Іх,/у) = [0,94• ехр(-0,001304■ 10~12 -4-х2 • /2)+

+0,06 ехр(-0,0002536 • 10-12 • 4 • л1 • /*)]• [0,94 • ехр(-0,001304 • 10-12 • 4 ■ ж1 • /у)+

+0,06ехр(-0,0002536-10~12 -4 -ж1 ■ /у)] ■ [0,5 - 0,5соз(е>х ■ гх)] Характеристика канала селекции вертикальной составляющей имеет аналогичную структуру. На рис.4а представлена двумерная пространственная частотная характеристика селекции горизонтальной составляющей для варианта задержки тх, равной 0,144-Ю"6 сек., а на рис.4б -сечения пространственных частотных характеристик селекции горизонтальных корректирующих составляющих при интервалах задержки г^ = 0,144-Ю^.г^ = 0,108-

и гх3 =0,072 10~б сек.

035

*І0

а) б)

Рис .4. Пространственная частотная характеристика селекции горизонтальных корректирующих составляющих.

Отношение возможных уровней корректирующего сигнала в горизонтальном направлении в пределах строк можно приблизительно оценить по площади главного лепестка частотных характеристик селекции в диапазоне от 0 до -6,0 МГц. Можно заметить, что по уровню корректирующего сигнала вариант с задержкой тл = 0,144-Ю-^ превосходит вариант с

задержкой тл =0,10810"'' и значительно превосходит вариант с задержкой тхЪ =0,072-Ю-6 сек. Соответственно при реализации адаптивной коррекции целесообразно управлять временем задержки Тх в зависимости от степени интегральной освещённости контролируемой сцены. При этом вариант с тх = 0,072 • 10~6 сек. может бьггь рекомендован к использованию лишь при её высокой освещённости. Для рассмотренных вариантов получены соотношения и результаты вычислений, отражающие осуществление корректирующего преобразования с различной степенью ß. Осуществлено вычисление ИХ TBK в пределах строк с учётом апертурной

коррекции. При этом показано, что коррекция существенно (-1,5 раза) увеличивает крутизну

15

передачи вертикально ориентированных границ в структуре изображений, за счет реального уменьшения протяжённости основного лепестка импульсной характеристики. На основании полученных результатов предложен адаптивный метод коррекции, который отличается в следующем: реализуют при АЦП ТВ сигнала с повышенной тактовой частотой; вводят зависимость времени задержки при выделении дифференциальных составляющих сигнала изображения, в горизонтальном в пределах внутрикадрового пространства, направлении и, следовательно, параметров коррекции от изменения освещённости в пределах контролируемой сцены. Формируют соответствующий сигнал управления. При падении освещённости время задержки при выделении составляющих коррекции увеличивают. Вводят зависимость времени задержки и степени коррекции (уровень корректирующего сигнала) от коэффициента сжатия спектра внутрикадровой структуры изображений. Формируется сигнал управления, отражающий изменения степени сжатия. При номинальной освещённости реализуют выделение составляющих сигналов коррекции в горизонтальном и вертикальном, в пределах внутрикадрового пространства, направлениях, в частотном спектре второго из которых подавляют высокочастотные пространственные составляющие в горизонтальном направлении, исключая появление избыточной коррекции под углом в 45 градусов в пределах внутрикадрового пространства. При падении освещённости и увеличении степени сжатия пространственного спектра телевизионного сигнала реализуют увеличение времени задержки и реализуют выделение составляющих сигналов коррекции в горизонтальном и вертикальном, в пределах внутрикадрового пространства, направлениях, в пространственном спектре первого из которых подавляют высокочастотные пространственные составляющие в вертикальном направлении, а в пространственном спектре второго подавляют высокочастотные пространственные составляющие в горизонтальном направлении. При значительном увеличении коэффициента внутрикадрового сжатия снижают также, ниже номинальных значений, степень коррекции, вводимой в горизонтальном и вертикальном, в пределах внутрикадрового пространства, направлениях.

В третьем разделе второй главы проведён анализ и разработан вариант осуществления децимации дискретного в пределах внутрикадрового пространства сигнала ТВ изображений. Если идеально ограничить спектр сигнала ТВ изображения первоначально в горизонтальном направлении, а потом в вертикальном, то в направлении под 45 градусов внутрикадрового пространства имеет место случае увеличение протяжённости результирующего спектра. Это не согласуется с параметрами ортогональной структурой дискретизации. Поэтому при снижении степени ограничения спектра в направлении под 45 градусов возрастает вероятность появления искажений муарового типа. В связи с этим предложено при децимации отсчётов в горизонтальном и вертикальном направлениях осуществлять адаптивную цифровую фильтрацию с разделением сигнала ТВ изображений на составляющие, параметры которых

16

могут программным путём регулироваться в текущем режиме и определяются полученным соотношением для общего коэффициента передачи. Разработанный вариант цифровой фильтрации обеспечивает увеличение степени подавления высокочастотных пространственных составляющих под углом 45 градусов, что устраняет возможность появления муаровых искажений сигнала ТВ изображений в диагональных направлениях внутрикадрового пространства при реализации децимации. Попутно имеет место выигрыш в соотношении сигнал/шум, обусловленный сокращением объёма коэффициента передачи и соответствующим подавлением шумовых составляющих в структуре сигнала изображения.

Рис.5. Варианты цифровой фильтрации, при осуществлении децимации структуры дискретного сигнала ТВ изображения, а) цифровой фильтр с квадратным сечением коэффициента передачи по фиксированному уровню, б) цифровой фильтр с сечением, обеспечивающим подавление составляющих под углом 45°.

В соответствии с рис. 5 получены расчётные соотношения для характеристик идеализированной и упрощённой частотной селекции отдельных составляющих, а также соответствующих ИХ, проведено сопоставление полученных результатов. Показано, что подавление диагональных составляющих спектра сигнала изображении практически не сказывается в данном случае на протяжённости главного лепестка ИХ, существенно снижает (примерно, в три раза) интенсивность колебательных процессов в горизонтальном и вертикальном направлении в пределах внутрикадрового пространства и вместе с тем увеличивает колебательный процесс в диагональном направлении. Причём одномерный характер цифровой фильтрации, характерный для последовательных этапов разработанного алгоритма, позволяет в условиях реализации применять для эффективного снижения колебаний в заданном, в пределах внутрикадрового пространства, направлении известные "оконные" функции. Для фильтра рис.5а характерна вероятность возникновения высокой интенсивности колебательного процесса в горизонтально и вертикально ориентированных элементах пространственной структуры телевизионных изображений. Последнее не является приемлемым для систем с использованием цифрового сжатия по стандарту MPEG, провоцируя

а)

б)

деградацию границ и мелкой (тонкой) пространственной структуры телевизионных изображений.

В последнем (2.3.1.) разделе второй главы представлены результаты разработки метода преобразования чересстрочной структуры последовательных во времени сигналов ТВ кадров в прогрессивную (построчную) структуру.

Как было показано, минимальная протяжённость переходных процессов в пространственной структуре ТВ изображений включает три смежных отсчёта. Следовательно, в таком интервале резкие границы и другие пространственные составляющие ТВ изображений сохраняют корреляционные связи. Целесообразно использовать также корреляционные связи в структуре ТВ изображений и по временному направлению, т.е. в последовательности кадров. При пространственной реставрации ТВ изображений, соответствующих подвижным объектам, следует учитывать также сужение пространственного спектра сигналов изображений, которое имеет место по направлению движения объектов. Случай сохранения высокой корреляции и в последовательности кадров и во внутрикадровом пространстве необходимо контролировать на наличие совпадения уровней отсчётов, реставрированных по указанным направлениям. С другой стороны изменение алгоритмов реставрации в области позиционирования подвижных объектов не может быть осуществлено без контроля векторов движения и предсказания положения подвижных объектов в последовательности смежных полукадров. Существенная декорреляция пространственной структуры сигнала изображений по одному из трёх направлений эквивалентна увеличению веса составляющих, полученных по двум другим из ортогональных направлений трёхмерного видеоинформационного пространства.

При этом контроль корреляционных связей позволяет эффективно совмещать процесс реставрации отсчётов внутрикадрового пространства с подавлением составляющих шума в структуре сигнала ТВ изображений за счёт интегральной обработки по направлениям видеоинформационного пространства, имеющим высокие корреляционные связи в структуре текущего изображения.

На рис.6 показаны группы отсчётов в трёх полукадрах (полях) ТВ сигнала с чересстрочной развёрткой. Наличие высокой корреляционной связи группы отсчётов /' -1 поля с группой отсчётов / +1 поля свидетельствует о низком уровне изменений пространственной структуры данного участка изображения во времени (в последовательности полей (кадров)) и сужении временного спектра текущего сигнала изображения. Соответственно интерполяционное восстановление отсутствующего отсчёта по данному (межполевому) направлению будет реализовано с относительно высокой точностью. И наоборот, наличие существенных изменений уровней совокупности отсчётов в последовательности полей определяет необходимость воспользоваться для восстановления отсутствующего отсчёта

корреляционными связями отсчётов в строках, смежных по отношению к отсутствующему в пределах пространства / полукадра.

Рис. 6. Пространственно-временная структура отсчётов сигнала ТВ изображений при чересстрочной развертке.

В материалах третьего раздела подробно рассмотрена специфика интегрально -дифференциальной реставрации отсутствующих отсчётов и показана возможность сопутствующего снижения уровня шумовой составляющей. Предложено вычислительную реставрацию пикселей в пространстве полукадра осуществлять на основе пикселей верхней и нижней строк, симметрично распределённых по отношению к реставрируемым пикселям, с использованием ИХ, соответствующих цифровому фильтру с коэффициентом передачи, приблизительно, трапецеидальной формы. Получена вычислительным путём характеристика коэффициента передачи интерполирующего (отсутствующий отсчёт) цифрового фильтра. Импульсная характеристика обеспечивает коэффициент передачи интерполирующего фильтра с допустимым уровнем колебательного процесса в полосе задерживания.

В заключительной части данного раздела второй главы, рассмотрены алгоритмы и методика реставрации отсутствующих пикселей для наиболее сложных в отношении восстановления реализаций текущего сигнала ТВ изображений.

В материале третьей главы проведён анализ современных алгоритмов и устройства преобразования параметров развёртки растра в цифровых системах телевидения стандартной и ТВЧ, осуществлена разработка алгоритмов, устройств, блоков преобразования параметров чересстрочной развёртки и реставрации пространственной чёткости сигналов ТВ изображений, обеспечивающих снижение уровня сопутствующих искажений сигнала ТВ изображений. Осуществлено сравнение предложенного алгоритма преобразования и реставрации с наиболее

19

совершенными современными алгоритмами, показаны отличительные признаки и преимущества предложенных в диссертации решений.

Общая структурная схема разработанного устройства преобразования приведена на рис. 7. Здесь сигнал ТВ изображения 1 поступает на блок 2 совмещения пикселей (БСП) сигналов первого (16- БСП1), второго (17-БСП2) и третьего (18-БСПЗ) полей, которые являются блоками памяти, в которых осуществляют задержку и совмещение во времени заданного числа пикселей в сигналах групп строк (и групп пикселей в каждой и? указанных строк) сигналов всех трёх полей во времени. При этом в пределах гнутриполевого пространства первого и третьего полей в число совмещённых пикселей входит центральный пиксель, совпадающий по положению с интерполируемым пикселем, и пиксели, симметрично распределённые по отношению к указанному центральному пикселю.

БСП1

БП1 16

БСП2

БП2 17

3

БФРП1

РГИ

2 БСП БСПЗ

БПЗ 13

5

БГНФ

6

БФЭП

БВСЗ

8

БФРПЗ

9 СУ — 10 1 1 . 11

БОН —✓ БВ 1 ■ БВРП2

СУ

СУ

РП2

12 БВРПЗ

СУ

РП4

13 БВРП1

4

БФРП2

РПЗ

14

ВДП,

15 ВП

Рис. 7. Структурна« схема устройства В пределах внутриполевого пространства сигнала зтсрсго поля в число совмещённых пикселей входят пиксели, симметрично распределённые по отношению к положению интерполируемого пикселя. Совмещенные группы пикселей сигналов ягрзого и тлетыо пол;;! поступают на входы блоки (3, 4) интегрального фоомнрлвспкя рсвудлТ'уугч'чсго гк/чсегя

20

(БФРП1, БФРПЗ) в межполевом направлении. Полученные пиксели (РП1 и РП2) с выходов блоков 3 и 4 подаются на блок 13 вычисления результирующих пикселей (БВРП1), в котором берется их разность, которая сравнивается с пороговым значением. Результат сравнения определяет значение соответствующего сигнала управления СУ.

Параллельно происходит обработка сигнала во внутрикадровом направлении второго поля, совмещенные группы пикселей которого параллельно поступают на блоки (5,6,7) горизонтальной низкочастотной фильтрации пикселей сигналов строк второго поля (БГНФ), блок формирования экстраполированного пикселя сигнала второго поля (БФЭП), блок вычисления среднего значения уровня пикселей в сигнале второго поля (БВСЗ). Для вычисления сигнала управления в блоке 5 реализуется усреднение каждых трех смежных пикселей по верхней и нижней строкам и их запоминание. С использованием полученных в блохе 5 пикселей в блоке 9 обнаружения направления (БОН) интерполяции пикселей сигналов смежных строк второго поля вычисляются сигналы управления (СУ). В блоке 6 вычисляют средние значения уровней пикселей по возможным направлениям интерполяции уровня отсутствующего пикселя. В блоке 7 формируют интерполированное значение пикселя в вертикальном направлении с учётом градиента изменения уровней пикселей смежных строк, расположенных сверху и снизу по отношению к интерполируемому пикселю. В блок 10 весового выбора (БВ) выбираются значения усреднённых пикселей, используемых далее в блоке11 вычисления результирующего пикселя второго поля (БВРП2). Результирующие значения пикселей первого и третьего полей, второго поля и его экстраполированное значение, а также соответствующие сигналы управления поступают на третий блок вычисления результирующего пикселя (БВРПЗ). На его выходе получают предсказанное значение реставрируемого пикселя. В 14 блоке двухскоростного преобразования числа и частоты сигналов строк получают прогрессивную структуру строк. Сигнал ТВ изображения с прогрессивной развёрткой и поступает на выход 15 устройства преобразования. В рассматриваемом разделе диссертации представлены также структурные схемы и функционирование блоков рассмотренного устройства преобразования (рис.7).

В третьем разделе данной главы осуществлена разработка алгоритма, структурные схемы устройства реставращш пространственной чёткости адаптивно сигналов ТВ изображений. В основе данных технических решений- использование дифференциально-логической, дифференциально-интегральной относительной обработки сигналов изображений. При этом целесообразно осуществляется их разделение, в пределах определённых участков сигнала по независимым направлениям многомерного пространства и в пределах диапазонов частот и амплитуд, на составляющие, для регенерации которых установлены операции реставрационной регенерации элементов структуры изображений по сохранившимся признакам в специфике межэлементных связей. Полученные при осуществлении регенерации

составляющие подвергаются раздельной коррекции и преобразованию с последующим формированием уже общего преобразованного сигнала изображения по заданным критериям весового выбора элементов каждой составляющей.

Четвертая глава диссертации посвящена разработке цифровых методов преобразования и кодирования чёрно-белых (ЧБ) ТВ изображений по цветовому направлению. Здесь исследованы характеристики сигналов цветовых составляющих в системах телевещания, способы кодирования ЧБ ТВ изображений в условные цвета, методы цифрового их контрастирования с использованием компьютерной технологии, вопросы цифровой обработки видеосигнала ЧБ ТВ при цветовом кодировании и осуществлено сопоставление различных алгоритмов реализации цветового контрастирования. В частности показано, что спирально-треугольный алгоритм цветового кодирования дает постепенное увеличение яркости при приближении к центру. Это позволяет установить соответствие яркости кодированного уровня с яркостью исходного.

При этом проблему неравномерного изменения яркости, а так же проблему похожести цветов на различных участках пути, по которому происходит кодирование, частично удается решить с помощью режима умножения. В режиме умножения каждая составляющая RGB умножается на значение яркости уровня исходного изображения, сопоставленное данному цвету RGB и делится на максимальное значение яркости.

В пятой главе проводятся экспериментальные исследования предложенных методов и алгоритмов с помощью персонального компьютера.

Были проведены экспериментальные исследования разработанного метода преобразования чересстрочной развертки растра в построчную. Полученные результаты показали, что за счет интегральной пространственно-временной обработки имеет место улучшение соотношения сигнал-шум (PSNR) на 3 дБ по отношению к наиболее совершенному из известных вариантов.

Компьютерное моделирование позволяет при рентгеноскопии, например, оперативно, по раскрашенным снимкам, более точно поставить диагнозы, находить дефекты изготовляемой продукции, проводить обучение студентов и готовить специалистов по данному направлению. Разработаны способы цветокодирования (алгоритм программа), обеспечивающие конкретизацию оптимального варианта для частных случаев применения. Соответствующая программа цветокодирования составлена таким образом, чтобы при решении конкретных задач задавать (в пределах цветового треугольника Максвелла) любой возможный алгоритм цветокодирования с последующей его экспериментальной проверкой. Результаты частной реализации разработанного варианта представлены на рис.8.

Рис.8. Интерфейс программы ACIDA: активная вкладка - «карта псевдоцветов», режим кодирования обычный (цветную фотографию данного рисунка можно посмотреть в автореферате на сайте МТУ СИ) В заключении диссертационной работы представлены основные выводы по результатам выполненной работы.

В приложении приведен фрагмент алгоритма программы цветового кодирования чёрно-белого изображения, программа устранения искажений формирования движущихся изображений при движении в горизонтальном, вертикальном и диагональном направлении структуры растра в MathCad и акты о внедрении результатов диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведён теоретический анализ характеристик чересстрочной структуры дискретизации,

соответствующего спектра и формирования отсчётов сигнала ТВ изображения с учётом пространственно- временного накопления.

2. Получены соотношения для оценки изменений масштаба контролируемых объектов и получены расчётные соотношения, конкретизирующие масштабные трансформации пространственных параметров проецируемых объектов в зависимости от условий и параметров видеоконтроля;

3. Разработан метод адаптивной коррекции интегральных искажений пространственной структуры телевизионных изображений;

4. Предложен вариант осуществления цифровой фильтрации при последующей децимации дискретных в пределах внутрикадрового пространства сигналов ТВ изображений;

5. Разработан метод преобразования чересстрочной структуры последовательных во времени сигналов ТВ кадров в прогрессивную (построчную) структуру;

6 Разработаны алгоритмы, структурные схемы устройства и соответствующих блоков преобразования параметров развёртки растра в цифровых системах телевидения стандартной и высокой чёткости,

7. Разработаны алгоритмы, структурные схемы устройства для реставрации пространственной

чёткости сигналов телевизионных изображений и блока адаптивной апертурной коррекции;

8. Предложен режим цветового кодирования чёрно-белых ТВ изображений, обеспечивающий

выявление в структуре изображений конфигурации участков повышенной яркости и

разработано необходимое программное обеспечение;

9. Проведено моделирование разработанных методов преобразования и цветового кодирования.

СПИСОК ПУБЛИКАЦИЙ

1. Балобанов В.Г., Горчаков Б.М., Балобанов A.B. Цветовое кодирование, черно-белых изображений с использованием однолучевых цветных кинескопов. // Информатика, радиотехника, связь. Сб. трудов ученых Поволжья. Вып. №7. Самара, 2002, с. 52-55.

2. Балобанов A.B., Кривозубов В.П., Балобанов В.Г. Цветовое кодирование черно-белых изображений с помощью персонального компьютера. //"Инфокоммуникационные технологии". -2003, т. 1, № 3. - С. 51-55.

3. Балобанов A.B., Балобанов В.Г. Алгоритмы цветокодирования для получения максимальной информационной емкости черно-белых изображений. //Материалы XVII Российской научной конференции профессорно-преподавательского состава, научных сотрудников и алгоритмов. - Самара: - 2010.-е. 138-139.

4. Балобанов A.B., Кривозубов В.П., Балобанов В.Г. Способы повышения обнаружения малоконтрастных объектов чёрно-белого изображения. // „Обозрение прикладной и промышленной математики". Редакция журнала „ОП и ПМ", г. Москва, 2004г., с.753-754.

5. Балобанов В.Г., Горчаков Б.М., Балобанов A.B. Цветовое кодирование монохромных изображений. // Сборник ТУЗС, №168, г. Санкт - Петербург, СПб ГУТ, 2002г., с.200-211.

6. Балобанов A.B., Кривозубов В.П., Балобанов В.Г. Оптимизация алгоритма цветового кодирования чёрно-белого изображения. // Российская научная конференция профессорско-преподавательского состава научных работников и аспирантов. Материалы конференции, г.Самара, 2005г., с. 137-139.

7. Балобанов A.B. Особенности временного спектра для различных операторов преобразования пространственно-временной структуры телевизионных изображений. //Научно-техническая конференция профессорско-преподавательского научного и инженерно-технического состава. МТУСИ, г.Москва, 2005г., с. 111-112.

8. Балобанов A.B., Балобанов В.Г., Кривозубов В.П. Выбор алгоритма цветового кодирования черно-белых изображений для прикладных систем черно-белого телевидения. // "Инфокоммуникационные технологии". - 2005, т. 3, № 2. - С. 45-48.

9. Балобанов A.B., Власюк И.В., Комаров П.Ю. Коррекция пространственных искажений сигнала изображения в системах цифрового телевидения. //"Инфокоммуникационные технологии". - 2006, т. 4, № 4. - С. 69-73.

10. Балобанов A.B., Балобанов В.Г., Безруков В.Н. Рекомендации по выбору алгоритма и -формы амплитудной характеристики цветокодирующего устройства. //

"Инфокоммуникационные технологии". - 2009, т. 7, № 3. - С. 85-89.

11. Безруков В.Н., Балобанов A.B., Балобанов В.Г. Раскрашивание черно-белых кинофильмов и фотографий в натуральные цвета. // "Инфокоммуникационные технологии". - 2011, т. 9, № 2. - С. 50-52.

12. И.В. Власюк, A.B. Балобанов, A.A. Басекеев. Анализ пространственно-частотных характеристик распределения светочувствительных элементов в пределах растра матрицы ПЗС. // Метрология и измерительная техника в связи. - 2006. - № 3. - С. 36-40.

13. A.B.Балобанов, И.В.Власюк. Коррекция искажений сигналов изображения быстродвижущихся объектов. //Материалы научной конференции профессорско-преподавательского, научного и инженерно-технического состава. - М.: МТУСИ. - 2006. -С. 123-124.

14. И.В.Власюк, А.В.Балобанов. Оценка зависимости амплитудных искажений от угла проецирования при видеоконтроле объектов. // Материалы научной конференции профессорско-преподавательского, научного и инженерно-технического состава МТУСИ. -М.: МТУСИ. - 2006. - С. 126-127.

15. А.В.Балобанов. Специфика передачи временного спектра видеоинформации в датчиках телевизионного сигнала. // INTERMATIC-2005. Материалы Международной научно-технической конференции «Фундаментальные проблемы радиоэлектронного приборостроения», 25-28 октября 2005 г., г.Москва. - М.: МИРЭА, 2006, часть 2. - 284 е., с. 199-201.

16. А.В.Балобанов. Цифровые методы формирования и преобразования сигналов цветовых составляющих из черно-белых изображений. // "Инфокоммуникационные технологии". -2011, т. 9, № 4. - С. 81-86.

17. Балобанов В.Г., Безруков В.Н., Балобанов A.B. Учет особенностей зрительного восприятия цветных изображений при выборе оптимального алгоритма цветокодирования черно-белых изображений. //Материалы XVII Российской научной конференции профессорно-преподавательского состава, научных сотрудников и алгоритмов.-Самара.-2010.-е. 137-138.

18. Безруков В.Н., И.В. Власюк, Балобанов A.B. Способ преобразования сигнала телевизионного изображения и устройство для его осуществления. //Заявка №2010119484/07(027690), дата подачи заявки 14.05.2010. Решение о выдаче патента на изобретение от 25.01.2012.

19. Балобанов В.Г., Безруков В.Н., Балобанов A.B. Способ сжатия цифрового потока видеосигнала в телевизионном канале связи. //Заявка №2010137076/07(052723), дата подачи заявки 06.09.2010. Решение о выдаче патента на изобретение от 22.08.2011.

Подписано в печать 04.04.2012. Формат 60x84/16. Печать офсетная Печ.л. 1,5. Тираж 100 экз. Заказ 110.

Оперативная полиграфия «Брис - М» 111024, г. Москва, ул. Авиамоторная, д. 8

61 12-5/2468

Московский технический университет связи и информатики

На правах рукописи УДК 621.397.2

Балобанов Андрей Владимирович

РАЗРАБОТКА ЦИФРОВЫХ МЕТОДОВ И УСТРОЙСТВ ПРЕОБРАЗОВАНИЯ ПАРАМЕТРОВ СИГНАЛОВ ИЗОБРАЖЕНИЙ

В СИСТЕМАХ ТЕЛЕВИДЕНИЯ

Специальность 05.12.04. Радиотехника, в том числе системы и устройства телевидения

Диссертация на соискание ученой степени кандидата технических наук

научный руководитель д.т.н., проф. Безруков В. Н.

Москва 2012

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ.........................................................................................................................4

ГЛАВА 1. ОСНОВНЫЕ ХАРАКТЕРИСТИКИ И ПАРАМЕТРЫ СИГНАЛОВ ИЗОБРАЖЕНИЙ В СИСТЕМАХ ТЕЛЕВИДЕНИЯ СТАНДАРТНОЙ И ВЫСОКОЙ ЧЕТКОСТИ (ВЧ)................................................................................................................21

1.1. Особенности структуры спектра исходного телевизионного сигнала......21

1.2 Чересстрочный и построчный режимы внутрикадровой дискретизации.....26

1.3. Преобразование видеоинформации в квазипериодическую последовательность отсчетов сигнала в ограниченной многомерной зоне. ..28

1.4 Формирование дискретных отсчётов сигналов телевизионных изображений...................................................................................................................37

1.5 Искажения формирования сигналов телевизионных изображений в

системах телевидения.................................................................................................41

1.6. Выводы.....................................................................................................................51

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ ПРЕОБРАЗОВАНИИЯ ПАРАМЕТРОВ И ХАРАКТЕРИСТИК ПРОСТРАНСТВЕННО-ВРЕМЕННОГО СПЕКТРА СИГНАЛОВ ИЗОБРАЖЕНИЙ В СИСТЕМАХ ТЕЛЕВИДЕНИЯ СТАНДАРТНОЙ И ВЫСОКОЙ ЧЁТКОСТИ...............................................................................................54

2.1 Анализ искажений пространственно-временной структуры телевизионных изображений...................................................................................................................55

2.2. Разработка метода коррекции интегральных искажений

пространственной структуры телевизионных изображений...............................63

2.3. Разработка методов преобразования и реставрации пространственно-временных параметров сигналов телевизионных изображений........................77

2.3.1 Децимация дискретного в пределах внутрикадрового пространства сигнала

телевизионных изображений.........................................................................................................78

2.3.2. Преобразование чересстрочной структуры последовательных во времени сигналов телевизионных кадров в прогрессивную (построчную) структуру.......................................89

2.4. Выводы.....................................................................................................................99

ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМОВ И УСТРОЙСТВ ПРЕОБРАЗОВАНИЯ ПАРАМЕТРОВ РАЗВЁРТКИ И РЕСТАВРАЦИОННОЙ ОБРАБОТКИ СИГНАЛОВ ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЙ.........................................................................102

3.1 Алгоритмы и устройства преобразования параметров развёртки растра в цифровых системах телевидения стандартной и высокой чёткости..............103

3.2 Разработка метода и устройств преобразования параметров развёртки сигналов изображений в системах цифрового телевидения.............................121

3.3 Разработка алгоритма и устройства реставрации пространственной чёткости телевизионных изображений..................................................................137

3.4 Выводы....................................................................................................................144

ГЛАВА 4. ЦИФРОВЫЕ МЕТОДЫ ПРЕОБРАЗОВАНИЯ И КОДИРОВАНИЯ СИГНАЛОВ ЧЁРНО-БЕЛЫХ ИЗОБРАЖЕНИЙ ПО ЦВЕТОВОМУ НАПРАВЛЕНИЮ............................................................................................................146

4.1 Характеристики сигналов цветовых составляющих в системах

телевещания................................................................................................................ 147

4.2 Цифровое контрастирование черно-белых изображений с использованием компьютерной технологии.......................................................................................152

4.3 Вопросы цифровой обработки видеосигнала при цветовом контрастировании чёрно-белых изображений......................................................161

4.3.1 Принципы построения цветокодирующих устройств дискретного типа ........................................................................................................................................163

4.3.2 Цветокодирующее устройство на логических элементах.......................166

4.3.3 Цветовое кодирование черно-белых изображений с помощью персонального компьютера.....................................................................................170

4.3.4 Оптимизация алгоритма цветового кодирования черно - белого изображения.................................................................................................................175

4.4 Выводы....................................................................................................................185

ГЛАВА 5. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ...........187

5.1. Практическая реализация преобразования структуры растра в цифровых системах стандартной и ВЧ.....................................................................................188

5.2. Практические рекомендации по распознаванию цветокодированных изображений с использованием персонального компьютера...........................190

5.2.1. Интерфейс программы и ее функциональные возможности......................................195

5.3. Раскрашивание черно-белых кинофильмов и фотографий в натуральные

цвета..............................................................................................................................196

5.4 Выводы....................................................................................................................203

ЗАКЛЮЧЕНИЕ................................................................................................................204

СПИСОК ЛИТЕРАТУРЫ...............................................................................................205

ПРИЛОЖЕНИЯ...............................................................................................................215

ВВЕДЕНИЕ

Ведущие мировые державы в настоящее время активно осуществляют разработки своих национальных стандартов цифрового телерадиовещания, что позволяет им отказаться от выплаты лицензионных сборов, которые рассчитываются исходя из числа передаваемых программ и абонентов, а также количества выпущенных единиц оборудования, в пользу внутреннего финансирования и развития собственных научно-исследовательских организаций, осуществляющих разработку стандартов и реализующих соответствующее цифровое оборудование. Примером таких стран может служить КНР, уделившая в последние годы значительное внимание работам в области цифрового телевидения. Накопленные при этом научно-технические потенциал и результаты позволили осуществлять эффективную подготовку специалистов и организовать к Олимпийским играм 2008 г цифровое наземное и мобильное (в том числе и для общественного транспорта) телевизионное вещание с высокой чёткостью.

Активное внедрение телевидения высокой чёткости (ТВЧ) обусловило возрастание актуальности эффективного решения научно-технических задач по взаимному преобразованию сигналов ТВ изображений стандартной чёткости и ТВЧ. Последнее связано и с тем, что существующий в РФ обширный архив программ и видеоматериалов представлен изображениями и форматом телевидения стандартной чёткости. К тому же этот архив в настоящее время переводится в цифровой вид, в том числе и с использованием процедуры сжатия спектра. Весьма актуальным соответственно является решение задач реставрации и преобразования сигнала стандартной чёткости в стандарт с повышенным числом строк. Сложность эффективного решения данной проблемы не вызывает сомнений, что обусловлено необратимыми потерями информационной структуры изображений, которые уже были внесены при формировании ТВ сигналов стандартной чёткости. Однако сохранившиеся корреляционные связи, связанные, в том числе, и с нестабильностями положения камер и растра позволяют все же реставрировать тонкую структуру изображений за счёт взаимной многомерной обработки составляющих ТВ сигнала изображений в реальном и частотном пространстве.

Всестороннее решение в данном случае может быть осуществлено лишь за счёт разработки методов селективного опознавания и реставрации по направлениям видеоинформационного многомерного пространства нарушенных (в процессе формирования и сжатия спектра) информационных связей элементов структуры изображений и методов их последующей нелинейно-линейной регенерации.

Основное внимание, однако, здесь следует уделить решению проблем регенерации малоконтрастных, малонасыщенных (по цвету) и мелкоструктурных пространственных (внутрикадровых) составляющих в структуре изображений и сам процесс их регенерации должен предшествовать проводимым для пользователя (приёмная система) преобразованиям числа строк ТВ растра. Параллельно должна быть решена задача реставрационной регенерации информационных составляющих сигнала изображения, определяющих качество передачи изменений цвета. И, наконец, необходимо разработать методы, обеспечивающие реставрацию и регенерацию структуры изображений в последовательности кадров.

В основе преобразований - параллельное использование, в локальных участках и фрагментах (во внутрикадровом пространстве, в последовательности кадров и по цветовому направлению) текущей (исходной) структуры изображений, дифференциально-логической, дифференциально-интегральной относительной обработки сигналов изображений. При этом должен быть разработан комплекс линейных и нелинейных методов (алгоритмов и устройств) реставрационной регенерации промежуточных элементов, пространственных или цветовых составляющих изображений. Полученные при осуществлении регенерации составляющие должны подвергаться коррекции и преобразованию с последующим мультиплексированием уже общего преобразованного сигнала изображения по заданным критериям весового выбора элементов каждой составляющей.

Сопутствующим направлением исследований является адаптивное преобразование многомерной структуры изображений, обеспечивающее снижение уровня и заметности искажений, которые возникают в процессе цифрового сжатия спектра сигналов изображений стандартизованными и наиболее широко используемыми методами. При этом сигнал ТВ изображений целесообразно подвергать предварительному преобразованию в участках, провоцирующих появление (в процессе сжатия)

5

недопустимого уровня искажений и ограничивающих в связи с этим достижимую степень сжатия его спектра.

Основное внимание следует уделить созданию универсальных методов преобразования параметров сигналов изображений, которые могут быть использованы для различных вариантов их цифрового кодирования и декодирования (сжатие спектра, отображение сигналов изображений для визуального контроля, реставрации, архивирования и т. д.)

Существующие стандарты видеокомпрессии базируются на устранении избыточности, присутствующей в сигнале телевизионных изображений. Обычно устраняется психофизиологическая избыточность видеоинформации, в первую очередь, в пространственном, цветовом и во временном направлениях, после чего последовательность отсчётов спектра сигналов изображений преобразуется к одномерному виду и осуществляется устранение статистической избыточности в полученном одномерном потоке.

Такая схема стала классической со времени разработки стандарта МРЕО-1 и остаётся неизменной во всех стандартах эффективного сжатия. Основным недостатком существующих алгоритмов сжатия является недостаточная связь алгоритмов сжатия с динамикой изменений структуры текущих изображений в многомерном видеоинформационном пространстве.

Нет сомнений, что лишь жесткое сопряжение алгоритмов сжатия спектра с текущей структурой сигналов телевизионных изображений является залогом будущего увеличения эффективности уплотнения их спектра. Выявление изменений видеоинформации с текущей относительной оценкой их веса определяет динамику перестройки режима функционирования системы сжатия спектра. Преимуществом таких вариантов является трансформация, в конечном итоге, структуры сопутствующих искажений сжатия в шумоподобную многомерную структуру, которая не будет заметна для наблюдателя. При этом необходимо обеспечивать достаточно высокую скорость и степень согласования процедуры сжатия с характеристиками многомерной видеоинформации и с тонкой спецификой её восприятия при видеоконтроле. Увеличение эффективности видеокодирования, следовательно, может быть достигнуто за счет введения адаптивного перераспределения чёткости изображения объ-

6

ектов по направлениям видеоинформационного пространства в соответствии с результатами оценки изменений соответствующих характеристик сформированного сигнала изображения по соответствующим направлениям. То есть, любое телевизионное изображение не может одновременно быть эффективно воспринято зрительной системой по пространственным, временному и цветовому направлениям видеоинформационного пространства вследствие особенностей функционирования зрительной системы, и эти особенности должны быть учтены путём создания в кодере (внедрения в кодер) психофизиологической модели зрительной системы наблюдателя.

Для современных систем вещательного и прикладного телевидения характерна сложная цепь операций (элементов) последовательной функциональной обработки сигналов на этапах проецирования и преобразования "свет-сигнал", формирования и коррекции телевизионного сигнала (ТВС), преобразования, передачи и приема ТВС, формирования и коррекции принятого сигнала ТВС, преобразования "сигнал-свет" и, наконец, контроля ТВС и воспроизведенных изображений.

При функционировании систем телевидения (СТ) должны быть обеспечены необходимые условия для эффективного извлечения и использования переданной видеоинформации. Значительное число преобразований в СТ и последовательный характер таких преобразований обуславливают накопление искажений контролируемой видеоинформации.

Эффективное уменьшение степени накопления искажений возможно на основе проведения сквозного анализа и выбора характеристик (параметров) элементов процесса обработки сигналов в реальных СТ.

Однако разнородность операций обработки сигналов в СТ чрезвычайно усложняет задачу создания взаимосогласованного комплекса методов сквозного анализа характеристик сигналов и элементов в СТ.

Исходным, например, для СТ обычно является электромагнитное излучение, которое испускается или отражается объектом наблюдения, распространяется в промежуточной среде и поступает на вход СТ.

Исходное электромагнитное излучение несет информацию о комплексе контролируемых параметров объекта наблюдения. При этом характеристики промежу-

7

точной среды мультипликативно и аддитивно воздействуют на электромагнитное излучение, искажая исходную информацию. Степень таких искажений возрастает с увеличением объема промежуточной среды, т.е. определяется расстоянием между объектом и СТ.

Пространство, анализируемое СТ, является многомерным. Наиболее распространенный при этом вариант - четырехмерное анализируемое пространство. Это связано с тем, что чаще всего контролируется ограниченная по объему окрестность в анализируемом пространстве. Анализируемая окрестность пространства при этом фиксирована по глубине и положению относительно координаты пространства, совпадающей с осью СТ. Практически реализуется как бы дискретная "выборка" относительно узкого по глубине участка анализируемого пространства, что эквивалентно соответствующему снижению мерности последнего. В результате остается четыре координаты в пространстве анализа: время (1;); горизонтальное направление (X) и вертикальное направление (У) в плоскости, ортогональной оси СТ; длина волны электромагнитного излучения (А,). Соответственно контролируемый объект в пространстве анализа является в общем случае четырехмерной функцией, например, вида 0(Х,У,1:, X). В сопряженном (реальному) пространстве функция 0(Х,УД, А,) отражается характеристиками четырехмерного пространственно-временного спектра Э(о)х,соу,(о,и), где сох,а>у - пространственные частоты (период/градус); со,о- временные частоты (период/сек).

Первичные искажения и преобразования структуры функции 0(Х,У^,Я) возникают при распространении электромагнитного излучения, соответствующего контролируемому объекту, в объеме промежуточной среды. Действие промежуточной среды в оптическом тракте СТ может быть сопоставлено с действием многомерного ограничивающего фильтра с коэффициентом передачи Кс(сох,а>у,а>,и^,Тст,к),

введение зависимости величины которого от времени позволяет учесть динамические и суточные (Тст=24 час.) изменения функции коэффициента передачи. Параметр Ь отражает воздействие на величину коэффициента передачи объема промежуточной среды. Учет влияния среды на передаваемую по СТ информацию может быть реализован различными путями. Один из возможных вариантов реализации со-

стоит в том, что находят многомерную импульсную характеристику, соответствующую коэффициенту передачи среды, а затем осуществляют свертку такой характеристики с функцией, выбранной в качестве математического представления "типового" сигнала (объекта). Наибольшая сложность здесь в выполнении математической операции свертки с�