автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Кодирование источника при неполной информации

Государственна' ксмиттг РС5СР по делам науки и вгсшеП школь:

ТОМСКА ОРДЕНОВ ОКТЯБРЬСКО?. РЕВОЛЮЦИИ И ТРУДОВОГО КРАСНОГО ЗНА;.!2КК ГОСУДАРСТВЕННА

университет

з.в.куг'бшеза

На правах рукописи

ГОРБУНОВ Александр Константинович

УДК 621.391.1: 519.28

КОДИРОВАНИЕ ИСТОЧНИКА ПН1 НЕПОЛНОЙ ИНФОРШЦИИ

Специальность 05.13.16 - Применение вычислительной

техники,математического моделирования и математических методов в научных исследованиях

Автореферат диссертаций на соискание ученой степени доктора физико-математических наук

Тсмск 1991

Работа выполнена в Московской государственном техническом университете им. Н.Э.Баумана

Официальные оппоненты: Дьячков А.Г. - д.ф.-м.н.

Конев В.В. - д.ф.-м.н., профзссор Линьков Ю.Н.- д.ф.-м.н..профессор

Ведущая организация - ЭТИ (г.Москва)

на заседании специализированного совета Д.463.53.из при Томском государственном университете га. В.В.Куйбышева по адресу 634050, г. Томск, пр. Ленина, 36.

С диссертацией можно ознакомиться в научной библиотеке Томского государственного университета

Автореферат разослан "./?•" г.

Защита состоится

Ученый секретарь специализированного совета

Д.053.53.03 кандидат физ.~ кат. наук

/

окля харакгнрясхка работы

АКТУАЛЬНОСТЬ ТлГлЫ. Развитие систем связи и средств вычислительной техники существенно расширяет с Тору применения методов теории передата информации. Возникает необходимость разработки методов передачи, учитывавших специфику новых постановок задач. Так наряду с обычной ситуацией передачи информации, когда в кавды£ момент временя передачи сигнала значения передаваемого сообщения предполагаются известными полностью, возникает ситуация, когда сообщение неполностью известно к заданному моменту времена передачи информации. Более точно, в момент передачу сдгяала по каналу Ь значения сообщения (можег быть зарубленного) известны до момента времени - - Т< , а восстановление сообщения производится по значениям сигнала на выходе канала до момента времени Ь . Такая задача занимает вагное место в теории передачи информации и теории управления.

ЦЕЛЬ РАБОТЫ. Состоит в исследовании и анализе методов передачи сообщений при неполностью доступно« информации.

НАУЧНАЯ Н0Ь;;2НА. В работе впервые введены и исследоЕаяк эпсилон-энтропия и скорость создания сообщений без предвосхищения, с экстраполяцией и с задерхкой для незазумлениых и залупленных сообщен;:.:;

- установлена соотнопекнл генноновскики и введенными понятиям::;

- доказано, что за исключением некоторых эдрзздекнкх случаев скорость создания сообщений без предвосхищения, с экстрапсляцг-2л и с задерг^ко;. многомерными стационарными источниками определена;

- для ыногоизрных стационарных источников со ер е дн с квадрата ч з с-кой мерой верности воспроизведения:

1) показано, что скорость создани сообщен^ баз предвосхищения, с экстраполяцией л с задеракой является непрерывной функцией параметров, характеризующих верность воспроизведения;

2) найдены пары входного и выходного сообщений, реализующие скорость создания сообщений без предвосхищения, с экстраполяцией и с задерчкой;

- для гауссоБских многомерных сообщений ка:!ден класс пар входного и выходного сообщении, которым достаточно ограничится ар;: на-хозденил эпсалон-энтрошш без предвосхищения, с экстраполяцией и с задержкой;•

- для гауссовсках кного:лоршх сообщэну.й со среднеквадратичны:.", критерием верности найдены парн входного и з-чходкого сообщений, кинимазирувдах оскбку, на которых достигается гасалон-зцтрогшя баз предвосхищения, с экстраполяцией с зодврзкок;

- для гауссовских стационарных многомерных источников со среднеквадратичным критерием верности:

1) найден класс пар входного н выходного сообщал:!, которым достаточно ограничиться лрп нажвдокси скорости создания сообщений без првдзосхицения, с гкссраполяшеЛ :: с задер-акой;

2) если сообщение на входе - регулярны? процесс, то найденн пары входного к енходного сообщений, зяккяззруздяс овиб-ку, на которых достигается скорость создания сообщен::! без предвосхищения, с окстраиоляцзой к с зздер ;

3) если сообщение на входе - одномерный регулярный процесс, то распределение предыдущего пункта единственно;

- на^щекн вкра-зипя эпсилон-энтропии и скорости создания сообщений, хсследобщ;;- цгат^сгкческая связь казду сообщекиякп на вхо-до и шходе для гауссовских сообщений и стационарных источников со средкога<здратпчннп критерием верности воспроизведения, сообщение на входа которых - марковский процесс;

- найдены выражения эпсилон-энтропии и скорости создания сообщений без предвосхищения, с экстраполяцией и с задоракой для гауо-совских сообщений а источников;

- описан сарокнй класс стационарных гауссовских источников, для которых скорость создания сообщений без. предвосхищения совпадает с шенноновской в асимптотике £ -*0 •

- нш"щан алгоритм вычисления эпсилон-энтропии я скорости создания сообщений без предвосхищения, с экстраполяцией и с задержкой зачумленных сообщений стационарных источников;

- начислена эпсилон-энтропия без предвосхищения, с экстраполяцией я с задержкой гауссовских закупленных сообщений;

- получены выражения скорости создания сообщен; й без предвосхищения, с экстраполяцией а с задерзкой гауссовскккп стациокарнн-'.■л источниками с конечной паыятьа, зашукленннкв гауссовским ста-щонарнш пупс:-;

- вичисяена скорость создания сообщений без предвосхищения, с зк-гтраполядаей и с залерлзсо?. гауссовскикп стациокаснкли источклкаии 5ез ограничений ¡¡а паготь, защуклеяшши гауссовским стационарным

- показано, что вычисление зпсалон-энтропил и старости созлалля

сообщений с экстраполяцией ыожно свести к вычислению эпсилон-эн-трошш и скорости создания сообщений без прадвосхищеиш;

- полученные в работе результаты доказаны для дискретного и непрерывного времени;

- результаты работы проиллюстрированы на примерах.

МЗТОШ ИСИЩОВАН/Н. В работе использованы современные по-пзредачи информации, теории вероятностей и случайных процессов.

РЕАЛИЗАЦИЯ ИССЛгЬОБАЬК«. Выполненная работа является составной частью комплекса исследований передачи и обработки неполностью доступной ишТоркаиия, проводяшх в АН СССР и ,МГГУ им. Н.Э. Баумана.

ПРАКТИЧЕСКАЯ ЦЕННОСТЬ. Результаты работы ко гут быть использованы Бри построении и исследовании высокоскоростных элективных методов передачи сообщений при неполностью доступной информации, вычислении параметров систем передачи» оценки их потенциальных возможностей.

АПРОБАЦИЯ РАБОГе!.. Основные результаты работы докладывались и обобщались: на трех Международных сишгозиушх по теории информации, на четырех Всесоюзных конференциях по теории иштср.-.ацип и теории кодирования, на четырех Всесоюзных ск.шозиут.'.ах по проблеяв избыточности, на сема других Мекдународшх, Всесоюзных' к вузовских конференциях, а также на научных семинарах ь Москве а Калуга. _ .

ШТхЛйлАЩгМ. По теыз диссертации выполнено 40 печатных работ.

ЛИЧШЛ ВКЛАД ШОРА. Работы¿1-4, 11-13, 15, 17,13, 20-22,26,27 2й, 31, 33? выполнены едлноллч!». Остальнь'о рабой над::001:1: в соавторстве,- причем зо всех случаях ккее? пзсто Еедаликое сз^штор-

стзо.

CCPj^jPA CEbí- РлГОТа. Paáora. состоит из введения, трех глнв, пггздсз, ciii.tnor^-ifr;: на русском и екглзйскон языках п иэ-ло~ек£ на ¿II страницах ¡^ас^нсштекогз телега.

■ о '

СОСТОЯШЕ ВОПРОСА И ЗАДАЧИ ИССЛЕДОВАНИЯ

Основы теории передачи информации были заложены в работах В.А. Котелькикова а К. Шеннона. Рассматривается следующая схема передачи

г 1 1 , .3

}

Сообщение на входе кодирующее устройство I отображает

в сигнал на входе )] . Условное распределение Р„1г^ характеризует эту операцию. Канал преобразует сигнал на входе У} в сигнал на выходе ^ и характеризуется условный распределен и ограничением Р ь

клен А

где

V

класс

га ........-

допустимых распределений сигнала на входе. Сигнал на выходе ^ декодирующее устройство 3 отображает в сообщение на выходе , что характеризуется условным распределением ''Ц-'? * Ксог.:е того, сообщения на входе и выхода удовлетворяют

некоторое/ требованию точности воспроизвед&шна р \д/

5 Я

здесь - класс допустимых распределений сообщений на вхо-

де^ выходе.

Пологим {'I! / " пенноновское количество шйоркациа для парк случайных величин ->\)

Пропускной способностью канала в расчета на единицу времзш называется число

С - .*«/> Ли). ¥

Скорость» создания сообщений в расчете на единицу времени называется величина

,1

H -- ш/ 1Ы, ¿1

С 1

г Е5

Необходимым условием возможности передачи (обратная теорема Шеннона) является неравенство

н<с. ш

В случае длительной работа передающего устройства при весьма широких условиях неравенство (I) является достаточным (прямая теорема Шеннона).

Общая и математически строгая постановка задачи я формулировка теорем Шеннона дана А.Н. Колмогоровым. Доказательство обратной теоремы £:ашюна содержится в работах К. Шеннона и А.Н.Колмогорова. F .Л. Добрушш в весьма широких условиях доказал прямую теорему йеннона.

¿Л.С. Динскер и й.Н. Линьков и многие другие исследователи получили расчетные формулы элсилон-энтропил н скорости создания сообщений гауссовским источником.

В классической постановке, которая рассматривалась перечисленными авторами, значение передоваемого сообщения предполагаются известными полностью. Б то яе время развитие систем

связи требует изучения ситуации, когда в момент времени <-

давдстщ,

значения передаваемого соосцения.(может быть заьукленного)rZo момента t - Г , - г» * о«= . а восстановление со-

обтвяя производится во значении сигнала на шхода канала до ьвыанта Ь . £ даяко2 постановка пригыказт работы РЛ. ¿об-рутлаа, Б.С. Х^дбашва, Р.Ь. Лшщера, А.Н. ¡¿дряева. Сдал ко, для того, чтобы обобщать теорему Беннояа, в частности, чтобы обратная теорака Саянова, сохранила гад (I) г рассщатраваекой ситуации, нвобзодгаа ввести понятая в™силон-энтропии а сюростл создания сообщений с задерггой Т* . Разработке, гве^енла в исследована» этих понятии а посвящена реферируемая работа.

Как указали Б.Д. Петров, РЛ. лоб русин, ¡¿.С. Пднсиер, ГЛ. Уланов а С.В. Ульянов, т Бегкег. с Кипвоп. в. Зину. Б. вводите я исследуете в реферируемой диссертации ио-

назиа вагнз не толыаз для задач передачи ияуэрщщщ, но а для рассыотренгя задач в теории управления.

С0АЗ?1ДНИ2 РАНУШ

Взедем следующие определения Т т ,

Определение I. Эпсилон-энтропией Н /й/ / с задегпка <г Ь /5.М '

Ь сообщения {^д/ } называется число £

« т,

Х'Де нсзняя грань берется со паргм случгЛных залпчш / /

а 1 _ ' 4 "

с условным распределением /, , удрвлетаосягл^ гсло-

к тсклк, что случайно ьелячпны

еря / г. ^ «<»/5, М

образуют цепь ¡«аркова,

(4)

при : Г < ¡, > Г независимы.

Если таких пар / Ц ^ I не существует, то полагаем

Определение 2. Предел (в той случае, когда он существует)

н£т/т)-^п (Тг-Т/У/Ц™] (5)

называется скоростью создания сообщений с задержкой . Г источником

Наконец, введем еда один вариант определения эпсилон-энтропии я скорости создания сообщений с задерхкой I , который нас главны!.; ооразог. будет интересовать.

Определение 3. Чглло

называется эпсилон-энтропиен с_задергкой Т , где нижняя грань оврэтея по паргал /М, Ж/ с условный распределением р~т- е такая, что для пары ( 5,5 ) удовлетворяется

условие (3) и при лпСых ( . Т.< г< Т} , тройкя случайных

величин

1 -е1 1 образуют цепь Маркова. (7)

Ч 1

T Tj т3

Когда таких пар не существует, полагаем Н (gt j- «=-=>. Определение 4. Скоростью создания сообщений с задержкой Т называется дредел

»¡М . fa^frrfНг{щЫ) «В>-

(когда он существует).

При Т'О и Т>0 понятия эпсилон-энтропии и скорости создания сообщений с задержкой Т переходят .соответственно, в понятия эпсилон-энтропии и скорости создания сообщений баз првдвс хищения и с экстраполяцией. Обычно рассматриваете эпсилон-энтропия и скорость создания сообщений соответствуют случаю 2-—=-=« .

Введем определения эпсилон-энтропии и скорости создания сообщений с задержкой при наличия шума.

Пусть входное и воспроизводимое сообщения представляют собой случайные, процессы 5 - ^ < и £ ё/tj, J< / s , соответственно. Наблюдается процесс описываемый равенством S/ifj = Ш/ij+ fH)* где ^ - {yHh ' 00 с ^ < i ~ ст^д»онаРшй случайный процесс, независимый от. , и принята ереднеквадратичеекая мера верности воспроизведения

f IMJ - §{t/Jsä> (Г* > О. сэ)

где - дисперсия случайной величины « ¡t).

О f -j т \ (/'

Рассмотрим пары / Щ и удовлетворяющие условию (S), и такие, что случайные, величины

■ ~t (-Г ' т 7 ^ .

S С g" . образует дань Маркова i 's < t - 7} (10)

т ' i ^

?.Титг

Определение 5. Эпсилон-энтропией Н с за-

деркко!: 7 при наличии путла ^ называется число

' 7 1 '

пиг^тл грань в (II) борется по пара.1.: | I , удоздетво-

рякзада условиям (9) и (10). Если таких пар"не существует, то полагаем Н^ ' 11

Определение 6. Предел (если он существует)

1&зывается скоростью создания сообщений с задержкой Т (эпси-юн-энтропией с задераской на единицу времени) при наличия шума ^ .

При Т-0 и 'Г >0 • эпсилон-энтропия и скорость созда-шя сообщений с задержкой "Г называются, соответственно, элси-¡он-энтроииел и скоростью создания сообщений без предвосхищения I с _?кстрап0ЛЯ1Л5е£ 1 . Если '¡Ц):С (отсутствие шума), то // V 3 ¡4 ■ при Г -- - получаем иенноновскую тсилок-энтроша на единицу времени // '

аломним, что ГГО - гауссовский источник сообщений, если ка-

ввы бы н^ были * Л, , сообщение [ ) . -гауссовское,

.е. - гауссовская случайная величина и матрицы корр-

еляционных дуакдай принадлежат множеству

- , 51" Ъ <<

Я ^ Ль С'"* (13)

Понятия эпсилон-энтропии и скорости создания сообщений без предвосхищения, с экстраполяцией и с задержкой Т естественным образом переносятся на гауссовские сообщения и источники, в этом случае условие (3) переходит в (13).

Первая глава состоит из двух параграфов. В § I показано, что за исключением некоторых вкроаденных случаев, для стационарных источников скорость создания сообщений без предвосхищения, с экстраполяцией и с задержкой всегда определена. Б § 2

изучаются сообщения к источники, сообщения на входе § и —■

выходе 2? которых - /г -мерные случайные процессы, а условие (3) приобретает вид

Е( ^¡/¿Ощ - рп, т .« /г, (14)

УФ ¿->04 =1^, т., п, (К) •

(среднеквадратичный критерий верности).-В этой случае е = С8^1((}), £ -- (.. ■, 6* J и для эпсилон-энтропии и скорости создания сообщений с задержкой Г используются обозначения Н^Ш] соответственно,

при этом предполагается, что в случае непрерывного времени £ корреляционные функции Я ■■ // $1 = [ Ж ^.¡з!

/ \ ¿г ' £ ^ * ,м . У *

процесса ^^Ш,,..., и £ {{), '/ .-¿,/я , непрерывны,

а процесс ^ сэпарабелек. Кроме того, прздполагаотся, что

С*гп. (16)

где - лглл С{Ц(1'Г}- • 3 случае, ког-

да процесс ' стационарен, условие (14) переходит в (15),

а кергшенстго (15) ир;:нп:.ает вид

. > ф ^ ш)

здесь (Г, тау,Ь{В-11*Т}- N [Щы]^} .Доказаны

Теоре:.:й IУ Пусть ^/ « V ) - /г - мерный стацио-нарпыц процесс, а условия верности задаются соотношениями (15). Тогда скорость создания сообщений Н Iопределена и является непрерывной функцией [е^..., ¿^ ~

Теорема 2, Пусть « -- ^ Ш } ~ ~ '^Р™*"1 стацио-

нарный" случайный процесс и условия верности задаются соотношениями (15) л (17), тох\п,а

Щ[т] - с^йп ГЦ% #;>

(15)

/ ОС.-)

. (19)

Кигшяя грань (18) л (19) берогся по стационарным пара»; процессов ( , удовлетворяющим условии (15), и таким, что при лпбо?.' С , - о-з < ( < -со , тройки случайных величин

^ 5 ^ образует цепь Маркова. (20)

! /-Г

Вторая глава состоит из пяти параграфов. В § I доказаны

Теореш 3. £дя гауссовского сообщения {^jJ1^} низняк грань в (2) совпадает с нижней гранью по гауссовским napaii случайных величин ( Ш** SJ » удовлетворяющая условпяи (4) е. Ш). V V

Теорема 4. ¿ля гауссовского источника (Ш-- нллняя грань в (6) совпадает с нзинэй граньн по гауссовсиш парам случайных величин [ , удовлетворяющая условиям (7) и (13).

Изучается сообщения, пороготанцае на входе и в:;ходе tl - верные случайные процссск и принят среднеквадратпчндй критерий верности, т.а. условие (13) прини-маэт вид (14). j.,c;;a

Творвиа 5. IiycTb g - <■*><£< /:• г-.зршй гауссог,-

Ci«Û случайный ^процесс. Тогда up;: лзобкх ^ Т,. суцзствуэт

^Ы'^Л^Ч&Лт h Удовлетворяв» (4) s (14}, (7) II (К).

1 Г. 1 . -7/

соответственно,такие, что

Ч 5/ i( V

(21)

У

удозлетворд^их соотвэт-

7t^U'^f^J ствзкно соотнопеишш (4), (14), (21) и (7), (Ii), (22), ешэтся

дари, для которых значения Efë/ij- ^-/¿/Jj-IM, Г » ьа-

к^-алькн, распределение вероятностей этих пас единственно, яаля-

Сради.пар ¡Ж^МН /W

['¡.'J'*

ется гауссовсшм и такии, что случайная величина %ltj

не зависит от

В § 2 рассматриваются источники, порождающие на входе и выходе многомерные гауссовские случайные процессы и принят среднеквадратичный критерий верности (15). Пусть & - п - мерный гауссовский стационарный случайный процесс, доказана

Теорема 6. Нижнюю гранье(18) и (19) мояяо рассматривать лишь по гауссовским стационарны;.: парам | Н, 5 j » удовлетворяющим (15) и (20).

Если - регулярный п - мерный гауссовский

стационарный случайный процесс, то существует стационарная пара ( ^ удовлетворяющая (15) и (20) и такая, что

- - Т-* оо

Среди стационарных пар, удовлетворяющих (15), (20) и (25), имеются пары, для которых значения [^» } ^ ' нималыш, распределение вероятностей'этих ¿ар единственно, является гауссовским.

Если - одномерный регулярный гауссовский процесс, то

распределение вероятностей пар ( Ш, « удовлетворяющих (15), (20) и (23), единственно.

В § 3 изучаются гауссовские сообщений и стационарные источники, сообщения на входе которых (Ь - мерные марковские процессы, ограничения па верность воспроизведения имеют вид (14) и (15).

Пусть = ~ И - "бР™5 гауссовский марковский

процесс или последовательность ( в этом случае )

а пусть IЖ, - пара теоремы 5 при Т. 3 ояучае,

когда стационарный процесс, рассматривается пара Щ

теоремы 6 при r£iO

Рассматривается /г - мерная гауссовекая ьярковская последовательность. т 7\ С 1

Теорема 7. Последовательность^^ ^.у"§/4£ * ^ М является марковской и '

Л ишм-ИтМ

Н V £ ' А

Рассизтрен стационарный источник дискретного времени со входом ^

Теорема 8. Последовательность ^= - оосАС^оо [ является марковской и

н&н^т/тщы

Рассматривается /г - парный гауссовский ¡.марковский процесс непрерывного времени с непрерывными корреляционными

Теорема 9. Процесс(ж^Ц'^ЬЩ Щ, V ¡I является марковским и i IlJ

lim /ЦЩ^М^Ф

"i\ riJ пшхйк-*0'

Рассмотрен стацаонаршй источник непрерывного времени со входом ^ • (

Теорема 10. Процесс ( Ж, £/ =• Üft)]f j

является марковским и

нь) - Ш- ь*

> б' / д-*0

Бшшсаны выражения, позволязднб свести вычисление эпсилон-'энтропии и скорости создания сообщений с экстраполяцией к вычислению эпсилон—энтропии и скорости создания сообщений без предвосхищения. |

Рассмотрен гауссовский стационарный источник, вход которого представляет собой лшогокерный марковский случайный процесс 2 - | с независжоаа составляющая

и корреляцпо1цщкп :;ункдпя:.з» ^

£ ^ЦЫ^ФулрШ

и керой верности збсдроизЕэдения вида ^

,Ь 3

2 2

/

В этих условиях доказана Теороца П.

нЩрф-'-р«,.

Параграф 4 посвяцен нахождению асимптотических йыразений скорости создания сообщений без предвоехидания, с экстраполяцией, с задерхкоС последовательности при малой ерэднзквадрапгческой ошибке воспроизведения, доказана

Теорема 12. Пусть' - стационарная гауссов екая последовательность со спектральной плотностью

{(>] 7. Тогда

I. Если - сингулярный процесс, (т.е.'' Ь

. н^-нЯ

2. Если - регулярны® процесс , то

Ш -Ф иг/л 'фи . з/4 сЧ

—Г.

кч

¿ í r_i

где в -- e - 21

r K--0

и Q.(k), К- 0,1,3,..., - коэМ-игдаенты разложения Болда процесса - Уа(к}и{{ -К) • определяемые из соотношения

и Р"

1

- „г

а Х-... -ltOt - независимые гауссовские случайные величины 4 порождаемые линейными комбинациями Tg (S¡, К ¿ é

В § 5 описывается класс стационарных источников, дня.которых эпсилон-энтропия без предвосхищения на единицу времени б ассшто-гике с 0 совпадает с шенноновской, доказаны

Теорема 13. Пусть - гауссовский стационарный процесс

со спектральной плотностью С - const, JL > ~,

тогда

йт йт Н*(ж)/Й(ш) - /. (24)

¿-».с*. 6->0 a

Теорема 14. Пусть Tg - гауссовский стационарный процесс со спектральной плотностью /^J такой» что при любом I >1

■'.■U (fMr'filo, '

тогда

где 0{í)-*0 при 6 0' .

Замечание I. Условие (25) характеризует скорость убывания спектральной плотности при /!--> оо , и вшолняется^капршлер, для спектральной плотности вида

г т

7

где Ж(А)~* С^о при А - » <=-=> .

Замечание 2. Сохраняя идею доказательства легко несколько усилить результат теоремы 14-и показать, что для справедливо ста соотношения^) достаточно вынолнония(25) для какого-либо одного значения 1 > 1

Замечание о. Из доказательства теоремы 14следует справедливость ее результата яра более слабых ограничениях: условие(25) выполняется для монотонной но А >0 функции ^ ^| , определяемой аз равенства

/<- (а : / *(}) => а] у<с (а : а),

где /II!}: ¥(А}>0Ь) ~ мера Лебега множества М= ^А У(А) Результаты пдлу-стрируются примерами

Примор I, Пусть § - гауссовская марковская последовательность ( п

ск, ОМ,- <*>< <г:»о, к -

1 I» Гч К' *

где а!К) - независящие от гауссовские случайные величи-

з о

ки и .В этом случав

#4= * 7 ')■

где 6* ¡К) определяются формулама-. .

, , , ( £"

Есла л'^ - стационарная послвдозатольность, О^ -0 , Ей (к) >6 (к) - £*> 0, выражение эпсилок-знтропии без предвосхи-

цзкия принимает вид

Л

Ц°иЛ * Р 1АЁ /сУчг* Л

Пртар 2. Рассмотри: стационарную гауссовскув шрковскую последовательность

,£%)•&>. С26)

В этом случав _ / я з 4 \

Приме; 3. Рассмотрим одномерный гауссовский марковский процесс

, представимый в виде Где <9 - стандартный вияеровский процесс, Ж(0) не зависит

Я***7- гг8Шму,ав' М»1^-* - Ль

- [ ^¿/М лри Л)< 8%

-■6?(о}~пиа(£%), £ £%))■

Если -стационарный процесс, ££(()'-

еж® с-пс

Пример Пусть

4,

.•щН}-(ГШ. £///><?,*>«?,

■щр . - - стандартный аинвровсиЛ црсдэсс, тогда

23 л

¿1 о] 11г . о 1

Пример 5. Пусть § - одномерный стационарный гауссовсгаШ марковский процесс, представишй в виде ^

¿Ш- -ШШ ><гШ €п% ~ > £? (23)

где 6 - стандартный винеровскик процесс, ¿, & > О , тогда

н°(Ф ЧР

Примар 6. Пусть

где д - стандартный влнеровский процесс. В этом случав

-о, , к*

Пример 7. Пусть Ц - гауссовсхая стационарная после довае тельность вида (23), тогда

если $ - < £? 1 £ 4 ' "

Л

Пршлер 8. Пусть' - гауссовский стационарный процесс непрерывного времена вида (29), тогда

если

Пример 9. Пусть ~g.lt) - 6(1) » где 6 - стандартный ванеровский процесс, тогда

н:м

<гг

В третьей глазе исследуются свойства эпсалон-энтропиа а скорости создания сообщений без предвосхищения, с экстраполяцией и с

задержкой гауссовского затушенного сообщения и источника. Б § 1 указан алгоритм вычисления эпсилон-энтропии и скорости создания сообщений. Доказана

Теорема 15. Дусть н ^ - независимые стационарные гауссовские последовательности л ~S.lt) - Ш/1) + ЧН}, тогда- • __ „

где ~£*Н) - проекция. £/г/на

зашшутув линейную оболочку случайных величин , ¿'г ¿-Г .

н е'^е'-ЕЫш- -й'Щ .

Во второй параграфе найдены выражения для скорости создания сообщений без предвосхищения ж с экстраполяцией. Результаты объединены в следующую теорему

. Теорема 16. Пусть Ц г независимые стационарные

гауссовские последовательности со спектральными плотностями ^Д] в '{^Щ^СОлеЬ , соответственно,тогда

"" г сто 5

^\Ц ■ ^¿х* Ф), г>о,

•п ж ^

4 к*1

1де - ^¡Л} - дисперсия случайной величины ^ //у,

ТГ

Г

tif^l, 0,1,Í..... - козфрщианти разложения Волка процзсса

со

S/f/- У aÍkII/ÍÍ-kJ • определенные из соохнопганая С— ■ /.{' тг , ,

l'(J I0.1,независимые гауссовские случайные величины с нулевым срадвзм z единично! дисперсной, порожденные лгнейянъа комбинация;-.'.?. £; t •

Третий параграф посвящен. нахо:<денкю адрагений скорости создания соо&ценп? 2C704HÍ¡?:0¿: с ограниченной иашисьа. Результаты формулируются: мэдуосдм образом.

Теорема 17. лусть Ь-' и /' - независимые гауссовскле

I" ф

стационарны? последовательности со сййтральными плотностями f-pjA) 2 {/{) , коваржзпаоншг-ш Зушяззяка í (¿j'/f'ü(ii'É.¡t*S\, ^tlSÍ^Etfitjyil f¿7 > соответственно, я пусть выполнено условно

(30)

югда

« I Ъ? -

— л i

еаш Oí)

I

i i К

Í

L L- ~ У ¿ÍS¡' % , 8СЛЗ f (32)

S-Í С";'?" í

где - дисгерсая случайной залетаяц»//// (i[Kft K*0,ti. -i,...'

(y! J * T*

b¡"v, к - ела, определяете из соотнопзнзк

и ^ 26 '' И

пр™ к <.<?, гг

т.е. Я (к) 1 ¡< >0, - коэффициенты разложения Ьолда -£Н) = £ ^ -*) Ч»5есса £ - / . здось / ; (

- независимые гауссовские случайные величины' единично!: дисперсии тахше, что пороздеш лакейшсла коыбинация.х

Теорема 18. Пусть к - последовательности, оп-

ределенные в теореме 17, тогда

С,* ,, „

(р

3»

3 £

Е -

I

¿7Г I- О

е'- ^

£п X, х^,

где 6 Э«г, ¿Л / = , ^ ^

а Эсопределено в (31) а (32).

* Полученные результат прсшишстрароьаш примера;-.'.;.

Лрикер 10. Пусть у ~ белки кум, а - стационарный карковский процесс ^t]s¿ ^^

гдо U\<i. М - í Attll - белый шум, E/^Hh i

' / U j, * /\л 7 /„/_ ^

тогда Cl"(0).l, (q-i/J-4 l'-O, lío), (Г* l^Kj.û, К*0.

т. „— -лучае

[[l'M^jtf, r-i,

(Tjfí-.ci j-<r

3

_r

НЫ41 & '*г - ;j Л xf, T - 0t

í ' ¡ " ívj¿; ö

,3T

где ^

o

/Г

o IT

J'jjí

Пример II. Пусть ^ л;..еет спектральную плотность

а . - спшионаршй марковский процесс, определенный г

арадыдуцзи пракере. Ь это;»: случае [ 1 ::

•^Г I * • л, л

{^/«-/^-(Г Г,У.

зт

к -~г - ]' Ф)>

ж • ^

• \ "Ж

о /Г

О

Ь четвертом параграфе получены выражения скорости сообщений в средквквадратического риска при отсутствии ■адя на память ¿30). Б этоу. случае

Кг Т

. ¿--Т

создания ограниче-

(33)

1=0 а

; ¡Х^Я/М-'

гг

е3-- эс*

Учитавая, что ^ , ^ =(Гг,

I р('<) > 'ХОРАЛЫ (33) з ^(34) переписать

¡ЛоДувКИМ образом

22. X

<■ £

136)

5--Г

Оо

Из (3?) видно, что гауссовскиц процесс , определяемый (формулой

Щ---ХЩН.. т

является проекцией на пространство, порозденное • , и агзет спектральную плотность, задаваемую соотноше*.

идем ... /'< „ .

т.е.

/> ГГ>'

а правая часть вырахз:шя (¿8) составляет собой разложение,

когуйпщвнтн которого ^ /'ч/ ^¡р-^элгх'тся как кооекиццентн ряда

4-уоье аункцпи / ,

. . ш - ->й

где

т.е.

__

О----

= а/Л Оу»/^,

Ш "

т

т

Таким образом, определяются сх>рмулол (33) и

- I

является проекцией ] Л 'на пространство, порожденное случайными величинам £ - 1~Т , а правая часть йоркулы (35) - асимптотическим выражением 6 '¡Ь - )( - энтропии про-десса = 1 Ц-М] .

Теперь можно сформулировать теорему

Теорема 19. .Пусть . ^ - ~ независимые

геуссовские стационарные последовательности с ювариаыионшка функциями и • Тогда значения и

I) определяются по фэрмулаг

5

•Ж =

а'А ¿40)

У /гА/* (А/

ДМ- Нг—М'Ф!.^*'

Ш)

1 -

ос

лирный

^ .,,/ -_еэкноноеск£я скорость создания. сообсениГ. илелло:.

ОСЛЕ I ( II - ~

{•т.ч. С - сингулярный процесс);

энтропия на единицу времени) процесса ;

2) определяется по ¿Торгулац (25) и (36), соответственно, а ^ " 0. ¿1,... т . *те»1£лцЕента, определяема по аор^уяе

(39) , есля > " 00 (т.е. ^ - регуаярЕнЗ процесс).

Наконец, если каблздае1к;: прспзсс представляется в вида

ОО оо

та -члх нетрудно убедиться: :) Сорила (40) дзрохохлт з

■с ОС».

Соснула (41) сохсанязтся а

2) (сй) и. (36) сохраняется, а -¿ор^-ула (33) переходит 3 !} г I ^ ,

^ / у

и.. ;-.олс

- белый пум, а 2///- ^§//-

геуссогсЕгЛ х^пховка! псоозсс, хязЦс! 41 ^/¿НИ-^^ 1 . Тогда . '

«л елтчаг гг^/-- *** и ¿/<Ф ,

Ж = Т

1/Н - - •<4 ^ л

Выражения скорости создания сообщений имеэт вид

-ДА'- >

где

о г

3 ^

г Я? ^

ьл ^{¿та}-/<1)а]1 ¿л

ОСНОВНЫЕ ЕЗЗУЖС4Ш, 2ЫН0СЙШБ НА ЗАШУ.

Основные яауннне положения, ьыносише на защиту, сводятся к следующему:

1. В раооте впервые введены и изучены понятия впсилон-антро-пик и скорости создания сообценжй без предвосхщання, с экстрапо-далией х с задержкой 6 для везатушенных и затупленных сообщен! а источников, включахщие классические шнноновскае понятая эпсилон-энтропии л скорости создаяня сообщений как частный случай пр; «ф* Фсхэ '

2. Установлено, что скорость создания сооощелгй шюгоиерннк

-гационарншл источником баз предвосхищения, с экстраполяцией а с задергжой реализуется на стационарных парах входного и воспроизводимого сообщений, а е случае сроднекзадратЕческого критерия верности,непрерывна по ней. .

3. Вычислены эпсилон-энтропия а скорость создания сообщений без предвосхищения с экстраполяцией а с задерккой гауссовских •лйого:-.8рннх сооб^енай я ;:етсчнахов со срэдкеквадраткчной мерой сорности и устанорхеко, что ск; реализуются на гауссовскпх парах елодйого и Еосггг-о;:згод;;:.".ого сообценлл.

4. Разработали алгоритм вичлсленяя эпсилон-энтропии и сео-рост;! создания сообщений бэз предвосхищения а с экстраполяцией гауссовсквх сообщении а источников с марковсыкл входами.

о. пагдэш; ачгоритгл; сзедзняя вычисления эпсилон-энтропии ц скорости создания сообщений с экстраполяцией гауссовскпх сообщений а источников к дычисленло зпсилсн-энтродии и скорости создания сообщений баз предвосхищения.

6. Получены алгоритм-! и вычислены скорости создания сообщений с задержкой,без предвосхищения, с экстраполяцией .. при наличие путла.

7, Исследованы соотношения кекду ьекноновскиая эпсалон-эн-гропае": и скорости созцандя сообщений и эпсилон-энтропией и ско-ростьисоздачия сообщал без предвосхищения, с" экстраподдаивй и с за. ~,ер.-^кой как незвиуклвншх так к засугддонннх сообщений и источников.

Та!С1:я образом, шзно считать, что сформировалось новое да- . гчнсе направление - кодирование источника при неполной ия:1ор»ла-

Ц5И.-

Резухьтаты диссертации ислохоин э гсриззденаом надо списка

С П ii С О I основных публикаций по тепе диссзртааза

1. Хорсунов A.1-U Эпсилон- эктропня без предвссхп;цзнпя гауссогского соойдакхя. Труди cap. Радиотехника z злоктрон'.,ка, , 1971, 14-21.

2. Горбунов XJSL. Энтропия гауссовского соойг^няя без цредьооакзЕия. Труди IßTil, сер. P&AEoiezB2sa в электроника, ü., 1271, 53-£3.

3.ГОрбунов Скорость создания сообцаяий стационарню: источника* непрерывного аргумента без дредвссхкцвиия в с прогнозов. Труды Ы&Ш, сер. Радиотехника и злактроязка, — , 1S73, 45-54.

4. Горбунов AJC. Эпсалон-внтрошш без предвосхищения в с-срогкозои гаусссвошю сообг$внжя напрершаюго аргуыэата. Пятая Бсеяюзная жояферешия но теория кодирования а передача ввфоркацаш. мосиа-ГорьлжЁ, жад. Наука, 1972, ток. I, 35-3S.

5. Горбунов AJ£., Дкнскер 1L.C.. апошш-автропия без предвоехвдалия в с хроххозск. Второй ВсесавзЕый сеашнар па двдорцяпгоншдг мзто-двк ъ сзстеках управления, измерений в кантролл. his,сток, IS72, тс*. I, 5-14.

6. IbpöjHOB ku^i Пкнскер 1£.С. .одсялдн-зктроддя баз лредвосх^.еЕхя я с лрогаазом щуссовсгаг сроавсеов. Третий лвгдународнзй сппю-ввук по теорвв информации. Uoсква-Тал/ищ, 1973, ч. I, 21-27.

7. Гсрбушзв А,iL., Цкнскер Ü.C.. Эпсилов-зытроиЕЯ ш скорость создания cooüäüusS Саз вредБОсхжЕЗЕЯя ж с прогнозе;;. Дробл. перед, пя'сры., 1973., 3.S, с. 12-21.

8. Горбунов А.К., Пинскер М.С. Эпсилон-янгропия с прогнозом гауссовского сообщения и гауссовского источника. Проблемы передачи

информации, 1974,. 2, 10, 5-26.

g Corbunov А.К., Piaster M.S. Попал ticipatory and Prognostic Ер«

nilon Entropies and "e.~Sage Generation Pat»3. Plenun Publishing Ccrporatior.. Problem of Information Transraiosion. -Hew York' London. :!ovenl:cr 1975. 93-110

10. Oorbunov A .:•*. ,?insl:er "rosr.ostik HTpsilon Entropy of a Cauo-

r:ion "еяза^-5! ar.'l a Г.&пзе* йг. ¡'ouMf. Tlemc Publishing Corporation. iToblcna of Tr.fom.-.tion Trar.e:nisuion. ,?Iew York London, "arc.h 197C. 101-19?.

П. Горбунов А.К. Зпсилон-энтропия без предвосхищения и шенновская энтропия, Пятый Международный симпозиум по теории информации. Москва-Тбилиси, 1979, часть I, с.31-32.

12. Горбунов А.К. Точные оценки скорости создания сообщений без предвосхищения. АН СССР,.Восьмой Всесоюзный симпозиум по проблемам избыточности в информационных с/стенах. Ленинград, 1983, часть П, с.43-50.

13. Горбунов Л.К. Эпсилон-энтропия с задержкой гауссовского сообщения. ¡lie стой Мч:;:дукародн!-'й симпозиум по теории информации. ¡•'оскЕа-Та±н;ент, 19-34, часть I, 53-55.

14. Горбунов А.К., Пинскер М.С. Эпсилсн-онтропия с экстраполяцией заиумденного сосбгзнкя. АН СССР. Девятый Всесоюзный сикпозиум по прзб.-гкс ».»Сктс-шоста а инфорвциояных системах. Ленинград, 1986, часгь I, 33-40.

:5. Горбунов Д.К. Тсерз-а существования скорости создания сообщений с стачпсниркым источником. Мехзузовскся научно-тех-

иач«скля х-у^.рх-ъул. ¡'плуга, 1387, ?.54-265.

16. Горбунов А.К., Пинскер М.С. Эпсилон-энтропия с эадерякой при капой среднеквадратической ошибке воспроизведения. АН СССР, Проблемы передачи информации, 1987, т.23, к 2, 3-G,

17. Горбунов А.К. Вычисление элсилон-пнтрогии без предеэсхгасии'я заиленного сообщонкя. Молзуэовск&я научко-тсхикчсс'гал ¡.ун-ферснцич. Калуга, 1937, 276-277.

10. Горбунов А.К. Измерительно-вычислительная систем для сбора, обработки и передачи информации. ДвенадцатыГ; международник, коллоквиум, йльыонау (ГДР), 1S87, 51-52.

19. Горбунов А.К., Пинскер U.C. Эпсилон-энтропия с задержкой гауссовского засушенного сообщения. АН СССР. Проблемы перс-дачи информации, 1988, т.24, № 3, 18-24.

20. Горбунов А.К. Эпсилон-энтропия и опсилон-энгропия без предвосхищения. Девятая Всесоюзная конференция по теории кодирования и передачи информации. Одесса, 1933, 14-16.

21. ГЪрбунов А.К. Эпсилон-энтропия без предвосхищения гауссоЕ-ского вяяумленного сообщения. Девятая Всесоозная конференция со теории кодирования и передачи информации. Одесса, 1988, 285-287.

22. Горбунов А.К. &гасленио скорости создания сообщений без предвосхищения и с экстраполяцией. Всесоюзная научно-техническая конференция. Калуга., 1989, 15-'-155.

23. Горбунов А.К., Пинскер U.C. Эпсилон-энтропия с экстраполяцией процесса непрерывного времени. АН СССР, ¿¡рентой Всесо«лнкГ. симпозиум по проблемам избыточности в информационных системах. Ленинград, IS89, часть П, 31-32.

24. Oorbur.ov А.К. ,?inaker,EpBilcx; Srvtropy »ri с h ?elay for ."-.ail

Reproduction Zrror. rienun Tur.lieh.i_nt- forv.oratior.. of ôxforiBStioa TranenisBioc. Kew jt'ork, fondas, Ap;-'". V'fe-, 91-55.