автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Вероятностный подход к построению функции принадлежности нечеткого множества по результатам наблюдений в системах принятия решений

кандидата технических наук
Тамер Омар Мохамед Диаб Ел-Марсафави
город
Владимир
год
2005
специальность ВАК РФ
05.13.01
Диссертация по информатике, вычислительной технике и управлению на тему «Вероятностный подход к построению функции принадлежности нечеткого множества по результатам наблюдений в системах принятия решений»

Автореферат диссертации по теме "Вероятностный подход к построению функции принадлежности нечеткого множества по результатам наблюдений в системах принятия решений"

На правах рукописи

ТАМЕР ОМАР МОХАМЕД ДИАБ ЕЛ-МАРСАФАВИ

Вероятностный подход к построению функции принадлежности нечеткого множества по результатам наблюдений в системах принятия решений

Специальность: 05.13.01 - «Системный анализ, управление и обработка информации (в промышленности)»

Автореферат диссертации на соискание ученой степени кандидата технических наук

Владимир 2005

Работа выполнена на кафедре «Вычислительной техники» Владимирского государственного университета

Научный руководитель - доктор технических наук,

профессор Дубов Илья Ройдович

Официальные оппоненты: - доктор технических наук,

профессор Садыков Султан Садыкович

I

- кандидат физико-математических наук, доцент Демидов Константин Владимирович

Ведущая организация: - Вологодский государственный

технический университет

Защита состоится 22 ноября 2005 г. в 15м на заседании диссертационного совета Д 212.025.01 в ауд. 211 корп. 1 Владимирского государственного университета по адресу: 600000, г. Владимир, ул. Горького, д.87.

С диссертацией можно ознакомиться в библиотеке Владимирского государственного университета.

Автореферат разослан 21 октября 2005 г.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просьба направлять по адресу: 600000, г. Владимир, ул. Горького, 87, ученому секретарю совета.

Ученый секретарь диссертационного совета

доктор технических наук, профессор Макаров Р.И.

Коггтрзл;- -зейгпляр |

мм а«006*

яш 1

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы. Выделение методов и средств обработки нечеткой информации в отдельное направление современной информационной технологии оправдано тем, что эта технология является базой для построения всевозможных интеллектуальных программных систем, получивших название нечетких систем. Понятие нечеткого множества основывается на предположении о том, что любой элемент лишь в некоторой степени принадлежит данному множеству, поэтому одним из основных способов математического описания нечеткого множества является определение степени такой принадлежности некоторым числом, например, из интервала [0,1]. При этом фаницы интервала, т.е. 1 и 0, означают, соответственно, «принадлежит» и «не принадлежит».

В число основных промышленных применений теории нечетких множеств входят управление, диагностика неисправностей, распознавание образов, обработка изображений, анализ надежности, проектирование систем и т.д. В последнее время нечеткое управление является одной из самых активных и результативных областей применения теории нечетких множеств. Нечеткое управление оказывается особенно полезным тогда, когда технологические процессы являются слишком сложными для анализа с помощью общепринятых количественных методов, или когда доступные источники информации интерпретируются качественно или с большой погрешностью. В этих условиях нечеткое управление может дать лучшие результаты, по сравнению с общепринятыми алгоритмами управления.

Основной трудностью, мешающей интенсивному применению теории нечетких множеств ири решении практических задач, является, уо^что функция принадлежности должна быть задана вне самой теории щ следовательно, ее адекватность не может быть проверена непосредственно средствами данной теории.

Для использования в моделях принятия решений информации, форма-

•Ш^ЗДШаШУ процедуры

лизованнои на основе теории нечетких л

БИБЛИОТЕКА ) С.Петер

оэ

'I пи I I

построения соответствующих функций принадлежности. Построение функцйй принадлежности нечетких множеств является важным компонентом в задачах принятия решений. От того, на сколько адекватно построенная функция отражает знания эксперта или экспертов, зависит качество принимаемых решений. Для слабоформализованных задач существуют два способа получения исходных данных: непосредственный и обработка четких данных. В основе обоих способов лежит необходимость субъективной оценки функций принадлежности нечетких множеств.

В данной работе предлагается реализация вероятностного подхода, >

значительно снижающая субъективность оценивания функции принадлежности. Кроме того, рассматривается влияние точности аппроксимации функции принадлежности на качество нечеткого управления.

Цель работы и задачи исследования. Цель диссертационной работы - повышение качества принятия решения в системах управления, основанных на использовании теории нечетких множеств.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать методику построения функций принадлежности нечеткого множества на основе вероятности подхода.

2. Выполнить сравнительный анализ точности оценивания параметров логистической регрессии различными методами.

3. Разработать алгоритмическое и программное обеспечение оценивания параметров логистической регрессии и функций принадлежности.

4. Экспериментально исследовать методы оценивания логистической регрессии и функций принадлежности на фактических данных.

Методы исследования. В работе использованы методы вычислительной математики, математической статистики, теории вероятностей, вычислительного эксперимента и теория нечетких множеств.

Результаты, выносимые на защиту:

1. Методика построения функций принадлежности нечеткого множества на основе аппроксимации логита условной вероятности.

2. Результаты экспериментального исследования эффективности алгоритма оценивания параметров логистической регрессии методом аппроксимации логита условной вероятности.

3. Методика построения стандартных функций принадлежности (трапецеидальной, треугольной, гауссовой) по результатам наблюдений.

Научная новизна работы:

1. Показана возможность использования метода аппроксимации условной вероятности для построения функции принадлежности нечетких множеств.

2. Определены условия, при которых аппроксимация логита условной вероятности дает меньшую погрешность, чем метод максимального правдоподобия.

3. Получены математические зависимости для оценивания параметров трапецеидальных, треугольных, ступенчатых и гауссовых функций принадлежности по экспериментальным данным.

Практическая ценность

1. Получены результаты сопоставления точности оценивания параметров логистической регрессии различными методами. Рассмотрены условия, при которых применение метода аппроксимации логита условной вероятности на практике дает лучшие результаты, чем метод максимального правдоподобия.

2. На основе полученных результатов разработано программное обеспечение, которое внедрено в учебный процесс ВлГУ.

3. Полученные теоретические результаты легли в основу методических указаний к лабораторным работам по курсу «Нечеткая логика».

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на международной научно-технической конфе-

ренции «Новые методологии проектирования изделий микроэлектроники» (г. Владимир, 2003г.); научно-технической конференции факультета информатики и прикладной математики «Математические методы, информационные технологии и физический эксперимент в науке и производстве» (г. Владимир, 2003г.); VI международной научно-технической конференции «Физика и радиоэлектроника в медицине и экологии» (г. Владимир, 2004г.); международной научно-технической конференции "Informatics, mathematical modeling and design in the technics, controlling and education" (г. Владимир, 2004); международной научной конференции «Математические методы в технике и технологиях» (Казань, 2004); научной конференции «Социально-экономические системы и процессы: методы изучения и проблемы развития» (Владимир: 2005).

Публикации. По теме диссертационной работы опубликовано 11 печатных работ.

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения, приложения и списка использованной литературы. Общий объем диссертации составляет 151 страница, 74 рисунка, 6 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность диссертационной работы, определяется ее общая направленность и тематика. Сформулирована цель и решаемые задачи исследований. Определена научная новизна и практическая ценность полученных результатов.

В первой главе выполнен обзор методов построения функции принадлежности. Рассмотрены известные из литературы методы построения математических моделей по экспериментальным данным. Выделены классы параметрических и непараметрических методов получения оценок эмпирических зависимостей.

Вторая глава посвящена сравнительному анализу двух методов оценивания параметров логистической регрессии. Рассматривается логистическая регрессия, которая выражает статистическую связь в виде зависимо-

сти P(S - 11 х), т.е. прогнозируется вероятность события 5" = 1, обусловленная значениями независимых переменных. Логистическая регрессия выражает модель связи между откликом и переменными в виде формулы:

ф) = logit(P(5 = 1|*)) = = •

Обозначим условную вероятность P(S = 11 х) = л{х), где я(х) имеет вид тс(х) = 1/(1 + ехр(-<р(х)). Задача построения логистической регрессии заключается в оценивании вектора параметров С = [с0,---,ст]. В литературе известен метод параметрического оценивания логистической регрессии путем минимизации логарифма функции максимального правдоподобия (МП). В этом случае оценки параметров находятся в результате решения системы нелинейных уравнений известными итерационными методами (метод Ньютона-Рафсона). В диссертации рассматривается использование нейронных сетей для оценивания параметров максимального правдоподобия. В результате задача оценивания таких параметров сводится к подбору вектора весов сети, при котором достигается минимум градиента логарифма функции МП.

В данной работе получены результаты сопоставления точности параметрического оценивания функции МП различными методами. Показано, что метод Ньютона-Рафсона дает лучшие результаты, чем результаты, полученные с помощью нейронных сетей. Если рассматривать вычислительный аспект исследования, то использование метода Ньютона-Рафсона позволяет быстрее построить аппроксимирующую функцию.

В различных приложениях, связанных с обработкой данных, часто возникает необходимости построения логистической регрессии, линейной относительно параметров. Поэтому в диссертации рассматривается использование другого метода параметрического оценивания логистической регрессии путем аппроксимации логита условной вероятности. В результате задача оценивания параметров логистической регрессии сводится к задаче оценивания параметров регрессионной модели.

Этот метод заключается в следующим. Логистическое преобразование Р(5 = 11 х) с использованием теоремы Байеса записывается в виде

1оей(Р(5 = 1х)) = 1п—-— = 1п--—-- + 1п—---, (1)

где Р(Б = 1) и Р(Б - 0) - безусловная вероятность наступления события, а /(х 151 = 1) и /(х | Я = 0) - плотности распределения наступления событий 5 = 1 и 5 = 0, соответственно. На экспериментальных выборках

= ^, п? / = 1,Л^ и Q5 = |хгу , «у ] = вычисляются оценки для логарифма плотности вероятности /(х 15 = 1) и логарифма плотности вероятности /(х 15 = 0) в точках ак, где ак - центр тяжести одного из перекрывающихся интервалов.

Подстановка оценок 1п /(х 15 = 1), 1п/(х 15 = 0) и 1п(Л^ / Л^) вместо последнего слагаемого в (1) дает выборку оценок для величины 1о§и(/>(5 = 1|х)). Эти оценки имеют ковариационную матрицу, известную по построению. Аппроксимирующую функцию логита условной вероятности находят в классе алгебраических полиномов = • Для самой вероятности л*(х) = 1/(1 + ехр(-^ * (х)).

Исследования по сопоставлению точности параметрического оценивания логистической регрессии проводились на общепринятом наборе модельных функций, встречающихся на практике. Часть результатов проведенного машинного эксперимента приведена в табл. 1.

В таблице приняты следующие обозначения: V?/, Ц - среднее расстояние между логитом модельной и аппроксимирующей функциями, вычисленное в метрике Я2 и интегральной метрике £2, соответственно; /?р, Ьр - среднее расстояние между модельной и аппроксимирующей функциями, вычисленное в метрике /?2 и интегральной метрике , соответственно.

Из таблицы видно, что метод аппроксимации логита условной вероятности в среднем дает меньшую погрешность, чем метод максимального правдоподобия во всех рассмотренных случаях.

Таблица 1. Погрешность построения логистической регрессии

различными методами

Модель п Метод аппроксимации логита условной вероятности Метод максимального правдоподобия

R, L, h Ц b

/. 100 0,1722 0,2658 0,0042 0,0041 0,2639 0,3750 0,0059 0,0055

200 0,1035 0,1040 0,0032 0,0027 0,1747 0,2043 0,0041 0,0038'

400 0,0806 0,0836 0,0026 0,0024 0,0996 0,1201 0,0026 0,0025

800 0,0470 0,0495 0,0015 0,0013 0,0686 0,0931 0,0016 0,0016

1000 0,0383 0,0490 0,0010 0,0010 0,0676 0,0861 0,0016 0,0015

/а 100 0,2559 0,2549 0,0131 0,0127 0,3599 0,3629 0,0170 0,0166

200 0,1945 0,2052 0,0096 0,0099 0,3354 0,3209 0,0147 0,0139

400 0,1167 0,1109 0,0063 0,0058 0,1551 0,1543 0,0077 0,0075

800 0,0536 0,0521 0,0027 0,0026 0,0908 0,0904 0,0043 0,0042

1000 0,0457 0,0451 0,0023 0,0022 0,0641 0,0636 0,0032 0,0030

100 0,1360 0,1494 0,0053 0,0054 0,1962 0,2366 0,0060 0,0066

200 0,0883 0,0945 0,0034 0,0035 0,1227 0,1376 0,0040 0,0042

400 0,0659 0,0717 0,0029 0,0029 0,1139 0,1326 0,0033 0,0033

800 0,0372 0,0408 0,0019 0,0018 0,0760 0,0892 0,0022 0,0023

1000 0,0300 0,0312 0,0015 0,0013 0,0537 0,0584 0,0017 0,0018

Третья глава посвящена построению функции принадлежности нечетких множеств на основе вероятности подхода. Считается, что понятие функции принадлежности эквивалентно понятию условной вероятности /¿$(х) = P(S -]\х), т.е. вероятность того, что объект хеХ будет отнесен к множеству, которое характеризует понятие S.

Нахождение оценок параметров р функции принадлежности включает следующие этапы: формирование локальных оценок логита условной вероятности; минимизация оценки расстояния между истинной и аппроксимирующей функциями

min Др)= min , (logit(/i s (р, а,-)) - ))2 peRm peRm

где {а i,y(at)}1_^- выборка локальных оценок для величины

logit(/>(S = lM-

Обозначим вектор невязок как F(p) = [logit(//5(p,i7f

))-J<ej)iL 1- Согласно методу Ньютона-Гаусса направление поиска dk находится на каждой итерации к так, что бы решение задачи на метод наименьших квадра-

тов будет min || J(pk)df. -F(pk) ||2. Направление поиска dk должно быть реЛт

использовано в качестве составляющей стратегам линейного поиска, что обеспечивает условие, что на каждой итерации идет уменьшение функции

Яр)-

Данная методика позволила получить оценки параметров для ряда параметрических моделей функции принадлежности. Например, параметры функции принадлежности треугольной формы определяются следующим образом:

Ь4, а^Ы.щЪЬЗ,

MsiP^i) = -(ai-bl)*(b5-b4)/(b2-bl)^b4, at е[Ы,Ъ2], (at - ЬЗ) *(Ъ4- Ь5)/(ЬЗ - Ъ2) + Ъ4. щ е [Ь2,ЬЗ].

где j

\dF, дЯ dFj dF: ЭЯ-Т r,, ,, ,, ,, [dbl дЬ2 дЬЗ дЬ4 дЬ5 м и 1

Ы0 = 0.2 * range(x) + min(x), Ь20 = 0.4 * range(x) + min(jc),

Ь30 = 0.6 * range(x) + min(x),

Ь40 = exp(min {у(а,) }"=] )/(l + exp(min{;Ke,)}"=i)),

Ь50 = ехр(тах{у(<^ )}f=1)/(1 + ехр(тах{у(^)}?=,)).

0, а, <Ы,а1 > ЬЗ,

dFL\-ß5-b4)*(-b2+ai)/(bS*a,-Ъ5*Ъ1-Ъ4*щ + Ъ4*Ь2)/ dbl" (-Ь2+Ы+Ь5*агЬ5*Ы-Ь4*ч+Ъ4*Ь2), 2],

0. a -t е [Ь2,ЬЗ].

dFj дЬ2

0, at < bl.üj Zb3,

(Ь5-Ь4)*(сц-Ы)/(Ь5*щ-Ь5*Ы-Ь4*а1 +Ъ4*Ъ2)/

(-Ь2+Ы+Ь5*а;-Ь5*Ы-Ъ4*а1+Ъ4*Ъ2), (Ь5 -Ь4)* (а, - Ь3)/(Ь5 *агЬ5*ЪЗ-Ь4* а, + Ь4• Ь2)/

(ЬЗ-Ь2+Ь5*а,-Ь5*ЪЗ-Ь4*а,+Ь4*Ь2).

а,е[Ы,Ь2], Ч е [Ь2,ЬЗ].

Щ = 363 ~

0, а, ^61, а, ¿63,

0, а, 6 [¿1,62], -(Ь5-Ь4)*(-Ь2+а{)/(Ь5*а1 -Ь5*ЬЗ-Ь4*^ + Ь4*Ь2)

/(ЬЗ-Ь2 + Ь5*агЬ5*ЬЗ-Ь4*а,+Ь4*Ь2).

Ч е [62,63].

дЕ, дЪ4

-1/Ь4/(-1+Ь4), -(-Ь2+а1)*(-Ь2+Ы)/(Ь5 * я,- -Ъ5*Ы-Ь4* а, + Ъ4* Ь2)/

(-Ъ2+Ы+Ь5*агЪ5*Ъ1-Ъ4*а1+Ь4*Ъ2), (-Ь2+а1)*(-ЬЗ+Ь2)/(Ь5*а1-Ь5*ЬЗ-Ъ4*а, +Ь4*Ь2)/

(ЬЗ-Ь2+Ъ5*а1-Ь5*ЬЗ-Ь4*а1+Ь4*Ь2).

а, г ЬЗ, а,- е[Ы,Ь2],

а,- е[Ь2,ЬЗ].

а,е[ы,ь2].

а,- е [Ь2,ЪЗ].

О, а^Ы.а^ЬЗ,

щ _ (Ч - Ы)* (-Ь2 + Ъ1)/(Ь5* а,- -Ь5*Ы-Ь4* а, + Ь4* Ь2)/

дЬ5~ (-Ь2 + Ы + Ь5*агЬ5*Ы-Ь4*а1 + Ь4*Ь2),

- (а, - ЬЗ) * (-ЬЗ + Ъ2)/(Ь5 * а, -Ь5*ЬЗ-Ь4* а,- +Ь4* Ь2)/

(ЬЗ-Ь2 + Ь5*агЬ5*ЬЗ-Ь4*а1 + Ь4*Ъ2). Аналогичным образом в диссертации получены необходимые выражения для формирования якобиана для трапециевидной, ступенчатой и гауссовой функций принадлежности.

В соответствии с предложенным алгоритмом в демонстрационном примере получены локальные оценок логита функции принадлежности, показанные на рис. 1 вместе с аппроксимирующей функцией и логитом истинной функции принадлежности. На рис. 2. показана аппроксимирующая функции после обратного преобразования с приемлемой точностью описывающая истинную функции принадлежности.

Четвертая глава посвящена сравнительному анализу двух методов параметрического оценивания логистической регрессии, изложенных в главе 2, в условиях, близких к встречающимся на практике.

В диссертации исследуется зависимость вероятности прогорания кольцевого уплотнения твердотопливного ускорителя космического корабля «Челенжер» от температуры окружающей среды в момент запуска. Подобный дефект был причиной катастрофы 28 января 1986 года. По имеющемся фактическим данным были построены логистические регрессии двумя методами: методом максимального правдоподобия и методом аппроксимации логита условной вероятности. При некоторых значениях

температуры окружающей среды различие в предсказании вероятности дефекта этими методами достигает 2-х раз.

Рис. 1. Формирование локальных оценок логита функции принадлежности: 1 - локальные оценки логита функции принадлежности; 2 - аппроксимирующая функция; 3 - логит истинной функции принадлежности

0.0 0.5 1.0

Рис. 2. Результат аппроксимации функции принадлежности: 1 - аппроксимирующая функция, 2 - истинная функции принадлежности

Теоретическое сравнение точности двух рассматриваемых методов не представляется возможным. Поэтому возникает неопределенность в том, какой из методов должен быть использован для решения данной практиче-

ской задачи. Для того, чтобы определить, результаты какого метода должны быть выбраны как наиболее надежные, был проведен машинный эксперимент. В качестве истинной функции была задана

Д5 = 11 х) = ехр(5.085 - 0.1156 * х)/(1 + ехр(5.085 - 0.1156 * х)),

которая по своим характеристикам близка к реальностой зависимости вероятности возникновения дефекта от температуры воздуха.

Средние значения для каждого способа вычисления расстояния между истиной и аппроксимирующей функциями определялись по серии из 500 экспериментов. Результаты приведены в таблице 2. Их анализ показывает, что метод аппроксимации логита условной вероятности в среднем дает меньшую погрешность, чем метод максимального правдоподобия в данных условиях и, следовательно, целесообразно использовать зависимость вероятности возникновения дефектов ускорителя от температуры, полученную методом аппроксимации логита условной вероятности.

Таблица 2. Погрешность построения логистической регрессии

различными методами

п Метод аппрокси ловной ве иации логита ус-роятности Метод максимального правдоподобия

*/ А я, Ц К

100 0,213641 0,2064 0,003739 0,0027 0,4065 0,3902 0,00774 0,0064

200 0,119867 0,11673 0,001842 0,001382 0,246313 0,250167 0,002871 0,00219

400 0,06363 0,066712 0,0008 0,000611 0,104394 0,116904 0,001022 0,000797

800 0,037148 0,040528 0,00036 0,000287 0,057203 0,065044 0,000421 0,000341

1000 0,033277 0,036356 0,000283 0,000231 0,049584 0,055786 0,000335 0,000276

В четвертой главе рассмотрены результаты проведенного машинного эксперимента, целью которого является демонстрация влияния точности построения функции принадлежности на точность нечеткого управления. Общая идея эксперимента заключается в следующим. Дня модельного идеального управляющего устройства (обозначим его С) с заданной зависимостью сигнала управления от входного сигнала разработаем нечеткое управляющее устройство, которое включает в себя несколько функций принадлежности.

Количество функций принадлежности и состав правил вывода зададим так, чтобы нечеткая система в точности повторяла поведения заданного управляющего устройства. Полученное таким образом управляющее устройство примем за эталонное (обозначим его Су). Показателем качества управления будем считать отклонение управляющего сигнала любого другого устройства от управляющего сигнала эталонного нечеткого устройства управления. Такая схема эксперимента позволяет количественно оценить ошибку управления, вносимую отличием одной или нескольких функций принадлежности в эмпирическом устройстве управления (обозначим его С„у) от соответствующих функций принадлежности эталонного нечеткого устройства управления (см. рис. 3).

генератор выходного сигнала объекта управления

Система нечеткого управления С¥(т3т/3*)

Уп/ЫО)

<Ф)-►&/(>)

Система управления С

Я*«)

у(х) = -2х-х2

Система нечеткого управления С^тЗт/З)

у/Ш,

Рис. 3. Схема эксперимента

Для Су и Сй/ используем систему нечеткого вывода типа Сугено, т.е. Су и С „у основываются на базах знаний следующего вида. Я]. Если х = т\т/\, то у = оийт/\; Я2 • Если * = ¡п2т/2, то у = оШ2т/2;

Я3. Если х = тЗт/З, то у = ошЗт/З; Я4. Если х = /и4от/4, то = ош4т/4; Я5. Если х = т5т/5 ,ю у = ош5т/5.

Объемы модельных выборок были заданы 100, 400 и 800 точек для варьирования точности аппроксимации функции принадлежности тЗт/З. У

Рис. 4. Результат моделирования при п = 100: 1 - выходной сигнал устройства управления С (такой же сигнал у Су); 2 - выходной сигнал устройства управления С„у; 3 - ошибка управления £„/(0

На рис. 4 показаны результаты моделирования идеальной системы управления вместе с результатами нечеткого управления. Для определения расстояния между аппроксимирующей и истиной функциями использовались следующие критерии:

р2(гпЗт/З,тЗт/З") = - (т3т/3(/) - тЪщГЩ)*} ;

а0 М2=0 (уШ)-уп/Ш)1,

«/-«о '/~'о

где р2([п3т/3,т3т/3*] - среднеквадратическое расстояние между функцией принадлежности тЗт/З и ее аппроксимацией тЗт/З*; п - объем выборки, на которой строилась аппроксимирующая функция; Q - средне-

квадратическая ошибка управления на интервале времени моделирования; _у(дг(г)) - результаты моделирования системы С и у*у(х(/)) - результаты моделирования системы С„у; - начальный момент моделирования и /у - время останова моделирования; И - интервал дискретизации.

Результаты моделирования системы нечеткого управления С„у представлены в таблице 3. Из таблицы видно, что ошибка нечеткого управле-

л

ния Q снижается при уменьшении ошибки р аппроксимации функции принадлежности т3т/3(х). На рис. 5 видно, что повышение качества нечеткого управления в значительной степени определяется качеством построения функции принадлежности нечетких множеств.

Таблица 3. Погрешность аппроксимации т3т/3(х) и у

п р2 (тЗт/З, тЗт/З* ) <5

100 0,0157611 0,01364927

400 0,0022034 0,00143261

800 0,0003405 0,00015134

Я

Рис. 5. Зависимость среднеквадратической ошибки нечеткого управления Q от погрешности аппроксимации функции принадлежности тЗт/З.

В заключение в диссертационной работе перечисляются следующие основные результаты:

1. Разработан вероятный подход к построению функции принадлежности нечетких множеств на основе аппроксимации логита условной вероятности.

2. Получены математические зависимости для оценивания параметров трапецеидальных, треугольных, степенчагых и гауссовых функций принадлежности по экспериментальным данным, которые позволяют уменьшить субъективность при решении практических задач, связанных с нечеткой логикой.

3. Выполнен сравнительный анализ точности оценивания параметров логистической регрессии различными методами, который показал целесообразность использования метода аппроксимации логита условной вероятности в определенных условиях.

4. Разработано алгоритмическое и программное обеспечение оценивания параметров логистической регрессии и функций принадлежности, которое используется для решения практических задач, исследования алгоритмов и в учебных целях.

5. Проведено исследование точности параметрического оценивания логистической регрессии различными методами для решения практической задачи, показавшее более высокую точность метода аппроксимации логита условной вероятности при анализе зависимости дефектов конструкции космического аппарата от температуры воздуха.

6. Исследовано влияние точности аппроксимации функции принадлежности на качество нечеткого управления и показано, что повышение качества нечеткого управления в значительной степени определяется качеством построения функции принадлежности нечетких множеств.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Дубов И.Р., Диаб Т.О. Сравнительный анализ двух методов оценивания параметров логистической регрессии // Конверсия, математические методы, информационные технологии и физический эксперимент в науке и производстве, конф,- Владимир: Владим. гос. ун-т. 2003. - С. 67.

2. Дубов И.Р., Диаб Т.О. Анализ точности оценивания параметров логистической регрессии // Новые методологии проектирования изделий микроэлектроники: конф.- Владимир: Владим. гос. ун-т. 2003. С. 77 - 80.

3. Dubov I.R., Diab Т.О. Logistic regression parameters estimation by observation in the medical field // Int. Conf. Physics and radioelectronics in medicine and ecology: Vladimir 2004. C. 184 - 186.

4. Diab Т.О. Logistic regression model in medical applications // Int. Conf. Physics and radioelectronics in medicine and ecology: Vladimir 2004. C. 181 -183.

5. Диаб Т.О. Оценивание параметров логистической регрессии методом максимального правдоподобия // Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB С. 116-120.

6. Dubov I.R., Diab Т.О. Determination of Fuzzy Logic Membership Functions Using Probabilistic Approach II Int. Conf. IMMD Vladimir 2004 C. 83 - 87.

,7. Дубов И.Р., Диаб Т.О. Параметрический подход к построению функции принадлежности нечеткого множества // Современные проблемы экономики: конф,- Владимир: Владим. гос. ун-т. 2004 С. 84 - 88.

8. Дубов И.Р., Диаб Т.О. Методические указания к лабораторным работам по курсу нечеткой логики // Владим. гос. ун-т. - Владимир: Изд-во ВлГУ, 2005. -48с.

9. Дубов И.Р., Диаб Т.О. Оценивание функции принадлежности нечеткого множества по экспериментальным данным // Новые методологии проектирования изделий микроэлектроники: конф,- Владимир: Владим. гос. ун-т. 2004. - С. 146 - 147.

10. Дубов И.Р., Диаб Т.О Повышение точности оценивания логистической регрессии в практических задачах // Конверсия, Математические методы в технике и технологиях, конф. - Казань: 2004. - С.21-23.

11. Диаб Т.О Оценивание параметров логистической регрессии при помощи нейронных сетей // Социально- экономические системы и процессы: методы изучения и проблемы развития, конф. - Владимир: 2005. -С.357-358.

ЛР № 020275. Подписано в печать 19.10.05. Формат 60x84/16. Бумага для множит, техники. Гарнитура Тайме. Печать офсетная. Усл. печ. л. 0,93. Уч.-изд. л, 0,98. Тираж 100 экз.

Заказ Издательство Владимирского государственного университета 600000, Владимир, ул. Горького, 87.

#216*6

РЫБ Русский фонд

2006-4 17888

Оглавление автор диссертации — кандидата технических наук Тамер Омар Мохамед Диаб Ел-Марсафави

ВВЕДНИЕ.

ГЛАВА 1. ОБЗОР МЕТОДОВ ВЫЯВЛЕНИЯ СТАТИСТИЧЕСКИХ

ЗАВИСИМОСТЕЙ В СИСТЕМАХ ПРИНЯТИЯ РЕШЕНИЙ.

1.1. Методы построения функции принадлежности нечетких множеств.

1.2 Использование аппарата нечеткой логики в задачах управления и моделирования.

1.3. Аппроксимация регрессионных зависимостей.

1.4. Критерии выбора оптимальных аппроксимирующих функций.

1.5. Аппроксимация плотности вероятности.

1.6. Выводы по главе.

ГЛАВА 2. ОЦЕНИВАНИЕ ПАРАМЕТРОВ ЛОГИСТИЧЕСКОЙ

РЕГРЕССИИ.

2.1. Постановка задачи оценивания параметров логистической регрессии.

2.2. Метод максимального правдоподобия.

2.3. Параметрическая аппроксимация логита условной вероятности.

2.4. Сравнительный анализ методов параметрической аппроксимации логита условной вероятности.

2.5. Непараметрическая аппроксимация логита условной вероятности.

2.6. Выводы по главе.

ГЛАВА 3. ПОСТРОЕНИЕ ФУНКЦИИ ПРИНАДЛЕЖНОСТИ НА ОСНОВЕ АППРОКСИМАЦИИ ЛОГИТА УСЛОВНОЙ ВЕРОЯТНОСТИ.

3.1. Постановка задачи построение функций принадлежности.

3.2. Применение метода аппроксимации логита условной вероятности для построения функций принадлежности.

3.3. Иллюстративные примеры построения функций принадлежности.

3.4. Выводы по главе.

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ НА РЕАЛЬНЫХ

ДАННЫХ.

4.1 Анализ влияния точности аппроксимации функции принадлежности на качество нечеткого управления.

4.2 Исследование зависимости вероятности прогорания кольцевого уплотнения от температуры воздуха.

4.3 Нечеткая модель регулирования промышленным объектом.

4.3. Выводы по главе.!.Ill

Введение 2005 год, диссертация по информатике, вычислительной технике и управлению, Тамер Омар Мохамед Диаб Ел-Марсафави

Современная информационная технология сегодня стала основным инструментальным средством, используемым при создании систем интеллектуального управления, разрабатываемых в рамках теории, появившейся в последние годы на стыке двух теоретических дисциплин — традиционной теории автоматического управления и теории искусственного интеллекта.

Выделение методов и средств обработки нечеткой информации в отдельное направление современной информационной технологии оправдано тем, что эта технология является базой для построения все возможных интеллектуальных программных систем, получивших название нечетких систем или нечетких множеств. Понятие нечеткого множества основывается на предположении о том, что любой элемент лишь в некоторой степени принадлежит данному множеству, поэтому одним из основных способов математического описания нечеткого множества является определение степени такой принадлежности некоторым числом, например, из интервала [0,1]. При этом границы интервала, т.е. 1 и 0, означают, соответственно, «принадлежит» и «не принадлежит».

В числе основных промышленных применений теории нечетких множеств можно назвать управление, диагностику неисправностей, распознавание образов, обработку изображений, анализ надежности, проектирование систем, компьютеры и т.д. В последнее время нечеткое управление является одной из самых активных и результативных областей исследований применения теории нечетких множеств. Нечеткое управление оказывается особенно полезным, когда технологические процессы являются слишком сложными для анализа с помощью общепринятых количественных методов, или когда доступные источники информации интерпретируются качественно или с большой погрешностью. В этих условиях нечеткое управление может дать лучшие результаты, по сравнению с общепринятыми алгоритмами управления.

Основной трудностью, мешающей интенсивному применению теории нечетких множеств при решении практических задач, является то, что функция принадлежности должна быть задана вне самой теории и, следовательно, ее адекватность не может быть проверена непосредственно средствами теории.

Для использования в моделях принятия решений информации, формализованной на основе теории нечетких множеств, необходимы процедуры построения соответствующих функций принадлежности. Построение функций принадлежности нечетких множеств является важным компонентом в задачах принятия решений. От того на сколько адекватно построенная функция отражает знания эксперта или экспертов зависит качество принимаемых решений. Для сла-боформализованных задач существуют два способа получения исходных данных - непосредственный, и как результат обработки четких данных. В основе обоих способов лежит необходимость субъективной оценки функций принадлежности нечетких множеств.

При решении многих задач анализа сложных систем в условиях неопределенности широко используются методы теории вероятности и математической статистики. Эти методы предполагают вероятностную интерпретацию обрабатываемых данных и полученных статистических выводов. В данной работе предлагается реализация вероятностного подхода, значительно снижающая субъективность оценивания функции принадлежности.

Заключение диссертация на тему "Вероятностный подход к построению функции принадлежности нечеткого множества по результатам наблюдений в системах принятия решений"

4.3. Выводы по главе

В этой главе получены следующие результаты Исследовано влияние точности аппроксимации функции принадлежности на качество нечеткого управления и показано, что повышение качества нечеткого управления в значительной степени определяется качеством построения функции принадлежности нечетких множеств.

2. Выполнен сравнительный анализ для двух методов параметрического оценивания логистической регрессии в условиях, близких к встречающимся на практике, который показал целесообразность использования метода аппроксимации логита условной вероятности в определенных условиях.

3. Проведено исследование влияния округления исходных данных на качество параметрического оценивания логистической регрессии различными методами, которое показало что результаты аппроксимации логита условной вероятности в случае отсутствие округления исходных данных имеют меньшую погрешность, чем в случае наличия округления исходных данных.

4. Показана возможность использования аппроксимации функции принадлежности по экспериментальным данным в задаче регулирования промышленным объектом.

ЗАКЛЮЧЕНИЕ

В данной диссертационной работе получены следующие основные результаты:

1. Разработан вероятный подход к построению функции принадлежности нечетких множеств на основе аппроксимации логита условной вероятности.

2. Получены математические зависимости для оценивания параметров трапецеидальных, треугольных и гауссовых функций принадлежности по экспериментальным данным, которые позволяют уменьшить субъективность при решении практических задач, связанных с нечеткой логикой.

3. Выполнен сравнительный анализ точности оценивания параметров логистической регрессии различными методами, который показал целесообразность использования метода аппроксимации логита условной вероятности в определенных условиях.

4. Разработано алгоритмическое и программное обеспечение оценивания параметров логистической регрессии и функций принадлежности, которое используется для решения практических задач, исследования алгоритмов и в учебных целях.

5. Проведено исследование точности параметрического оценивания логистической регрессии различными методами для решения практической задачи, показавшее более высокую точность метода аппроксимации логита условной вероятности при анализе зависимости дефектов конструкции космического аппарата от температуры воздуха.

Библиография Тамер Омар Мохамед Диаб Ел-Марсафави, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Айзерман М.А. Алескеров A.A. Выбор вариантов: основы теории. М.: Наука, 1990. 236 с.

2. Алексеев A.B. Интерпретация и определение функций нечетких множеств // методы и системы принятие решений, s Рига: Риж. Политех Н. ин-т, 1979. С. 42-50.

3. Алексеев A.B., Борисов А.Н. Модели принятия решений на основе лингвистической переменной. Рига: Зинатне, 1982. 256с.

4. Бендлер Дж. У. и др. Диагностика неисправностей в аналоговых цепях. ТИИЭР, N 8, т.73, 1985, с.35-87.

5. Берг А. И., Бирюков Б. В., Геллер Е. С., Попоров Г. Н. Управление, информация, интеллект. М.: Мысль, 1986.—383 с

6. Берышев В.И., Петрок Л.В. Аппроксимация функций. Сжатие численной информации. Приложения. Екатеринбург, 1999.

7. Борисов А. Н., Осис Я. Я. Методика оценки функций принадлежности элементов размытого множества.— В кн.: Кибернетика и диагностика, Рига: РПИ. 1970, с. 125—134.

8. Боровков A.A., Могульский A.A. Большие уклонения и проверка статистических гипотез. Новосибирск: Наука, 1992. 222 с.

9. Бородюк В.П. Регрессионные модели с нестандартной ошибкой в задачах идентификации сложных объектов. М., МЭИ, 1981. 91с.

10. Буцев A.B., ПервозванскийА.А. Локальная аппроксимация с помощью ИНС// Автоматика и телемеханика, 1995, N9, С. 127-136.

11. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979.-447 с.

12. Венцель Е.С. Теория вероятностей. М.: Вещая Школа, 2001

13. Воинов В.Г., Никулин М.С. Несмещенные оценки и их применение. М.: Наука, 1989. 436 с.

14. Воинов В.Г., Никулин М.С. Несмещенные оценки и их применение. М.: Наука, 1989.-436 с.

15. Гаврилов H.A., Гаврилова Н.С. Биология продолжительности жизни. М.: Наука, 1991.-280 с.

16. Глотов В. А., Павельев В. В. Экспертные методы определения весовых коэффициентов.— Автоматика и телемеханика, 1976, № 12, с. 95-108.

17. Горбань А. Н. Обучение нейронных сетей. М.: СП ПараГраф, 1990. с.

18. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Наука, 1996, 275с.

19. Гордиенко Е.К., Лукьяница A.A. Искусственные нейронные сети. Основные определения и модели // Техническая кибернетика. 1994, № 5. С. 79-92.

20. Гудмен И. Нечеткие множества как классы эквивалентности случайных множеств. В сб.: Нечеткие множества и теория возможностей. М: Радио и связь, 1986, с.241-264.

21. Гусев Л.А., Смирнова И.М. Размытые множества. Теория и приложения (обзор). Автоматика и телемеханика, N 5, 1973, с.66-85.

22. Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности LI подход. М.: Мир, 1988. 408 с.

23. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн. 1/Пер. с англ.— 2-е изд., перераб. и доп. М., ФиС, 1986. - 267 с.

24. Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн. 2/Пер. с англ.- 2-е изд., перераб. и доп. М., ФиС, 1987. 248 с.

25. Дубов И.Р. Аппроксимация вероятностных законов в системах мониторинга. В ладим, гос. ун-т. Владимир, 2001. 137с

26. Дубов И.Р. Формирование наблюдений и аппроксимация функций плотности распределения непрерывной случайной величины // Автоматика и телемеханика. № 4. 1998. С. 84-93.

27. Дубов Р. И. Количественные исследования геохимических полей для поисков рудных месторождений. Новосибирск : Наука. 1974.

28. Жуковин В. Е., Оганесян Н. А., Бурштеин Ф. В., Корелов Э. С. Об одном подходе к задачам принятия решений с позиций теории нечетких множеств.— В кн.: Методы принятия решений в условиях неопределенности. Рига: РПИ, 1980, с. 12—16.

29. Заде JI. А. Основы нового подхода к анализу сложных систем и процессов принятия решений.-— В кн.: Математика сегодня/Сост. А. В. Шилейко, М.: Знание, 1974, с. 5—48.

30. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. М: Мир, 1976, 165с.

31. Заде JI. А. Размытые множества и их применение в распознавании образов и кластер-анализе. В сб.: Классификация и кластер. М: Мир, 1980, с.208-247.

32. Зырянов Б.А. и др. Методы и алгоритмы обработки случайных и детерминированных периодических процессов. Свердловск: Урал, 1990. 115 с.

33. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных систем. — Киев: Наукова Думка, 1982. 180 с.

34. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных систем. — Киев: Наукова Думка, 1982. 180 с.

35. Ивахненко А.Г. Мюллер И.А. Самоорганизация прогнозирующихмоде-лей. Киев: Техника, 1985. 169 с.

36. Каменскии В. С. Методы и модели неметрического шкалирования (обзор).— Автоматика и телемеханика, 1977, № 8, с. 118—152.

37. Кандель А., Байатт У.Дж. Нечеткие множества, нечеткая алгебра, нечеткая статистика. Труды американского общества инженеров-радиоэлектроников, т. 66, 1978, N12, с.37-61.

38. Катковник В. Я. Непараметрическая идентификация и сглаживание данных. М.: Наука, 1985. 312 с.

39. Киселев П.JI. Разработка эффективных методов планирования и стабилизации режимов работы МГ с целью снижения энергозатрат. Автореф. канд. дисс., М: МИНГ, 1987, 22с.

40. Кокс Д. Р., Сенелл Э. Дж. Прикладная статистика: Принципы и примеры. М.: Мир, 1984. 420 с.

41. Кокс Д., Хинкли Д. Теоретическая статистика. М.: Мир, 1978. 560 с.

42. Круглов В. В., Борисов Н. Н. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001, 382с.

43. Крянев A.B. Применение современных методов параметрической и непараметрической статистики при обработке данных экспериментов на ЭВМ. -М.: МИФИ, 1987.-80 с.

44. Кузнецов В.П. Интервальные статистические модели. М.: РиС, 1991. -247 с.

45. Леонков А. В. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ- Петербург, 2003, 736с.

46. Логинов В. И. О вероятностной трактовке функций принадлежности Заде и их применение для распознавания образов.— Изв. АН СССР: Техническая кибернетика, 1966, № 2, с. 72—73.

47. Мучник И.Б., Снегирев П.М. Алгоритм оценки точности аппроксимации эмпирической зависимости // Автоматика и телемеханика. 1986. №8. С. 109-118.

48. Орлов А.И. Устойчивость в социально-экономических моделях. М: Наука, 1979.

49. Пугачев B.C. Теория вероятностей и математическая статистика. М.: Наука, 1979.-496 с.

50. Терехов С.А., А.Н. Горбант, А.Н. Кирдин, Е.М. Миркес, А.Ю. Ново-ходько, Д.А. Россиев, С.А. Tepe // Сб. Нейроинформатика. Новосибирск, Наука, 1998, С.101-136,

51. Ягер Р. Р. Нечеткие множества и теория возможностей. Последние достижения. М: Радио и связь, 1986, 408с.

52. Ягер P.P. Множества уровня для оценки принадлежности нечетких подмножеств. В сб.: Нечеткие множества и теория возможностей. М: Радио и связь, 1986, с.71-78.

53. Bellman R., Giertz М. On analytic formalism of the theory of fuzzy sets, Information Sciences 5, 1973, p. 149-156.

54. Bilgic Т., Turks I. Measurement theoretic justification of fuzzy set connectives, Fuzzy Sets and Systems 76(3), 1995, p.289-308.

55. Bishop С. M. Neural networks for pattern recognition. Oxford: Clarendon Press, 1995.

56. Bremermann H. Pattern recognition. In: Systems theory in the social sciences/Ed, by H. Bossel et al. Stuttgart: Binkhauser Verlag, 1976, p. 116—159.

57. Chameau J. L. , Santamarina J. C. Membership functions part II: Trends in fuzziness and implications, International Journal of Approximate Reasoning 1, 1987, p. 303-317.

58. Chameau J. L., Santamarina J. C. Membership functions part I: Comparing method of measurement, International Journal of Approximate Reasoning 1, 1987, p. 287-301.

59. Cheng В., Titterington D. M. Neural networks: A review from statistical perspective, Statistical Science, 1994 Vol 9, No.l, p.2-54.

60. Cox D.R., Snell E.J. Analysis of binary data. London: Chapman and hall, 1989.

61. Denning, Peter J. Neural networks. American Scientist, v. 80, № 5, p.426429.

62. Diederich G. W., Messick S. G., Tucker L. R. A general least squares solution for successive intervals.— Psychometrika, 1975, v. 22, p. 159—173.

63. Dubois D., Prade H. Fuzzy sets and systems: Theory and applications. -New York: Acad. Press, 1980, 394c.

64. Fine T.L. Theories of Probability: An Examination of Foundations, Academic Press, New York, 1973.

65. Flondor P. An example a fuzzy system, Kybernetes, 1977, p.229-230.

66. Hall P. and Marron J. S., Variable window width kernel estimates // Probability Theory and related Fields. 1988. V. 80, P. 31-49.

67. Hastie, T.J. , Tibshirani, R.J. Generalized Additive Models, New York: Chapman Hall. 1990.

68. Hemmerle, W. J., & Hartley, H., O. Computing maximum likelihood estimates for the mixed A.O.V. model using the W transformation. Technometrics, 15, 1973,819-831.

69. Hosmer D.W., Lemshow S. Applied logistic regression: New York: Wiley 1989.

70. Kalaba R. E., Spingarn J. A comparison of two methods for determining the weights of belonging to fuzzy sets.— Journal of Optimization Theory and Applications, 1979, v. 27, p. 531—538.

71. Kim, J., Seo, J. & Ki, G. C. Estimating membership functions in a fuzzy network model for part-of-speech tagging. Journal of Intelligent and Fuzzy Systems Vol. 4, No.4, 1996, p.309-320.

72. Klonias V.K. On a class of nonparametric density and regression estimators // Annals of statistics. 1984. V. 12. No 4. P. 1263-1284.

73. Kreinovich V., "Random Sets Unify, Explain, and Aid Known Uncertainty Methods in Expert Systems, In: J. Goutsias, R. P. S. Mahler, and H. T. Nguyen (eds.)". Random Sets: Theory and Applications, Springer-Verlag, New York, pp. 321-345, 1997.

74. Lippmann R.P. An introduction to computing with neural nets // IEEE ASSP Magazin, April, 1987. P.4-20.

75. Loginov V.I., "Probability Treatment of Zadeh Membership Functions and Their Use in Pattern Recognition". Eng. Cyber., pp. 68-69, 1966.

76. Mallows C.L. Some comments on Cp. Technometrics, 1973, v 15, p. 651

77. More, J. J., "The Levenberg-Marquardt Algorithm: Implementation and Theory," Numerical Analysis, ed. G. A. Watson, Lecture Notes in Mathematics 630, Springer Verlag, pp. 105-116, 1977.

78. Nguyen H. T. and B. Wu., An Introduction to Fuzzy Logic for Statistics. Wu Nan Book Company, Taipei., 2000.

79. Nguyen H. T. and Goodman I. R., Fundamentals of Uncertainty Calculi with Applications to Fuzzy Inference. Kluwer, Dordrecht, 1994.

80. Nguyen H. T., "Some Mathematical Tools for Linguistic Probabilities". Fuzzy Sets and Systems, vol. 2, pp. 53-65, 1979.

81. Nguyen, D.H. and B. Widrow Neural Networks for Self-Learning Control Systems// IEEE Control System Magazine, 1990, vol.10, no.3, pp.18-23.

82. Pedrycz W. Why triangular membership functions, Fuzzy Sets and Systems, 1994, v. 64, p.21-30.

83. Ripley B.D. Neural networks and related methods for classification, Journal of the Royal Statistical Society B, 1994, 56, No.3, pp.409-456.

84. Ripley, B. D., Hjort N. L. Pattern Recognition and Neural Networks, A Statistical Approach, Cambridge Universityh Press 1996.

85. Ross T. J. Fuzzy logic with engineering applications. McGraw-Hill, 1995, 600p.

86. Saaty T. L. Scaling the membership function, European Journal of Operational Research 25, 1986, p. 320-329.

87. Saaty T. L. Exploring the interface between hierarchies, multiple objectives and fuzzy sets.— Fuzzy Sets and Systems, 1978, v. 1, p. 57—69.

88. Saaty T. L. Measuring the fuzziness of sets.— Journal of Cybernetics, 1974, v. 4, p. 53—61.

89. Sager T.W. Nonparametric maximum Likelihood estimation of spatial patterns. "The Annals of Statist.", 1982, N4, p. 1125-1136.

90. Sanchez E. Inverses of fuzzy relations. Application to possibility distribution and medical diagnosis.— Fuzzy Sets and Systems, 1979, v. 2, p. 75-—86.

91. Schumacher M., Robner R., Vach W. Neural networks and logistic regression: Part I and II, Computational Statistics and Data Analysis, 1996, 21, p.661-701.

92. Silverman, B.W. Density Estimation for Statistics and Data Analysis. New York: Chapman and Hall.

93. Skala H. J. On many-valued logics, fuzzy sets, fuzzy logics and their applications.— Fuzzy Sets and Systems, 1978, v. 1, p. 129—149.

94. Teukolsky S.A., Vetterling W.T. Numerical Recipes in C. Cambridge: Cambridge university press, 1994. 965 c.

95. Thole U., Zimmermann H. J., Zysno P. On the suitability of minimum and products operators for the intersection of fuzzy sets.— Fuzzy Sets and Systems, 1979, v. 2, p. 167—180.

96. Turks I. B. Measurement of membership functions and their assessment , Fuzzy Sets and Systems 40, 1991, p. 5-38.

97. Warner B., Misra M. Understanding neural networks as statistical tools, The American Statistician, Nov 1996, Vol 50, No.4, p.284-293.

98. Zadeh L. A. Calculus of fuzzy restrictions. In: Fuzzy Sets and Their Applications to Cognitive and Decision Processes/Ed, by L. A. Zadeh et al. New York: Academic Press, 1975, p. 1—41.

99. Zimmerman H. J. Fuzzy set theory and its applications. Kluwer Academic Publishers, Massachusetts, USA, 5th edn, 1992.

100. Zimmermann H.J., Zysno P. Quantifying vagueness in decision models. "European Journal of Operational Research", N22, 1985, p.148-158.