автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Методы и средства оценки качества автоматизированных систем управления для предприятий пищевой промышленности

кандидата технических наук
Гетьман, Валентин Валентинович
город
Москва
год
2007
специальность ВАК РФ
05.13.06
Диссертация по информатике, вычислительной технике и управлению на тему «Методы и средства оценки качества автоматизированных систем управления для предприятий пищевой промышленности»

Автореферат диссертации по теме "Методы и средства оценки качества автоматизированных систем управления для предприятий пищевой промышленности"

□03053284

Гетьман Валентин Валентинович

МЕТОДЫ И СРЕДСТВА ОЦЕНКИ КАЧЕСТВА АВТОМАТИЗИРОВАННЫХ СИСТЕМ УПРАВЛЕНИЯ ДЛЯ ПРЕДПРИЯТИЙ ПИЩЕВОЙ ПРОМЫШЛЕННОСТИ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (в пищевой промышленности)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2007

003053284

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Московский государственный университет пищевых производств» (МГУ 1111).

Научный руководитель: доктор технических наук,

доцент Мышенков Константин Сергеевич Официальные оппоненты: доктор технических наук,

профессор Матисон Валерий Арвидович; кандидат технических наук, доцент Строганов Дмитрий Викторович Ведущая организация: Негосударственное образовательное

учреждение «Международная промышленная академия»

Защита состоится 1 марта 2007 г. в 14 — час. на заседании диссертационного совета Д 212.148.02 при ГОУ ВПО «Московский государственный университет пищевых производств» по адресу:

125080, г. Москва, Волоколамское шоссе, д. 11, корп. Б, ауд. 10-10. С диссертацией можно ознакомиться в библиотеке ГОУ ВПО МГУ ПЛ.

Автореферат разослан «» •$ 2007 г.

Ученый секретарь

диссертационного совета Д 212.148.02, кандидат технических наук, доцент Воронина Н.О.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. На сегодняшний день пищевая промышленность в России входит в число лидеров по объемам промышленного производства. Тенденции ее развития требуют реорганизации информационных потоков на предприятиях, обеспечивающих четкость работы их подразделений, что возможно лишь на основе современной автоматизированной системы управления предприятием (АСУП), позволяющей руководству и управленческому персоналу не только получать доступ к оперативной информации о деятельности предприятия, но и осуществлять на ее основе непрерывное планирование и управление имеющимися материальными, финансовыми и трудовыми ресурсами.

В связи с высокой стоимостью приобретения, внедрения и сопровождения выбор АСУП представляет собой достаточно ответственную задачу, трудность решения которой связана с отсутствием унифицированной терминологии и ясной открытой информации о характеристиках систем. Принятие решения о выборе системы управления осложняется также наличием на рынке программного обеспечения (ПО) большого количества отечественных и зарубежных предложений и в то же время отсутствием полноценных методик проведения комплексной оценки качества, сравнения и классификации АСУП с учетом основных аспектов их функционирования.

Исходя из этого, разработка для предприятий пищевой промышленности новых, математически обоснованных методов и средств комплексной оценки качества и классификации АСУП, позволяющих повысить достоверность оценок при выборе системы управления, является актуальной задачей. Учитывая, что не каждое предприятие располагает высококвалифицированными специалистами, способными самостоятельно решить задачу выбора АСУП, целесообразным является также создание

программного комплекса, позволяющего упростить задачу выбора системы управления за счет автоматизации процессов оценки качества, сравнения и классификации АСУП.

Целью работы является разработка комплекса решений, способствующих повышению достоверности и эффективности оценки качества АСУП для предприятий пищевой промышленности.

Объектом исследования в работе являются автоматизированные системы управления предприятием, представленные на российском рынке программного обеспечения.

Предметом исследований являются методы и средства оценки качества АСУП.

Основные задачи исследования, которые необходимо решить для достижения поставленной цели:

1. Провести анализ и классификацию известных методов оценки качества АСУП.

2. Провести анализ известных методов классификации АСУП.

3. Разработать математически обоснованную методику комплексной оценки качества АСУП.

4. Разработать структуру и определить весовые коэффициенты метрики для проведения комплексной оценки качества АСУП для предприятий пищевой промышленности.

5. Разработать методику классификации АСУП.

6. Разработать комплекс задач, предназначенный для автоматизации расчетов, выполняемых в ходе оценки качества и классификации АСУП.

7. Провести оценку качества и классификацию АСУП с помощью разработанных методов и средств.

Методы исследования. Для решения поставленных задач были использованы следующие теории и методы исследования: теория множеств, методы одномерной и многомерной классификации объектов,

нечеткие методы автоматической классификации, методы экспертных оценок, методы функционального моделирования и моделирования потоков данных.

Научная новизна исследования состоит в достижении следующих результатов:

1. Предложена новая классификация известных методов оценки качества АСУП.

2. Сформулирована задача комплексной оценки качества АСУП и предложен метод ее решения.

3. Разработана структура и определены весовые коэффициенты метрики для проведения комплексной оценки качества АСУП для предприятий пищевой промышленности.

4. Сформулирована математическая постановка задачи многомерной классификации АСУП.

5. Обоснован выбор методов решения задачи многомерной классификации АСУП с помощью алгоритмов кластерного анализа и нечетких эвристических кластер-процедур.

6. Разработан комплекс моделей: структурно-функциональная модель, модель потоков1 данных и инфологическая модель комплекса задач для автоматизации расчетов по оценке качества и классификации многомерных объектов, в том числе АСУП.

Практическую ценность работы определяют следующие полученные результаты:

1. Разработана математически обоснованная методика комплексной оценки качества АСУП, позволяющая проводить сравнительную оценку качества систем управления различных фирм-разработчиков.

2. Разработана методика проведения многомерной классификации АСУП, позволяющая упростить процесс выбора системы управления за счет объединения АСУП со схожими характеристиками качества в

5

отдельные классы.

3. Разработан программный комплекс, предназначенный для автоматизации расчетов, выполняемых в ходе проведения оценки качества и классификации многомерных объектов, в том числе АСУП.

4. Проведена оценка качества и классификация девятнадцати АСУП для предприятий пищевой промышленности, а также систем управления для лизинговых компаний и SCADA-систем. Даны рекомендации по внедрению АСУП разных классов на предприятиях.

Реализация результатов работы. Разработанный комплекс задач, построенный на базе предложенных методик комплексной оценки качества и классификации АСУП, использовался для обоснования выбора систем управления в ОАО «Хлебкомплект-сервис», ОАО «Финансовая Лизинговая Компания» и ООО «Конэкс». Полученные в рамках настоящего исследования научные и практические результаты внедрены в учебном процессе МГУПП для студентов специальности 23.01.02 «Автоматизированные системы обработки информации и управления». Имеются соответствующие акты внедрения. На разработанный программный комплекс задач в РОСПАТЕНТЕ получено свидетельство об официальной регистрации программы для ЭВМ.

Апробации работы и публикации по теме работы. Основные результаты выполненных исследований были представлены на следующих выставках и научных конференциях: VIII Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2004 г.; II, III и IV Всероссийских научно-технических конференциях-выставках «Высокоэффективные пищевые технологии, методы и средства для их реализации», г. Москва, 2004 г., 2005 г. и 2006 г.; XIII Международной научно-практической конференции «Управление организацией: диагностика, стратегия, эффективность», г. Санкт-Петербург, 2005 г.; III Международной

конференции «Управление технологическими свойствами зерна», г. Москва, 2005 г.; конференции «Автоматизация предприятий агропромышленного комплекса», г. Москва, 2005 г.; Международной научно-практической конференции «Стратегическое управление организацией: теория, методы, практика», г. Санкт-Петербург, 2006 г.; X Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2006 г. По теме диссертации опубликовано десять печатных работ, в том числе получено свидетельство РОСПАТЕНТА об официальной регистрации программы для ЭВМ.

Объем работы. Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы (150 отечественных и зарубежных источников), 11 приложений (38 страниц) и изложена на 231 странице.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, определены цели и задачи исследования, научная новизна и практическая ценность работы.

В первой главе дан краткий обзор российского рынка АСУП, приводится описание существующих подходов к решению задач оценки их качества и классификации. Под качеством программного обеспечения в работе понимается весь объем признаков и характеристик программной продукции, который относится к ее способности удовлетворять установленным или предполагаемым потребностям. На основании анализа известных методов оценки качества АСУП проведена их классификация, результаты которой представлены на рис. 1.

К первой группе были отнесены методы, предназначенные для оценки качества ПО. Методы оценки • качества по внутренним характеристикам основаны на оценке ряда технических показателей программы, таких, как сложность программы, вычислительная

неизбыточность, структурная целесообразность и т. п. В главе дан обзор наиболее распространенных методов данной группы: метрики размера

Ме годы оценки катшя ЛСУП

i

Мегш>ды оценки качестеа НО

'¡ о* ^'ду,»;*»,

Методы непосредственной оценки качества А СУП

.ГУЪ?*- < **,:

Методы оценки по

внутренним характеристикам

Метрики: размера программ

Метрики сложности потока управ 1еш1Я программ

Г

Метрики сложности пшока данных

Метрики спсшсттси л понятности программ

Метооы оценки по

слшианным д арактврист икал t

ГОСТ 2S195 89 Оценка качества щхн-раммных средств Общие положения

Мето0ы оценки по

внешним д арактеристикеш

\ ГОСТ РНСО 9126-93 | Оценка программкой ♦•^пролукшш. Характеристики качества и руководства по t их применению

jg

jf

Методика Г-TL

Метолика Воробьева Н.И., Коаылыкта A.B., 11л.и.чунз 1>Л(..

Юсупов» P.M.

На:

Afemoósi оценки качества работы фирмы-ртрайотчина

Мето-шка Пу гпниева A.B.

Методика Кале В.

^ Мсюдика

! Ьондаренко Л.

Методика Турбина С.

Методика Чикишевой Н.М., Проскуряковой Л.А.

Соответствие модели качества ISO 9000-3

j Методика

J Елтаренко Ii., j Сергиевского М.

Соответствие молети качества CMM-SEI

Методика Антошиноб И.В.

Рис. 1. Классификация методов оценки качества АСУП программ, метрики Холстеда, метрики Альбрехта, цикломатической меры сложности программы Маккейба и др. Приведены описания предложенных Ван Тасселом Д. и Конаковски Р. метрик, направленных на оценку уровня стилистики написания программы, а также дано понятие «добротности» программы в работе Поттосина И.В. К методам оценки качества ПО по внешним характеристикам относятся методы, направленные на оценку функциональных возможностей ПО без учета их внутренней реализации, разработанные Хубаевым Г.Н., Воробьевым В.И., Копыльцовым A.B.,

Пальчуном Б.П., Юсуповым P.M., Чикишевой Н.М., Проскуряковой JI.A., Елтаренко Е., Сергиевским М., Антошиной И.В. К методам данной группы также отнесен метод оценки, приведенный в ГОСТ Р ИСО 9126-93 «Оценка программной продукции. Характеристики качества и руководства по их применению». К группе методов оценки качества программного обеспечения по смешанным характеристикам отнесен метод, определенный в ГОСТ 28195-89 «Оценка качества программных средств. Общие положения».

В целом методы оценки качества по внутренним характеристикам позволяют получить достаточно точные оценки сложности программ, однако их практически невозможно использовать сторонним экспертам из-за отсутствия доступа к исходным текстам программ. Что же касается методов оценки качества ПО по внешним и смешанным характеристикам, то они направлены либо на оценку узкоспециализированных программных продуктов, либо наоборот - на оценку слишком обобщенных показателей качества ПО, не учитывающих всех аспектов функционирования АСУП.

Ко второй группе отнесены методы, предназначенные непосредственно для оценки качества АСУП, рассмотренные в работах Путинцева A.B., Кале В., Бондаренко JL, Турчина С. Эти методы, как правило, имеют более широкий набор показателей качества, учитывающий многие особенности систем управления. Однако в них чаще всего используется одноуровневая структура характеристик качества, затрудняющая проведение экспертной оценки характеристик, и упрощенный механизм получения интегральной оценки качества.

К третьей группе отнесены методы, устанавливающие связь между качеством АСУП и качеством работы фирмы-разработчика. Один из этих методов приведен в работе Мареева И. Вместе с тем нельзя однозначно утверждать, что соответствие работы фирмы-разработчика одной из моделей качества (ISO 9000-3 или CMM-SEI) может служить

показателем качества разрабатываемых ею продуктов, т.к. внешние показатели работы фирмы могут быть искусственно завышены до требуемого уровня. В связи с этим наличие качественного процесса разработки может лишь гарантировать, что качество разрабатываемого продукта будет расти, а не то, что разрабатываемый продукт уже обладает требуемым уровнем качества.

Однако в ряде случаев сами по себе оценки качества АСУП не могут являться однозначным решением задачи сравнения и выбора систем управления, так как абсолютно разные АСУП могут получить одну и ту же интегральную оценку. Поэтому для более точного решения задачи сравнения систем требуются алгоритмы, позволяющие проводить классификацию АСУП. Существующие на сегодняшний день методы классификации АСУП можно разделить на три группы.

К первой группе относятся методы, классифицирующие АСУП в зависимости от степени их соответствия концепциям управления промышленными предприятиями (MRP, MRPII, ERP). Недостаток данных методов заключается в том, что они позволяют проводить классификацию только достаточно крупных АСУП, количество которых не так велико, тогда как все небольшие системы, не соответствующие полностью ни одной из приведенных выше концепций, будут причислены к одному классу. Описание одного из методов данной группы приводится в работе Волчкова С.А.

Методы второй группы, построенные на основе экспертных оценок, сегодня являются наиболее распространенными и рассмотрены в работах Карпачева И.И., Мазура JI.E., Аглицкого Д., Писаревского М., Баронова В. и др. Результаты подобного рода классификации основываются на субъективных мнениях экспертов о сравниваемых ими АСУП. Одной из наиболее распространённых является классификация систем по их так называемым «размерам». Однако результаты такой классификации

ю

охватывают лишь наиболее распространенные системы и могут существенно различаться в зависимости от мнения экспертов. Тем не менее результаты подобных классификаций можно использовать для проверки достоверности разрабатываемых математических методов классификации.

К третьей группе относится предложенный Путинцевым A.B. метод классификация АСУП на основе математического аппарата. Данная группа методов - самая малочисленная по причине слабой распространенности математических методов оценки качества АСУП. В работе Путинцева A.B. для решения задачи классификации предлагается использовать алгоритмы кластерного анализа, однако автором не приводится обоснование выбора конкретного алгоритма и его сравнение с другими возможными методами решения задачи классификации.

Таким образом, проведенный анализ методов оценки и классификации систем управления показал необходимость разработки новых, математически обоснованных методик проведения оценки и классификации АСУП.

Во второй главе разработана методика решения задачи оценки качества АСУП различных фирм-разработчиков (рис. 2). В основу разрабатываемой методики были положены методы оценки, определенные ГОСТ Р ИСО 9126-93 и ГОСТ 28195-89. Однако в силу того, что характеристики, регламентируемые данными ГОСТами, не учитывают в полной мере все аспекты функционирования систем управления, в рамках методики разработана значительно расширенная метрика (иерархическая структура характеристик качества), применяемая для оценки качества АСУП, сокращенная версия которой представлена в таблице 1.

Построение метрики качества велось на основе универсального набора характеристик качества, определенного ГОСТ Р ИСО 9126-93 для любого класса ПО (функциональные возможности, надежность,

11

гкречень ИЗВЕСТНЫХ ХАРАКТЕРИСТИК качества

цель

ревозанля к характеристикам качества

гострисо

5126-«

гост 28195-39

ВЫБОР ХАРАКТЕРИСТИК КАЧЕСТВА

3"ания экспертов

пар аметрь систем

класс систем

требования ЗАКАЗЧИКА

дополнительные ТРЕБОВАНИЯ заказчика

характеристики качества

ДЕКОМПОЗИЦИЯ ХАРАКТЕРИСТИК КАЧЕСТВА

,„ структура и метрики

ВЫБОР СИСТЕМ ДЛЯ ОЦЕНКИ

ОЦЕНКА МАСШТАБА МЕТРИКИ

перечень систем

ИЗМЕРЕНИЕ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

структура метрики и

МЕТРИКА .качества

# .л

эксперт ные ОЦЕНКА

ОЦЕНКА СОГЛАСОВАННОСТИ ЭКСПЕРТНЬХ ДАННЫХ

.' 'л;^ ^

ЗНАЧЕНИЯ показателей качества

НОРМИРОВАНИЕ И РАСЧЕТ

ХАРАКТЕРИСТИК

КАЧЕСТВА

дополнительные требования к гкказатегям качества

соггАсовл«"»«

ЗЛСПЕРТНйЕ

оценки

результаты оценки

ВЫРАБОТКА РЕКОМЕНДАЦИИ

реко\*ендаш*и повьборуасуп

ЭКСПЕРТНЫЕ ОЦЕНКИ

классификация

Рис 2. Функциональная схема методики оценки качества АСУП

практичность, эффективность, сопровождаемость, мобильность), характеристик АСУП, а также с учетом требований, предъявляемых к характеристикам качества.

Значения весовых коэффициентов были определны на основании экспертного опроса более пятидесяти специалистов организаций и предприятий пищевой промышленности, в т.ч. руководителей предприятий, руководителей и специалистов отделов информационных технологий, сотрудников финансовых отделов, а также ведущих специалистов других отделов, заинтересованных во внедрении АСУП. Для повышения общего уровня согласованности экспертных оценок были использованы методы кластерного анализа, что позволило исключить из рассмотрения оценки экспертов, значительно отличающиеся от оценок основной группы, и за счет этого повысить общую согласованность экспертов в среднем с 71% до 76,5 %.

Таблица 1

Метрика характеристик качества АСУП

Характеристики качества АСУП Весовые коэффициенты по уровням декомпозиции

1 2 3 итоговый

1. Функциональные возможности 0,230 0,230

1.1. Пригодность 0,290 0,066

1.1.1. Производство 0,170 0,011

1.1.2. Сбыт 0,120 0,008

1.1.3. Снабжение 0,100 0,006

1.1.4. Бухгалтерия и налоговый учет 0,230 0,015

1.1.5. Персонал 0,090 0,006

1.1.6. Управление качеством 0,100 0,006

1.1.7. Управление ремонтами и ТО 0,090 0,006

1.1.8. Управление материальными потоками 0,100 0,006

1.2. Способность к взаимодействию 0,160 0,036

Продолжение табл. 1

Характеристики качества АСУП Весовые коэффициенты по уровням декомпозиции

1 2 3 итоговый

1.3. Правильность 0,280 0,064

1.4. Согласованность 0,270 0,062

2. Мобильность 0,09 0,090

2.1. Простота внедрения 0,260 0,023

2.2. Соответствие 0,200 0,018

2.3. Адаптируемость 0,320 0,028

2.4. Взаимозаменяемость 0,220 0,019

3. Эффективность 0,190 0,190

3.1. Стоимость внедрения системы (на 20 станций) 0,220 0,041

3.2. Стоимость сопровождения 0,130 0,024

3.3. Уровень автоматизации функций 0,260 0,049

3.4. Временная экономичность 0,200 0,038

3.5. Ресурсная экономичность 0,190 0,036

4. Сопровождаемость 0,120 0,120

4.1. Анализируемость 0,240 0,028

4.2. Изменяемость 0,260 0,031

4.3. Устойчивость 0,280 0,033

4.4. Тестируемость 0,220 0,026

5. Практичность 0,160 0,160

5.1. Понятность 0,360 0,057

5.2. Простота использования 0,350 0,056

5.3. Обучаемость 0,290 0,046

б. Надежность 0,210 0,210

6.1. Стабильность 0,380 0,079

6.2. Устойчивость к ошибкам 0,310 0,065

6.3. Восстанавливаемость 0,310 0,065

В рамках разработанной методики интегральная оценка качества АСУП определяется на основании оценок характеристик качества 1-ого уровня декомпозиции интегральной характеристики (универсальным характеристикам качества) по следующей формуле:

14

х „ = i V (k,i)X „(к, i), I v (к, i) = 1,

_> = i CU

n = 1, N , к = 1 , где X „ - интегральная оценка качества л-ой системы; Д - количество

характеристик качества ¿-ого уровня декомпозиции; V(k,i) _ весовой коэффициент (важность) /-ой характеристики качества ¿-ого уровня декомпозиции; Xп(к,i) - значение оценки г'-ой характеристики качества ¿-ого уровня декомпозиции для «-ой системы; N - количество систем.

Оценки характеристик качества системы управления для прочих уровней иерархии определяются по формуле

X „ (к,i) = Ms (к,i, j)V (к + 1, j)X „ (к + 1, j),

j = i

к = 1, К - 1, и = \, N , г = 1,1к,

1, если у - ая характеристика к +1 - ого уровня ^^ является подхарактеристтой для /' - ой характеристики к - ого уровня, О, в противном случае,

Ms(k, i, j) =

где - количество характеристик качества к+1- ого уровня

декомпозиции; - матрица смежности характеристик качества

¿-ого и к+1-ого уровней декомпозиции; К - количество уровней декомпозиции интегральной характеристики качества АСУП.

Усредненные оценки характеристик качества последнего уровня иерархии (показателей качества) определяются по результатам экспертного опроса в соответствии со следующей формулой:

х „{К , у) = х »(К (3)

" р- 1

где Хп(К, /) - значение7-ого показателя качества п-ой системы К-ото

уровня декомпозиции (последнего); Р - количество экспертных оценок показателя; Хп{К,],р) - оценка р-ым экспертом значения >ого показателя качества К-ого уровня декомпозиции «-ой системы.

В третьей главе выполнена математическая постановка задачи классификации АСУП, рассмотрены возможные методы ее решения и дано описание методики классификации.

Задача классификации АСУП рассматривается как задача классификации многомерных объектов, что позволяет, во-первых, четко различать АСУП по всему множеству классификационных признаков, во-вторых, определять для конкретного объекта несколько значений одного классификационного признака и при необходимости быстро адаптироваться к изменению их количества.

Исходное множество АСУП рассматривается в виде множества многомерных объектов 5

£ = {£•„}, п = 17м, (4)

где Б„ - и-ый объект (система управления); п - номер объекта; N -

количество объектов. Характеристики АСУП представлены в виде матрицы характеристик X:

8п = { X пт), X = \\ X пт \\, т = 1 ,М , (5)

где Хпт - т-ая характеристика «-ого объекта; X - матрица характеристик заданного множества объектов; т - номер характеристики; М - общее количество характеристик.

Задача классификации заключается в разделении исходной совокупности объектов $ на множество классов С0

С0={Ск}, к = йк~0, Ск ={£„}, и = 17л/7, (6)

где С* - множество объектов к-го класса; к - номер класса; К0 -оптимальное количество классов объектов; Л^ - количество объектов Л-го

16

класса.

При подобном разбиении объекты, принадлежащие одному классу, должны находиться относительно близко друг к другу, а сами классы различаться между собой:

Ск, V Ск е С0, V С, 6 Са: Ск р| С,=0, ¿=1 (')

к = 1К~0, 1 = ТХ0, кФ1.

В качестве меры сходства между объектами использовалась потенциальная функция, основанная на евклидовом расстоянии.

Для определения оптимальной классификации проводится расчет критерия качества классификации, принимающего максимальное значение при оптимальной классификации:

и (К а) = тах_ {((/,(£) - С/2(*))} , (8)

к ,2 К '

где и(К0) - оптимальное значение критерия качества классификации; и ¡(К)

- компактность классов; и2(К) - мера близости классов.

В качестве метода решения задачи классификации были выбраны методы кластерного анализа, основанные на алгоритмах средней связи и Уорда, относящихся к группе иерархических агломеративных методов кластерного анализа. Основными преимуществами данных методов являются возможность одновременного учета в процессе классификации значений всех характеристик АСУП и их самообучаемость, позволяющая отказаться от процедур построения обучающих выборок и задания исходных условий классификации. На этапе предварительного анализа исследуемой совокупности систем управления для определения структуры и числа их классов целесообразно использовать алгоритм классификации, предложенный Тамурой С., Хигути С. и Танакой К., относящийся к группе нечетких эвристических кластер-процедур и отличающийся простотой вычислений и высокой скоростью обработки данных.

17

Четвертая глава посвящена разработке комплекса задач «Комплексная оценка качества и классификация многомерных объектов», построенного на основе предложенных методик. Комплекс задач, структурно-функциональная модель которого приведена на рис. 3, представляет собой модульный программный продукт, предназначенный для автоматизации расчетов, выполняемых в ходе оценки и классификации АСУП, программных продуктов, а также прочей продукции, характеристики которой могут быть представлены в виде многомерных объектов.

Разработанный комплекс позволяет вести работу с произвольным числом метрик качества многомерных объектов; формирует анкеты для проведения экспертных опросов; автоматизирует процесс расчета весовых коэффициентов характеристик качества по результатам обработки экспертных данных; выполняет анализ согласованности экспертных оценок; обладает встроенными механизмами отсева «случайных» экспертов; автоматизирует расчет оценок качества многомерных объектов по заданной характеристике качества с представлением результатов в текстовом и графическом виде; позволяет проводить одномерную и многомерную классификации объектов при помощи трех алгоритмов классификации (алгоритм средней связи, алгоритм Уорда, алгоритм Тамуры-Хигути-Танаки) с применением четырех видов мер близости (евклидово расстояние, взвешенное евклидово расстояние, расстояние cityblock, расстояние Минковского) в разрезе любой выбранной характеристики качества с автоматическим или ручным заданием целевого количества классов.

В главе приводятся функциональная модель комплекса задач, модель потоков данных, описывающая процессы обработки данных от момента их поступления в комплекс до выдачи результата пользователю, и информационная модель объектов базы данных комплекса.

18

^Знания экспертов

Исходная структура метрики

Весовые

<09фф.

характер« -

Эксперты

ВВОД СТРУКТУРЫ МЕТРИКИ КАЧЕСТВА ОБЪЕКТОВ И РАСЧЕТ ЗНАЧЕНИЙ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

-'Р?

Экспертные оценки

Оцениваемые объекты

Значения показателей очества

Оцениваемая характеристика

Параметры классификации

Структура метрики качества

Пользователь

ВВОД ЭКСПЕРТНЫХ ОЦЕНОКДЛЯ ВЕСОВЫХ КОЭФФИЦИЕНТОВ ХАРАКТЕРИСТИК КАЧЕСТВА

.¡{Экспертные ¡цеики

Согласованные

экспертные

оценки

ВЫЯВЛЕНИЕ РАССОГЛАСОВАНИЙ МЕТРИКИ И АНАЛИЗ СОГЛАСОВАННОСТИ ЭКСПЕРТНЫХ ОЦЕНОК

Выявленные

ошибки

метрики

НОРМИРОВАНИЕ И РАСЧЕТ ОЦЕНОК ПОКАЗАТЕЛЕЙ И ХАРАКТЕРИСТИК КАЧЕСТВА ОБЪЕКТОВ

Результаты £ оцеьш ^ объектов

Характеристика качества

Алгоритм классификации

Мера близости

Дополнительные параметры

Распределения экспертных оценок -».

ВВОД ЗНАЧЕНИЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ОБЪЕКТОВ

тт

Показатели

качества

объектов

Объекты

КЛАССИФИКАЦИЯ ОБЪЕКТОВ

„в

Результаты

классификации

"объектов

Графическое представление результатов расчетов

Критерии качества классификации

ПОДГОТОВКА АНКЕТ И ПОСТРОЕНИЕ ГРАФИЧЕСКИХ И ТЕКСТОВЫХ ПРЕДСТАВЛЕНИЙ РЕЗУЛЬТАТОВ РАСЧЕТОВ

Анкеты -

Тестовые отчеты по результатам расчетов

Рис. 3. Структ>рно-функциональная модель комплекса задач

В пятой главе приводятся результаты решения задач комплексной оценки и многомерной классификации девятнадцати АСУП для пищевой промышленности. Для каждой системы управлений приведена ее краткая характеристика, а также результаты внедрений на российских предприятиях. В ходе анализа и обобщения результатов, полученных с помощью различных алгоритмов классификации, исходная совокупность рассматриваемых АСУП была разделена на пять классов (рис. 4).

В Крупные интегрированные системы умеренной стоимости ■ Крупные интегрированные системы

Рис, 4. Результаты классификации АСУП В классы локальных и малых интегрированных систем управления вошли недорогие российские системы управления, как правило, предназначенные для ведения учета по одному или нескольким направлениям (бухгалтерия, сбыт, склады, учет кадров и т.д.). Системами этого класса могут воспользоваться практически любые предприятия, которые заинтересованы в управлении финансовыми потоками и автоматизации отдельных учетных функций.

К классу средних интегрированных систем управления были отнесены системы управления российских фирм-разработчиков,

включающие в себя ряд функций управления и планирования производственного процесса предприятия, но уступающие системам следующих двух классов по уровню используемых ими информационных технологий. Системы данного Класса могут быть рекомендованы для средних и крупных промышленных предприятий, выделяющих ограниченные ресурсы на автоматизацию.

В классы крупных интегрированных систем и крупных интегрированных систем умеренной стоимости вошли преимущественно системы управления западных фирм-разработчиков, предназначенные для управления и планирования производственного процесса и учитывающие потребности всех подразделений предприятия. Системы данных классов обладают развитым функционалом и высокой надежностью, однако из-за большой стоимости внедрения они могут быть рекомендованы для внедрения только на крупных промышленных предприятиях.

Динамика изменения критериев качества классификации представлена на рис. 5.

Рис. 5. Критерии качества классификации 21

В работе также приводятся результаты оценки и классификации систем управления для лизинговых компаний и БСАОЛ-систем.

ЗАКЛЮЧЕНИЕ И ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В ходе проведенного исследования получены следующие основные результаты:

1. Проведены анализ и классификация известных методов оценки качества и классификации АСУП.

2. Сформулирована математическая постановка задачи комплексной оценки качества АСУП, позволяющая получать как интегральную оценку качества систем управления, так и оценки систем по характеристикам качества любого уровня декомпозиции.

3. Разработана методика комплексной оценки качества АСУП. Определена структура и весовые коэффициенты метрики для оценки качества систем управления для предприятий пищевой промышленности. Предложен метод повышения степени согласованности экспертных данных за счет отсева «случайных» оценок экспертов с помощью алгоритмов кластерного анализа.

4. Сформулирована математическая постановка задачи многомерной классификации АСУП. Для решения задачи выбрана группа методов кластерного анализа, основанных на методе потенциальных функций. Для предварительного анализа исследуемой совокупности АСУП выбрана иерархическая версия алгоритма Тамуры-Хигути-Танаки.

5. Разработана математически обоснованная методика классификации АСУП, позволяющая упростить процесс выбора системы управления за счет объединения АСУП со схожими характеристиками качества в отдельные классы.

6. Разработан комплекс моделей: структурно-функциональная модель, модель потоков данных и инфологическая модель комплекса

задач для автоматизации расчетов по оценке качества и классификации многомерных объектов, в том числе АСУП.

7. Разработан программный комплекс задач для автоматизации процедур комплексной оценки качества и классификации многомерных объектов (свидетельство РОСПАТЕНТА № 2006613936 от 16.11.2006). Комплекс позволяет сократить время, затрачиваемое на обработку информации о характеристиках систем, уменьшить влияние на оценку «человеческого фактора».

8. Решены задачи оценки качества и классификации АСУП для предприятий пищевой промышленности, систем управления для лизинговых компаний и SCADA-систем.

9. Результаты работы внедрены в ОАО «Хлебкомплект-сервис», ОАО «Финансовая Лизинговая Компания», ООО «Конэкс», учебном процессе МГУПП для студентов специальности 23.01.02 «Автоматизированные системы обработки информации и управления».

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ:

1. Мышенков К.С., Гетьман В.В., Карпов В.И. Классификация систем управления промышленными предприятиями // Системный анализ в проектировании и управлении: Тр. VIII Междунар. науч.-практ. конф. / СПбГПУ: В 2 ч. - СПб.: Изд-во «Нестор», 2004. - Ч. 2. - С. 3-7.

2. Мышенков К.С., Гетьман В.В., Карпов В.И. Методика оценки качества автоматизированных систем управления предприятиями // Высокоэффективные пищевые технологии, методы и средства для их реализации: Сб. докл. II Всеросс. науч.-техн. конф.-выст. / МГУПП: В 2 ч. - М.: Изд. комплекс МГУПП, 2004. - Ч. 1. - С. 317-322.

3. Мышенков К.С., Гетьман В.В. ' Оценка качества систем управления предприятиями // Управление организацией: диагностика, стратегия, эффективность: Тр. XIII Междунар. науч.-практ. конф. /

23

СПбГПУ. - СПб.: Изд-во Политехи, ун-та, 2005. - С. 306-311.

4. Мышенков К.С,, Гетьман В.В. Математическая постановка и метод решения задачи классификации систем управления предприятиями // Управление технологическими свойствами зерна: Сб. докл. и статей III Междунар. конф. / МГУПП. - М.: Изд. комплекс МГУПП, 2005. - С. 166173.

5. Гетьман В.В. Комплекс задач для комплексной оценки качества автоматизированных систем управления (АСУ) // Высокоэффективные пищевые технологии, методы и средства для их реализации: Сб. докл. III Юбил. междунар. выст.-конф. / МГУПП: В 2 ч. - М.: Изд. комплекс МГУПП, 2005. - Ч. 2. - С. 130-134.

6. Гетьман В.В. Комплекс задач для оценки качества и классификации автоматизированных систем управления (АСУ) // Стратегическое управление организацией: теория, методы, практика: Тр. Междунар. науч.-практ. конф. / СПбГПУ. - СПб.: Изд-во Политехи, ун-та, 2006.-С. 285-289.

7. Мышенков К., Гетьман В. Комплексная оценка качества АСУТП // Комбикорма. - 2006. 7. - С. 51-52.

8. Мышенков К., Гетьман В. Методика классификации автоматизированных систем управления предприятиями // Хлебопродукты. -2006,-№9.- С. 66-67.

9. Гетьман В.В. Применение алгоритма нечетких эвристических процедур в решении задачи классификации систем управления предприятиями // Системный анализ в проектировании и управлении: Тр. X Междунар. науч.-практ. конф. / СПбГПУ: В 2 ч. - СПб.: Изд-во Политехи, ун-та, 2006. - Ч. 1.-С. 115-119.

10. Свид. об офиц. регистр, прогр. для ЭВМ № 2006613936 РФ. Комплексная оценка качества и классификация многомерных объектов / Мышенков К.С., Карпов В.И., Гетьман В.В. - № 2006613704; Заяв. 02Л 1.2006; Зарегистр. 16.11.2006.

Подписано в печать 18.01.07. Формат 30 х 42 1/8. Бумага типографская №1. Печать офсетная. Печ. л. 1,0. Тираж 130 экз. Заказ 5. 125080, Москва, Волоколамское ш., 11 ИК МГУПП

Оглавление автор диссертации — кандидата технических наук Гетьман, Валентин Валентинович

Введение.

1.Анализ методов оценки качества и классификации автоматизированных систем управления предприятиями.

1.1 .Обзор российского рынка систем управления предприятиями.

1.2. Методы оценки качества программного обеспечения.

1.2.1 .Методы оценки качества ПО по внутренним характеристикам.

1.2.2.Методы оценки качества ПО по внешним показателям.

1.2.3.Методы оценки качества ПО по смешанным показателям.

1.3.Методы оценки качества систем управления предприятиями.

1 АМетоды оценки качества систем управления предприятиями через оценку качества работы фирмы-разработчика.

1.5.Классификация методов оценки качества систем управления предприятиями.

1.6.Анализ методов классификации систем управления предприятиями.

1.6.1.Классификация систем управления по уровню соответствия их мировым концепциям управления промышленным предприятием в информационных системах.

1.6.2.Классификация систем управления на основе экспертных оценок.

1.6.3.Классификация систем управления на основе математических методов.

1.7.Содержательная постановка задачи.

1.8.Выводы по главе 1.

2.Разработка методики комплексной оценки качества автоматизированных систем управления предприятиями.

2.1.Математическая постановка задачи.

2.2.Методика комплексной оценки качества автоматизированных систем управления предприятиями.

2.2.1.Выбор и декомпозиция характеристик качества.

2.2.2.0ценка (определение) масштаба метрики качества.

2.2.3.Оценка согласованности результатов экспертного опроса.

2.2.4.0ценка качества систем управления.

2.3.Разработка метрики качества для оценки систем управления.

2.4.Выводы по главе 2.

3.Разработка методики классификации автоматизированных систем управления предприятиями.

3.1 .Математическая постановка задачи.

3.2.Методы решения задачи классификации.

3.2.1.Метод комбинационных группировок.

3.2.2.Метод кластерного анализа.

3.2.3.Метод дискриминантного анализа.

3.2.4.Нечеткие методы автоматической классификации.

3.3.Методика решения задачи классификации.

ЗАВыводы по главе 3.

4.Разработка комплекса задач «Комплексная оценка качества и классификация многомерных объектов».

4.1 .Структурно-функциональная модель комплекса задач.

4.2.Модель потоков данных комплекса задач.

4.3.Информационная модель комплекса.

4.4.Архитектура программного обеспечения комплекса задач.

4.5.Выводы по главе 4.

5.Результаты решения задач оценки качества и классификации.

5.1.Оценка качества автоматизированных систем управления для предприятий пищевой промышленности.

5.2.0ценка качества автоматизированных систем управления для лизинговых компаний.

5.3.Оценка качества автоматизированных систем управления технологическими процессами.

5.4.Выводы по главе 5.

Введение 2007 год, диссертация по информатике, вычислительной технике и управлению, Гетьман, Валентин Валентинович

На сегодняшний день пищевая промышленность в России входит в число лидеров по объемам промышленного производства. Тенденции развития отрасли требуют реорганизации информационных потоков на предприятиях, обеспечивающих достаточность и четкость работы их подразделений, что возможно лишь на основе современной автоматизированной системы управления предприятием (АСУП).

Несколько лет назад на рынке программного обеспечения (ПО) были представлены системы управления, предлагающие автоматизацию отдельных подразделений предприятия (как правило, ведение бухгалтерского или складского учета). Однако на сегодняшний день возможностей этих систем явно недостаточно. Для успешного управления крупным предприятием необходим детальный анализ производственной деятельности, заключающийся в определении доходности выпускаемого ассортимента, структуры затрат и издержек, факторов, влияющих на прибыль, дебиторской и кредиторской задолженности и т.д., выполнить который могут лишь современные информационные системы управления, построенные по принципу единого информационного пространства. Внедрение на предприятии подобных систем управления позволяет руководству и управленческому персоналу не только получать доступ к оперативной информации о деятельности предприятия, но и осуществлять на ее основе непрерывное планирование и управление имеющимися материальными, финансовыми и трудовыми ресурсами.

Таким образом, под системой управления предприятием в данной работе будет подразумеваться некая операционная среда, способная предоставлять актуальную и достоверную информацию о бизнес-процессах предприятия (в том числе территориально распределенного и имеющего сложную структуру), необходимую для планирования операций, их выполнения, регистрации и анализа. В этой среде реализуется полный рыночный цикл - от планирования бизнеса до анализа результатов деятельности предприятия и последующей корректировки планов. Задача системы заключается в том, чтобы упорядочить информационные потоки, предоставить менеджерам всех уровней эффективный доступ к данным для принятия мотивированных управленческих решений [96].

По ряду причин выбор системы управления представляет собой достаточно сложную и ответственную задачу, решение которой связано с определенными трудностями. Во-первых, любая система управления предприятием - это не обычная программа, которую можно купить, быстро установить и отказаться от нее через год. Обычно система управления приобретается на достаточно долгий срок (средний срок эксплуатации может составлять десять лет), причем только внедрение системы может занять несколько месяцев, и на все это время предприятие будет привязано к компании-разработчику и ее программному продукту.

Во-вторых, чтобы система управления приносила экономический эффект, она должна соответствовать возможностям и уровню развития предприятия. Это означает, что перед приобретением программного комплекса нужно определить, какие его модули действительно необходимы предприятию и могут давать выгоду сразу, а не в отдаленной перспективе, и уже по мере развития предприятия постепенно производить наращивание имеющихся возможностей системы.

В-третьих, стоимость внедрения подобного рода систем может достигать миллионов долларов, и в мировой практике известны случаи, когда ошибка выбора внедряемой системы управления приводила если не к банкротству предприятия, то, как минимум, к существенным финансовым потерям.

В-четвертых, количество систем управления, представленных на рынке программного обеспечения, также затрудняет процесс выбора системы управления. На сегодняшний день количество подобного рода систем превышает несколько десятков, причем увеличение их числа происходит как за счет роста числа отечественных разработок, так и за счет активного продвижения на российский рынок продуктов западных фирм-разработчиков.

Несмотря на все перечисленные сложности, сопровождающие процесс выбора систем управления, на сегодняшний день приходится констатировать довольно парадоксальную ситуацию, заключающуюся в практически полном отсутствии методик, позволяющих проводить комплексную оценку и сравнение систем управления различных фирм-разработчиков. Оценка качества систем управления с помощью существующих методов оценки качества ПО позволяет получать достаточно точные оценки сложности системы управления. Однако эти оценки представляют интерес для разработчиков, а не для конечных пользователей, в большей степени интересующихся тем, как быстро система управления выполняет требуемые функции, а не тем, с помощью каких алгоритмов это достигается. Кроме того, получить такие оценки сторонним экспертам практически невозможно из-за отсутствия доступа к исходным текстам программ.

Экспертные способы оценки качества систем управления также нельзя назвать эффективными по той причине, что результаты подобных оценок невоспроизводимы, поскольку они базируются на человеческом факторе, и каждый эксперт может иметь собственное представление об оцениваемых системах управления. Помимо этого, один эксперт физически не может быть знаком со всеми системами управления, чтобы дать однозначную оценку по каждой из них.

Во встречающихся методах, предназначенных для непосредственной оценки качества систем управления, как правило, прибегают к использованию упрощенных математических методов и наборов характеристик качества, в результате чего получаемые результаты дают лишь поверхностное представление об отдельных особенностях функционирования систем управления, но никак не о комплексной оценке качества всей системы.

Проведенный анализ показал, что разработка для предприятий пищевой промышленности новых, математически обоснованных методов комплексной оценки качества автоматизированных систем управления, позволяющих повысить достоверность их выбора на начальном этапе внедрения, является актуальной задачей.

Целью данной работы является разработка комплекса решений, способствующих повышению достоверности и эффективности оценки качества АСУП для предприятий пищевой промышленности.

В соответствии с поставленной целью были сформулированы и решены следующие основные задачи:

1. Провести анализ и классификацию известных методов оценки качества АСУП.

2. Провести анализ известных методов классификации АСУП.

3. Разработать математически обоснованную методику комплексной оценки качества АСУП.

4. Разработать структуру и определить весовые коэффициенты метрики для проведения комплексной оценки качества АСУП для предприятий пищевой промышленности.

5. Разработать методику классификации АСУП.

6. Разработать комплекс задач, предназначенный для автоматизации расчетов, выполняемых в ходе оценки качества и классификации АСУП.

7. Провести оценку качества и классификацию АСУП с помощью разработанных методов и средств.

Объектом исследования в данной работе являются автоматизированные системы управления предприятием, представленные на российском рынке программного обеспечения.

Предметом исследований в работе являются известные методы и средства оценки качества автоматизированных систем управления предприятием.

Научные исследования проводились на основе методов оценки качества программного обеспечения, теории множеств, методов одномерной и многомерной классификации объектов, нечетких методов автоматической классификации, методов экспертных оценок, методов функционального моделирования, моделирования потоков данных и являются продолжением и развитием исследований, выполненных Путинцевым А.В. [60,92] и Мышенковым К.С. [77-79,81-85], дополнив их новыми подходами к решению и автоматизации задач комплексной оценки качества и классификации АСУП, а также новым алгоритмом, позволяющим повысить общую согласованность экспертных оценок, используемых при решении этих задач.

Автор видит научную новизну исследования в достижении следующих результатов:

1. Предложена новая классификация известных методов оценки качества АСУП.

2. Сформулирована задача комплексной оценки качества АСУП и предложен метод ее решения.

3. Разработана структура и определены весовые коэффициенты метрики для проведения комплексной оценки качества АСУП для предприятий пищевой промышленности.

4. Сформулирована математическая постановка задачи многомерной классификации АСУП.

5. Обоснован выбор методов решения задачи многомерной классификации АСУП с помощью алгоритмов кластерного анализа и нечетких эвристических кластер-процедур.

6. Разработан комплекс моделей: структурно-функциональная модель, модель потоков данных и инфологическая модель комплекса задач для автоматизации расчетов по оценке качества и классификации многомерных объектов, в том числе АСУП.

Практическую ценность работы определяют следующие полученные результаты:

1. Разработана математически обоснованная методика комплексной оценки качества АСУП, позволяющая проводить сравнительную оценку качества систем управления различных фирм-разработчиков.

2. Разработана методика проведения многомерной классификации АСУП, позволяющая упростить процесс выбора системы управления за счет объединения АСУП со схожими характеристиками качества в отдельные классы.

3. Разработан программный комплекс, предназначенный для автоматизации расчетов, выполняемых в ходе проведения оценки качества и классификации многомерных объектов, в том числе АСУП.

4. Проведена оценка качества и классификация девятнадцати АСУП для предприятий пищевой промышленности, а также систем управления для лизинговых компаний и SCADA-систем. Даны рекомендации по внедрению АСУП разных классов на предприятиях.

Разработанный комплекс задач, построенный на базе предложенных методик комплексной оценки качества и классификации АСУП, использовался для обоснования выбора систем управления в ОАО «Хлебкомплект-сервис», ОАО «Финансовая Лизинговая Компания» и ООО «Конэкс». Полученные в рамках настоящего исследования научные и практические результаты внедрены в учебном процессе МГУПП для студентов специальности 23.01.02 «Автоматизированные системы обработки информации и управления». Имеются соответствующие акты внедрения.

Основные результаты выполненных исследований были представлены на следующих выставках и научных конференциях: VIII Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2004 г.; И, III и IV Всероссийских научно-технических конференциях-выставках «Высокоэффективные пищевые технологии, методы и средства для их реализации», г. Москва, 2004 г., 2005 г. и 2006 г.; XIII Международной научно-практической конференции «Управление организацией: диагностика, стратегия, эффективность», г. Санкт-Петербург,

2005 г.; Ill Международной конференции «Управление технологическими свойствами зерна», г. Москва, 2005 г.; конференции «Автоматизация предприятий агропромышленного комплекса», г. Москва, 2005 г.; Международной научно-практической конференции «Стратегическое управление организацией: теория, методы, практика», г. Санкт-Петербург, 2006 г.; X Международной научно-практической конференции «Системный анализ в проектировании и управлении», г. Санкт-Петербург, 2006 г. По теме диссертации опубликовано десять печатных работ, в том числе получено свидетельство РОСПАТЕНТА об официальной регистрации программы для ЭВМ.

Диссертационная работа состоит из введения, пяти глав, заключения, списка литературы (150 отечественных и зарубежных источников), 11 приложений (38 страниц) и изложена на 231 странице.

Заключение диссертация на тему "Методы и средства оценки качества автоматизированных систем управления для предприятий пищевой промышленности"

9. Результаты работы внедрены в ОАО «Хлебкомплект-сервис», ОАО «Финансовая Лизинговая Компания», ООО «Конэкс», учебном процессе МГУПП для студентов специальности 23.01.02 «Автоматизированные системы обработки информации и управления» (приложения 8-11).

ЗАКЛЮЧЕНИЕ

Библиография Гетьман, Валентин Валентинович, диссертация по теме Автоматизация и управление технологическими процессами и производствами (по отраслям)

1. Аглицкий Д. Автоматизация управления предприятием. http://www.lexaudit.ru/articles/statl08.html, 2001.

2. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974.

3. Антошина И.В. Процедуры и модели оценки качества и выбора прикладного программного обеспечения систем обработки информации: Дис. . канд. техн. наук. Москва, 2001. 225 с.

4. Антошина И.В., Домрачев В.Г., Ретинская И.В. Основные тенденции оценивания качества программных средств. http://www.quality21.ru/index.php?module=subjects&func=viewpage&pageid=198, 2004.

5. Апостолова Н. А., Гольдштейн Б. С., Зайдман Р. А. О программометрическом подходе к оценкам программного обеспечения // Программирование.- 1995.-№4,- с. 38-44.

6. Архипов А.Е., Архипова С.А., Носок С.А., Пишко И.В. Применение методов классификации к задаче обработки данных экспертного опроса // Радюелектронжа. 1нформатика. Управлншя. 2003 . - № 2.

7. Астахов В.О. Комплексная автоматизированная система управления предприятием как средство повышения конкурентоспособности. Стратегия выбора и внедрения. http://www.expertgroup.ru/expertBS/publicl.asp.

8. Афифи А., Эйзен С. Статистический анализ: подход с использованием ЭВМ. М.: Мир, 1982.

9. Ашимов А.А., Мамиконов А.Г., Кульба В.В. Оптимальные модульные системы обработки данных. Алма-Ата: Наука КазССР, 1981. - 188 с.

10. Баронов В. ERP-системы в России // Сетевой журнал. 2001. - №5.

11. Баронов В. ERP системы: Мировой опыт // Сетевой журнал. - 2001. -№5.

12. Берштейн JI.С., Дзюба Т.А. Решение задачи классификации на нечетких графах // Новости искусственного интеллекта. 2000. - № 3.

13. Бондаренко Л. Методика выбора ERP-системы в качестве основы интегрированной системы управления предприятием // Финансовая газета. -2005.- № 14.- С. 14-15.

14. Бочаров Е.П., Карпов В.И. Методические указания по использованию методов классификации и ранжирования многомерных объектов. М.: МГУПП, 1988.

15. Бухштабер В.М., Маслов В.И., Зеленюк Е.А. Методы анализа и построения алгоритмов автоматической классификации на основе математических моделей // Прикладная статистика. М.: Наука, 1983.

16. Ван Тассел Д. Стиль, разработка, эффективность, отладка и испытание программ.-М.: Энергоатомиздат, 1984.

17. Вартазаров И.С., Горлов И.Г., Минаев Е.В., Хвастунов P.M. / Под ред. Хвастунова P.M. / Экспертные оценки и их применение в энергетике. М.: Энергоиздат, 1981.

18. Васнев С.А. Статистика: учебное пособие. М.: МГУП, 2001.

19. Вендров A.M. CASE-технологии. Современные методы и средства проектирования информационных систем, http://www.citforum.ru/database/case/, 1999.

20. Верников Г. Основы методологий IDEF (IDEF0, IDEF1X, IDEF3, IDEF5) и DFD. http://www.citforum.ru/cfin/idef, 1999.

21. Верников Г. Описание стандарта MRPII. http://www.vernikov.ru/material22.html, 2004.

22. Верников Г. Основы систем класса MRP-MRPII. http://www.vernikov.ru/material21 .html, 2004.

23. Верников Г. Состав процедур планирования MRP. http://www.vernikov.ru/material30.html, 2004.

24. Берников Г. Стандарт MRPII. Структура и основные принципы работы систем, поддерживающих этот стандарт, http://www.vernikov.ru/material24.html, 2004.

25. Волчков С. А, Мировые стандарты управления промышленным предприятием в информационных системах (ERP-системы) // Организатор производства. 1999. - № 1.

26. Воробьев В. И., Копыльцов А. В., Пальчун Б. П., Юсупов Р. М. Методы и модели оценивания качества программного обеспечения. СПб.: СПИИРАН, 1992.- 33 с.

27. Вятченин Д.А. Нечеткие методы автоматической классификации: монография. Мн.: УП Технопринт, 2004. - 219 с.

28. Гайфуллин Б., Обухов И. Современные системы управления // КомпьютерПресс. 2001. - №9.

29. Гейн К., Сарсон Т. Системный структурный анализ: средства и методы. М.: Эйтекс, 1992.

30. Глинских А., Андронова О. Анализ современного состояния российского рынка КИС . http://www.ci.ru/informl200/p22kis.htm, 2001.

31. Глинских А. Современный рынок ERP-систем // Программное обеспечение. 2003. - № 10.

32. Глинских А. Мировой рынок ERP-систем // Jet Info Online. 2005. - № 2. http://www.jetinfo.rU/2002/2/l/articlel.2.2002.html, 2005.

33. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. М.: Изд. стандартов, 1989. - 38 с.

34. ГОСТ Р ИСО 9126-93. Оценка программной продукции. Характеристики качества и руководства по их применению. М.: ИПК Изд-во стандартов, 1993.

35. Граванова Ю. Потенциал российского рынка ERP пока не исчерпаем. http://www.cnews.ru/reviews/free/software2005/articles/erprussia.shtml, 2006.

36. Дадали А. Системы ERP // КомпьютерПресс. 2001. - № 10.

37. Дж. Вен Райзин. Классификация и кластерный анализ. Под ред. Журавлева Ю.И. М.: Мир, 1978.

38. Домрачев В.Г., Ретинская И.В., Скуратов А.К. О методике сравнительного анализа ERP-систем. http://www.diag.ru/conf/archive/Doc/Domrachev4.htm, 2004.

39. Дорохов Р. Обогнали Португалию. Российский рынок ERP-систем вырос до $127 млн. http://www.sostav.ru/news/2004/08/25/701/, 2004.

40. Дюран Б. Кластерный анализ. М.: Статистика, 1977.

41. Елкина В.Н., Загоруйко Н.Г. Количественные критерии качества таксономии и их использование в процессе принятия решений // Вычислительные системы. Новосибирск: Наука, 1969.

42. Елтаренко Е., Сергиевский М. Оценка аппаратных и программных средств по многоуровневой системе критериев // Компьютер-пресс. 1998. № 8.-С. 268-272.

43. Жамбю М. Иерархический кластерный анализ и соответствия. М.: Финансы и статистика, 1988.

44. Заде JI.A. Размытые множества и их применение в распознавании образов и кластер-анализе // Классификация и кластер / Под ред. Дж. Вэн Райзтна. / Пер с англ. под ред. Ю.И. Журавлева. М.: Мир, 1980.

45. Зайцев C.J1. Автоматизированные системы управления предприятием. http://www.interface.ru/fset.asp?Url=/chapters/news.htm, 2001.

46. Зубинский А. На старт! Внимание! И? // Компьютерное обозрение. -2005.

47. Зырянов М. В поисках идеала// Computerworld. 1999. - № 13.

48. Изосимов А.В., Рыжко A.J1. Метрическая оценка качества программ. -М.: МАИ, 1989.

49. Иорданский Д.И. Применение экспертных методов в отраслевом прогнозировании. // Электротехническая промышленность. Серия Общеотраслевые вопросы. Вып.З.- М.: Информэлектро, 1975, С. 12-17.

50. Кале В. Внедрение Sap R/3: Руководство для менеджеров и инженеров. Пер. с англ. П.А.Панов- М.: Компания АйТи, 2004.

51. Калянов Г.Н. CASE: структурный системный анализ (автоматизация и применение). М.: ЛОРИ, 1996.

52. Калянов Г.Н. Консалтинг при автоматизации предприятий. Подходы, методы, средства. М.: СИНТЕГ, 1997. - 316 с.

53. Калянов Г.Н. CASE-технологии. Консалтинг в автоматизации бизнес-процессов. М.: Горячая линия-Телеком, 2002. - 320 с.

54. Карпачев И. Классификация компьютерных систем управления предприятием. http://www.interface.ru/fset.asp7UrH/mrp/igor.htm, 2000.

55. Карпачев И. О стилях и классах (реальность и мифология компьютерных систем управления предприятием). http://www.lexaudit.ru/articles/stat55.html, 2000.

56. Карпачев И. Чуда не будет, http://www.cfin.ru/press/boss/2001-04/12.shtml, 2001.

57. Карпов В.И., Мышенков К.С., Путннцев А.В. Сравнительный анализ информационных АСУП на российском рынке программных продуктов // Промышленные АСУ и контроллеры. 2000.- №3.- С.45-47.

58. Ким Дж.-О., Мыоллер Ч.У. и др. Факторный, дискриминантный и кластерный анализ. Пер. с англ. М.: Финансы и статистика, 1989. - С.123-132.

59. Коваленко И.И., Бидюк П.И., Баклан И.В. Системный анализ и информационные технологии в управлении проектами. К.: Экономика и право, 2001.- 270с.

60. Когаловский В. Производственное планирование от Гантта до ERP. Что такое ОРТ, Just-in-time, CIM, CALS? Какова их связь с ERP и MRP И? // Директор ИС. 2000. - № 5.

61. Колесников С.Н. Базовые стандарты управления (из истории методологий MRP II ERP). http://www.it-management.ru/content/view/127/80/, 2000.

62. Конин А.А. Интегрированные системы управления предприятием: классификация и области применения. http://referat.cis2000.ru/books/book3/ch3ll.shtml, 2000.

63. Кулибаба В.И., Снегирев А.А., Сосырев Д. В., Шабля О.В. Компьютерные системы управления предприятием. http://www.interface.ru/fset.asp?Url=/mф/ksup.htm, 2000.

64. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983.

65. Липаев В.В. Тестирование программ М.: Радио и связь, 1986. - 293 с.

66. Литвак Б.Г. Экспертные технологии в управлении. М.: Дело, 2004.

67. Мазур Л.Е. Как выбрать систему управления для промышленного предприятия, http://www.lexaudit.ru/stat24.html.

68. Мандель И.Д. Кластерный анализ. М.: Финансы и статистика, 1988.

69. Мареев И. Это сладкое слово «качество», http://www.eme.ru/mainl .htm.

70. Марка Д.А., Макгоуэн К.Л. Методология структурного анализа и проектирования SADT / Пер. с англ. М.: Метатехнология, 1993. - 240 с.

71. Маслова И. В, Классифиация систем управления предприятиями. http://www.sciteclibrary.ru/rus/catalog/pages/2356.html, 2001.

72. Методические вопросы исследования надежности больших систем энергетики // Иркутское гос. изд-во- 1976. Вып.9. 283 с.

73. Михайлов С. Комплексные информационные системы. http://www.nosorog.com/public/computech/kis.html, 2002.

74. Мышенков К.С. Модели и методы проектирования автоматизированных систем управления для зерноперерабатывающих предприятий: Дис. . докт. техн. наук. Москва, 2005. - 185 с.

75. Мышенков К., Гетьман В. Комплексная оценка качества АСУТП // Комбикорма. 2006. - №7.- С. 51-52.

76. Мышенков К., Гетьман В. Методика классификации автоматизированных систем управления предприятиями // Хлебопродукты. -2006.- №9.- С. 66-67.

77. MRP и MRP II // Планета КИС. 1999. Ьир://у\^^.ш881апеп1ефП8е8о1и11оп8.сот/геу1еш5/шф.111т1.

78. Обзор рынка отечественных ERP-систем в 2000-2001 гг. // Cnews. http://www.silicontaiga.ru/home.asp?artld=4280, 2002.

79. Ожегов С.И. Словарь русского языка: Ок. 57000 слов/ Под ред. Н.Ю. Шведовой. 17-е изд., стереотип. - М.: Русский язык, 1985. - 797 с.

80. Писаревский М. Системы АСУ по ранжиру. http://supremum.com.ua/modules.php?op=modload&name=News&file=article&sid= 418&mode=thread&order=0&thold=0, 2002.

81. Попов А. Метрики качества программного обеспечения, http ://www.pmprofy .ru/content/rus/67/672-article. asp .2003.

82. Поттосин И. В. «Хорошая программа»: попытка точного определения понятия // Программирование.- 1997.- №2.- С. 3-17.

83. Путинцев А.В. Автоматизация управления бизнес-процессами зерноперерабатывающих предприятий: Дис. . канд. техн. наук. Москва, 2001.- 185 с.

84. Пучкин Р. Тестирование прикладного ПО с графическим интерфейсом //PC Week.- 1999.- №1.- С. 13-17.

85. Пушников А.Ю. Введение в системы управления базами данных. Реляционная модель данных. Нормальные формы отношений и транзакции. Учебное пособие. Изд. Башкирского ун-та. Уфа.

86. Райхман Э.П., Вопросы повышения точности экспертных методов оценки качества // Техническая эстетика. 1971. - № 6 - С. 8-12.

87. Романов А. Эффективные технологии для крупного бизнеса. // Welcome. -2002.-№2-3.

88. Рынок ERP-систем: неожиданный потенциал роста. // CNews. http://www.cnews.ru/newtop/index.shtml72004/08/25/! 62709,2004.

89. Савтюгин А. Особенности использования и внедрения ERP систем в России. http://www.interface.ru/fset.asp?Url=/misc/rmd/osoq.htm, 2003.

90. Свид. об офиц. регистр, прогр. для ЭВМ № 2006613936 РФ. Комплексная оценка качества и классификация многомерных объектов / Мышенков К.С., Карпов В.И., Гетьман В.В. № 2006613704; Заяв. 02.11.2006; Зарегистр. 16.11.2006.

91. Серафимович П. Рынок ПО: Российские ERP-решения: еще не все потенциальные клиенты "созрели". http://www.cnews.ru/reviews/articles/index.shtml72002/01/18/126512,2002.

92. Смирнов B.C., Дунин-Барковский И.В. Курс теории вероятностей и математической статистики для технических приложений. М.: Наука, 1969. -512 с.

93. Сошникова JI.A., Тамашевич В.Н, Уебе Г, Шефер М. Многомерный статистический анализ в экономике. М, 1999.ЮЗ.Турчин С. Автоматизация в крупных и особо крупных размерах // Компьютерное обозрение. 2001. - № 47. - С. 38-43, С. 49.

94. Цыганок. А. Автоматчики под заказ http://www.business.ua/al0783, 2002.Ю8.Чикишева Н. М., Проскурякова Л. А. Разработка методики выбора программного обеспечения бухгалтерского учета для строительных организаций. СПб.: Изд-во СПбГУЭФ, 1999. - 88 с.

95. Эглинтайн Нейл. Что такое ERP? // КОНСАЛТИНГ. РУ. 1999. - №27.

96. Экспертные оценки в практике управления наукой в техническом вузе: методическое пособие / Л. В. Голованов, С.Ф. Ефимушкин, В.П. Козырев и др. М.: МЭИ, 1973.- 81 с.

97. Albrecht, A. J. and J. Е. Gaffney, Jr. Software Function, Source Lines of Code, and Development Effort Prediction: A Software Science Validation. // IEEE Transactions on Software Engineering. 1983 - № 6.

98. Bacher J., Cluster Analysis. http://forex.kbpauk.ru/download.php?Number=90807, 2002.

99. Behrens C. A. Measuring the Productivity of Computer Systems Development Activities with Function Points. // IEEE Transactions on Software Engineering. № 6 (Nov. 1983) - P. 648-652.

100. Boehm В. W. Software Engineering Economics. Englewood Cliffs. -N. J.: Prentice-Hall, 1981.

101. Capability Maturity Model for Software, Version 1.1 CMU/SEI-TR-93.

102. Dalkey N. Delphi method: experimental assessment of Delphi judgements. -Rand, 1969.-209 p.

103. Dalkey N., Rourke D. Experimental assignment of Delphi procedures with group value judgements. Rand, 1971. - 243 p.

104. Dave R.N., Sen S. Robust Fuzzy Clustering of Relation Data // IEEE Transactions on Fuzzy Systems. 2002. - Vol.10. - P. 713-727.

105. Dunn J.C. A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters // Journal of Cybernetics. 1974. -Vol.3.-P. 32-57.

106. Dunn J.C. Some Recent Investigations of new Fuzzy Partitioning Algorithm and Its Application to Pattern Classification Problems // Journal of Cybernetics. -1974.- Vol.4.-P. 1-15.

107. Elshoff J. An analysis of some commercial PL/1 programs. // IEEE Transactions on Software Engineering. 1978. - №3.- P. 113-120.

108. Evangelist W. Software complexity metrics sensivity to program structuring rules. // The Journal of Systems and Software. 1983. - № 3. - P. 231-243.

109. Gilb T. Software metrics. Studentliteratur AB. Lund. Sweden and Withrop. Gambridge. MA. 1976.

110. Gitman J., Levin M.C. An algorithm for Detecting Unimodal Fuzzy Sets and Its Application as Clustering Technique // IEEE Transactions on Computers. 1970. - Vol. C-19.-P. 583-593.

111. Gordon R. Measurement improvments in program clarity. // IEEE Transactions on Software Engineering. 1979.- №2,- P. 79-90.

112. Halstead M. H. Elements of Software Science. New York: Elsevier North-Holland, 1977.

113. Harrison W. Applaying software complexity metrics to program maintenance. // Computer. 1981 - № 9. - P. 65-79.

114. Harter D. E., Slaughter S. A. PROCESS MATURITY AND SOFTWARE QUALITY: A FIELD STUDY Proceedings of the twenty first international conference on Information systems / December 2000, Brisban, USA.

115. ISO 9001:1994 Quality systems Model for quality assurance in design, development, production, installation and servicing.

116. ISO 9000-3:1997 Quality management and quality assurance standards Part 3: Guidelines for the application of ISO 9001:1994 to the development, supply, installation and maintenance of computer software.

117. Jones Т. C. Programming Productivity. New York : McGraw-Hill, 1986.

118. Kafura D. and Henry S. Software Quality Metrics Based on Interconnectivity. //J. Syst. and Software. 1981.- №2-P. 121-131.

119. Keller, Erik L. Enterprise Resource Planning. The changing application model // GartnerGroup. February 5, 1996. - P. 8.

120. Knafl G. J., Sacks J. "Software Development Effort Prediction Based on Function Points." Proc. COMPSAC 86. Washington, D. C. // IEEE Computer Society Press.-Oct. 1986.-P. 319-325.

121. Konakovsky R. Rechnergestiitzte Software Qualitatssicherung Fortschr. Digital Mess- und Automatisierungstechn. // Intern, congress «Interkamakongress 84». Berlin, 1983. - № 6. - P. 615-624.

122. Labrecque D.P. A response rate experiment using mail questionnaires. // J. Market. 1978. - № 4. - P. 82-83.

123. McCabe T. J. A Complexity Measure. // IEEE Trans. Software Eng. 1976. -№4(Dec. 1976).-P. 308-320.

124. Mertins L. Problems bei der Auslegung von Schutzchaltungen. // Energietechnik. 1976 - № 7. - P. 301-304.

125. Mills E. Software Metrics, http://www.literateprogramming.com/cml2.pdf, 1988.

126. Pedrycz W. Fuzzy Sets in Pattern Recognition: Methodology and Methods // Pattern Recognition. 1990.- Vol.23.-P. 121-146.

127. Roubens M. Pattern Classification Problems and Fuzzy Sets // Fuzzy Sets and Systems. 1978. - Vol.1. - P. 239-253.

128. Ruspini E.H. Numerical Methods for Fuzzy Clustering // Information Sciences.- 1970.- Vol.2.-P. 319-350.

129. Smith B.R., Lucas P.D., Murtagh B.A. Some aspects of modeling New Zealand electricity sector. // Energy J. 1976. - № 7. - P. 100-102.

130. Soren Janstal. The story continiues the 3:rd and final act in the ERP drama starts now. http://www.dpu.se/bostone.html, 2005.

131. Tamura S., Higuchi S., Tanaka K. Pattern Classification Based on Fuzzy Relations // IEEE Transactions on Systems, Man, and Cybernetics. 1971. Vol.SMC-1.

132. Watada J., Tanaka H., Asai K. A Heuristic Methof of Heirachical Clustering for Fuzzy Intransitive Relations // Fuzzy Set and Posibility Theory / Ed. By R.R. Yager. New York: Pergamon Press, 1982.

133. Wheeler Sh., Duggins Sh., Improving software quality ACM Proceedings of the 36th annual conference on Southeast regional conference. / April 1998, Marietta, Australia.

134. Windham M.R. Numerical Classification of Proximity Data with Assignment Measures//Journal of Classification.- 1985.-Vol.2.-P. 157-172.