автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Информационные технологии обработки и аудита крупноформатных электронных таблиц

На правах рукописи

Ильясов Джалиль Фатович

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОБРАБОТКИ И АУДИТА КРУПНОФОРМАТНЫХ ЭЛЕКТРОННЫХ ТАБЛИЦ

Специальность 05.13.17 Теоретические основы информатики

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва 2005

Диссертация выполнена в Институте проблем информатики РАН.

Научный руководитель - заслуженный деятель науки РФ, доктор технических наук, профессор И.Н. Синицын

Официальные оппоненты:

- доктор технических наук, профессор, Емепьянов Николай Евгеньевич

- кандидат технических наук, Адамович Игорь Михайлович

Ведущая организация - Институт проблем управления РАН (Москва)

Защита состоится » ^.К'Н?.. 2005 г. в часов на заседании

диссертационного Совета Д002.073.01 при Институте проблем информатики РАН по адресу: 119333, Москва, ул. Вавилова, д.44 /2.

С диссертацией можно ознакомиться в библиотеке Института проблем информатики РАН.

Отзывы в одном экземпляре, с заверенной подписью, просим направлять по адресу: 119333, Москва, ул. Вавилова, 44/2, в диссертационный Совет.

Автореферат разослан г.

Ученый секретарь диссертационного Совета, доктор технических наук,

профессор

С.Н. Гринченко

-И

VUW

Общая характеристика работы

Актуальность работы. Крупноформатная электронная таблица1 (spreadsheet) является одним из основных видов приложений для автоматизации офисных задач и широко используется в различных прикладных областях. Интеграция крупноформатных электронных таблиц (КЭ1) с языками программирования, позволите сделать из них средство быстрой разработки приложений для профессиональных разработчиков Благодаря простой и удобной организации табличных вычислений, КЭТ часто используют непрофессиональные пользователи, специалисты из других прикладных областей. Все это привело к тому, что КЭТ стали одним из самых распространенных программных продуктов^, устанавливаемых на персональные компьютеры.

Современные КЭТ предоставляют большие возможности для быстрой разработки качественных информационных систем, ориентированных на табличные расчеты, при небольших трудозатратах. А в некоторых случаях КЭТ являются более эффективной платформой разработки, в сравнении с системами управления базами данных. Однако КЭТ редко используются в этом качестве, в связи с тем, что до сих пор отсутствуют информационные технологии (ИТ) эффективной обработки данных в них. Качество большинства приложений КЭ'Г не соответствует важности обрабатываемой ими информации. Во многом это связано со значительным увеличением размерности современных КЭТ и недостаточным развитием ИТ аудита их качества. Особую актуальность приобретают ИГ автоматизированного аудита безошибочности КЭТ.

По проблемам разработки и аудита КЭТ начиная с 1999г. ежегодно проводится европейская конференция EUSPRING. Среди зарубежных исследователей в данной области следует выделить такие имена, как Р.Панко, ДЧадвиг, Р Батлер, ДСадженеми, С.Крук. В России сейчас наблюдается практически полное отсутствие каких-либо работ в данном направлении. Вся имеющаяся литература ограничена руководствами пользователя по работе с

Термин крупноформатная электронная таблица и просто электронная таблица по сути обозначают одно и то же. Словом "крупноформатная" подчеркиваем, что предлагаемые в работе информационные технологии целесообразно использовать для больших электронных таблиц 2 Программную реализацию парадигмы КЭТ принято обозначать термином табличный процессор.

табличным процессором. Тем не менее, следует отметить цикл работ, проводимых в ИЛИ РАН в конце 80-х годов по разработке трехмерной электронной таблицы "СтереоТаб" под руководством И М. Адамовича. Позже трехмерные электронные таблицы получили широкое применение в технологиях многомерного анализа данных при построении кубов OLAP. Также следует отметить исследования М.И. Пугачева, Е.В. Старикова и Т.И Янбухтина. проведенные в МГУ в 1991 г по созданию матричной электронной таблицы, где помимо стандартных функций работы с числами, использованы математические функции работы с матрицами

Цели и задачи работы. Целью диссертационной работы является разработка информационных технологий обработки и аудита КЭТ для повышения эффективности использования современных табличных процессоров и быстрого создания информационных систем на их основе

Для достижения этой цели ставились следующие основные задачи.

1) Выявить проблемы разработки приложений на основе КЭТ и определить пути их решения на основе создания соответствующих ИТ обработки и аудита.

2) Систематизировать терминологию КЭТ.

3) Разработать ИТ обработки КЭТ для случая динамически изменяемого множества исходных данных.

4) Разработать методическое и алгоритмическое обеспечение обработки данных КЭТ на основе канонического факторного анализа.

5) Разработать ИТ аудита3 КЭТ для автоматизированного выявления в них ошибок.

6) Разработать методику экспертного анализа качества КЭТ.

7) Оценить практическую значимость разработанных ИТ на основе их применения в типовых информационных системах.

Методы исследования. В работе использованы современные методы теории множеств и графов, математической логики, теории алгоритмов и программирования, теории вероятностей и математической статистики, теории подготовки и принятия решения, экспертные методы, теории оптимального оценивания и управления, а также вычислительные методы информатики.

Термином аудит КЭТ (spreadsheet audit) принято обозначать процесс выявления ошибок в КЭТ пользователем.

Научная новизна. В работе получены новые рез>льт<иы в области теоретических основ информатики, среди которых следует выделить следующие разработки:

1) Новая ИТ создания динамических электронных таблиц на основе КЭТ, позволяющая разрабатывать приложения КЭТ с динамически изменяемым множеством исходных данных.

2) Две новые ИТ онлайн и пост обработки динамических электронных таблиц.

3) Алгоритмическое и методическое обеспечение обработки данных в КЭТ на основе канонического статического и динамического факторного анализа.

4) Две новые ИТ аудита КЭТ на основе логических областей и классов, позволяющие в автоматизированном режиме исследовать структуру КЭТ и выявлять в ней логические ошибки.

5) Новая методика анализа качества КЭТ на основе экспертных методов

Практическая ценность работы состоит в том, что она предоставляет

разработчику все ИТ для быстрой реализации информационных систем на основе КЭТ с высокими показателями качества. На основе результатов исследования созданы и внедрены:

1) Информационная система расчета трудоемкости эксплуатации и потребности в расходных материалах информационно-телекоммуникационной системы региональных сегментов Банка России.

2) Программное обеспечение автоматизированного формирования отчетов по инспектированию нефтепогрузок компанией "Росинспекторат" и аудиту качества информации в отчетах.

3) Специальное программное обеспечение для автоматизированного аудита безошибочности КЭТ.

4) Программное обеспечение проведения канонического статического и динамического факторного анализа данных в табличном процессоре Microsoft Excel.

Реализация результатов работы. Результаты диссертации реализованы в 6-ти тематических и договорных НИОКР ИЛИ РАН (2001-2005 гг.), в программе ОИТВС РАН "Фундаментальные основы информационных технологий и систем", двух проектах РФФИ (01-01-00758, 04-01-00270).

Апробация работы. Результаты работы докладывались на следующих международных и всероссийских конференциях:

1) IV Международная конференция "Электроника и информатика -2002", Зеленоград, 2002;

2) Межрегиональная научно-практическая конференция "Интеллектуальные информационные технологии" (Интеллект-2003), Тула, 2003.

3) ITI Международная конференция "Идентификация систем и задачи управления" (SICPRO'04), Москва, 2004.

4) I! Российская научно-практическая конференция "Математика в современном мире", Калуга, 2004.

5) IV Международная конференция "Идентификация систем и задачи управления" (SICPRO'05), Москва, 2005.

6) II Научная сессия Института проблем информатики РАН, Москва,

2005.

Публикации. Список публикаций насчитывает 10 позиций. Материалы также опубликованы в 14 научно-технических отчетах ИТШ РАН, Банке России и компании "Росинспекторат".

Структура и объем работы. Диссертация состоит из введения, пяти разделов, заключения и четырех приложений Содержание работы изложено на 205 страницах машинописного текста, иллюстрированного 50 рисунками. Список использованных источников содержит 88 наименований

Содержание работы

В введении обоснована актуальность работы, сформулирована ее цель, определена научная новизна и практическая ценность работы Изложены основные результаты.

В разделе 1 приводится обзор работ и дается постановка задач Подраздел I 1 содержит обзор работ по обработке КЭТ Подраздел 1 2 посвящен обзору работ по аудиту КЭТ В подразделе 1 3 рассмотрены методы стажстической обработки информации, основанные на факторном анализе В подраздече 14 дан обзор экспертных методов обработки информации и принятия коллективных решений Последний подраздел 15 содержит постановку основных задач диссертационной работы

Раздел 2 посвящен информационным технологиям обработки КЭТ.

В подразделе 2 1 систематизируются основные термины и определения КЭТ. Это необходимо в связи с тем, что термины, используемые при разработке и анализе КЭТ, часто по-разному истолковываются в различных работах Систематизированы структурные элементы табличных процессоров. Введены термины табличной программы, табличного представления и приложения КЭТ. Определено два способа представления табличных программ

в виде графов. Проанализированы модели восприятия электронных таблиц пользователем и разработчиком.

В подразделе 2 2 изложена новая ИТ создания динамических электронных таблиц (ДЭТ) на основе ЮТ, а также разработаны новые ИТ онлайн и пост обработки ДЭТ. Рассмотрим их более подробно.

Информационная технология создания ДЭТ позволяет создать в среде КЭТ специальным образом сформированную таблицу, имеющую динамически изменяемую структуру и размеры, в зависимости от объема вводимых в нее данных. ДЭТ имеет переменное множество ячеек с заданными свойствами, где под свойствами подразумевается значение ячейки V, расширенный формат ячейки г и вычисляемая формула/ Практическая значимость ИТ создания ДЭТ заключается в том, что пользователь получает возможность бысгро реорганизовывать структуру таблицы для внесения в нее своих данных и провести значительно более сложный способ обработки данных в сравнении с простой электронной таблицей. Схема информационных потоков данной технологии представлена на рисунке 1.

Рисунок 1 - Схема информационных потоков технологии создания ДЭТ

Пользователь формирует структуру ДЭТ и вводит данные в ДЭТ (модификация динамической части 3) посредством пользовательского

интерфейса ДЭТ (блок 1). Перечень команд манипуляцией ДЭТ располагается в статической части (блок 1). Любые события, происходящие в ДЭТ перехватываются обработчиком событий КЭТ (блок 4), который в ответ на них вызывает нужный макрос обработки (блоки 5-8). Макросы обработки производят специфические действия над динамической частью ДЭТ с использованием вспомогательных, специально подготовленных групп информационных компонентов (блоки 9-13).

Информационная технология онлайн обработки ДЭТ предназначена для обработки данных в ДЭТ по мере их ввода пользователем Результатом обработки является отчет, который представляется в виде двухмерной таблицы с числом записей равных ДЭТ. Отчет также может содержать дополнительную информацию, которая не является результатом обработки исходных данных ДЭТ. Примером такой информации, является заголовок отчета, дата формирования, статистическая информация по отчету, подпись и т.п.

Информационная технология пост обработки ДЭТ предназначена для обработки данных в ДЭТ. Однако в отличие от онлайн технологии, данные обрабатываются только после их полного ввода. Преимуществом технологии является возможность производить более сложную обработку данных.

В подразделе 2 3 описана разработанная диссертантом теория статического и динамического линейного факторного анализа данных, основанная на канонических разложениях Пугачева Теория положена в основу алгоритмов и программного обеспечения канонического факторного анализа (КФА), ориентированного на языки программирования базирующиеся на вычислениях с массивами чисел (МАТЬАВ) и, во-вторых, на языки программирования высокого уровня и стандартные типы данных С-семейство, РаБса1-семейство и т.п.), в которых не реализованы математические функции оперирования с матрицами.

Алгоритм динамического КФА для каждого дискретного момента времени п описывается следующими рекуррентными уравнениями'

(1)

Г

Р--1

А

А

= а„ Х„ + а0„ + рп(У„ -ЬЙХ„- Ь0„) Рп =(аДАГ +ГпСУпТ)(Ь„Р.пЬ: +у„вуяГ)

(3)

(4)

Здесь уравнения (1) и (2) описывают соответственно модель динамического объекта и системы наблюдения, (3) - оптимальную (по критерию минимума средней квадратичной ошибки) модель рекуррентного

оценивания состояния Х„ и факторов V (4) - коэффициенг в (3), (5) -ковариационную матрицу ошибки оценивания. Через Хй, ап, Ьп, а0п , рп, Яп , ч/„ обозначены количества, полученные путем расширения вектора состояния объекта Хп = [Л'„,Р1я..УП1]/ в (1) и (2), Сп - интенсивность нормального белого

Отсюда, в частности, полагая X = Л'п>1 = Хп, 1¥п = 0, получаем уравнения статического КФА-

В подразделе 2 4 даются основные выводы по разделу 2.

Раздел 3 посвящен информационным технологиям аудита крупноформатных электронных таблиц.

В подразделе 3 1 даются общие положения по технологиям аудита КЭТ, на основе визуализации высокоуровневых структур.

В подразделах 3 2 и 3 3 предложены две ИТ аудита КЭТ, основанные на синтезе такого графического представления КЭТ, которое делает структуру вычислений в ней более наглядной, а ошибки визуально заметными Такое графическое представление называется визуальной моделью, а процесс ее синтеза - визуализацией. Данные технологии позволяют пользователю автоматизированным способом выявлять ошибки в логике вычислений КЭТ. В основу первой ИТ положены методы визуализации логических областей, а в основу второй ИТ - методы визуализации логических классов.

ИТ аудита КЭТ, основанная на визуализации логических областей. Логическая область представляет собой множество ячеек в КЭТ, выполняющих логически схожие вычисления. Визуализация логических областей или классов в приложении КЭТ, позволяет наглядно отобразить области однородных вычислений. Любые нарушения в таких областях должны тщательно тестироваться, так как могут содержать ошибки Признаки, по которым можно объединить ячейки в логические области, были названы критериями эквивалентности Критерии эквивалентности основываются на

шума .

(6)

анализе одного из свойств ячейки, а именно анализе формулы /, формата г, значения V или адреса с в формуле.

Предложены формализованные определения 7 основных критериев эквивалентности ячеек в логических областях и 2 вспомогательных, а также определена функция генерации областей на их основе.

Информационная технология аудита приложения КЭТ на основе логических областей, включает в себя следующие основные этапы:

1) подготовка исходных данных для аудита;

2) идентификация логических областей в КЭТ;

3) синтез визуальной модели;

4) аудит визуальной модели и обнаружение ошибок в КЭТ.

Первое и последнее действие выполняется аудитором. Второе и третье действие выполняется в автоматическом режиме, с использованием специального программного обеспечения аудита КЭТ (ПО-Аудит). В подразделе 3 2 даются детальные алгоритмы идентификации логических областей и синтеза визуальной модели Аудит визуальной модели осуществляется одним из трех предложенных методов аудита

Схема информационных потоков в технологии аудита КЭТ, основанной на визуализации логических областей представлена на рис. 2.

Рисунок 2 - Схема информационных потоков в технологии аудита КЭТ, основанной на визуализации логических областей.

При помощи потоков В и Е осуществляется преобразование информации из приложения КЭТ (блок 1) в визуальную модель (блок 4). Аудитор (блок 6) производит анализ визуальной модели (поток Н) при помощи методов

аудита. Обратная связь I аудитора с приложением КЭТ, является информационным потоком, направленным на исправление ошибок. Блоки 2-5 являются составными элементами ПО-Аудит. ИТ предусматривает построение визуальных моделей трех типов табличную (непосредственно в интерфейсе КЭТ), функциональную (в виде графа, в узлах которого располагаются логические области) и иерархическую (иерархия логических областей).

Пример визуапизации логических областей в виде древовидного графа, показан на рисунке 3. Ошибочные ячейки легко заметны, как вершины графа не входяшие не в одну из логических областей (1_А) и обозначенные серым цветом.

Экспериментальное исследование показало, что в приложениях КЭТ с несложной структурой, ИТ аудита КЭТ, основанная на визуализации лохических областей, позволяет выявить до 90% ошибок формулах.

LA.it Г*;

[ Асе.Д05-Е5> ЬАсе _(08-Е8}

__I

Х-Асе <014-и19)

LASE.(E1--F20) 1—LЛu.lEl--:FгO^^L»| L ЛТ 17-Г20>

Рисунок 3 - Пример иерархической визуальной модели Ошибочные ячейки выделены серым цветом.

ИТ аудита КЭТ, основанные на визуализации логических классов. Было замечено, что большие приложения КЭТ, как правило, содержат повторяющиеся группы ячеек, формулы которых чередуются в одинаковой последовательности. Если в таком приложении КЭТ произвести визуализацию логических областей, то ее аудит может быть малоэффективен в связи с тем, что ло1 ические области будут располагаться не в монотонных участках, а иметь множество разрывов другими логическими областями. Однако чередование логических областей является постоянным в отдельных группах

рядом расположенных ячеек. Примером таких групп являются строки двумерной таблицы, в столбцах которой производятся вычисления параметров объектов. Ясно, что вычисления параметров объектов в такой таблице будет производиться одинаковым способом. С точки зрения разработчика такие группы логически связаны, так как выполняют взаимосвязанные вычисления. СИ дельно взятая группа взаимосвязанных ячеек в диссертации названа логическим модулем А все группы в совокупности образуют логический класс Также как и в случае логических областей, визуализация логических классов, позволяет наглядно выявить любые отклонения в нарушениях логических модулей, которые могут быть ошибочными.

В подразделе 3 3 были введены формализованные определения элементов, необходимых для автомагической идентификации логических классов, таких как модульное пространство, логический модуль и модуль генератор. Даются детальные алгоритмы идентификации логических классов и синтеза трех уровневой масштабируемой визуальной модели, где на верхнем уровне представлен граф классов, на среднем граф модулей входящих в классы и на нижнем представление окрашивание классов и модулей в ЮТ. Приводится метод аудит визуальной модели.

Информационная технология аудита КЭТ на основе визуализации логических классов аналогична предыдущей, за тем исключением, что объектом визуализации является логический класс. Выявление ошибок и анализ структуры приложения КЭТ осуществляется при помощи метода анализа масштабируемой визуальной модели.

Пример трехуровневой масштабируемой визуальной модели показан на рис. 4. На нижнем уровне с проведенной инверсией цветов четко определяется ошибочная строка ячеек.

Раздел 4 посвящен методике анализа качества КЭТ, на основе экспертных методов. Данный подход к анализу качества КЭТ обусловлен тем, чго комплексная оценка качества КЭТ по множеству показателей невозможна без использования эвристических способностей человека. Кроме тою, количественные ошибки, которые могут содержаться в КЭТ, в отличии от качественных ошибок плохо поддаются автоматическим методам обнаружения. Под качеством КЭТ понимается степень удовлетворения информации, представленной в виде КЭ'1, критериям достоверности, актуальности и полноты.

Верхний уровень - логических классов

Вход I—*( V. W L\ У

—' V V

и,

■/wf

Выход

Средний уровень - ло( ических модулей

С D

Калькуляция проект» X

J~ I

3 4 Мо Описание Для Поступление Расход Р1 Р2 Доступно

1 Начало 1000 '«га

5 2 Creator P2 50 00 50 9'0 00

6 3 Progratrme-r P1 30 00 30 920 00

? 4 Wnlei P2 100 00 100 820 00

8 Pr.grar P1 70 00 70 750 СС

9 ' *Sj Creator ^ " 2P11P2 адго 133,33 664? * 5£?#5

10 7 Programme P2 150 00 150 400 00

11 в Writer PI 20 ОС 20 эао оо

12 9 Client 500 00 830 00

13 10 Writer P1 30 00 80 300 00

14 1500 00 700 ОС 333 33 3W.67

16 ' 17 , 18 ! 19 20

Приоыль 1500_00

Расход Р1 331 33 ""

Г2 67__700_00 ____ __

_800_00 [Кокг^ольныйралп

Нижний уровень - табличное представление

Рисунок 4 - Пример трехуровневой масштабируемой визуальной модели на основе логических классов. Первый уровень дает представление о структуре табличной программы, средний уровень является структурой основного логического класса, из нижнего уровня четко определяется ошибочная строка.

В подразделе 4 1 сформулированы задачи и цели экспертною анализа качества КЭТ. Выделено три наиболее важные задачи, в соответствии с особенностями объекта экспертизы: 1) формирование перечня критериев и шкал, характеризующих качество отдельных таблиц и КЭТ в целом; 2) формирование решающих правил по оценке качества отдельных таблиц и КЭТ в целом; 3) проведение экспертного опроса и получение коллективной

экспертной оценки Исходными данными для экспертизы является множество ЭТ (комплект).

В подразделе 4 2 дается методика формирования перечня показателей КЭТ, по которым должна проводиться оценка. Показатели качества организованы в иерархическую систему, состоящую из 4-х уровней. Для адаптации технологии, к оценке качества конкретного комплекта КЭТ, необходимо определить (доработать) последний уровень показателей, называемых детальными. Для всех показателей шкалы принимаемых значений уже определены Оцениванию экспертами подлежат показатели нижних уровней иерархии. Оценка показателей более высоких уровней осуществляется при помощи решающих правил, которые также определены в данном подразделе. В результате оценки вычисляются показатели качества как каждой из КЭТ, так и всего комплекта в целом

В подразделе 4 3 рассматриваются основные стадии экспертного опроса применительно к оценке качества КЭТ.

В подразделе 4 4 приводится описание различных методов подбора экспертов, для проведения экспертизы. Рассмотрены методы взаимооценки и самооценки, метод с использованием формальных показателей экспертов и метод снежного кома. Было решено, что подбором экспертов должно заниматься лицо принимающее решение (ЛГТР) или рабочая группа. Для оценки каждого критерия должны формироваться экспертные группы, состоящие от трех до пяти человек.

В подразделе 4 5 дается методика обработки экспертной информации и формирования заключения. Рассмотрена задача получения группового мнения на основе голосования. Рассмотрены пять наиболее распространенных процедур голосования, таких как процедура Кондорсе, Копеланда, максимума, большинства голосов и Борда. Было установлено, что большинство процедур дает одинаковый результат. Поэтому полученный групповой результат достаточно надежен и не зависит от способа обработки. При отсутствии групповой оценки должен подключиться ЛПР, уточнить мнения экспертов и дать окончательный результат. Сформулирован полный обобщенный алгоритм экспертного анализа и оценки качества КЭТ, состоящий из 6 этапов.

В подразделе 4 б приведен подробный пример использования методики экспертного анализа качества КЭТ на основе внедрения в компании "Росинспекторат".

Раздел 5 посвящен способам применения технологий обработки и аудита КЭТ в информационных системах (ИС). ИТ обработки и аудита

рассчитаны на применение в информационных системах (ИС) использующих КЭТ. ИТ аудита КЭТ могут быть, как адаптированы для применения в ИС, так и применяться в виде универсального специального программного обеспечения (СПО). Данное СПО было разработано в ИПИРАН и получило название Spreadsheet Explorer 1 0. Оно предназначено для поиска ошибок в КЭТ с использованием технопсч ий аудита, основанных на визуализации логических областей и классов.

Далее перечислены ИС в которых были использованы ИТ обработки и аудита КЭТ.

1) Наиболее полное применение ИТ обработки и аудита получили в системе расчета трудоемкости эксплуатации информационно-телекоммуникационной системы Банка России. Спецификой данной задачи является ее направленность на обработку данных в таблицах и использование большого числа справочников, разной структуры. Предварительное макетирование программного комплекса с применением традиционных программных средств и баз данных, оказалась неудачной и выявило ряд проблем. Данные проблемы удалось решить путем использования КЭТ с применением технологий обработки и аудита. Реализация данной системы показала возможность быстрой разработки эффективных программных систем, ориентированных на обработку табличной информации, с использованием КЭТ.

2) ИТ обработки и аудита КЭТ, были внедрены в англо-российской компании "Росинспекторат" в программном обеспечении (ПО) автоматизированного формирования отчетов по инспектированию нефтепогрузок и аудиту качества информации в отчетах. Данная компания занимается независимым инспектированием качества транспортируемых в России грузов (нефть, древесина, зерно и т.п.) и имеет множество подразделений по всей территории России и ближнего зарубежья. Разработанное ПО является приложением КЭТ (см. рисунок 5), которое ежедневно используется в подразделениях, и формируемые при помощи нее отчеты содержат 15-25 таблиц. Каждый отчет по электронной почте пересылается в центральный офис и передается клиенту, заказчику услуг компании. Поэтому для компании очень важно иметь способы эффективной оценки качества электронных таблиц для выявления в них ошибок. В этих целях была разработана методика экспертной оценки качества отчетов, которая приводится в качестве примера в разделе 4.

2 | ¿'« > Орляи Экл Ь. «а*« ОСОЙ» ^с»« ¿чнмыг I □ о* В К % Ю<7 • « ♦ А В *' Л

Д./ и .

I оЖс«» вовИКж СМ Еяфкшег

I с аы мрегихуем) МкМпдо

^ I

_(__(__I I | ^_^ 1

Ше/ СймР»д / СопЙж / Тт«.-* ^ ьур То« /1 / Ьгг Ш 2 / 4ит 3 / 5У1 6-Р-4 / С0.(Я05Т)/ш / СС | « ) *

Рисунок 5 - Программное обеспечение автоматизированно! о формирования отчетов по инспектированию нефтепогрузок и аудиту качества информации в отчетах компании "Росинспекторат"

Внедрение ИТ обработки и аудита КЭТ в информационных системах Банка России и компании "Росинспекторат" подтверждается соответствующими актами, прилагаемыми к данной диссертационной работе

В подразделе 5 2 описаны проблемы оценки трудоемкости эксплуатации информационно-телекоммуникационной системы (ИТС) Банка России Для решения данных проблем Банком России, начиная с 2000г. было заключено ряд договоров с ИПИ РАН. Однако апробация предложенных ИПИ РАН решений в Банке России выявило проблему рутинного характера проведения арифметических расчетов трудоемкости, их большой трудоемкости и достоверности. В результате возникла необходимость создания в кратчайшие сроки программного комплекса Автоматизированного рабочего места по расчету трудоемкости эксплуатации ИТС регионального сегмента Банка России (ПК АРМ). В основу реализации комплекса легли технологии обработки и аудита КЭТ, предложенные в данной диссертационной работе.

В подраздспе S 3 дается краткое описание возможностей ПК АРМ Трудоемкость, рассчитанная с помощью программного комплекса, используется для оценки трудозатрат специалистов, привлекаемых к эксплуатации ИТС, а потребность в расходных материалах для обеспечения эксплуатации ИТС расходными материалами. Всего ПК АРМ поддерживает около 40 видов расчетов выполняющихся на основе свыше 70 таблиц-справочников Функциональная схема ПК АРМ представлена на рис. 6.

В подраздече 5 4 представлена классификация алгоритмов расчета трудоемкости эксплуатации ИТС регионального сегмента Банка России и потребности в расходных материалах Выделено 5 групп алгоритмов, некоторые из которых имеют до 9 подгрупп. Рассмотрен типовой алгоршм расчета, дающий представление об характере вычислений производимых в ПК АРМ. Приведен пример расчета.

виды в периодичность тмоос.И/КИ по оймктам ИТС TV

цшня nû ИТС ТУ в ш1 ЮМ

режим и период фракционирования

Рисунок 6 - Функциональная схема J1K АРМ.

В подразделе 5 5 описана реализация ПК АРМ. Дано обоснование выбора в качестве платформы разработки табличного процессора Microsoft Excel. ПК АРМ имеет модульную архитектуру Все расчеты производятся в 12-ти модулях расчета, функционирующих на основе табличного процессора

Для наращивания функциональности программного комплекса, достаточно создать новый модуль расчета и подключить его программному комплексу. Особенностью такого модуля является совместное хранение программного кода, данных для расчетов и данных ввода пользователя. Вызов модулей расчета осуществляется из центра управления ПК АРМ. Центр управления также позволяет вызывать другие функции и модули системы.

Структурная схема информационной системы расчета трудоемкости эксплуатации и потребности в расходных материалах Банка России, организуемую на базе ПК АРМ представлена на рисуике 7.

Рисунок 7 - Структурная схема информационной системы расчетов трудоемкости на основе ПК АРМ

В Центре (департаменте информационных систем Банка России) совместно с ИПИ РАН производится подготовка ПК АРМ к функционированию (поток А) с использованием методик расчета (поток С) и его информационное наполнение актуальными нормами (поток В). Из Центра ПК АРМ по различным каналам связи поступает в региональные сегменты Банка России (группа потоков Б). В региональных сегментах в ПК АРМ вводятся исходные данные по техническим средствам ИТС и производятся все необходимые расчеты трудоемкости и потребности в расходных материалах.

На основе полученных расчетов делается внутренний вывод о трудозатратах специалистов, контроле численности сотрудников, объемах выделения средств на проведение работ по технической эксплуатации, потребности в расходных материалах и т.п.

Для обоснования трудозатрат и объемов выделения средств, ПК АРМ содержащий данные по техническим средствам И'ГС регионального сегмента и результаты расчетов передаются в Центр (группа потоков С). С учетом того, что из каждого региона поступает ПК АРМ со своими исходными данными и расчетами, формируется такое количество ПК АРМ, которое равно числу регионов. Поступившие в Центр ПК АРМ проходят логический контроль, при котором проверяется качество исходных данных и результатов расчетов (поток ГЗ) В случае, если качество информации в ПК АРМ соответствует требуемому, то результаты расчетов передаются в Центр обработки и принятия решений (поток Е).

В подразделе 5 5 дается подробное описание использования предложенных ИТ обработки КЭТ, которые нашли свое прямое применение в модулях расчета ПК АРМ В частности ИТ создания ДЭТ используется в процессе подготовки исходных данных, а ИТ онлайн и пост обработки ДЭТ для проведения расчетов. На рис 8 показана таблица подготовки исходных данных одного из модулей расчета являющаяся реализацией ДЭТ.

В подразделе 56 дается подробное описание использования предложенных ИТ аудита КЭТ. С учетом того, что проверке должны подлежать любые манипуляции с ПК АРМ, из структурной схемы ИС проведения расчетов (рис 7) выделяются следующие области применения ИТ аудита:

1) аудит безошибочности выполнения расчетов ПК АРМ на этапе разработки (в центре сопровождения);

2) логический контроль правильности заполнения норм в справочниках ПК АРМ и исходных данных;

3) анализ качества информации, поступающей из регионов

Для выполнения первого вида аудита используется ИТ аудита КЭТ, основанная на визуализации логических классов. Для выполнения второю вида аудита используется ИТ аудита КЭТ, основанная на визуализации логических областей Для выполнения третьего вида аудита используется технология экспертного анализа качества КЭТ

Реализованный ПК АРМ значительно превосходит по размерам все известные автору программные продукты на базе КЭТ

N Micrwoft Esc*» • Сргдстм ем» ífii

j л ) ib«««« Расчету справочники Печать с««*" В CoxpaMWb наиа "* ffl главный Сервис -Jg *|

ИСХОДНЫЕ ДАННЫЕ ПО СРЕДСТВАМ СВЯЗИ ДЛЯ ПРОВЕДЕНИЯ РАСЧЕТОВ

Добэ табпи зитъ раздел i Добавить строку Поиск и вставка J Вставка данных nol [ иы дгя yjnej оборудования I базовой модели j форма ввода ¡ ^^ f Импортировать us j Экспортировать в j шаблона вводя j шабгом ввода [

Ne rvn tinйийм'тлийв грвдетог гмол Кол во 0Днкиц спед'т&а СВЯ5И fojneoi* uo "ТЙГМ Поправимый КОЭф-Г Kjr 90 ТО за разметку,* период Ко^ф т ЛГ rKWVjfi^HHS YM >

S Длительность расчетного периода re 1 1 | i | мвсяцаи ! ' | 1

1 ЦУ PC ЕТКБС

Оп'швская сис 'ша теоаазчи мало 1 «»ости ром ¿а Pirraci 4о02 ,« 1 4 1 *

2 Гадиомодвм ппа Arlan AirLffflC Е1 Суil«-« 1 00 1 00

i Аглооатура упчг гиеиия физически» лини 1 типа Wa*so<% Wafcofl III 1 00 2 1 00 1

- P,wtoc ai >«oov ta? aOot е- с л» ciflf- 1ярта ТЕТКА 16 ТНЙ 400 NoKja 1 00 1 00

j f «диотегефснхэ« *руока 25 IPC, n AT&T 1 10 0 >6

6 Аг пар» тура lyvj&ti вчсад связи и k хререни'вяэ» Яхта-2 1 00 4 1 00

i П 1НИИ ftfXJKÓ'Tr,-^ вПЧ^ОнИЫв локально е у-целительны в радиофикации oloe*jj&i «я сиоапизииии - Каоель ÜTP 4x2 100 1 1 00

г сто^а Кокмуационьый и*аф VERO ElEKTROWICS" too ? 1 00 I u

2 Умл PC 1 тим {3) |

1 Aniapa-ypa уплотнения физических линий типа Waeon 0 I ¡WafeoMlí | 100 | 2 1 00 г

¿ Алпэсат телефонный цифровой с п рог адмшруомым копгтством аб от«~ов 105 Рвг-вмпл KD TI370 » 00 2 0 24 г

Л Лплйрач телефон»-»« »«игогойь-и с Ь5 ¡Panasonic KX T23G5 ' I 1 оо 2 0 ?t m

I uv PC ГХБС Я 1

Рисунок 8 Таблица подготовки исходных данных одного из модулей расчета являющаяся реализацией ИТ создания ДЭТ

Заключение

На защиту выносятся следующие основные результаты:

1) Новая ИТ создания динамических электронных на основе КЭТ

2) Две новые регулярные ИТ онлайн и пост обработки данных динамических электронных таблиц.

3) Алгоритмы и программное обеспечение обработки данных КЭТ на основе статического и динамического каноническою факторного анализа.

4) Две новые ИТ аудита КЭТ на основе логических областей и классов, позволяющие в автоматизированном режиме исследовать структуру КЭТ и выявлять в ней ошибки.

5) Методика экспертного анализа качества КЭТ

6) Разработка и внедрение информационной сис1емы расчета

трудоемкости эксплуатации и потребности в расходных материалах информационно-телекоммуникационной системы региональных сегментов Банка России с применением предложенных техноло! ий

Список работ, опубликованных по теме диссертации

1 Синицын И.Н., Киселев Э.В.. Корепанов Э.Р., Сергеев И.В., Ильясов Д.Ф. О некоторых подходах к построению интегрированных информационно-управляющих систем для органов государственной власти Российской Федерации // Тезисы докладов IV межд. конференции "Электроника и информатика-2002" (Зеленоград, 19-21 ноября 2002 [.)■ -М.: Изд. МИЭТ. - 2002. - Ч 2. - С 133-134. (Личный вкчад автора проведена оценка эффективности различных типов построения информационно-управляющих систем Оля органов государственной власти Российской Федерации).

2 Быстрое И И ,Синицын И П., Корепанов Э Р., Белоусов В.В., Ильясов Д.Ф, Макаренкова И.В, Ушмаев О.С., Шоргин B.C. Проблемы построения и реализации подсистем классификации и кодирования информации в крупномасштабных распределенных автоматизированных информационных системах // Системы и средства информатики. Вып.13. -М • Наука. Физматлит. - 2003. - С. 64-83. (Личный вклад автора участие в проекте по разработке крупномасштабной распределенной автоматизированной системе учета ресурсов Банка России в части формирования отчетов на основе КЭ1).

3 Синицын И Н., Синицын В.И., Корепанов Э Р., Белоусов В В , Ильясов Д.Ф., Ушмаев О.С. Субоптимальные обучающиеся информационные технологии и системы // Тезисы докладов межрегиональной научно-практической конференции «Интеллектуальные информационные технологии» (Интеллект-2003). - Тула. Изд-во Тульскою государственного университета. - 2003. - С.25-27. (Личный вклаО автора программная реализация предложенных технологий на основе КЭТ).

4. Синицын И.Н., Будзко В.И., Ильясов Д.Ф. Методическое и программное обеспечение факторной идентификации // Труды III международной конференции "Идентификация систем и задачи управления" (SICPRO'04). - 2004. - CD-ROM. - С 1927-1940. {Личный вклад автора предложено два алгоритма канонической факторного

анализа Разработано программное обеспечение канонического факторного анализа в среде MATLAB и КЭТMicrosoft Excel).

5. Ильясов Д.Ф. Технология анализа качества информационных систем, построенных на основе электронных таблиц // Наукоемкие технологии. - 2004, №7. - С.88-94.

6. Ильясов Д.Ф. Методы, алгоритмы и программное обеспечение анализа качества электронных таблиц Ч Труды IV международной конференции "Идентификация систем и задачи управления" (SICPRO'05) - 2005. - CD-ROM - С 1164-1182

7. Будзко В.И, Ильясов Д.Ф., Синицын И.Н., Рыков А.С. Многокритериальная оценка качества информационных систем в условиях неопределенности // Безопасность информационных технологий. - 2004, №1. - С. 44-54 (Личный вклад автора разработана система критериев качества ИС Дано описание реализации программного обеспечения для предложенных подходов на основе КЭТ).

8. Синицын И.Н., Синицын В.И, Корепанов Э.Р, Ильясов Д.Ф Современное состояние и приложения теории канонических представлений случайных функций // Математика в современном мире: материалы 2-й Российской научно-практической конференции 89 октября 2004 года. Калуга. Изд КГПУ им. К.Э. Циолковско1 о, -2004 - С. 43-52. (Личный вклад автора проведены расчеты канонических представлений случайных функций на основе КЭТ)

9. Быстрое И.И., Пичкур Б.Д., Синицын И.H , Корепанов Э Р., Белоусов В.В., Шоргин В С., Ильясов Д Ф., Макаренкова И.В , Ушмаев О.С., Агафонов Е.С. Разработка методов и средств повышения эффективности эксплуатации ИТС Банка России // IÏ Научная сессия Института проблем информатики РАН' Тома докладов / под ред. И.А.Соколова - М.:ИПИ РАН, 2005 - С. 21-22. (Личный вклад автора представлено описание ИС расчета трудоемкости технической эксплуатации ИТС регионального сегмента Банка России разработанной на основе ИТ обработки и аудита КЭТ).

10. Ильясов Д.Ф., Синицын ИН. Информационные технологии обрабо1ки и аудита крупноформатных электронных таблиц и их применение // II Научная сессия Института проблем информатики РАН: Тома докладов / под ред. И.А.Соколова - М.:ИГ1И РАН, 2005 - С 79-81. (Личный вкпад автора представлены разработанные в диссертационной работе ИТ обработки и аудита КЭТ и способы их применения в ИС).

Принято к исполнению 25/04/2005 Исполнено 26/04/2005

Заказ № 787 Тираж 100 экз.

ООО «11-й ФОРМАТ» ИНН 7726330900 Москва. Балаклавский пр-т, 20-2-93 (095) 747-64-70 www autoreferat ru

i - 7 7 г Í

РНБ Русский фонд

2006^4 5643

ВВЕДЕНИЕ.

1 ОБЗОР РАБОТ И ПОСТАНОВКА ЗАДАЧ.

1.1 Обзор работ по обработке КЭТ.

1.2 Обзор работ по аудиту КЭТ.

1.2.1 Классификация ошибок КЭТ.

1.2.2 Методы тестирования КЭТ.

1.2.3 Методы визуального аудита КЭТ.

1.3 Методы обработки информации, основанные на факторном анализе.

1.4 Экспертные методы оценки и принятия коллективных решений.

1.5 Постановка задач.

2 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОБРАБОТКИ КРУПНОФОРМАТНЫХ ЭЛЕКТРОННЫХ ТАБЛИЦ.

2.1 Крупноформатные электронные таблицы. Основные термины и определения.

2.1.1 Вводные замечания.

2.1.2 Структурные элементы табличных процессоров.

2.1.3 Табличные программы, табличные представления и

Крупноформатная электронная таблица1 (spreadsheet) является одним из основных видов приложений для автоматизации офисных задач и широко используется в различных прикладных областях. Интеграция крупноформатных электронных таблиц (КЭТ) с языками программирования, позволила сделать из них средство быстрой разработки приложений для профессиональных разработчиков. Благодаря простой и удобной организации табличных вычислений, КЭТ часто используют непрофессиональные пользователи, специалисты из других прикладных областей. Все это привело к тому, что КЭТ стали одним из самых распространенных программных продуктов, устанавливаемых на персональные компьютеры.

Современные КЭТ предоставляют большие возможности для быстрой разработки качественных информационных систем, ориентированных на табличные расчеты, при небольших трудозатратах. А в некоторых случаях КЭТ являются более эффективной платформой разработки, в сравнении с системами управления базами данных. Однако КЭТ редко используются в этом качестве, в связи с тем, что до сих пор отсутствуют информационные технологии (ИТ) эффективной обработки данных в них. Качество большинства приложений КЭТ не соответствует важности обрабатываемой ими информации. Во многом это связано со значительным увеличением размеров современных КЭТ и недостаточным развитием ИТ аудита2 их качества. Особую актуальность приобретают ИТ автоматизированного аудита безошибочности КЭТ.

По проблемам разработки и аудита КЭТ начиная с 1999г. ежегодно проводится европейская конференция EUSPRING. Среди зарубежных исследователей в данной области следует выделить такие имена, как Р.Панко С.Крук, Д.Чадвиг, Р.Батлер, Д.Садженеми. В России сейчас наблюдается практически полное от

1 Термин крупноформатная электронная таблица и просто электронная таблица по сути обозначают одно и то же. Словом "крупноформатная" подчеркивается, что предлагаемые в работе информационные технологии целесообразно использовать для электронных таблиц большого размера.

2 Термином аудит КЭТ (spreadsheet audit) принято обозначать процесс выявления ошибок в КЭТ пользователем. сутствие каких-либо работ в данном направлении. Вся имеющаяся литература ограничена руководствами пользователя по работе с табличным процессором1. Тем не менее, следует отметить цикл работ, проводимых в ИПИ РАН в конце 80-х годов по разработке трехмерной электронной таблицы "СтереоТаб" под руководством И.М. Адамовича. Позже трехмерные электронные таблицы получили широкое применение в технологиях многомерного анализа данных при построении кубов OLAP. Также следует отметить исследования М.И. Пугачева, Е.В. Старикова и Т.И. Янбухтина, проведенные в МГУ в 1991г. по созданию матричной электронной таблицы, где помимо стандартных функций работы с числами, использованы математические функции работы с матрицами.

Цели и задачи работы. Целью диссертационной работы является разработка информационных технологий обработки и аудита КЭТ для повышения эффективности использования современных табличных процессоров и быстрого создания информационных систем на их основе.

Для достижения этой цели ставились следующие основные задачи.

1) Выявить проблемы разработки приложений на основе КЭТ и определить пути их решения на основе создания соответствующих ИТ обработки и аудита.

2) Систематизировать терминологию КЭТ.

3) Разработать ИТ обработки КЭТ для случая динамически изменяемого множества исходных данных.

4) Разработать методическое и алгоритмическое обеспечение обработки данных КЭТ на основе канонического факторного анализа.

5) Разработать ИТ аудита КЭТ для автоматизированного выявления в них ошибок.

6) Разработать методику экспертного анализа качества КЭТ.

7) Оценить практическую значимость разработанных ИТ на основе их применения в типовых информационных системах.

1 Термином табличный процессор принято обозначать программную реализацию парадигмы КЭТ

Методы исследования. В работе использованы современные методы теории множеств и графов, математической логики, теории алгоритмов и программирования, теории вероятностей и математической статистики, теории подготовки и принятия решения, экспертные методы, теории оптимального оценивания и управления, а также вычислительные методы информатики.

Научная новизна. В работе получены новые результаты в области теоретических основ информатики, среди которых следует выделить следующие разработки:

- новая ИТ создания динамических электронных таблиц на основе КЭТ, позволяющая разрабатывать приложения КЭТ с динамически изменяемым множеством исходных данных;

- новые ИТ онлайн и пост обработки динамических электронных таблиц;

- алгоритмическое и методическое обеспечение обработки данных в КЭТ на основе канонического статического и динамического факторного анализа; новые ИТ аудита КЭТ на основе логических областей и классов, позволяющие в автоматизированном режиме исследовать структуру КЭТ и выявлять в ней логические ошибки;

- новая методика анализа качества КЭТ на основе экспертных методов.

Практическая ценность работы состоит в том, что она предоставляет разработчику все ИТ для быстрой реализации информационных систем на основе КЭТ с высокими показателями качества. На основе результатов исследования созданы и внедрены:

1) Информационная система расчета трудоемкости эксплуатации и потребности в расходных материалах информационно-телекоммуникационной системы регионального сегмента Банка России.

2) Программное обеспечение автоматизированного формирования отчетов по инспектированию нефтепогрузок ЗАО "Росинспекторат" и аудиту качества информации в отчетах.

3) Специальное программное обеспечение Spreadsheet Explorer 1.0 для автоматизированного аудита безошибочности КЭТ.

4) Программное обеспечение проведения канонического статического и динамического факторного анализа данных в табличном процессоре Microsoft Excel.

Реализация результатов работы. Результаты диссертации реализованы в 6-ти тематических и договорных НИОКР ИЛИ РАН (2001-2005 гг.), в программе ОИТВС РАН "Фундаментальные основы информационных технологий и систем", двух проектах РФФИ (01-01-00758, 04-01-00270).

Апробация работы. Результаты работы докладывались на следующих международных и всероссийских конференциях:

1) IV Международная конференция "Электроника и информатика -2002", Зеленоград, 2002.

2) Межрегиональная научно-практическая конференция "Интеллектуальные информационные технологии" (Интеллект-2003), Тула, 2003.

3) III Международная конференция "Идентификация систем и задачи управления" (SICPRO'04), Москва, 2004.

4) II Российская научно-практическая конференция "Математика в современном мире", Калуга, 2004.

5) IV Международная конференция "Идентификация систем и задачи управления" (SICPRO'05), Москва, 2005.

6) II Научная сессия Института проблем информатики РАН, Москва, 2005.

Публикации. Список публикаций насчитывает 10 позиций. Материалы также опубликованы в 14 научно-технических отчетах ИЛИ РАН, Банке России и компании "Росинспекторат".

Структура и объем работы. Диссертация состоит из введения, пяти разделов, заключения и приложений.

5.8 Выводы по разделу 5

1) Описаны информационные системы и программное обеспечение, в котором были использованы предложенные в диссертационной работе ИТ обработки и аудита КЭТ.

2) Рассмотрена ИС расчета трудоемкости эксплуатации ИТС регионального сегмента Банка России, целиком построенного на основе КЭТ с использованием предложенных ИТ обработки и аудита:

- рассмотрены проблемы оценки трудоемкости эксплуатации ИТС Банка России. Описаны решения данных проблем предложенные ИПИРАН и причины разработки ПК АРМ;

- дано краткое описание возможностей ПК АРМ (программный комплекс выполняет около 40 видов расчетов, основанных на обработке таблиц);

- дана классификация алгоритмов расчетов выполняемых ПК АРМ, рассмотрен типовой алгоритм и представлен пример расчета трудоемкости текущего ремонта средств связи;

- дано обоснование реализации ПК АРМ на основе КЭТ, рассмотрена его архитектура и принципы работы;

- изложено применение технологий обработки КЭТ, представленных в диссертационной работе, для реализации алгоритмов расчета трудоемкости и потребности в расходных материалах;

- дано описание ИС расчета трудоемкости эксплуатации и потребности в расходных материалах Банка России, организованной на основе ПК АМ (данная ИС является примером организации распределенной ИС на основе приложения КЭТ). Выделены области ИС в которых необходим аудит безошибочности и качества КЭТ;

- изложено применение технологий аудита КЭТ, представленных в диссертационной работе, в ИС расчета трудоемкости эксплуатации и потребности в расходных материалах;

- проведено сравнение реализаций ПК АРМ на основе КЭТ и СУБД. Дана оценка практической значимости разработанных ИТ обработки и аудита КЭТ.

198

ЗАКЛЮЧЕНИЕ

В представленной диссертационной работе получены следующие научные и практические результаты:

1) Систематизирована терминология КЭТ.

2) Разработана новая ИТ создания динамических электронных таблиц на основе КЭТ, позволяющая разрабатывать приложения КЭТ с динамически изменяемым множеством исходных данных.

3) Разработаны две новые ИТ онлайн и пост обработки динамических электронных таблиц.

4) Разработано методическое и программное обеспечение обработки данных в КЭТ на основе канонического и динамического факторного анализа.

5) Разработаны две новые ИТ аудита КЭТ на основе логических областей и классов, позволяющие в автоматизированном режиме исследовать структуру КЭТ и выявлять в ней логические ошибки.

6) Разработана новая методика анализа качества КЭТ, на основе экспертных методов.

На основе предложенных ИТ обработки и аудита КЭТ реализованы и внедрены:

- информационная система расчета трудоемкости эксплуатации и потребности в расходных материалах информационно-телекоммуникационной системы регионального сегмента Банка России;

- программное обеспечение автоматизированного формирования отчетов по инспектированию нефтепогрузок компанией "Росинспекторат" и аудиту качества информации в отчетах;

- специальное программное обеспечение Spreadsheet Explorer 1.0 для автоматизированного аудита безошибочности КЭТ;

- программное обеспечение проведения канонического статического и динамического факторного анализа данных в табличном процессоре Microsoft Excel.

199

1. Адамович И.М. Интегрированный прикладной пакет интерактивного многоцелевого анализа данных для персональных ЭВМ (И1111 ИМАД) // ЭВМ массового применения. - М.гНаука, 1987. - С. 64-68.

2. Айвазян С.А., Бухштабер В.М., Юнюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989.

3. Айвазян С.А., Орлов А.И. (ред.) Прикладной многомерный статистический анализ (Ученые записки по статистике т.ЗЗ ЦЭМИ). М.: Наука, 1978.

4. Анализ нечисловой информации в социологических исследованиях. М.: Наука, 1985.-221 с.

5. Анализ нечисловых данных в системных исследованиях/Сборник трудов. Вып. 10. - М.: ВНИИСИ, 1982. - 155 с.

6. Биллиг В.А., Дехтярь М.И. VBA и Office 97: Офисное программирование: М.: Издательский отдел "Русская Редакция", 1998.

7. Брандел М. ПО для ПК рождает новые ПК // Еженедельник "Computerworld". 2000. - №14.

8. Будзко В.И., Ильясов Д.Ф., Синицын И.Н., Рыков A.C. Многокритериальная оценка качества информационных систем в условиях неопределенности // Безопасность информационных технологий. 2004, №1. -С.44-54.

9. В.Потемкин. Вычисления в среде MATLAB. М.: Диалог-МИФИ, 2004.

10. Вилкас Э.И. Оптимальность в играх и решениях. М.: Наука, 1990.

11. Вилкас Э.И., Майминас Е.З. Решения: теория, информация, моделирование. М.: Радио и связь, 1981.

12. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978.

13. Ильясов Д.Ф. Методы, алгоритмы и программное обеспечение анализа качества электронных таблиц И Труды IV международной конференции "Идентификация систем и задачи управления" (SICPRO'05), 2005. CD-ROM.-C.1164-1182.

14. Ильясов Д.Ф. Технология анализа качества информационных систем, построенных на основе электронных таблиц // Наукоемкие технологии. -2004. №7. - С.88-94.

15. Ильясов Д.Ф., Синицын И.Н. Информационные технологии обработки и аудита крупноформатных электронных таблиц и их применение // II Научная сессия Института проблем информатики РАН: Тома докладов / под ред. И.А.Соколова-М.:ИПИРАН, 2005 с.79-81.

16. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2000.

17. Липаев В.В. Выбор и оценивание характеристик качества программных средств. М.: Синтег, 2001.

18. Липаев В.В. Обеспечение качества программных средств. М.: Синтег, 2001.

19. Литвак Б. Г. Экспертная информация: Методы получения и анализа. М.:1. Радио и связь, 1982.

20. Лоули Д.Н., Максвелл А.Е. (Lawley D. N., Maxwell А. Е.). Factor analysis as a statistical method. Butterworths, London, 1963. Русский перевод: Факторный анализ как статистический метод. - М.: Мир, 1967.

21. Пугачев М.И., Стариков Е.В., Янбухтин Т.И. Матричная электронная таблица. М.: Изд-во МГУ, 1991. - 36с.

22. Методы анализа данных, оценивания и выбора в системных исследованиях/Сборник трудов. Вып. 14. - М.: ВНИИСИ, 1986. - 124 с.

23. Методы анализа данных, оценивания и выбора/Сборник трудов. -Вып.11. М.: ВНИИСИ, 1984. - 92 с.

24. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979.

25. Панкова Л.А., Петровский A.M., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. М.:Наука, 1984.

26. Пашуто В.П. Организация и нормирование труда на предприятии. М.: Новое знание, 2001.

27. Пугачев B.C. Теория вероятностей и математическая статистика. М.: Наука, Главная редакция физико-математической литературы, 1979. (1 изд). 2002 (2 изд).

28. Рыков A.A., Рыков A.C. Алгоритмы обработки экспертной информации для оценки качества информационных систем // Сб. научн. трудов «Экономика, информационные технологии и управление в металлургии». -М.: МИСиС, 2003. С. 86-89.

29. Рыков A.A., Рыков A.C. Экспертные алгоритмы оценки качества информационных систем: Сб. «Теория активных систем» // Труды международной научно-практической конференции. М.: ИПУ РАН, 2003. - Т. 1. -С. 133-135.

30. Саймон А.Р. Стратегические технологии баз данных. М.: Финансы и статистика, 1999.

31. Синицын И.Н. Фильтры Калмана и Пугачева. Теория и применение. М.:Изд. "Логос", 2005.

32. Синицын И.Н., Будзко В.И., Ильясов Д.Ф. Методическое и программное обеспечение факторной идентификации // Труды III международной конференции "Идентификация систем и задачи управления" (SICPRO'04), 2004. CD-ROM. - С. 1927-1940.

33. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. М.: СИНТЕГ, 2003.

34. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998.

35. Харман Г.Г. (Harman Н. Н.). Modern factor analysis. University of Chicago Press, 1960. Русский перевод: Современный факторный анализ. - М.: Статистика, 1972.

36. Щавелев Л.И. Способы аналитической обработки данных для поддержки принятия решений // Системы управления базами данных. 1998. - №4.

37. Экспертные оценки в задачах управления /Сборник трудов. М.: Институт проблем управления, 1982. - 106 с.

38. Arrow K.J. Social choice and individual values. N.Y.: Willey, 1951.

39. Arrow K.J., Hurwitz L. An optimality criterion for decision-making under ignorance // Uncertainty and expectations in economics. Oxford: Basil Blackwell and Mott, 1972.

40. Ayalew Y., Clermont M., Mittermeir R. Detecting errors in spreadsheets // Proceedings of EuSpRIG 2000 Symposium. 2000. - Vol. 1. - P. 51-62.

41. Butler R. Is This Spreadsheet a Tax Evader? How H. M. Customs & Excise Test Spreadsheet Applications // Proceedings of the 33rd Hawaii International Conference on System Sciences. 2000. - Vol. 33.

42. Dahl O., Dijkstra E.W., Charles A.R. Structured Programming. Academic1. Press, 1972.

43. Goodman L., Markowitz H. Social welfare functions based on individual rankings // Amer. J. Sociology. 1952. - Vol. 58. - P. 257-262.

44. Hendry D.G., Green T.R. Creating, Comprehending, and Explaining Spreadsheets: A Cognitive Interpretation of What Discretionary Users Think of the Spreadsheet Model // International Journal of Human-Computer Studies. -1994. Vol. 40. No 6. P. 1033-1065.

45. Huang J.C. An Approach to Program Testing // Computing Surveys. 1975. -Vol. 7. No. 3.- P. 113-128.

46. Isakowitz Т., Shocken S., Lucas H. Toward a Logical/Physical Theory of Spreadsheet Modeling // ACM Transactions on Information Systems. 1995. -Vol. 13, No l.-P. 1-37.

47. Knight В., Chadwick D., Rajalingham K. A structured methodology for spreadsheet modelling // Proceedings of EuSpRIG 2000 Symposium. 2000. -Vol. l.-P. 43-50.

48. KPMG Management Consulting. Executive Summary: Financial Model Review Survey // KPMG. London. 1997.

49. Kruck S.E., Sheetz S.D. Spreadsheet Accuracy Theory // Journal of Information Systems Education. 2001. - Vol. 12, No 2. - P. 93-108.

50. Massively Spiffy Yet Delicately Unobtrusive Compression Library. Режим доступа: http://www.zlib.net, 15.10.2004.

51. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974.

52. Nevison J.M. The Elements of Spreadsheet Style. Brady Book, 1987.

53. Nixon D., O'Hara M. Spreadsheet auditing software. // Proceedings of EuSpRIG 2001 Symposium. 2001. - Vol. 2.

54. Paine J. Ensuring spreadsheet integrity with model master // Proceedings of EuSpRIG 2001 Symposium. 2001. - Vol. 2.

55. Paine J. MODEL MASTER: Making Spreadsheets Safe // Proceedings of CALEC097. CTI. 1997.

56. Paine J. Web-O-Matic: using System Limit Programming in a declarative object-oriented language for building complex interactive Web applications // Proceedings of the 8th REXX Symposium. IBM. 1997.

57. Panko R. Applying Code Inspection to Spreadsheet Testing // Journal of Management Information Systems. 1999. - Vol. 16. No 2. - P. 159-176.

58. Panko R. What we know about spreadsheet errors // Journal of End User Computing. 1998. - Vol. 10. No 2. - P.15-21.

59. Panko R., Halverson R. Are Two Heads Better than One? (At Reducing Errors in Spreadsheet Modeling) // Office Systems Research Journal. 1997.

60. Pfaenberger J.F. Improve your spreadsheet. Режим доступа: http://spreadsheetstyle.com/style/10tips.htm 2001.

61. Rajalingham К., Chadwick D., Knight B. Efficient Methods for Checking Integrity: A Structured Spreadsheet Engineering Methodology. // International Journal of Computing and Informatics. 2002. - Vol. 26. No 1.

62. Rajalingham K., Knight В., Chadwick D. Classification of spreadsheet errors. Proceedings of EuSpRIG 2000 Symposium. 2000. - Vol. 1. P. 23-34.

63. Regenwetter M., Grofman B. Approval voting, Borda Winners and Condorcet Winners: Evidence from seven Elections // Management Science. 1998. -Vol. 44. No 4.

64. Reichwein J., Rothermel G., Burnett M. Slicing spreadsheets: An integrated methodology for spreadsheet testing and debugging // Proceedings of the 2nd Conference on domain-specific languages. ACM. 2000. -Vol. 2. - P.25-38.

65. Ronen В., Palley M., Lucas H. Spreadsheet Analysis and Design // Communications of the ACM. 1989. - Vol. 32. No 1. - P. 84-93.

66. Ronen В., Palley M., Lucas H., Spreadsheet analysis and design // Communication of the ACM. 1989. - Vol. 32. No. 1. - P. 84-93.

67. Rothermel G., Li L., DuPuis D., Burnett M. What you see is what you test: A methodology for testing form-based visual programs // Proceedings ICSE 1998. 1998. - Vol. 20. P.198-207.

68. Rothermel K., Cook C., Burnett M., Schonfeld J., Green Т., Rothermel G. Wysiwyt testing in the spreadsheet paradigm: An empirical evaluation // Proceedings ICSE 2000. ACM. 2000. -P.230-239.

69. Sajaniemi J. Modeling spreadsheet audit: A rigorous approach to automatic visualization // Journal of Visual Languages and Computing. 2000. - Vol. 11. No l.P. 49-82.

70. Sen A.K. Social choice theory // Handbook of mathematical economics. Amsterdam; N.-Y.; Oxford; Tokyo; North-Holland, 1986. - Vol. 3.

71. Shiozawa H., Okada K., Matsushita Y. 3D Interactive Visualization for Inter-Cell Dependencies of Spreadsheets // Proceedings Info Vis 99. IEEE. 1999. -P. 79-82.

72. Southern Cross Software. Operis group pic. Режим доступа: http://www.operis.com/oak.htm, 12.05.2004.

73. Southern Cross Software. The spreadsheet detective. Режим доступа: http://www.uq.net.au/detective/home.html, 12.05.2004.

74. Тео Т., Tan М. Spreadsheet development and 'what-if analysis: quantitative versus qualitative errors. Accounting Management And Information Technologies. 2000. - Vol. 9. - P. 141-160.

75. United States Patent and Trademark Office. Режим доступа: http://www.uspto.gov, 15.07.2004.

76. Vlahos G.E., Ferrat T.W. The use of information technology by managers of corporations in Greece to support decision making // Proceedings of the 1992 ACM SIGCPR conference on Computer personnel research. 1992. - P. 136151.

77. Weichang W., Wadge W. The Eductive Implementation of a Threedimensional Spreadsheet. // Software-Practice and Experience. 1990. - Vol. 20. No. 11.-P. 1097-1114.

78. Young H.P. An axiomatization of Borda's rule // J. Econ. Theory. 1974. -Vol. 9. - P. 43-52.

79. Zhu H., Hall P., May J. Software Unit Test Coverage and Adequacy // Computing Surveys. 1997. - Vol. 29. No 4. - P.366-427.208