автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Автоматизация программирования и подготовки заданий при обработке массовых геофизических данных
Автореферат диссертации по теме "Автоматизация программирования и подготовки заданий при обработке массовых геофизических данных"
АКАДЕМИЯ НАУК СССР СИБИРСКОЕ ОТДМЕНИЕ
внчи-слигедыыя пентр
На правах рукописи ¡Шпзкина Лпдагила Павловна
АВТОМАТЙЗАПИЯ ПРОГРАММИРОВАНИЯ И ПОДГОТОВКИ ЗАДАНИЙ ПРИ ОБРАБОТКЕ МАССОВЫХ ГЕОФИЗИЧЕСКИХ ДАШШ
05.13.11 - кате:«аткческое и программное
обеспечение вычислительных маяган, томтиексов, систем я сетей
Автореферат дкссертаяян на еояскаше ученой степени кандидата технические наук
Новосибирск - 1990
, АКАДЕМИЯ НАУК СОЙ»' СИБИРСКОЕ ОТДЕЛЕНИЕ ВЫЧИСЛИТЕЛШЯ ПЕНТР
На правах рукописи Шкшта Людмила Павловка
АВТОМАТИЗАЦИЯ ПРОГРАММИРОВАНИЯ И ПОДГОТОВКИ ЗАДАНИЙ ПРИ ОБРАБОТКЕ ШССОШ<
геофизических дшш
05.13.11 - математачестое в программное
обеспечение вычислительных ьаиин», яэиглелсоа, сгстем я сетей
Автореферат дгссертагаи яз соискание ученой степени кандидата* технически наук
йовоскбирса - 1930
Работа выполнена в производственном геологическом объединении "Ирк)тскгео4иэика" и Иркутском политехническом институте
НаучныГ руководитель - доктор технических наук • прсфесоор В.ЗЛомтедзе
Сфициалывле оппоненты - доктор фи?ико-::атемауи1Гесхкх наук
профессор Н.Н.Миренков ,
кандиоат йязико-математических наук Б.Г.'Чзйлахов
Ведущая организация - ВНИИГШИНФСРМСИСТЕМ
\ ,
Эя^ита состоится 25 декабря 1990 Р. »14.30 на заседании специализированного совета К.002,10.02 по присуждению ученой степени кандидата наук при Вычислительном центре СО АН СССР (630090, Новосибирск, 90, пр. акад. Лаврентьева, 6).
С диссертацией кожно ознакомиться в читальном зале Отделения ГПНТБ (Новосибирск, 90, пр. акад. Лаврентьева, 6). Автореферат разослан ноября 1990 г.
Ученый секретарь специализированного совета /(¡г)(л&?~Г """ Замулин А.В.
Г.:
I
ОШАЯ ХАРАКТЕРИСТИКА РАБОТЫ
'Актуальность темы. Объемы геофизических работ в нашей стране
непрерывно растут, поскольку геофизические методы, являясь дистанционными, позволяет при относительно небольших затратах средств оценивать перспективносп исследуемых территорий на различные типы месторождения полезных ископаемых. Вследствие этого обработка геофизических данных перестала быть исследовательской деятельность» и превратилась в промышленное производство, д,тя котооого требуется технология. Поичем технология необходима как*для создания мощного начесного проггаумного аппарата, так и для его гибкого использования конечнкли пользователями (геофизика?.?»). На создание такой технологии: и направлена данная работа.
Цель и задачи работы. Создание инструментальных программных средств, позволят:« автоматизировать программирование и подготовку заданий при обработке массовых геофизических данных.
В работе защвдаэтся следующие основные положения:
I. Обработка массовых геофизических данных должна выполняться в информационно-программной среде, учитывающей следующие особенности:
- геолого-гзо^изячзскле данные, как правило, поставляется для обработки в виде Фрагментов географически (коордикатно) локализованной информации, относящейся к определенному геолого-геоФи-зичаскому методу и характеризующейся определенной детальностью-?/лсштабом работ; .
- для геофизических дакню^ характерна относительно высокая стабильность, т.е. минимальные изменения при хранении;
- огромные объемы массовых геофизических данных требуют принятия спетаальных мер по экономии маши..яых ресурсов;
- технология обработки диктует необходимость доставки гео V-геофизических данных во внутреннем механизме прогрзш, не по отд. ль ньм записям, а сравнительно большими порниями (сейсмическая то-:
са, про?иль), т.к. отдельная запись обычно соответствует точке наблюдения и не имеет 'при обработке самостоятельного значения.
Перечисленные особенности учитывается в среде Файловых баз данных (ФЦД), подцетаиваемой СУШ реляционного типа, синтезирующей также негажрые достоинства Файловых я инЛэрмапионно-поисновнх систем.
2. Лвтоматизагокя создания программного оберпечения обработяг геофизической ввТормапии основывается на выделения стандартных областей памяти для работы с обоснованными в среде <йдД струю-vpava данных я на конструирования маяросредств, работающих с внделвнны-т структурами в стандартных областях памяти абстрактной ЭВМ.
3. ЗМективнш средством автокатизагаш труда конечного пользователя (reof дайка, занимающегося обработкой данных) являгток инструментальные языковые средства, обЛегчавдие подготовку заданий,
4. Э№ективнос.ь разработают- средств автоматизации програм-кнровання и подготовки заданий подтверждается практикой раэоа^отта в игре кого использования'общего программного обеспечения геолого-геоЯнзяческях исследований, применяемого при обработке данных различных геофизических методов.
Научная новизна. В работе пранал из кровавы основные особенности геофизических данных и с учетом »тих особенностей, а также общих тенденций развития средств программирования в язукозых средств конечного пользователя предложены инструментальные средства и^грамииста в конечного пользователя (геофизика, геолога) при обработке массовых геофизических данных.
Реализация результатов исследований g практическая значимость работы. Созданные инстр;ментальные средства программиста и конечного пользователя вошли в состав общего програлмного обеспечения Геоинформсистемы и получили широкое применение в крупных геофизически: организациях - в объединения "Иркутскгео^язика" и в Главтшеньгесшогии. С применением созданных средств программирования (<ЮРТРАБ-ФШ были разработаны для ЗЗМ "Сайбер" и затем перене..аны на ЕС S3W рассматриваемые в главе 4 обширные комплексы . программ общего программного обеспечения геодого-гео$язкческих исследований.
Апробапия работы. Основные
положения фезультаты данной работы докладывались на Ï Уральской кон^ерентот "Применение математических методов н ЭВМ при обработке инторкэттта на геолого-oaneenommx работах" (Свердловск, 1935*), а также на Всесоюзном семинаре "Вопроса теории и практики ннтерпретатик'гразит&ннонных и магнитных аномалий пра поисках в разведке месторождений полезных ископаемых" (Иркутск, 1S87).
Публикации.' По теме дшссерташк опубликовано 5 броошр, статья и тезисы двух докладов.
Исходяне 'материалы и личный вклад автора. Дассеотатая отражает результаты нсследоваияЯ, яоторне проэодилвсь автором ъ объединении "Кркутсгеофизика" с 1976 по 1990 год. Лячний вклад автора заключается в обоснованна в конструировании средств автоматя-запяи програиофоваяия я .лструуентальяих средств конечного поль-зователя-геофязвка с учетом особенностеЗ обработка массовых гео-Ятгзяческях данных, программной реалвзаггая больяей части этих средств, а тагсге иногкх программ общего программного обеспечения геолого-геойязнческяж ясследоваяиЭ, рассиатрлваемого в главе 4,
Структура я объем работа. Дясеертапяояная работа состоят йэ введения, четырех глав я заклвчеяяя. Объем работа - 95 стоаняп, включая 2 ргсунка я 1 табляпу. Спясок литературы содеряят 57 на-пыеноэаяяй. Первая глава посвязена обоснованно ивНпормагеюнно-прог-раммно2 срегн, учатназнаей особенности технология обработки массовых геоАязичесхях данных, вторая - средства}.! автоматпзапкя ярог-ракмярозаяяя, третья - янструнезта^гьякм средствам хоязчяого пользователя, я четвертая - практическому пряиеяеагз разработанных инструментальных средств'.
Автор пряно си? глубокую благодарность д.т.я.ярой. В.В.Лом-тадзе за научное руководство, Э.А.Третья?, а Н.В.ЕрмакоЕой за разработку ряда подпрогрзкл яря реалязатшл 50РТ?АНа-4Е1 па ЕС ЭВМ, .Я .Г.До сто валовой за о$орхиеяиа дпссертатаз.- '
00ДЕР2АЯИВ РАБЬМ'.
ИяЗоршпяонно-програ^мяая среда для обработка кассовых геоаззотескях данных
В болютястве систем обработет геодезических даняшс есп яг получали сярокого развития инструментальные средства дрогра??«к -а извечного пользователя, за ясюгвченяегл стандартных средств, прёдоставляеаых операционными сястемакя ЭВМ. Лшь в некоторые системах (например, СПС-3 - систега обработки материалов ¡-.Л-разведки, ООКГИС - система обработки данных геофпзяческих с"следований сг^зянн) предусмотрены средства, в значительной стеяспя облегчавгде работу конечного пользователя - геофизика, заннмаадэго-ся обработкой кассовой нтаЗора/шш, причел это - узко спеттиалязиро-ваяние мэтодо-ораентярованнне средства. Поэтому актуальной эадз'таЗ -«твллэтся созданза инструментальных средств программиста и нзяеч-
во:« пользователя в такой ин&риапяоняо-програ»<но8 среде, которая может служить основой для формирования к последупвего ясполь-зования программного обеспечения многих геофизических метода.
Учитывая Формулированные во введении особенности кассовой геопнЛорчапии, »южно прийти к выводу, что ин^орматгонно-програм-ная среда, предназначенная для обоаботки массовых геофизических данных, должна сочетать в себе достоинства йайлбвкх систем, енйор-мапионно-поисковых систем и реляпионннх СУЕП. В Файловых системах достоинством являетер относительная автономия "Зратентов ик-¿оокапии, оаосмляемых в виде деЛлоь^ в ШС - возможность смыслового поиска «фрагментов данных для решения конкретных задач, в реляпионннх базах данных - логическая ясность представления данных и гибкость юс структурного преобразования. Такая инсГормапа-онно- программная среда была обоснована до появления этой работы и получила название среда йаЯловых баз данных (ФБД).
В среде ФЕД вся информация ¿формализованно представляется в виде *айлов, организованных по обоим правилам, В файловых базах данных используются 4 основные структуры данных, в которые "вкладывается" вся вадормалня. Это файл, котооый обычно соответствует площади работ; массив - соответствует про^шэ, сейсмической трассе, маршруту; запись - соответствует точке наблюдения; элемент -соответствует одному признаку (свойству) точки наблюдения (объекта). Каждый оайл состоит из паспорта и массивов. В паспорте содержится формализованное описание структуры п состава файла:
- имя (название) йайла;
- имя (обозначение) владельца;
- параметр V - число элементов данных в заглавии каждого массива;
- параметр м - число элементов в записях;
- параметр Р0, символически обозначающий принют. кодирования массивов (принпкп группирования записей в массивы); например, Р0=РВОР означает, что кодом массива является номер пройяля;
- параметры РП,из,С2 0=1.... ,4+^1 ) - описание элементов заглавий и записей массивов.
В паспорте также содержится неформализованный комлентарий. Каждый массив состоит из заглавия и записей, образующих таблицу "объекты-свойства". Каждая запись состоят из элементов данных, описанных в паспорте ¿айла именами и форматами хранения.
Таким образом, логическая организация даяяых в среде СЕВ. сходна с организагткеЯ данных в релрпионных базах; отличие заключается в той, что реляционная база включает о себя множество разнотипных таблип "объектsi-свойства", а файловая база состоит из мно-жестга разнотипных наборог однородных таблиц (масскэов). В принципе, файловую базу легко конвертировать в реляционную, создав т -каждого набора гяблац (из <?айла Ф£Д) osny таблиггу реляционно!* базы.
При этом, правда, пргдэтся элементы заглавий т&блт ростов ЯаЛ-ла) поместить s каждую запись или хе 8кяючям во aes запася массива его год (например, номер щюЯшя, к точкам которого относятся записи), а года массивов и элементы заглавий сгруппировать в отдельную таблицу. Лабой из этих подходов, благодаря сверхмассовости геоданннх, приведет к многократному дублированию части кнформагтии. Поскольку кратность дублирования может составлять тысячи раз, то это существенно снизят-эффективность системы управления базами данных (СУЩ), йленно поэтому ¿Файловая база даяйых, приближаясь по организации данных и «Еуйкниям к реляпионной, обладает и некоторыми чертами иерархической организации, хотя число иерархических уровней зафиксировано с учетом спепвЬгкл массовых .геоданных.
Инструментальные средства программирования
Современные жонпеппга автоматизации программирования связаны с инструментальным (сборочным) программированием, т.е. с идеями сборки прогреми из некоторых интегральных компонент. В этом отношении технология программирования повторяв! путь , пройденный в области электроники. Для автоматизации программирования прежде всего необходима унифицированная среда и инструментальные средства, В основу разработки инструментальных средств были полозены следующие требования:
- учет особенностей массовой геогнйсркйпии а общих тендеь развития средств программирования и конечного пользователя,
- независимость языковых средств от типов ЭВМ,
- синтез универсального я предметно-ориентированного подходов (использование универсальных средств через предметно-ориентированную надстройку). . ■■"■.■.
К инструментальным средствам програширеЬаяия относятся ФОРХРАН-ЙЩ я предтранслятор (транслятор с iOPTFAHa-ФБД на ФОРТРАН). Эта средства позволяют повысить производительность труда протрем-
б
кистов, поднять уровень уиийакатгии, надежности птогсаии, обеспечивает их переносимость, облегчают участке саештистов предметной области (непрофессионал ьннх програл-мистов) в создании программного обеспечения.
Основная идея ■ЮРТГАНа-ФБД заключается в том, что в ФОРТРАН включается яабо'р майровнетрукпяй, с помощью которых в стандартных • областях памяти выполняются типовые опер?таи над структурами дан-!!!«, принят имя в йВД. При этом имеется в виду абстрактная ЭЧМ, об-ладашая тремя уровня«: памяти: основной, внешней в распаренной.
Внешняя память - МД или МЛ. Для размещения iajbia при записи во внешнюю память используются блоки"равной дликн.
Для работы с файлом в основной памяти требуются следующие области:
€uj - буйер обмева, Оj - область Аайла (рабочая область), m J - область управления файлом,
- область загас», используемая не всегда. Такие области нужны для к^лщого 4айла, а Файл оттесывается в области df , Посколы * програша иохет работать с несколькими файяама, необходимо выделение соответствующих областей, которые GOPTPAH-iEfl резервирует автоматически, прис_аявая им укЕ$япированнке имена. ФОРТРАН-ФЕД позволяет одновременно работать с 1-9 исходными Файлами (Нормально обозначаются F1-P9) я с 1-2 создаваемыми (F и PR). Причем в состав имени качдой из названных областей входит кдентя-Ёяпиругазкй символ 1-9, пробел ели Е, например, ЛП ,A?,AFE.
Кроме того, при работе с iaî-xp^n большое значение кмеет расширенна. память (ECS), которая является промелух-очко» между зкеп-ней и основной. В расширенной памяти можно динамически резетаиро-вать экстенты, которые образу логически непрерывную область из « LECS слов. Проиедурн обмена позволяют за одно обрапение к hzm передать К слов из любой области основной-памяти з л ¿бус область SCS и обратно. Пои этом адресом з ECS является порядковый номео слова (от I so LECS), 3 некоторых ЭВМ распгиреь'ная память представлена физическими устройствами (барабаны, электронные диски), ка некоторых имитируется динамически выявляемой основной памятью.
Перейдем я ыакросседстнам, которые были введены з СОРТРАБ г привали к созданию îOPTpAKa-ФЕЛ и предтранедятора. Создано 23 :.:ак-рогнструкпии, которые по синтаксису минимально. отличаются от инструкций стандартного sîOPTPAHa: поле меток, инструкция а параметры.
Параметра могут быть как почкптокные, так я ключевые.
Рассмотрим инструкции, работающие со стандартными структурами данных в стандартных областях.
PILE - открытие файла. Встретив эту инструкцию, предтрансля-тор в о-ясательной части 'оогрзмкн резервирует необходимые области и устанавливает режиа работы с Файлом, в исполнительной части программы фэсмлрует обращение к подпрограмме, выполнятое." открытие файла в отроком смысле слова т.е. обеспечивающей доступ к ¡1айлу с учетом типа устройства и доставку паспорта в область af .
АЁЕА.У - открытие требуемого массива. Выполняется чтение блока (в котором начинается массив) в буФеи, пересылка массива или его части в область af с одновременной распаковкой данных; в области afкаждый элемент занимает пелое слово.
Для доступа к записям массива применяется инструкгшя FEC0RD. Она работает в двух режимах: в режиме указания записи в области af или ее пересылки в область гJ.
ELEM - обрацаясь к па-спорту файла, по именам элементов определяет их относительные адреса в заглавиях или записях массивов.
Для повторного просмотра йийла или массива используется инструкция НЕРЕАТ. Применяется только в том случае, если в инструкции FILB бьи указан режим использования индекса. Если файл ленточный. то автоматически создается 2-^айл на диске. При работе с очередным массивом информация заносится в индекс, массив копируется на диск в 2,-файл. При повторном обращении к любому массиву из. индекса выбирается номер блока, блок читается в буфер, массив пересылается в aj. Таким образом, благодаря скользящей дисковой 6yfe- -ризашш, с файлом на МЛ можно работать как с файлом прямого доступа.
CLOSE - закрытие файла. Последний кассиз или последний Фрагмент массива пересылается из af в буФер с одновременной упагг'-кой, блок записывается на ОД или МЛ, "записывается метка юнпа ifrr га
Рассмотренные средства для работы с данными характеризуются следутегтм достоинством: при небольших областях основной п?_м~:; , программа может обработать гигантские объемы геоияФорматтзш за счет автоматической подкачки в область aj , а также использования индекса а скользящей буферизации, причем различие' между дисковыми и ленточными Файлами стирается.
При тзаботе- с массовый данными используется пркнтога параметрической универсальности, т.е. программа может работать в рззлич-
;шх режимах, ьсе условия, иэнкретпзирушие работу,программы, задастся й виде параметров. Яоклальные описания используемых Файлов и параметров задамся в инструкпия STÄET, которая является первой инструкцией программы. Эта внструктия содержит несколько строк, в пересй указывается имя программы и перечень используемте «Ьайлэв (Fl,F2,f,.-.), в каждой из слеоухэдх строк - описание одного параметра - его имя,, (¡ярмат хранения, граничные значения, значение по умолчан,по. Чредтранслтор, встретив эту ннструхпич создает кячаль-' нус часть программы, о которой рззераирутзтср сЛадстг оуясяняр файлов, вводятся параметры.
FIftISH - последняя инструктор программ«. встретив эту инструк-пие, предтрйнслятор записывает текст дормируеь-ой програ^н в выходкой файл я приступает к трансляции следующей, есл? ока сулеству-ет во входном файле.
При вводе параметров осуществляется их контроль. При обнаружении недопустимых значений параметров гли ггри отсутствии обязательных параметров включается программный лереклгчатсль,
Ьосле ввода всех параметров осуществляется проверка программного перекточате,.я инструкцией SSY/ITCH. Как правило это вторая инструкпия после STAKT. Если на предыдущем шаге задания или в начале выполнения данной програтг. был включен прогпаммныЯ переключатель, ю оставшаяся часть задания переходит в ps-гим кошаляпии: на каждом саге только контоолтэуютсл параметш с печатью диагностических сообщений.
Инструкции динамического резервирования памяти (QI, ECS), динамической загрузки подпрограмм (LOADGO), обмена ve-цу оснозной я расширенной памятью (ECSCM, С5.ЕС5), работы с байтами и битами (MOVE, 00МРА1Е, AKD, OS, SHI?T) также существенно расширят возможности wQPIPAHa, делают его-динамичным, что особенно важно при работе со свзпхмассовыми данными. Кроме того, поедусмотрены инст-рукпто MESSAGE - для вндачи сообщений, и CDATA - для резеовирова-ния массива а присвоения начальных символьных значений.
Такт» образом, были созданы средства программирования, прпмё некие которых принципиально изменило сам характер разработки при* клапных проггомм, предназначающихся дтя обцаботкя массовых гео-Ьпическлх данных: программирование стало в основном сбозочным, а это привело к повышение гпзоизводительности труда программистов (гак показал опыт оабот, бол?е, чзм в два оаза), а также понишенот надежности программного обеспечения,- ■
Накоаеп, важнейшим Фактором «нлоетс* обо^ечение инваогадано-сти прогреми по отношению к типам .Ж, которая достигается благодаря тому, что уровень Формулирования макроинструкгтий на ФОРТРАНс-<ВД превышает тот уровень, на котором заметны отличия между ЭВМ рягалчных типов. ... '
Инструментальные средства конечного пользователя
К инструментальный средствам пользователя относятся диалоговый и пакетный мониторы. Мониторы позволяют автоматизировать протесе подготовка заданий в среде ФЕД. Такие задания характеризуется рядом особенностей:
- практически не бывает двух идентичных заданий, поскольку графа обработки массовых геофизических данных чрезвычайно разнообразна;
- из-за массовости данных астрономическое время выполнения заданий, как правило, измеряется минутами, а иногда и часами;
- многие задания требуют установки магнитных лент.
. Учет этих особенностей делает непалесообразкой полную обработку геофизической информагчга в диалоговом режиме. Поэтому созданные мониторы ориентированы именно на автоматизацию подготовки заданий. Каждое из таких заданий реализует обработки, котоокЗ может состоять из многих шагов. Один шаг описывается названием икструк'чот реляционного языка или именем программы, которузо надо выполнить, а также системными и специальными параметрами. Системные параметры - это, в основном описания Файлов. Специальные параметры - в каждой программе свои. Диалоговый монитор выполняет следующие функции:
- спрашивает пользователя, какую очередную программу тот аелает выполнить; . .
. - получив ответ, вводит в диалоге системные и специальные параметры, помогая пользователю указанием их зозможных значений (значения по умолчанию или же значения,введенные при подготовке предыдущих шагов задания);
- сформирует задание в йтаЕле, который по окончании подготовки направляется во входную очедедь сО''.
Пакетный монитор удобен для Армирования заданий, незначительно изменяемых при многократном использовании. Кроме того, этот монитор предпочтительнее для пользователя, обладающего высокой
квалификацией в области обработки геофизических данних - хорошо знающего назначение большинства программ и их управляюте параметры. Этот монитор реализует элементы языка SQL с учетом особенностей обработки массовых геоданных. Монитор преобразует входной лаконичный текст задания, подготовленный пользователем, в текст задания, содержащий вызов программ с помощью базовых средств система оперирования данными (СОД) - СУШ, поддерживающей среду Файловых баз данных. Краткость и относительная простота входного текста задания достигаются благодаря тому, что пользователю предоставляются следующие возможности:
- упрс .денно записывать параметры для всего задания при наличии для большинства глобальных параметров значений, принимаемых по умолчанию;
- однократно указывать и при необходимости переопределять параметры площади работ, для которой выполняется обработка данных;
- упрощенно обращаться к любым программам в среде ФБЦ; .
- выполнять нас; данными макрооперашга, описываемые с помощью языковых конструкций, аналогичных конструкпиян реляционного языка SQL.
Текст задания, поступающий на вход пакетному монитору, вклгь чает в себя следующие фрагменты информации:
- параметры задания; это обязательный и всегда первый ffpar -мент', начинающийся с инструкции 30ÍJ;
- параметры площади работ; такие фрагменты информации, качи-надаиеся с инструкции АВЕА, включаются в грай обработки для указания ели изменения некоторых параметров площади работ, и поэтому в последующих шагах, где эти параметры могут потребоваться неоднократно, гас можно ие задавать;
- фрагменты, начинающиеся с карты (строки) 0QP7 или DATA; каждый такой фрагмент просто переносится в Формируемый текст задания (без карты СОРУ, PATA);
- инструкции с параметрами и уточняющие Фразы со своими параметрами для описания каждого тага в графе обработки.
Каждый фрагмент входного текст;' задания начинается с новой строки. Начало очередного фрагмента опознается монитором по нме-кк кнсгх'УК'чш, которое должно размещаться с пергой позиции. Инст-руи уточнрщие гпраза в дальнейшем буквы такте называть язы-x&biüu: канструктткяхш, или просто тсзяструктиями. Текетот начале К'лг.'Л лгыкочой коне трубки дс ас тта. считаете я непрерывным,
и
т.е. .позиция 1 каждой строки, кроме первой, в данной конструкпии рассматривается как очередная позттяя после по лиши 72 предыдущей строки. Элементы текста отдаляются доуг от яруга с аа.ющыо гтгюбе-лов, скобок и значков-разделителей, В круглые скобки заключаются группы дополнительных параметров.
Разделитель » или запятая используется для отделения гсарамет ров друг от другч.
Разделитель в иля ; ставится для разделения значений зектор-ного (гоуштового) паоаметра , предоставленного ключевым словом и перечислением значений.
Запись одного шага графа обработки можно представить в следующем ваде:
instr [ noj(pf1.pf2,...,pfn}pm1,pm2,...ipm!cj FROM M/(pij,p/2,...)
from по|(р/,^2,...) TO ,HíP/i>PÍ2*...) . TO noj4p/t,p/a,...)
Уточняющие йразы (WHE8B, AID, OR, C20UP ВУ, 0S3ER. ВЛ DATA.
Данные, директивы, уточняющие выполняемые функггаи s т.п.
Это - гмгнно схематизированная я обобщенная запись, показы-зазазая, конструкция какого в яда иогуг встретиться при записи кон-гфетннх !гастр«ттай. Поясним элементы обобщенной записи пата задания.
mstr - на;!менозаниз инструкции (например, 5BLSCT). Частным случаем накменогания кнструкпад mozo? бить запись згаа Ignaras , сзкачающая, что на данном Ears rpafe обработки надо выполнить сгрограчму с именем паше.
,рт2,... - уггравд^ззие параметры, коннретязгрую-
заполнение данной якструкпшт (например, ?=CU; С, DCI=0.25. noj - ямя файла, которое могет быть просткм (до 5 сгазс-•"3/ sin составным (здентафякатор пользователя ш 4 сямзолоз, точка, имя файла - .20 3 сгкэолов).
PÍi 'Piг'---- ~ паазметры <£аЗла.
Щ)М - означает начало фразы, содержащей описание исходного Файла.
10 - означает начало {разы, содержащее омсаяие Файла ре« зультатов.
Предусмотрены следующие инструкции пахеълого монитора: ХВ= - в этой инструкггии задается имя задания, учетная ин<*ор-мапия, другие параметры задания; например, можно указать на каком томе и с какой диспозицией размещать дисковые Лайлы, если это не указано в соответствующей инструкции rpatfe обработки; АЕЕА - указываются параметры площади работ; СЕЕАЗЕ - создать файл; PRIST - напечатать йайя;
CHECK - предназначена для логического контроля йайла; SESAMEAS - используется для переименования массивов файла; SELECTAS - предназначена для отбора массивов из одного или двух файлов; .
tJOIHAE - используется для объединения массивов двух Файлов; UPDATE - предназначена гля корректировки файла; SELECT - позволяет отбирать внформатпго (сголбпы и строки таблшт) из одного шш двух файлов согласно заданны» условиям, а также, вгашчат* в заглавия к ваписи «ассивов {таблиц) файла результатов новые алеиеяти данных, вычисляемые согласно директивам пользователя;
30IH - осуществляет слияние двух Файлов do одному или двум обцш адеиввтаи данных;
I «паше •>- его особая инструкция, о оошцьв которой в граф обработки включается выааяненнз конкретной программы с именем доле.
Приведем пример, юиюстрирунзгй запись задания на языке пользователя пакетгого «юнитора:
J0t-4.SC! , С MP-' 0143 . 00. 0244 , «43М », СОИ-« L8<-TEL. 242 « ,CLfi-A,'
1Ш ÍHIH-244, XKkX-289, nfl*-57i, YKM-tiS, ¿CXLX-гООООО, Ml«244,TTJo»571,DX»l rMT«I f
ÍELXCT VV-XittTOI
7 КОМ 1A.-iti.it
то тчпг
WHERE XT ГК{244,570, 290,570,610,244,610J AHO РМ2 BETVEEH CO. 5,1) CROUP ar X 1X1-240,X2-290,WC»5l ORDER BT Г
I-GQIS, PJ-TMJ, aES~TM2|0TH2, R»8 PROK PTM2 TO PG01S
I-Booa, P-T«2|OTM2, DCl-10 , DC2-10 ?ROK ГС015 TO PGRXP.
I-B007, ЯР—1, PÍNT»80f PAHK«160
PROM LS.PTEST
PRO*
PROM PGRÄP //
В зтом гоаФе обработки параметры, относящиеся ко всему задании приведены в инструкции ЗОВ, а параметры, относящиеся к площади работ - в инструкции АВЕА.
Инструкция SELECT обеспечивает Нормирование промежуточного Файла FTf'í2 из Файла LS.FTEST. При этом в записи Формируемого Файла вклгг-автся элементы Х,У,ТМ2, а отбор самих записей производится по двум условиям: соответствующие точки должны попадать в пределы заданного многоугольника, и значение элемента данных Ък2 долкко гтаинадлежать интервалу [0.5,1] . Эти записи в Файле FTM2 иолнтш быть сгрупптеованы в массивы, соответствующие "полосам" ~п-стт:гой DS=5. В каждом массиве записи будут упорядочена по позоастания элемента У.
!Ъстт)Ухпгя 1=£Ю15 обеспечивает выполнение конкретной прог-G015. Эта программа заполняет интерполяцию пол« ТЙ2, за-глиного исходным Файлом FTM2, в узлы сети, заданной параметрами -лотдшт работ. При интеотолятт используется радиус обзора ЗЫ5.
В записи файла результатов включаются алемпнтн W2 и 1ГШ2. Этот $Шл является входным в следующей инструкция.
Программа В008 строит карты полей ТМ2.ШМ2 с сечением изолиний 10. Границы карт и масштаб была заданы во Фрагменте АЕЕА, На-эту карту накладывается схема профилей с пс адью программы В007.
3 заключение этого раздела заметим, что созданные языковые средства не только облегчают геофизикам подготовку заданий на обработку массовых данных без привязки текстов заданий к типу ЭВМ, но таете позволяю Формализованно описывать многошаговые граЗа обработки геофизических материалов, в той числе при преподавании таких дисциплин,кяк "Теоретические основы обработки геодезической ивйормапии". •
Важно также подчеркнуть, что речь идет о приближении языка пользователей геофизических- обрабатывающих систем к реляпионкому языку SQL , но не о точной реализации этого языка.
Последнее объясняется тем, что реляционный язык все же не . учитывает многие особенности обработки массовых геоданных, позволяя выполнять над ними лишь элементарные операпии, которые в графе обработки всегда перемещаются с иного численндаи операплями, не яредусмотренннга в коммерческих СУШ. Кроме того, полный набор возможностей SQL по отбору данных (многообразие проверяемых логических условий, возможность использования подзапросов и т.п.) является избыточным при обработке в анализе кассовых геодашшх. В то же время возможность йормалязатиз типовых операций изндпу-лирования табличными данными - это важнейшее достоинство реляционного языка, и тю этому идеи SQL палесообразно использовать для йормалЕзапии грзйЬов обработки геоданных. Это сложная проблема, требуясзая учета особенностей технологии обработки геолого-геойз-зических мате-ряалов во бсеы их многообразии (картографические данные, материалы сейсморазведки, гравираэведки, геохимии, аэрометодов п т.д.). В то же время- это - проблема унификации обработки массовых геоданных, разработки общих методов сЕориулирования графов обработки и, даконей, создания языковых средств дл? реализации таких методов. В предлагавши работе дается лиаь частичное решвеие атой проблема.
Инструментальные средства программ,грования я обработк* массовых данных как составная часть общего программного обеспечения геоинЛзрмсистемы
СЬздаккые инструментальные средства нашли широкое применение при разработке я использования как общего программного обеспечения геоянформсистемн, так и методо-ориентированных систем обработки в интерпретации геофизических данных. На <ЮРТРАНе-ФБД была разработаны следуодяе комплексы lipo грамм,
1. Программы оперирования данными: преобразование Файлов из внешнего представления во внутреннее и наоборот; печать н логический вднтроль файлов; внесение а них корректировок; изменение структуры и состава таблиц - массивов, образующих йайлы; отбоо записей - строк таблиц по тоорлинатем и образу; изменение представления координат, . . , .
2. Программы графического изображения результатов: построение карт графиков п схем профилей - маршрутов, карт в символах и карт изолиний. Реализованы возможности наложения, различных изображений, изяесения сеток прямоугольных я географических координат, штачпа организаття, условных обозначений, скважин, админпстратявко-геогра^кческой ситуации, получения карт на планшетном графопостроителе кля растровом плоттере.
3. Программ графического ввода картограйяческой иншорматтии
с nziposoro стола: формирование файла формализованных картографических объектов; создание из этого файла целевых ¡гаЯлов - факторов прогноза, контуров эталонных участков, ситуапга, значений поля.
4.. Програ-.с-ш нятерполяпил и разделения полей: анализ и интер-полятая поля с учетом анизотропна а: оценкой точности; яктерполя-ш»я п разделение полей на основе аплроксимапии полем точечных источников - реализация идей В.И.Ароноза; анализ полей, заданных вдоль профилей, sapsipyroB, скважин; анализ направлений простираягя поля; выявление слабых н стохастических ааоиаллй, з том числе ре-•г.т::заткя четода сзжтастракваизегся фнльтраттни - идей А.А.йякяти-на, А.ЮЛавыденко. .
3. Поогр-'-сог органлзапла долговременного хранения и поиска массовых reo данных: поддерг^л региональных баз данных, Формирование ?гз якх телевsc: баз по запросам, построение схем изученности. . б. Псогса^лн комшгекСЕого анализа данных и прогнозирования -
система КОМПАК: одномерный статистический анализ и нормализация признаков; Факторный, корреляционно-регрессионный и треяп-анализ; безэталонная классификатая объектов; полуавтоматическая mtaccwfri-кагщя; прогнозирование на основе картографической инЯогмални -алгоритмическое и технологическое развитие реализованных в системе "Регион" идей В.В.Марченко и его коллег.
Общее программное обеспечение в среде ОВД позволяет интегри- ' ровать ин$ормапию различных геолого-геосйизических. методов, повышая надежность геологического прогнозирования на всех этапах геолого-разведочннх работ. Эта интеграгдея данных в программ стала легко реализуемой благодаря унификации средств програчгм;:сования, самого программного обеспечения, а такяе инструментальных средств формирования графов обработки.
Заключение
В данной работе получены следующие основные результаты:
- сформулированы те особенности массовой геофизической ин(*ор-мапии, учет которых необходш при разработке технологии создания
и использования геофизического программного обеспечения;
- созданы сродства программирования, повышающие производительность труда программистов, уровень унификации, надежность и переносимость программ обработки массовых геофизических данных;
- разработаны диалоговый и пакетный мониторы, позволяйте автоматизировать труд конечного пользователя при обработке массовой геофизической информация;
- разработанные средства автоматизации программирования и подготовки заданий внедрены'в крупных геолого-гео^изических организациях (Главтвменьгеодогия, объединение "Иркутскгеойтзика") к показали свою эМективность при создании и применении общего программного обеспечения геолого-гео^изических исследований.
Основные положения диссертации опубликованы в следущих работах:
1. Система обработки геоЯизич-ских Данных (СОЛ-Комплексный анализ)/ В.В..Ломтадзе, РД.Шарыпов, Е.П.Байдукова, В.В.Михалев, Ю.А.Кеквдэе, Л.П.Шишкина, Т.И.Балаба. Алгоритмы и програшы, 1977, вял,4(18). М.: ВЙЭМС, 75 с.
2. Ломтадзе В.В., йиакика Л.П., Березовский В.И. Состояние
и перспективы развития общего программного обеспечения геолого-геофизических исследований. Тезисы докладов У Уральской конференции "Применение математических методов и ЭВМ при обработке информации на геологоразведочных работах". Свердловск, 1985.
' 3. Обв;ее программное обеспечение геологоггеофизическдх исследований. Часть I /В.В.Ломтадзе, Л.П.Шишкина,•Е.Л.Анчелевич и др. - Алгоритмы и прогоаюш, 19Я6, вып.3(92). М.: ВИЗМС. 82 с.
4. Общее программное обеспечение геолого-геофизических исследований. Часть П /В.В.Ломтадзе, Л.П.Шишкина, Б.А.Анчелевич и др. -Алгоритмы я программ, 1986, вып. 4(93). М.: ВИЭМС. 90 с.
5. Ломтадзе В.В., Шишхина Л.П., Бородачеяно В.В. Конпеппия файловых баз данных (ФЕИ) и ФОРТРАН-ФЕИ. Материалы мирового центра данных Б. Ы.: АН СССР, 1986. 91 с.
6. Общее программное обеспечение геолого-геофизическшс исследований - технологическая основа методо-ориентированных систем программ. -Тезисы докладов регионального семинара "Вопросы теории и практики интерпретации гравитационных я иаггтгянх аномалий при поисках и разведке месторождений полезных ископаемых" /В.В.Ломтадзе, Л.П.Шишкина, В.И.Березовский и др. -Иркутск, 1987, с. 12-13.
7. Шишкина Л,П., Ломтадзе В.В. Пакетный монитор обработки кассовых геоданных. -Алгоритмы и программ, 1989, вып.- 3(114). М.: ВИЭМС. 33 с.
8. Ломтадзе В.В., ПЬшкина Л.П. Технология формирования и использования региональных баз геоданных, -Сб. яауч. тр. "Методологические проблемы автоматизация процессов комплексного изучения недр". М.гВНИИгеоивформсястем, 1989, е. 77-94.
Шидуияд 1.И.
'Подписано к печати OS. II.90 формат бумаги 60 х S4 Печ. л. I Тираж 100 экз. *' Заказ 3iít~'¡ Типография ÍIT0 "С осиовге aiотея"
-
Похожие работы
- Автоматизация организационно-функциональных процессов управления геофизическим предприятием на основе системной модели
- Автоматизированные системы учета и контроля геофизических работ в нефтяной и газовой промышленности
- Метод сжатия геофизических данных с применением вейвлет-преобразования и нейронных сетей
- Разработка и создание интеллектуальной информационно-измерительной технологии и аппаратного комплекса для автоматизации геофизических исследований скважин
- Автоматизированная интеллектуально-информационная система для обработки геолого-геофизической информации
-
- Системный анализ, управление и обработка информации (по отраслям)
- Теория систем, теория автоматического регулирования и управления, системный анализ
- Элементы и устройства вычислительной техники и систем управления
- Автоматизация и управление технологическими процессами и производствами (по отраслям)
- Автоматизация технологических процессов и производств (в том числе по отраслям)
- Управление в биологических и медицинских системах (включая применения вычислительной техники)
- Управление в социальных и экономических системах
- Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей
- Системы автоматизации проектирования (по отраслям)
- Телекоммуникационные системы и компьютерные сети
- Системы обработки информации и управления
- Вычислительные машины и системы
- Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)
- Теоретические основы информатики
- Математическое моделирование, численные методы и комплексы программ
- Методы и системы защиты информации, информационная безопасность