автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Программно-аппаратный комплекс Система сбора данных установки ВЕС

ГОСУДАРСТВЕННЫЙ НАУЧНЫЙ ЦЕНТР РОССИЙСКОЙ ФЕДЕРАЦИИ

э ИНСТИТУТ ФИЗИКИ ВЫСОКИХ ЭНЕРГИИ

I НЕР

96-26

На правах рукописи

г

Ключников Геннадий Алексеевич

и

ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС "СИСТЕМА СБОРА ДАННЫХ УСТАНОВКИ ВЕС"

05.13.11 - Математическое и программное обеспечение вычислительных машин,

комплексов, систем и сетей

Автореферат диссертаций на соискание ученой степени кандидата физико-математических наук

Протвино 1996

\

М-24

Работа выполнена в Институте физики высоких энергий (Протвино).

Научный руководитель - кандидат физико-математических наук Р.И. Джелядин.

Официальные оппоненты: доктор физико-математических наук В.В. Куликов (ИТЭФ), доктор физико-математических наук В.П. Кубаровский (ИФВЭ).

Ведущая организация - Санкт-Петербургский институт ядерной физики (г. Гатчина).

Защита диссертации состоится "_" _ 1996 г. в

_ часов на заседании специализированного совета К 034.02.01 при Институте физики высоких энергий по адресу: 142284, Протвино Московкой обл.

С диссертацией можно ознакомиться в библиотеке ИФВЭ. Автореферат разослан "_" _ 1996 г.

Ученый секретарь

специализированного совета К 034.02.01 В.Н. Ларин

©

Государственный научный центр

Российской Федерации

Институт физики высоких энергий, 1996

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Для проведения исследований в области спектроскопии мезонов в ИФВЭ была создана и работает экспериментальная установка "Вершинный спектрометр" (ВЕС). В её задачу входит изучение достаточно широкого класса реакций с несколькими заряженными (я-- и ^-мезоны) и нейтральными (7-кванты) частицами в конечном состоянии. Одним из основных физических требований является высокая статистическая обеспеченность исследований, что позволяет выделять состояния с определёнными квантовыми числами методом парциально-волнового анализа. Достижение научных целей такого эксперимента определяется наличием высокоскоростной системы сбора данных, обеспечивающей набор значительного числа событий за один сеанс работы установки. Актуальной становится задача разработки и создания аппаратно-программных комплексов для сбора данных, адекватных задачам установки ВЕС.

Цель диссертационной работы — создание программно-аппаратного комплекса системы сбора данных установки "Вершинный спектрометр ИФВЭ" и проведение методических работ для дальнейшего её совершенствования.

Научная новизна. Создана высокоскоростная многопроцессорная система сбора данных для установки ВЕС. В ней впервые применена магистрально - модульная система МИСС, разработанная в ИФВЭ и отличающаяся от предшествовавшей ей системы СУММА на порядок более высоким быстродействием. При этом:

— создана аппаратура построения и буферизации данных, позволяющая исключить программные задержки на опрос модулей регистрации, организовать многоуровневый отбор данных и их многопроцессорную обработку;

— в системе сбора данных использованы ЭВМ, встроенные в аппаратуру подсистем установки, что не только сокращает время настройки детекторов и поиска неисправностей аппаратуры, но и позволяет определённым образом уменьшать шумы регистрирующей электроники.

Впервые проведены методические работы с новым элементом вычислительной техники — процессором с перепрограммируемой архитектурой. На нём реализован алгоритм классификации кластеров в калориметре и получены численные оценки вычислительной мощности на основе данных по симуляции откликов электромагнитного калориметра, предлагаемого для установки АТЛАС.

Практическая ценность. Созданная система сбора данных эксплуатировалась около 15 сеансов работы с пучком, 5 из них длились более 100 смен (600 часов) работы ускорителя каждый. Зарегистрировано несколько сотен миллионов событий (в последнем сеансе свыше 300 млн.) с эффективностью реконструкции 50% и выше. По ряду реакций набранная статистика на порядок превышает мировую. Обработка части зарегистрированных событий уже дала ряд физических результатов. По результатам методических работ в ЙФВЭ создана система компьютерного проектирования (CAD-система) для работы с СБИС Field-Programmable Gate Array (FPGA) и процессорами с перепрограммируемой архитектурой на их основе. Технические решения и программное обеспечение, созданные в ходе работы над диссертацией, могут быть применены при создании систем сбора данных с других установок.

Автор защищает

1. Структуру верхнего уровня системы сбора данных установки ВЕС.

2. Программное обеспечение, работающее в линию с аппаратурой сбора данных.

3. Результаты разработки и реализации триггерного алгоритма классификации кластеров.

Структура диссертации. Работа изложена на 83 страницах, состоит из введения, трёх глав, заключения и двух приложений, содержит 35 рисунков и 7 таблиц, а также список цитируемой литературы, включающий 58 наименований.

Апробация работы. В основу диссертации положены работы [1-8], выполненные автором в 1987-1994 гг. в ЙФВЭ и ЦЕРН. Работы опубликованы в виде препринтов и статьей в сборниках материалов IV Всесоюзной школы по автоматизации исследований в ядерной физике и астрофизике, докладывались на семинарах ЙФВЭ и рабочих совещаниях проекта R&D-11 в ЦЕРН и были представлены на международной конференции "Real Time Data-94" в Дубне.

СОДЕРЖАНИЕ РАБОТЫ

Во введении сформулированы тема и цель диссертации, обосновывается научная и практическая ценность выполненных работ, кратко изложено содержание диссертации.

В первой главе описана установка ВЕС и даны её характеристики как источника информации. Установка представляет собой широкоаппертурный магнитный

спектрометр с идентификацией частиц в конечном состоянии и электромагнитным калориметром. Схема расположения детекторов показана на рис.1.

Установка состоит из мишени с охранной системой, спектрометрического магнита, системы трековых детекторов, многоканального порогового черенковского счетчика, сцинтилляционного годоскопа и электромагнитного калориметра.

ВРС — пучковые камеры, Т — мишень,

VETO — охранная система мишени, SG — сцинтилляционный счётчик, М — магнит,

С — многоканальный черенков-ский счётчик,

РС — пропорциональные камеры,

¡1БС — минидрейфовые камеры в

зазоре магнита,

ЮС — большие дрейфовые камеры,

Н — триггерный годоскоп,

ВК — счётчики антисовпадений,

ЕСАЬ — электромагнитный калориметр.

Рис. 1. Схема установки ВЕС.

По характеру требуемой обработки сигналы с детекторов разделяются на три группы (см. табл.1). Нетрадиционное применение ВЦП для регистрации сигналов с пропкамер объясняется тем, что информация" о времени прихода сигнала может

Таблица 1. Измеряемые величины с детекторов установки ВЕС

Детектор Измеряемая Число Диапазон

величина каналов кодировки

Годоскоп Номер сработавшего 208 1 бит

Триггерные камеры канала 448 1 бит

Минидрейфовые камеры Время дрейфа и 1260 5 бит

Дрейфовые камеры номер канала 1320 5 бит

Пропорциональные камеры 3840 4 бита

Электромагнитный калориметр Заряд и номер 1535 12 бит

Черенковский счетчик канала 28 12 бит

Охранная система 31 12 бит

повысить общую точность трековой системы (что было достигнуто для пучковой части) и оставляет свободу для её модернизации в будущем.

Всего трековая система установки ВЕС содержит 39 плоскостей. При условии 100%-й эффективности регистрации и отсутствии шумов событие, содержащее 5 треков, вызовет срабатывание около 170 каналов, что составляет менее 3% от их общего числа. В этих же предположениях размер события, содержащего в конечном состоянии 3 заряженных трека и 4 7-кванта, составит около 490 байт. Реальные распределения длин событий со всей установки и с её основных детекторов приведены на рис.2.

Частота событий, подлежащих регистрации системой сбора данных установки, зависит от задачи конкретного эксперимента и настройки триггерной аппаратуры. В экспериментах с пучком интенсивностью 1 Ч- 3 • 106 частиц за цикл работы ускорителя и мишенью в 0.1 ядерной длины частота взаимодействий в установке была ~ 105 Гц. С учётом средней длины события это означает, что установка, теоретически способна производить десятки и даже сотни мегабайт информации за цикл работы ускорителя.

Во второй главе рассмотрена аппаратная структура системы сбора данных (ССД) установки ВЕС, а также описаны методические работы по её развитию и подготовки к будущим экспериментам. ССД создавалась на основе Многоканальной информационной скоростной системы (МИСС), разработанной в ОЭА ИФВЭ. Структурная схема системы сбора данных установки ВЕС изображена на рис.3. ССД построена как набор параллельно работающих подсистем, независимо обрабатывающих информацию со своих групп детекторов и объединяемых построителем события, который имеет интерфейс с ЭВМ сбора данных. Работа всей системы управляется набором сигналов, вырабатываемых триггерной электроникой, логикой построителя события и ЭВМ.

Рис. 2. Распределения длин событий (в байтах) со всей установки и ее основных подсистем.

В состав каждой подсистемы входит ЭВМ| связанная с аппаратурой скоростным интерфейсом. Наличие аЭВМ позволяет не только ускорить процессы настройки детекторов и поиска неисправностей аппаратуры, но и эффективно снижать шумы регистрирующей электроники.

*В принятой на установке терминологии эти ЭВМ называются "аппаратными" (аЭВМ).

ДЕТЕКТОРЫ

Begin Spill

Построитель событий

Канал сопряжения

ЭВМ

□ I

Модули управления. Модули регистрации. Авт. контроллеры АК1.

Модули памяти.

Авт. контроллер памятей.

(—^ Магистраль сектора,

ф Интерфейс с магистралью,

jj^ Параллельный канал.

_э. Сигналы в стандарте NIM.

Рис. 3. Структурная схема ССД установки ВЕС.

6

Построение события в ССД установки ВЕС реализовано полностью на аппаратном уровне, что, однако, допускает быстрое и легкое изменение конфигурации ССД. Для более полного использования скоростных характеристик МИСС в процессе создания ССД был разработан канал связи построителя события и ЭВМ, ведущей приём данных. Он позволяет буферизировать данные, зарегистрированные в течение одного цикла работы ускорителя, и организовывать их многопроцессорную обработку. Канал состоит из аппаратуры сопряжения и адаптера МИСС — Интерфейс массовой памяти (МАБЗВиБ). Структурная схема аппаратуры сопряжения показана на рис. 4.

Функции, выполняемые модулями аппаратуры сопряжения:

• Прямое и обратное преобразование протоколов, используемых в МИСС и

модулях сопряжения в Аппаратное формирование служебных данных о каждом событии и о всей информации, зарегистрированной за цикл работы ускорителя ("заголовков"), в Промежуточная буферизация данных в течение цикла работы ускорителя. ® Разветвление потока событий для организации их многопроцессорной обработки.

Интерфейс между модулями аппаратуры сопряжения и ЭВМ осуществляет ада-птор МИСС-МАЭЗВиБ. Выбор шины ЭВМ продиктован требованиями максимизации общей пропускной способности канала связи. Для приёма данных использовалась ЭВМ "Электроника-79", замененная в дальнейшем на ЭВМ ТПА-11/580. В последней модификации ССД скорость приёма данных доведена до 4 Мб за цикл работы ускорителя (3,5-4 тыс. событий).

Выработка триггерного решения в установке ВЕС организована по трехуровневой схеме:

Т° - триггер нулевого уровня использует комбинацию сигналов сцинтилляционных счётчиков, требуя одну частицу в первичном пучке и её выбывание из него за мишенью.

Т1 - триггер первого уровня анализирует множественность заряженных частиц в годоскопе.

Т2 - триггер второго уровня анализирует множественность в пропорциональных камерах непосредственно перед и за мишенью.

В табл.2 приведены данные по числу каналов, используемых в каждом из триггеров, времени принятия решения, входной частоте и уровню подавления. Распределение триггерного решения по разным уровням позволило свести общую долю мёртвого времени ССД до 10 15% при темпе приёма полезных событий 3 -г 4 • 103 за сброс.

На установке ВЕС велись методические работы по созданию подсистемы многопроцессорной обработки данных в стандарте РАБТВиЗ (ЕВ), позволяющей увеличить поток регистрируемых событий. Созданный прототип решает задачу накопления событий, зарегистрированных установкой в течение одного цикла ускорителя в модулях памятей большого объёма и обеспечивает доступ к данным

Мс

ЕУВ Построитель события. ==Ф Параллельный канал.

АКи Автономный контроллер модулей Модифицированный парал-

памяти второго уровня. лельный кал ал.

СУрК Конвертер протокола рабочего —► Управляющие сигналы.

кал ала. БС Линия последовательного

сутк Конвертер протокола тестового управления.

канала. ВЛ Разветвитель потока.

МСБ Коммутатор управляющих Мс Ключи разветвителя.

сигналов. В4М Буфер памяти 4Мб.

Wгk/Tst Переключатель режимов. ГВ Прототип подсистемы в

АМ Адаптер МИСС-МАББВиЗ. стандарте ГАЗТВиЭ.

Рис. 4. Структура канала связи.

Таблица 2. Характеристики триггера установки ВЕС

Г£0 Т1 Г£2

Число каналов детекторов Время принятия решения Частота на входе Уровень подавления 19 30 не ~ Ю6 Гц 0.07-г 0.12 208 95 не ~ 105 Гц 0.05 -г 0.10 448 500 не Ч-104 Гц 0.7 -г- 0.85

распределённых вычислительных мощностей. В рамках исследовательского проекта в ЦЕРН изучалась также адекватность задачам триггирования некоторых новейших элементов вычислительной техники — процессоров с перепрограммируемой архитектурой, созданных на основе технологии РРСА. Гибкость в создании вычислительных средств, предоставляемая этими элементами, достигаемое быстродействие и адаптируемость ввода-вывода уже используются в создании триггерных процессоров для будущих экспериментов. В результате методических работ в ИФ-ВЭ создано рабочее место, позволяющее разрабатывать аппаратуру на базе СБИС ГРвА.

Третья глава посвящена программному обеспечению системы сбора данных установки ВЕС. Главной задачей программного обеспечения (ПО) является набор максимально возможного объёма данных во время экспозиции на пучке. Общий подход к её решению таков: поддерживать максимально возможный на имеющейся аппаратуре темп приёма данных и предоставлять пользователю удобное окружение для настройки детекторов с целью снижения до минимума потерь ускорительного времени. Кроме того, в процессе набора данных необходимо обеспечить оперативный контроль за работой электроники и детекторов установки, а также проверять качество регистрируемой информации.

Принятая архитектура ССД (разбиение на подсистемы) принципиально требует распределения вычислительных ресурсов и, следовательно, перераспределения задач, обычно решаемых централизованными вычислительными мощностями, традиционно состоящими из одно- или двухмашинных комплексов. Аппаратные ЭВМ, работающие в составе подсистем, берут на себя задачи тестирования и настройки аппаратуры, а также контроля за работой подсистем в процессе сбора данных. Проведение этих процессов параллельно во всех подсистемах ССД есть способ минимизации затрат ускорительного времени на настройку аппаратуры. Центральная ЭВМ решает задачи приёма и записи информации, проводит текущий контроль принимаемых данных, а также создаёт среду для развития программного обеспечения и поддержки аЭВМ. Соответственно ПО ССД разделяется на ПО ЭВМ приёма данных и ПО аЭВМ.

1> Основной поток информации.

£ — ZZ ZI Поток в режиме эмуляции. Управляющие данные.

Г

>- Системные --- директивы.

Логическое адресное пространство.

п

1 Динамическое отображение адресов.

AM Драйвер адаптера AM.

МТ Драйвер НМЛ.

Buffer Резидентный буфер событий.

DB Резидентный банк.

DK Дисковый файл. ROM, ТРМ Процессы приёма и записи данных.

APi...n Процессы пользователей. EvM Перекодировщик событий.

MGR Управляющая программа. ВЕС Программа-оболочка.

МС Консоль управления. UC Консоль пользователя.

Рис. 5. Структура ПО в ЭВМ приёма данных.

Структурная схема ПО ЭВМ приёма данных показана на рис.5. В процессе сбора и накопления данных основной поток информации проходит из адаптера MHCC-MASSBUS через резидентный буфер в НМЛ. Процессы приёма и записи разделены с целью упрощения алгоритмов их работы и управления.

Разделяемый резидентный буфер Buffer служит источником данных (событий) для процессов контроля. Данные о детекторах установки, статистика работы ССД содержатся в банке данных DB, также расположенном в разделяемом резидентном буфере. Доступ к событиям в буфере и. к информации в банке данных из процессов пользователей осуществляется через динамическое отображение адресного пространства.

Процесс EvM даёт возможность процессам пользователей работать с событиями, прошедшими предварительную обработку. Алгоритм предобработки включает в себя контроль формата события и его преобразование в координаты приборов. Процесс поддерживает буфер преобразованных событий, доступ к которому происходит также через механизм динамического отображения адресов.

Основные подпрограммы доступа к данным и статистике сведены в библиотеку DAQLIB, что унифицирует процедуру создания специфических прикладных программ, ориентированных на решение конкретных задач ССД. Число таких процессов не лимитировано (кроме очевидных ограничений, накладываемых ОС и ограниченностью вычислительных ресурсов), поэтому каждый пользователь может создать свою программу, ориентированную на решение интересующей его задачи.

Диалог с пользователем ведётся с использованием "оконных" технологий, а основные функции контроля доступны из меню-управляемой программы-оболочки ВЕС. Благодаря наличию встроенной документации (команда HELP) и системы "подсказок" оболочка легко осваивается даже неподготовленными пользователями.

Инициализация ПО ССД производится командным файлом, для исполнения которого требуются системные привилегии. После ряда проверок, гарантирующих от возможной ошибочной повторной инициализации, производится построение и заполнение резидентных в памяти буферов, а также запускаются основные процессы.

Принципиальной особенностью ПО ССД установки ВЕС является наличие ПО аЭВМ. Основное требование к нему есть предоставление экспериментатору максимального сервиса в работе с подсистемой ССД. Оптимальным подходом представляется применение системы программирования QUASIC с системой файловой поддержки МИМИКС? За основу ПО аЭВМ была взята одна из первых версий QUASIC-2, структура которой приведена на рис. 6. Эта версия существенно переработана для лучшего соответствия требованиям эксперимента. В процессе развития ССД была создана библиотека тестовых программ на языке QUASIC. Она содержит как тестовые программы нижнего уровня, проверяющие правильность прохождения сигналов по различным магистралям и работоспособность отдельных модулей, так и тесты высоких уровней, эмулирующие работу подсистем в различных режимах.

2 Системы QUASIC и МИМИКС созданы в НИВЦ г.Пущино.

Текстовый редактор

Встроенные функции

Текстовый буфер

Исполняющая

система

с^илвю

Драйверы терминальных

линии

Буфер компиляции

Драйверы периферийных устройств

Аппаратная ЭВМ ЭВМ поддержки

Терминальный драйвер

Задача поддержки

Рис. 6. Структура ПО аппаратных ЭВМ.

В заключении кратко сформулированы основные результаты диссертации.

• Создан верхний уровень системы сбора данных установки ВЕС, эффективно интегрирующий аппаратуру регистрации и построения событий в системе МИСС и ЭВМ приёма данных, а также позволяющий организовать многопроцессорную обработку данных, поступающих с установки.

• Создан пакет программ, позволяющий оперативно производить тестирование аппаратуры регистрации, построителя событий, модулей сопряжения и буферизации данных, а также адаптера МИСС-МАЗБВиБ.

• Создано программное обеспечение, работающее в линию с аппаратурой системы сбора данных установки, решающее основные задачи приёма, записи

и текущего контроля данных, а также позволяющее в дальнейшем развивать и усложнять процессы контроля.

в Создан и испытан в условиях набора статистики прототип подсистемы распределённого контроля данных на базе модулей в стандарте FASTBUS.

в Разработан алгоритм сжатия данных с электромагнитного калориметра установки ВЕС и изучена его эффективность.

• На сопроцессоре с перепрограммируемой архитектурой для рабочей станции DECstation 5000/240 реализован алгоритм разделения электромагнитных и адронных кластеров в калориметре, предлагаемом для установки ATLAS.

• В ИФВЭ создана система компьютерного проектирования для разработки вычислителей на базе СБИС FPGA, состоящего из программного обеспечения верхнего и нижнего уровней, а также рабочего места разработчика аппаратуры.

В Приложении 1 описан алгоритм сжатия данных с электромагнитного калориметра установки ВЕС и приводится зависимость его эффективности от параметров.

В Приложении 2 рассматривается алгоритм классификации кластеров, эффективность которого изучена на основе данных по Монте-Карло симуляции ливней от электронов и 7г-мезонов в электромагнитном калориметре, предлагаемом для установки АТЛАС. Дан анализ алгоритма на предмет его реализации на процессоре с перепрограммируемой архитектурой, а также приведены достигнутые скоростные характеристики.

Список литературы

[1] Битюков С.И., Борисов Г.В., Бушнин Ю.Б., Ваньёв B.C., Вишневский Н.К., Власов Е.В., Гончаров П.И., Гуз Ю.П., Джелядин Р.И., Зайцев A.M.,Зимин С.А., Исаев А.Н., Карюхин А.Н., Ключников Г.А., Коноплян-ников А.К.,Костриков М.Е., Криушин А.Н., Матвеев В.Д., Медовиков В.А., Останков А.П., Солдатов М.М., Хохлов Ю.А., Якимчук В.И. Система сбора данных установки ВЕС. В кн.: Материалы IV Всесоюзной школы "Автоматизация научных исследований в ядерной физике и астрофизике". — Ужгород, 1990.

[2] Битюков С.И.,Бушнин Ю.Б., Ваньёв B.C., Вишневский Н.К., Власов Е.В., Гончаров П.И., Гуз Ю.П., Джелядин Р.И., Екимов A.B., Зайцев A.M., Зимин С.А., Иванюшенков Ю.М., Исаев А.Н., Карюхин А.Н., Ключников Г.А., Коноплян-ников А.К., Копиков C.B., Костриков М.Е., Матвеев В.Д., Медовиков В.А., Образцов В.Ф., Останков А.П., Сенько В.А., Солдатов М.М., Соловьянов О.В., Старченко Е.А., Хохлов Ю.А., Чернявский Н.Р., Шаланда H.A., Якимчук В.И. Система сбора данных установки Вершинный Спектрометр ИФВЭ (Установка ВЕС). — Препринт ИФВЭ 94-101. Протвино, 1994.

[3] Джелядин Р.И., Кипиани К.К., Ключников Г.А., Коников С.В., Коштоёв В.В., Матвеев В.Д., Соловьянов О.В. Канал МИСС-MUSSBUS в системе сбора данных установки ВЕС. — Препринт ИФВЭ 95-76, Протвино 1995.

[4] Битюков С.И., Власов Е.В., Гуз Ю.П., Джелядин Р.И., Качаев И.А., Ключников Г.А., Костюхин В.В., Криушин А.А., Останков А.П., Соловьянов О.В., Старченко Е.А., Хохлов Ю.А. Программное обеспечение системы сбора данных установки Вершинный Спектрометр ИФВЭ. — Препринт ИФВЭ 95-77, Протвино 1995.

[5] Bityukov S., Bushnin Yu., Dzhelyadin R., Ekimov A., Goncharov P., Gouz Yu., Isaev A., Ivanyushenkov Yu., Karyuhin A., Khokhlov Yu., Klyuchnikov G., Konoplyannikov A., Kopikov S., Kostrikov M., Matveev.V., Medovikov V., Obraztsov V., Ostankov A., Sen'ko V., Shalanda N., Soldatov M., Solovianov 0., Startchenko E., Van'ev V., Vishnevski V., Vlasov E., Yakimchuk V., Zaitsev A. and Zimin A. The High Speed Trigger and Data Acquisition System for IHEP Vertex Spectrometer Facility (VES). Proceedings of the ESONE International Conference RDT'94, June 27 - July 1, 1994, JINR, Dubna, Russia.

[6] Klyuchnikov G., Bock R., Nessi A., Krischer W., Watson A. A second - level trigger, based on calorimetry only. ATLAS Note DAQ-007, CERN/EAST note 92-23.

[7] Ключников Г.А., Копиков C.B., Соловьянов O.B. Процессоры с перепрограммируемой архитектурой. — Препринт ИФВЭ 94-135. Протвино 1994.

[8] Ключников Г.А., Копиков С.В., Соловьянов О.В. Реализация алгоритма классификации кластеров на сопроцессоре с перепрограммируемой архитектурой PeRLel. — Препринт ИФВЭ 95-5. Протвино 1995.

Рукопись поступила 20 марта 1996 г.