автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Инструменты сбора и управления данными в многоцентровом исследовании радиологических последствий аварии на Чернобыльской АЭС

кандидата биологических наук
Лукьянова, Елена Анатольевна
город
Москва
год
2005
специальность ВАК РФ
05.13.01
Диссертация по информатике, вычислительной технике и управлению на тему «Инструменты сбора и управления данными в многоцентровом исследовании радиологических последствий аварии на Чернобыльской АЭС»

Автореферат диссертации по теме "Инструменты сбора и управления данными в многоцентровом исследовании радиологических последствий аварии на Чернобыльской АЭС"

На правах рукописи

Лукьянова Елена Анатольевна

ИНСТРУМЕНТЫ СБОРА И УПРАВЛЕНИЯ ДАННЫМИ В МНОГОЦЕНТРОВОМ ИССЛЕДОВАНИИ РАДИОЛОГИЧЕСКИХ ПОСЛЕДСТВИЙ АВАРИИ НА ЧЕРНОБЫЛЬСКОЙ АЭС

Специальность 05.13.01 - системный анализ, управление и обработка информации (в медицине)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата биологических наук.

Москва 2005

Работа выполнена в Российском университете дружбы народов Научные руководители:

доктор биологических наук, доцент В.Д. ПРОЦЕНКО

кандидат технических наук С.М. КУЛИКОВ

Официальные оппоненты:

доктор биологических наук, профессор А.В. ИТКЕС

кандидат физико-математических наук А.Д. ДЕЕВ

Ведущая организация:

Медицинский радиологический научный центр РАМН

Защита состоится « i » ULOHfl 2005 г. в часов на заседании

диссертационного совета Д 212.203.06 в Российском университете дружбы народов по адресу: 117198, Москва, ул. Миклухо-Маклая, д. 8.

С диссертацией можно ознакомиться в научной библиотеке Российского университета дружбы народов по адресу: 117198, Москва, ул. Миклухо-Маклая, Д. 6.

Автореферат разослан «

п » Cih р-СЛ-Ц 2005 г.

Ученый секретарь диссертационного совета

доктор медицинских наук, профессор Г.А. ДРОЗДОВА

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Монтирующее излучение вызывает не только непосредственные биологические эффекты, но может также привести к возникновению заболеваний в течение всей жизни человека, причем повреждения генетических структур могут проявляться в форме различных аномалий у последующих поколений (В.К. Иванов, А.Ф. Цыб, С.И. Иванов 1999).

В связи с этим становятся необходимыми научно-практические исследования, направленные на изучение, оценку и прогнозирование медицинских последствий крупномасштабных радиационных воздействий. При этом важное место занимают эпидемиологические исследования. Однако засекреченность данных о заболеваемости населения привела к тому, что популяционные эпидемиологические исследования были не популярны в СССР (В.Д. Беляков и др. 2001).

В июне 1964 в Хельсинки на 18-й Генеральной Ассамблее Всемирной Медицинской Ассоциации (BMA) была принята (пересмотрена в 1975, 1983, 1989, 1996, 2000 г.г.) декларация, которая является этической основой проведения (всех тщательно спланированных и корректно проводимых) медико-биологических исследований. Эта декларация послужила основой для разработки свода правил проведения качественных клинических испытаний (Good Clinical Practice - GCP), принятого в 1996- 1997гг. Международной конференции по согласованию технических требований к регистрации медикаментов, применяемых у людей (International Conference on Harmonization of Technical Requirements for the Registration of Pharmaceuticals for Human Use -ICH). В России был принят ряд нормативных документов (N86-<1>3 от 22.06.1998 (изменен 10.01.2003) "О лекарственных средствах", стандарт отрасли ОСТ 42511-99 от 29.12.1998 "Правила проведения качественных клинических испытаний в Российской федерации"), в которых изложены положения ICH GCP. Ряд этих правил распространяют на эпидемиологические исследования.

Актуальность

Эффективность эпидемиологического исследования (в особенности масштабного международного проекта) существенно зависит от качества планирования, стандартизации проведения, инструментов и методов сбора и управления данными. В настоящее время появились публикации, посвященные планированию эпидемиологических исследований, они легли в основу такого нового научного направления, как доказательная медицина (Р. Флетчер и др. 1998, В.П Леонов и др. 1999, М. Lowe 2003, Р. Baxter 2004). В то же время, недостаточно внимания уделяется непосредственно инструментам сбора и управления данными. Под инструментами управления данными понимают: анкеты и формы (бумажные и электронные) для сбора данных, методы и материалы идентификации объектов, программы управления базами данных, коммуникационные системы передачи информации, методы и программы контроля, верификации данных и их коррекции, программы подготовки к статистическому анализу и другие.

Имеющиеся стандартизованные инструменты, например опросники, не всегда могут быть использованы в частных исследованиях без существенных изменений. Конкретные проекты требуют разработки специальных средств сбора и управления данными.

26 апреля 1986 года на четвертом энергоблоке Чернобыльской АЭС произошла крупнейшая в истории человечества техногенная радиационная катастрофа.

В течение ряда лет на территориях России, Украины и Белоруссии, пострадавших в результате аварии на ЧАЭС, различными научными центрами и исследовательскими организациями проводятся исследования, направленные на выяснение вопроса о вероятности радиационной индуцированности онкологических заболеваний, зарегистрированных в этом регионе с 1986 по 2000 год. С 1992 по 2002 год под эгидой Международного Консорциума по Исследованию Влияния Радиации на Здоровье Человека (International Consortium for Research on the Health Effects of Radiation (ICRHER)) проводился ряд таких

исследований. Участниками этих проектов являлись группы исследователей из России (Медицинский радиологический научный центр, Брянский диагностический центр, Гематологический научный центр), США (Fred Hutchinson Cancer Research Center, Roswell Park Cancer Institute, Bridgeport Hospital, Yale University School of Medicine), Белоруссии (Детский онкологический центр, Белорусский исследовательский институт экопатологии и профессиональных заболеваний, Минская городская больница №9), и Украины (Центр радиационной медицины). Данная работа выполнена в рамках этих исследований.

Основная цель проектов ICRHER - получение зависимости вероятности возникновения таких заболеваний как лейкоз, рак щитовидной железы, рак молочной железы от накопленной дозы. Отличительной чертой проектов являлось то, что они проводились по схеме «случай-контроль» и основой служила оценка индивидуальной накопленной дозы радиации.

Техническая особенность этих проектов заключается в том, что с одним изучаемым объектом одновременно работают несколько рабочих групп исследователей. Планирование и синхронизация работы этих групп достаточно сложная управленческая задача.

Для достижения цели исследований было необходимо разработать целый ряд инструментов для сбора, хранения, управления и анализа данных:

1. для сбора данных - специальные опросники и соответствующие электронные базы для ввода и хранения информации;

2. для идентификации объектов, биологических и физических образцов -систему, использующую технологию штрих-кодирования;

3. специальные программы учета и хранения образцов;

4. программы контроля ошибок, аудиторские процедуры оценки качества данных, анализа и кодирования текстовой информации, программного интерфейса со статистическими пакетами;

5. программные средства передачи и контроля информации, поступающей из локальных информационных центров в центральную базу данных.

Особая роль в решении ряда задач, стоящих перед консорциумом, отводилась разработке инструментальных средств сбора, хранения и контроля качества данных. Инструменты сбора и управления данными, предназначенные для этого, отсутствовали. Их разработка была, и продолжает оставаться, одной из актуальных и ключевых задач автоматизации крупномасштабного исследования.

Контроль качества клинических, медико-биологических, эпидемиологических исследований является важной и актуальной междисциплинарной задачей.

Важность проблемы возрастает в связи с необходимостью внедрения отраслевой программы «Управление качеством в здравоохранении» от 23.04.03. Первостепенное значение приобретает внедрение в практику новых форм и методов обеспечения государственного санитарно-эпидемического надзора, гигиенической и эпидемиологической экспертизы, мониторинга здоровья населения и медико-санитарного образования.

Цель и задачи диссертационной работы

Целью диссертационной работы является разработка комплекса административных процедур и программ сбора и управления данными, позволяющего улучшить качество проведения реального исследовательского проекта.

Для достижения этой цели были поставлены следующие задачи:

1. провести анализ существующих методов и инструментов сбора и управления данными по материалам исследований Консорциума;

2. разработать алгоритмы поиска ошибок и оценки качества информации, коррекции информации, а также процедур административного контроля исследования;

3. реализовать разработанные процедуры в виде комплекса баз данных и соответствующих служебных программ;

4. исследовать степень эффективности внедрения разработанных инструментальных средств.

Предмет и объект исследования

Предметом исследования настоящей диссертационной работы является информационно-административная структура крупного эпидемиологического исследования. В качестве объекта исследования рассматривался информационный поток данных многоцентровых эпидемиологических исследований, проводимых ГОШЕ!?. на чернобыльских териториях.

Методы исследования

В работе используются методы логистики, биостатистики, прикладной математической статистики, системного анализа и объектно-ориентированного программирования.

Положения, выносимые на защиту

1. Инструменты и процедуры сбора и управления данными эпидемиологического исследования.

2. Алгоритмы и программное обеспечение контроля ошибок, проверки качества и коррекции информации эпидемиологического исследования.

3. Алгоритмы и программное обеспечение для администрирования прохождения информации в исследовании.

Научная новизна

Впервые разработан комплекс программных средств контроля и оценки качества собранных данных. Комплекс позволяет своевременно выявить ошибки, возникающие при вводе данных в условиях многоцентрового радиологического эпидемиологического исследования.

Разработаны инструментальные вспомогательные средства, отслеживающих в интерактивном режиме ошибки, возникающие на этапе работы оператора с электронными формами.

Разработан программный инструментарий, предназначенный для проверки полей записей в базе данных на полноту заполнения и логическую связанность

между ними. Инструмент содержит также средства выявления неточностей или ошибки в полях БД и средства оценки качества данных.

Впервые создан специальный программный модуль сравнения различных версий БД, результатом работы которого является список несоответствий.

Разработаны новые методики и алгоритмы распределенного ввода данных в БД из удаленных центров исследования через компьютерные сети.

Разработан алгоритм и модель слияния данных, поступающих из локальных центров, на основе которой создан комплекс программных средств.

Впервые для построения информационной системы динамики прохождения объектами этапов исследования введено понятие статус объекта.

Практическая значимость

Разработан и внедрен в практику международных эпидемиологических исследований радиационной зависимости распространения онкологических заболеваний в районах загрязненных радионуклидами в результате аварии на Чернобыльской АЭС комплекс алгоритмов и программных средств, позволяющих улучшить качество подготовки данных к статистическому анализу.

Изложенные принципы построения автоматизированной системы научно-исследовательского проекта могут быть использованы при планировании и разработке систем информационного сопровождения крупных многоцентровых эпидемиологических исследований. Такого рода системы необходимы в международных и междисциплинарных проектах для решения административно-информационной синхронизации работы отдельных групп исследователей.

В настоящее время данная система установлена и используется для информационного обеспечения двух текущих эпидемиологических исследований.

Принципы и подходы, заложенные в основу разработанных методик, в качестве примеров, входят в учебные программы подготовки студентов по медицинской информатике в Российском университете дружбы народов.

Личный творческий вклад автора

Автором разработана административная система информационной поддержки проектов (АИС). Разработаны алгоритмы, методики и программное обеспечение мониторинга процесса редактирования данных, хранящихся в базе. Разработано программное обеспечение для слияния данных, поступающих из центров. Автор принимал участие в разработке программного обеспечения для проверки полноты и качества данных, методик и проведения аудита в исследовательских центрах, разработке программного модуля для двойного ввода, а также в разработке баз данных для распределенного и удаленного ввода.

Апробация работы

Результаты работы докладывались на XII международной конференции по эпидемиологии окружающей среды (Буффало, 2000), 1-м съезде гематологов России (Москва, 2002), X международной конференции "Математика. Компьютер. Образование", (Пущино, 2003), регулярных научных совещаниях участников проекта. (Москва (1999, 2000), Киев (2000), Обнинск (2001), Брянск (2003), Минск (2000, 2001)).

Структура и объем диссертации

Диссертация изложена на 156 страницах машинописного текста в традиционной форме и состоит из введения, 4 глав, заключения, выводов, списка литературы, включающего 185 источников (60 отечественных, 125 иностранных авторов) и приложения. Материалы диссертации иллюстрированы 31 таблицей и 17 рисунками.

СОДЕРЖАНИЕ РАБОТЫ Материал и методы

В работе использованы материалы следующих проектов: исследования взаимосвязи радиационного воздействия и риска острых лейкозов (1997-2002); исследования взаимосвязи радиационного воздействия и риска рака щитовидной железы (1995-2002); пилотное исследование взаимосвязи радиационного

воздействия и риска рака молочной железы (2002-2003), пилотное исследование социо-психологических последствий аварии на ЧАЭС. (2002), эпидемиолого-молекулярное исследование рака щитовиной железы в регионе, загрязненном в результате аварии на ЧАЭС (2002 - по настоящее время).

В перечисленных проектах использовался метод исследования «случай-контроль», т.е. ретроспективное исследование, в котором производится сравнение данных для двух групп, в одну из которых отобраны пациенты с определенной патологией (случай), а в другую - лица без нее (контроль).

На основании данных онкологических регистров составлялись списки потенциальных объектов исследования с данной (определенной) патологией, соответствующие плану исследования (из определенного возрастного диапазона, из соответствующего региона проживания, и т.д.). Затем проводилось предварительное расследование по этим случаям, в ходе которого осуществлялся поиск гистологических материалов и архивных записей, проверялись адреса проживания, проводили первые контакты с объектом исследования и/или его родственниками. Для случаев, прошедших предварительный этап и вкюченных в следующую фазу исследования, в соответствии с определенным критерием подбирали один или два, в зависимости от исследования, потенциальных контроля. Для загрязненных районов контроли выбирлись из электронных баз данных с адресной информацией, наличие таких баз обусловлено тем, что в загрязненных районах проводится регулярная всеобщая диспансеризация населения. В условно «чистых» районах нет обязательной диспансеризации всего населения и электронная адресная база не ведется, поэтому для отбора контролей использовались бумажные картотеки местных поликлиник.

В соответствии с правилом связи случай-контроль, критерием отбора служило совпадение у случая и контроля следующих параметров: пол, год рождения, район проживания на момент аварии, тип населенного пункта. После предварительных исследований и первичных контактов из списка потенциальных объектов выбирались те, которые включались в основную фазу исследования. В основной фазе исследования все объекты как случаи, так и

контроля подвергались одинаковой процедуре интервьюирования, а место их проживания исследовалось группой дозиметристов.

В основной фазе исследования для сбора данных применяли следующие методы: интервьюирование; выписка из истории болезни; дозиметрические измерения; гистологические исследования; молекулярные исследования, а также проводилась реконструкция конечной индивидуальной дозы.

Все результаты заносили в специально разработанные бумажные формы, прошедшие предварительное тестирование, а также культурно-языковую адаптацию. Все формы имели единообразный (унифицированный) дизайн: двуязычный текст; идентификацию вопросов, не зависящую от языка; формализацию полей.

По содержанию вносимой информации выделены следующие группы форм: ядро (общие формы для демографической и основной анамнестической информации); дозиметрическая информация; информация о щитовидной железе; информация о лейкозах; информация о молочной железе; транспортные формы физических образцов; результаты ЭПР дозиметрии; регистр "случаев рака"; заключения диагностической группы; связующая информация; кодировочная информация; данные аудита; группа опросников для социологического исследования; формы для потенциальных случаев и контролей.

Для хранения результатов исследования в электронном виде в СУБД MS Access2000 разработали базы данных. Ввод информации в базы осуществляли посредством электронных аналогов бумажных форм, созданных с использованием методов объектно-ориентированного программирования в среде Visual Basic для приложений (VBA). Для удаленного ввода создали формы, использующие WEB-технологии и языки программирования HTML, ASP, PHP. Перемещение данных из локальных центров осуществляли посредством электронной почты.

Проводили контроль ошибок, оценка качества данных, мониторинг коррекции данных. Для уменьшения количества ошибок применялся метод двойного ввода. Собранные данные проверяли методами формальной логики с использованием запросов на языке SQL.

Поскольку все проекты носили международный характер, в центре координации данных разработан модуль для транслитерации текстовой информации, такой как географические названия, с кирилицы на латиницу.

Результаты проверок обрабатывали статистическими методами. Для статистической обработки применяли пакеты прикладных программ SAS (SAS Institute Inc.), StatView (SAS Institute Inc.), Statistica (StatSoft), Microsoft Excel.

Результаты собственных исследований

1. Методики, алгоритмы, комплекс программных средств.

Разработаны методики и алгоритмы, а также описан комплекс программных средств, обеспечивающие: распределенный ввод данных в электронную базу; слияние данных, поступающих из локальных центров; оперативный контроль качества, надежности и достоверности информации, включающий в себя аудиторские процедуры, контроля ошибок и оценку качества данных; коррекцию ошибок, анализа и кодирование текстовой информации; административный контроль исследования. В таблице 1 представлены компоненты комплекса.

Так как различного вида данные (клинические, дозиметрические и .т.д.) собирались разными рабочими исследовательскими группами, территориально разделенными друг от друга, был организован ввод данных по месту базирования этих групп, с последующим слиянием отдельных БД в комплексную базу, расположенную в информационном центре проекта.

Для распределенного ввода БД была разделена на следующие модули: IDB, CDB, DDB, HDB, MDB.

Для слияния данных разработаны две программы: одна - позволяет объединять вышеперечисленные модули в единую базу, а также синхронизировать информацию, а вторая позволяет объединять базы в случае, если в проекте участвуют несколько стран (локальных центров).

Для контроля и оценки качества собранных данных разработан комплекс программных средств, позволяющий выявлять случайные и систематические

ошибки, который содержит следующие компоненты: интерактивную проверку данных при вводе; двойной ввод данных; логический анализ вводимых данных; динамический контроль изменений в БД, сравнение баз, оценку полноты заполнения.

Для обеспечения единообразия сбора данных специальной группой осуществлялся контроль персонала. Цель контроля - проверка на соответствие реального процесса сбора протоколу исследования и выработка рекомендации по дальнейшей работе, при выявлении отклонений от протокола.

Во время контроля исследовательских центров проводились следующие виды проверок: сравнение электронных и бумажных носителей информации; сравнительное контрольное интервьюирование; собеседование с персоналом.

Таблица 1.

Компоненты программного комплекса

Компонента Назначение Среда программиро -вания ОС

База данных Ввод и хранение данных MS Access97 MS Access 2000 Windows 98 Windows 2000 Windows NT

Модуль для двойного ввода Уменьшение ошибок ввода

ДАТ Проверка и оценка данных

Text Field Editor Приведение содержимого полей к единообразному написанию

Join Слияние баз из разных центров

АИС Администрирование проекта

Программа для транслитерации Транслитерация текста с кирилицы на латиницу Visual Basic

Data Base comparer Сравнение баз данных

Для стандартного представления и анализа текстовой информации была разработана программа, позволяющая редактировать одновременно множество текстовых полей БД.

Для качественного оперативного мониторинга прохождения проекта разработана АИС, основной задачей которой является отслеживание изменения статуса всех потенциальных объектов исследования.

АИС имеет следующие функции: 1. контроль за прохождением проекта: представление оперативной информации о состоянии документов, материалов, процедур, относящихся к объекту иформирование оперативных отчетов о состоянии проекта в целом; 2. накопление информации о конечном статусе всех объектов, которая являтся составной частью данных, собираемым в исследовании.

2. Результаты применения методик и программного комплекса

Во время исследований была собрана и внесена в БД информация более, чем о 2000 обследуемых.

В ходе исследований, в силу локальных особенностей их проведения, административных требований, несоответствия технических и программных вожможностей локальными администраторами БД вносились изменения в управляющие программы и форматы данных. Эти изменения отслеживались, оценивалась их «законность», а программа слияния баз адаптировалась к этим изменениям.

При проверке данных на полноту и логическую связанность обнаружилось, что 24% составляли ошибки уровня 4 и 5, ошибки уровней 1-3 составили 76% соответственно, причем 51% всех ошибок имели уровень 1 (таблица 2).

Таблица 2

Распределение ошибок по уровням

Уровень ошибки 1 2 3 4 5

До внесения исправлений

Количество ошибок 1667 418 377 234 561

Вероятность обнаружения 0,51 0,13 0,12 0,07 0,17

После внесения исправлений

Количество ошибок 730 197 187 24 80

Вероятность обнаружения 0,60 0,16 0,15 0,02 0,07

После применения разработанных программ количество ошибок уменьшилось в 2,3 раза. После исправления ошибки уровней 4-5 составли 9%, а уровней 1-3-91% соответственно.

Наиболее распространенными ошибками уровней 4 и 5 являются: отсутствие информации о документах исследуемого, о типе окраски морфологического материала, отсутствие кода диагноза по МКБ-10 и информации об интервьюере. В качестве примера незначительных ошибок можно выделить пропущенные значения в таких полях, как девичья фамилия обследуемой, или неполностью указанная информация об интервьюере.

Кроме случайных ошибок в данных, обусловленных ошибками сбора информации, внесением ее в бумажные формы, ввода в компьютер, существует также возможность несанкцианированного изменения данных в локальных БД.

Несанкцианированное редактирование данных может быть обусловлено неправильным пониманием исследователями целей проекта, личной заинтересованностью в результатах и другими причинами.

При сравнении баз данных двух последовательных трансферов были обнаружены изменения в значениях полей. Так например произошли изменения в полях, содержащих информацию о дате заполнения опросника, предполагается, что это связано с отчетным периодом. Хотя такое изменение не влияет на результат расчетов дозы, оно является несанкционированным и подвергает сомнениям остальные собранные данные.

Были обнаружены изменения года последнего флюорографического исследования грудной клетки, такое изменение влияет на вклад данного фактора (флюорографии) в рассчитываемую дозу.

У ряда обследуемых были обнаружены изменения в поле, содержащем количество потребляемого молока (л/сутки) с 26 апреля по 15 июня 1986 года. Для 14 случаев и 24 контролей данные были изменены, для случаев значения первого и второго трансферов изменилось в среднем в 1,7 раз, для контролей - в 1,2 раза.

Для проверки гипотезы о статистической значимости внесенных изменений применяли непараметрический метод Уилкоксона для связанных пар. Для контролей изменения не носили значимый характер (р=0.769), для случаев изменения оказались значимыми (р=0.002). Поскольку показатель потребления молока в двухнедельный период после аварии является одним из важных при

подсчете индивидуальной радиационной дозы, то такие изменения могли привести к искажению результатов, причем в желаемую для исследователей сторону.

Для сравнения данных, занесенных в электронную и бумажную версии, в каждом исследовательском центре случайным образом выбирались 20 опросников. Два оператора сравнивали имеющуюся информацию в опроснике и электронной базе, а информация о различиях собиралась в специально разработанный бланк для дальнейшего анализа.

В таблице 3 представлены результаты проверки трех центров в 2000 году. На двадцать опросников в белорусской БД выявлено 198 несоответствий, в БД РФ - 21 и в украинской - 16. Центры получили рейтинговые оценки 9.9, 1.05 и 0.8 соответственно. Чем выше рейтинговая оценка, тем менее аккуратно заполнена электронная БД.

Таблица 3

Результаты проверки центров в 2000 г.

Исследовательский Количество Количество Рейтинговая

центр анкет несоответствии оценка

Белоруссия 20 198 9,9

РФ 20 21 1,05

Украина 20 16 0,8

Таким образом, было сделано заключение о целесообразности проведения дополнительного обучения персонала белорусского центра, а также была предложена процедура двойного ввода.

Через год, в 2001 г., был проведен дополнительный аудит белорусского центра. Результат работы и рейтинговая оценка представлены в таблице 4.

Таблица 4

Результаты проверки белорусского центра в 2001 г.

Исследовательский центр Количество анкет Количество несоответствий Рейтинговая оценка

Белоруссия 20 9 0,45

Как мы видим, рейтинговая оценка уменьшилась в 22 раза и составила 0.45. Что свидетельствует о повышении качества данных.

В каждом центре проверяли по два интервьюера, которые опрашивали одного и того же человека, а затем сравнивали варианты заполнения опросных листов. Расхождения в заполнении заносили в специально разработанный бланк.

В таблице 5 представлены результаты проведения сравнительного контрольного интервьюирования в трех центрах в 2000 году. На 250 полей в выбранных опросниках в белорусском центре выявлено 15 несоответствий, в центре РФ - 20 и в украинском - 2. Центры получили оценки среднего рейтинга 3, 4 и 0.4 соответственно.

Таблица 5

Результаты сравнительного контрольного интервьюирования

Исследовательский центр Количество полей в опроснике Количество серьезных несоответствий Средний рейтинг

Белоруссия 250 15 3

РФ 250 20 4

Украина 250 2 0,4

Для проверки соответствия процедур сбора данных и их ввода в электронную базу протоколу исследования аудиторами проводилось собеседование с менеджерами, интервьюерами и операторами ввода.

В ходе проверки интервьюеров было выявлено, что в одном из центров для поиска обследуемого в большинстве случаев использовался телефон, - это облегчало задачу, но в то же время вносило смещение в результат исследования. В таблице 6 даны результаты проверки наличия телефонов у обследуемых в июле 2000 года.

Таблица 6

Наличие телефона у обследуемых (%) (данные на июль 2000).

Бело] русия Россия Украина Всего

Наличие Да Нет Да Нет Да Нет Да Нет

телефона (%) (%) (%) (%) (%) (%) (%) (%)

Случаи 81 19 35 65 5 95 18 82

Контроли 92 8 27 83 1 99 13 87

Всего 87 13 23 77 3 97 15 85

Так, например, в белорусском центре выявлено 92% контролей с телефонной связью. Противоположная ситуация наблюдалась в украинском

центре, где у 99% контролей телефонная связь отсутствовала. Наличие или отсутствие телефонной связи у значительной (более 90%) части обследуемых может привести к смещению результатов. Кроме того отсутствие телефонной связи у 99% затрудняет проведение контрольной проверки, увеличивает расходы на нее и ставит под сомнение результаты интервьюирования.

Выявлено, что один из интервьюеров работал только с контролями и не работал со случаями, что являлось нарушением протокола исследования и тоже вносило смещение в результаты.

Выявлено, что белорусским центром формы ЬН (гематологический анамнез) и вН (общий анамнез) заполнялись не в процессе интервьюирования, а информация для них основывалась на записях в медицинских документах.

Выявлено, что белорусскими и российскими интервьюерами дополнительные пометки заносились на поля опросников, что делало информацию менее читаемой. В украинском центре бумажные опросники преписывались. Таким образом, делался «чистовик» опросного листа, а первый вариант уничтожался, что позволяло подвергать сомнению собранные данные.

Было выявлено значимое различие в распределениях случаев и контролей по типу населенного пункта (X* =11,11; р-0,004), в таблице 7 дан пример для белорусского центра (2000 год).

Таблица 7

Распределениях обследуемых по типу населенного пункта (2000 г.)

Город Поселок городского типа Село Всего

Случаи 53 27 24 104

Контроли 53 72 37 162

Всего 106 99 61 266

Опрос операторов ввода показал, что после внесения информации в базу данных в украинском центре второй оператор производил сверку данных с опросным листом, в российском центре данные проверялись тем же опрератором, а в белорусском центре такой проверки не проводилось.

В ходе интерьюирования менеджеров баз данных было выявлено, что регулярность архивирования в центрах различна. Так в украинском центре

архивирование проводилось два раза в месяц, в российском - один раз в месяц, а в белорусском центре переодичность отсутствовала и база архивировалась по мере необходимости.

Результаты работы административно-информационной системы, проиллюстрированы на примере динамики сбора информции в проекте эпидемиолого-молекулярного исследование рака щитовидной.

Так за два года было выбрано из регистра 179 потенциальных случаев. Для 15 из них гистологический материал найти не удалось т.к. он был отобран для другого исследования. При рассмотрении материала рабочей диагностической группой по верификации для 39 случаев из оставшихся 164 диагноз папиллярный рак не подтвердился. С 125 потенциальными случаями удалось установить контакт, 124 из них согласились принять участие в исследовании и дать интервью. После проведения интервьюирования 16 исследуемых были исключены так как они не прошли критерий отбора в исследование. Оставшиеся 108 случаев были включены в основную фазу исследования.

Для 108 случаев было случайным образом отобрано 576 потенциальных контролей, 230 из них не было необходимости исследовать, так как в ходе работы к случаю уже был приписан один из контролей. С 346 потенциальными контролями была сделана попытка установить контакт, однако, с 71 контакт установить не удалось. Из 275 контролей 31 отказался участвовать в исследовании, а 244 согласились, из них 147 были отклонены по критерию отбора. Оставшиеся 97 контролей были включены в основную фазу исследования.

Итак, комплекс программного обеспечения по административным процедурам и сбору и управлению данными, разработанный и внедренный нами, существенно (принципиально) изменил подход к организации и проведению крупномасштабного многоцентрового эпидемиологического исследования, что на практике подтверждает правильность решения поставленных в работе задач и объективность инструментальных реализаций, связанных с системным подходом к исследованию.

Выводы

1. Анализ существующих методов и инструментов сбора и управления данными в многоцентровом эпидемиологическом исследовании взаимосвязи радиационного воздействия и риска острых лейкозов (1997-2002) выявил необходимость разработки методик, обеспечивающих распределенный ввод и слияние данных, оперативный контроль и оценку качества информации, коррекцию ошибок и административный контроль исследования.

2. Разработаные методики и алгоритмы, позволяют контролировать и оценивать качество собранных данных, работу персонала по сбору данных, а также способствуют уменьшению случайных ошибок и выявлению систематических. Модуль административного контроля обладает высокой эффективностью по мониторингу общеэкономических вопросов проектов, что является ключевым компонентом в отчетности по полученному финансированию.

3. Применение разработанных методов проверки в Белорусском центре позволило снизить рейтинговую оценку среднего количества ошибок в опроснике (с 9,9 до 0,45), что свидетельствует о 22-кратном улучшении качества внесенных данных.

4. Проверка данных на полноту и логическую связанность обнаружила 1667 ошибки, из которых 24% составляли ошибки уровня 4-5, 76% -ошибки уровней 1-3. После устранения ошибок локальными менеджерами и повторного применения программы проверки количество ошибок снизилось до 730, из которых 9% - 4-5 уровней и 91% - уровней 1-3.

5. Применение модуля сравнения баз данных двух последовательных передач данных выявило ряд изменений значений полей локальных баз данных. Для «контролей» изменения не носили значимый характер (р=0.769), для «случаев» изменения оказались значимыми (р=0.002). Выявленные ошибки позволили получить более репрезентативные данные.

6. Полученные результаты и их системный анализ (разработанный комплекс программного обеспечения по административным процедурам и сбору и управлению данными) позволили принципиально изменить подход к организации и проведению, крупномасштабных многоцентровых эпидемиологических исследований.

Публикации

По материалам диссертации опубликовано 4 научные работы.

1. Вавилов A.M., Проценко В.Д., Самсонов В.А., Васина Н.И., Лукьянова Е.А Методика морфологического мониторинга с использованием мазков крови из очагов поражения у больных лимфопролиферативными заболеваниями кожи // Кожные и венерические болезни (Вестник дерматологии и венерологии). - Москва - 1999. - №5.

2. Kulikov S., Kopecky К., Maslova Е., Petracova О., Lukyanova L. Bulekova Ju Data Collection Instruments Of The Large Scale International Epidemiology Study (Thyroide And Leukemia Case_Control Studies In Chernobyl Ragion) // Proceeding of ISEE 2000. Environmental Epidemiology in Pan America and the World: XII Conference of the International Society for Environmental Epidemiology: abstracts Buffalo, New York 2000

3. Куликов C.M., Лукьянова E.A., Маслова E.P., Чабаева Ю.А. Управление данными «случай-контроль» исследования лейкозов на территории, загрязненной в результате аварии на Чернобыльской АЭС // 1-ый съезд гематологов России : тез. докл. -М., 2002.

4 Лукьянова Е.А., Куликов С.М., Маслова Е.Р., Таггарт Т. Информационная система оперативного контроля статуса объектов эпидемиологического исследования (случай-контроль онкологические исследований в чернобыльском регионе). Математика, компьютер, образование. Вып. 10 ЧастьЗ / Под ред. Г.Ю. Ризниченко. - Москва-Ижевск: Научно-издательский центр «Регулярная и хаотическая динамика», 2003, - С. 54

Данная работа финансировалась из гранта №00014-1-0049, выделенного Джорджтаунскому университету Отделом военно-морских исследований в рамках поддержки Международного консорциума по исследованию влияния радиации на здоровье.

СПИСОК СОКРАЩЕНИЙ

ASP Active Service Pages

CDB Clinical Database - база данных, содержащая клиническую

информацию.

DDB Dosimetry Database - база данных, содержащая

дозиметрическую информацию. GCP Good Clinical Practice. *

HDB Histologycal Database - база данных, содержащая результаты

гистологических исследований. HTML HyperText Markup Language - язык разметки гипертекста. »

ICH International Conference on Harmonization.

ICRHER International Consortium for Research on the Health Effects of Radiation.

IDB Interview Database - база данных, содержащая результаты

интервьюирования. LH Leukemia History

MDB Molecular Database - база данных, содержащая результаты

молекулярных исследований. MS Microsoft System.

PHP Personal Home Page

SAS Statistical analysis system.

SQL Structured Query Language.

VBA Visual Basic for Applications. ^

Web World Wide Web. Название услуги Интернет или сервера.

АИС Административная информационная система. •„

БД База данных.

МКБ Международная классификация болезней

СУБД Система управления базами данных.

ЧАЭС Чернобыльская атомная электро станция.

ЭПР Электронный парамагнитный резонанс

Лукьянова Елена Анатольевна

ИНСТРУМЕНТЫ СБОРА И УПРАВЛЕНИЯ ДАННЫМИ В МНОГОЦЕНТРОВОМ ИССЛЕДОВАНИИ РАДИОЛОГИЧЕСКИХ ПОСЛЕДСТВИЙ АВАРИИ НА ЧЕРНОБЫЛЬСКОЙ АЭС

Контроль качества эпидемиологических, медико-биологических, клинических исследований является важной и актуальной междисциплинарной задачей. Особая роль в крупномасштабном проекте отводится разработке программных средств, позволяющих автоматизировать сбор, хранение и контроль качества данных.

Разработан комплекс программ контроля и оценки качества собранных данных в условиях многоцентрового радиологического эпидемиологического исследования, позволяющий улучшить качество подготовки данных к статистическому анализу. Комплекс внедрен в практику международных эпидемиологических исследований радиационной зависимости распространения онкологических заболеваний в районах загрязненных радионуклидами в результате аварии на Чернобыльской АЭС.

Принципы и подходы, заложенные в основу разработанных методик, входят в учебные программы подготовки специалистов по медицинской информатике в Российском университете дружбы народов.

Lukyanova Elena Anatolievna

INSTRUMENTS OF COLLECTION AND MANAGING OF DATA IN MULTICENTER INVESTIGATION OF RADIOLOGICAL CONSEQUENCES OF CHERNOBYL ACCIDENT

Quality control is very important part of epidemiological, biological and clinical researches. Special role in the large-scale project is allocated to development of the software, which allows automatizing collection, storage and quality assurance of data.

Software for control and data quality estimation in multi center radiological epidemiological researches is developed. Software allows improving quality of data, which are preparing for statistical analysis. Software is used in international epidemiological investigation of radiological consequences of Chernobyl accident.

Principles and approaches, which underlie developed techniques, are included into curriculums of specialists of medical informatics at the Peoples Friendship University of Russia.

РНБ Русский фонд

2005-4 47482

Отпечатано в ООО «Аведа» 117342, Москва, ул. Введенского, д.8, тел. 332-50-94.

Формат 60x90/16. Тираж 100 экз. 1,0да.л. Бумага New SvetoCfopy;

19 МАЙ 2005-

Оглавление автор диссертации — кандидата биологических наук Лукьянова, Елена Анатольевна

Список сокращений

Введение

Глава 1. Обзор литературы

1.1. Планирование эпидемиологического исследования

1.2. Менеджмент проекта и сбора данных эпидемиологического исследования

1.3. Понятие медицинской информации

1.4. Методы сбора информации

1.5. Инструменты сбора и хранения медицинской информации об исследуемых

1.5.1. Первичные учетные медицинские документы

1.5.2. Анкеты или опросники

1.5.3. Базы данных и применение сетевых технологий в 27 медицине и здравоохранении

1.5.4. Форматы хранения и стандарты обмена медицинской 30 информацией

1.5.5. Безопасность хранения информации и организация 31 доступа к ней.

1.6. Инструменты для проверки полноты и качества собранных данных

1.6.1. Качество информации

1.6.2. Проверка логики

1.6.3. Проверка полноты 33 1.7. Инструменты управления данными

1.7.1. Слияние баз из разных центров

1.8. Инструменты администрирования проекта

1.9. Прочее программное обеспечение.

Глава 2. Материал и методы исследования

Глава 3. Разработка методик и программ для управле- ния и обработки информации в многоцентровом эпиде- миологическом исследовании

3.1. Распределенный ввод данных в электронную базу

3.2. Слияние данных локальных центров в обобщенную базу

3.3. Контроль качества собранных данных

3.3.1. Интерактивная проверка данных при вводе

3.3.2. Метод двойного ввода

3.3.3. Анализ введенных данных

3.3.4. Сравнение баз данных

3.4. Аудит (контроль) персонала по сбору данных

3.4.1. Сравнение электронной и бумажной версий

3.4.2. Сравнительное контрольное интервьюирование

3.4.3. Проверка соответствия процедур сбора данных и их ввода 59 в электронную базу данных протоколу исследования

3.5. Категоризация текстовой информации

3.6. Административный контроль процесса сбора данных

Глава 4. Результаты применения инструментального обеспечения в 67 эпидемиологических исследованиях

4.1. Особенности наполнения баз данных эпидемиологических 67 исследований

4.2. Объединение баз данных локальных центров в обобщенную базу

4.3. Контроль качества собранных данных

4.3.1. Метод двойного ввода

4.3.2. Анализ введенных данных: поиск логических ошибок, 76 оценка полноты и качества информации

4.3.3. Сравнение баз данных

4.4. Аудит (контроль) персонала по сбору данных

4.4.1. Сравнение электронной и бумажной версий

4.4.2. Сравнительное контрольное интервьюирование

4.4.3. Проверка соответствия процедур сбора данных и их ввода . 89 в электронную базу данных протоколу исследования

4.5. Работа с текстовыми полями баз данных

4.6. Надзор и организация сбора информации (администрирование) 94 Заключение 96 Выводы 100 Список литературы 102 Приложение 1. Фрагмент формы DM 125 Приложение 2. Список разработанных форм 126 Приложение 3. Теоретические положения системы проверки данных на полноту и логическую связанность

Введение 2005 год, диссертация по информатике, вычислительной технике и управлению, Лукьянова, Елена Анатольевна

Ионизирующее излучение вызывает не только непосредственные биологические эффекты, но может также привести к возникновению заболеваний в течение всей жизни человека, причем повреждения генетических структур могут проявляться в форме различных аномалий у последующих поколений [21].

В связи с этим становятся необходимыми научно-практические исследования, направленные на изучение, оценку и прогнозирование медицинских последствий крупномасштабных радиационных воздействий. При этом важное место занимают эпидемиологические исследования. Однако засекреченность данных о заболеваемости населения привела к тому, что популяционные эпидемиологические исследования были не популярны в СССР [5].

В июне 1964 в Хельсинки на 18-й Генеральной Ассамблее Всемирной Медицинской Ассоциации (ВМА) была принята (пересмотрена в 1975, 1983, 1989, 1996, 2000 г.г.) декларация, которая является этической основой проведения (всех тщательно спланированных и корректно проводимых) медико-биологических исследований. Эта декларация послужила основой для разработки свода правил проведения качественных клинических испытаний (Good Clinical Practice - GCP), принятого в 19961997г. Международной конференции по согласованию технических требований к регистрации медикаментов, применяемых у людей (International Conference on Harmonization of Technical Requirements for the Registration of Pharmaceuticals for Human Use - ICH). В России был принят ряд нормативных документов (N86-03 от 22.06.1998 (изменен 10.01.2003) "О лекарственных средствах", стандарт отрасли ОСТ 42-511-99 от

29.12.1998 "Правила проведения качественных клинических испытаний в Российской федерации"), в которых изложены положения ICH GCP. Ряд этих правил распространяют и на эпидемиологические исследования.

Актуальность

Эффективность эпидемиологического исследования (в особенности масштабного международного проекта) существенно зависит от качества планирования, стандартизации проведения, инструментов и методов сбора и управления данными. В настоящее время появилось много публикаций, посвященных дизайну эпидемиологических исследований. Они легли в основу такого нового научного направления, как доказательная медицина [28, 50, 66, 68, 82, 135, 145, 179]. В то же время недостаточно внимания уделяется непосредственно инструментам сбора и управления данными. Под инструментами управления данными понимаются: анкеты и формы (бумажные и электронные) для сбора данных, методы и материалы идентификации объектов, программы управления базами данных, коммуникационные системы передачи информации, методы и программы контроля, верификации данных и их коррекции, программы подготовки к статистическому анализу и другие.

Имеющиеся стандартизованные инструменты исследования, например опросники, не всегда могут быть использованы в частных исследованиях без существенных изменений. Конкретные проекты требуют разработки специальных средств сбора и управления данными.

26 апреля 1986 года на четвертом энергоблоке Чернобыльской АЭС произошла крупнейшая в истории человечества техногенная радиационная катастрофа [21].

В течение ряда лет на территориях России, Украины и Белоруссии, пострадавших в результате аварии на ЧАЭС, ведутся «случай-контроль» исследования лейкозов с целью выяснения вопроса о вероятности радиационной индуцированности лейкозов, зарегистрированных в этом регионе с 1986 по 2000 год. Они проводятся коллективом исследователей из научных учреждений США, России, Белоруссии и Украины под эгидой Международного Консорциума по Исследованию Влияния Радиации на Здоровье Человека (International Consortium for Research on the Health Effects of Radiation (ICRHER)). В проектах участвуют крупные научные центры США (Fred Hutchinson Cancer Research Center, Roswell Park Cancer Institute, Bridgeport Hospital, Yale University School of Medicine), России (Медицинский радиологический научный центр, рянский диагностический центр, Гематологический научный центр), Украины (Центр радиационной медицины) и Белоруссии (Детский онкологический центр, Белорусский исследовательский институт экопатологии и профессиональных заболеваний, Минская городская больница №9).

Основная цель проектов ICRHER — получение зависимости вероятности возникновения таких заболеваний как лейкоз, рак щитовидной железы, рак молочной железы от накопленной дозы. Отличительной чертой проектов являлось то, что они проводились по схеме «случай-контроль» и основой служила оценка индивидуальной накопленной дозы радиации.

Техническая особенность этих проектов заключается в том, что с одним изучаемым объектом работает несколько рабочих групп исследователей. Планирование и синхронизация работы этих групп достаточно сложная управленческая задача.

Основные проекты, осуществленные и проводимые в настоящее время консорциумом:

1. Исследования взаимосвязи радиационного воздействия и риска лейкозов (1997-2002);

2. Исследования взаимосвязи радиационного воздействия и риска рака щитовидной железы (1995- 2002);

3. Пилотное исследование взаимосвязи радиационного воздействия и риска рака молочной железы (2002 - 2003).

4. Пилотное исследование социо-психологических последствий аварии на ЧАЭС. (2002)

5. Эпидемиолого-молекулярное исследование рака щитовиной железы в регионе, загрязненном в результате аварии на ЧАЭС. (2002 — по настоящее время).

Данная работа выполнена в рамках этих исследований. Особая роль в решении ряда задач, стоящих перед Консорциумом, отводилась разработке инструментальных средств сбора, хранения и контроля качества данных. Инструменты сбора и управления данными, предназначенные для этого, отсутствовали. Их разработка была и продолжает оставаться одной из актуальных и ключевых задач автоматизации крупномасштабного исследования

Для осуществления цели проектов было необходимо разработать целый ряд инструментов для сбора, хранения, управления и анализа данных. Для сбора данных - специальные опросники и соответствующие электронные базы для ввода и хранения информации. Для идентификации объектов, биологических и физических образцов - систему, использующую технологию штрих-кодирования. Специальные программы учета и хранения образцов. Программы контроля ошибок, аудиторские процедуры оценки качества данных, анализа и кодирования текстовой информации, программного интерфейса со статистическими пакетами. А также отладить технологию передачи и контроля информации, поступающей из локальных информационных центров в центральную базу данных. [27, 130]

Для разработки таких средств и информационной поддержки проектов, проводимых консорциумом, создан Центр Координации Данных (Data Coordination Office (DCO).

Цель и задачи диссертационной работы

Целью диссертационной работы является разработка комплекса административных процедур и программ сбора и управления данными, позволяющих улучшить качество проведения реального исследовательского проекта.

Для достижения этой цели были поставлены следующие задачи:

1. Провести анализ существующих методов и инструментов сбора и управления данными по материалам исследований Консорциума.

2. Разработать алгоритмы поиска ошибок и оценки качества информации, коррекции информации, а также процедур административного контроля исследования.

3. Реализовать разработанные алгоритмы и процедуры в виде комплекса баз данных и соответствующих служебных программ.

4. Исследовать степень эффективности внедрения разработанных инструментальных средств.

Предмет и объект исследования

Предметом исследования настоящей диссертационной работы является информационно-административная структура крупного эпидемиологического исследования. В качестве объекта исследования рассматривался информационный поток данных многоцентровых эпидемиологических исследований, проводимых ICRHER на чернобыльских териториях.

Методы исследования

В работе используются методы логистики, биостатистики и прикладной математической статистики, системного анализа, объектно-ориентированного программирования.

Положения, выносимые на защиту

1. Инструменты и процедуры сбора и управления данными эпидемиологического исследования.

2. Алгоритмы и программное обеспечение контроля ошибок, проверки качества и коррекции информации эпидемиологического исследования.

3. Алгоритмы и программное обеспечение для администрирования прохождения информации в исследовании.

Научная новизна

Впервые разработан комплекс программных средств контроля и оценки качества собранных данных. Комплекс позволяет своевременно выявить ошибки, возникающие при вводе данных в условиях многоцентрового радиологического эпидемиологического исследования.

Разработаны инструментальные вспомогательные средства, отслеживающие в интерактивном режиме ошибки, возникающие на этапе работы оператора с электронными формами.

Разработан программный инструментарий, предназначенный для проверки полей записей в базе данных на полноту заполнения и логическую связанность между ними. Инструмент содержит также средства выявления неточностей или ошибки в полях БД и средства оценки качества данных.

Впервые создан специальный программный модуль сравнения различных версий БД, результатом работы которого является список несоответствий.

Разработаны новые методики и алгоритмы распределенного ввода данных в БД из удаленных центров исследования через компьютерные сети.

Разработан алгоритм и модель слияния данных, поступающих из локальных центров, на основе которой создан комплекс программных средств.

Впервые для построения информационной системы динамики прохождения объектами этапов исследования введено понятие статус объекта.

Практическая значимость

Разработан и внедрен в практику международных эпидемиологических исследований радиационной зависимости распространения онкологических заболеваний в районах загрязненных радионуклидами в результате аварии на Чернобыльской АЭС комплекс алгоритмов и программных средств, позволяющих улучшить качество подготовки данных к статистическому анализу.

Изложенные принципы построения автоматизированной системы научно-исследовательского проекта могут быть использованы при планировании и разработке систем информационного сопровождения крупных многоцентровых эпидемиологических исследований. Такого рода системы необходимы в международных и междисциплинарных проектах для решения административно-информационной синхронизации работы отдельных групп исследователей.

В настоящее время данная система установлена и используется для информационного обеспечения двух текущих эпидемиологических исследований.

Принципы и подходы, заложенные в основу разработанных методик, в качестве примеров, входят в учебные программы подготовки студентов по медицинской информатике в Российском университете дружбы народов.

Личный творческий вклад автора

Автором разработана административная система информационной поддержки проектов (АИС).

Разработаны алгоритмы, методики и программное обеспечение мониторинга процесса редактирования данных, хранящихся в базе.

Разработано программное обеспечение для слияния данных, поступающих из центров.

Автор принимал участие в разработке программного обеспечения для проверки полноты и качества данных, методик и проведения аудита в исследовательских центрах, разработке программного модуля для двойного ввода, а также в разработке баз данных для распределенного и удаленного ввода.

Апробация работы

Результаты работы докладывались на:

1. XII международной конференции по эпидемиологии окружающей среды (Буффало, 2000);

2. 1-м съезде гематологов России (Москва, 2002);

3. X международной конференции "Математика. Компьютер.

Образование" (Пущино, 2003);

4. регулярных научных совещаниях участников проекта. (Москва

1999, 2000), Киев (2000), Обнинск (2001), Брянск (2003), Минск

2000, 2001)).

Публикации

По материалам диссертации опубликовано 4 научные работы.

Структура и объем диссертации

Диссертация изложена на 156 страницах машинописного текста в традиционной форме и состоит из введения, 4 глав, заключения, выводов, списка литературы, включающего 185 источников (60 отечественных, 125 иностранных авторов) и приложения. Материалы диссертации иллюстрированы 31 таблицей и 17 рисунками.

Заключение диссертация на тему "Инструменты сбора и управления данными в многоцентровом исследовании радиологических последствий аварии на Чернобыльской АЭС"

Выводы

1. Анализ существующих методов и инструментов сбора и управления данными в многоцентровом эпидемиологическом исследовании взаимосвязи радиационного воздействия и риска острых лейкозов (19972002) выявил необходимость разработки методик, обеспечивающих распределенный ввод и слияние данных, оперативный контроль и оценку качества информации, коррекцию ошибок и административный контроль исследования.

2. Разработаные методики и алгоритмы, позволяют контролировать и оценивать качество собранных данных, работу персонала по сбору данных, а также способствуют уменьшению случайных ошибок и выявлению систематических. Модуль административного контроля обладает высокой эффективностью по мониторингу общеэкономических вопросов проектов, что является ключевым компонентом в отчетности по полученному финансированию.

3. Применение разработанных методов проверки в Белорусском центре позволило снизить рейтинговую оценку среднего количества ошибок в опроснике (с 9,9 до 0,45), что свидетельствует о 22-кратном улучшении качества внесенных данных.

4. Проверка данных на полноту и логическую связанность обнаружила 1667 ошибки, из которых 24% составляли ошибки уровня 4-5, 76% -ошибки уровней 1-3. После устранения ошибок локальными менеджерами и повторного применения программы проверки количество ошибок снизилось до 730, из которых 9% - 4-5 уровней и 91% - уровней 1-3.

5. Применение модуля сравнения баз данных двух последовательных передач данных выявило ряд изменений значений полей локальных баз данных. Для «контролей» изменения не носили значимый характер (р=0.769), для «случаев» изменения оказались значимыми (р=0.002).

Выявленные ошибки позволили получить более репрезентативные данные.

6. Полученные результаты и их системный анализ (разработанный комплекс программного обеспечения по административным процедурам и сбору и управлению данными) позволили принципиально изменить подход к организации и проведению, крупномасштабных многоцентровых эпидемиологических исследований.

Заключение

Изменение технологии проведения многоцентрового комплексного эпидемиологического исследования от бумажной формы к электронной выявляет новые проблемы. Перед исследователями встает ряд технологических вопросов, решение которых требует использования современного информационно-технологического оборудования в сочетании с уже известными и новейшими методами математического и информационного анализа данных, получаемых в ходе исследования.

Методика, представленная в работе, может встретить сопротивление в ряде случаев при внедрении в практику. Такое сопротивление может быть вызвано так называемым человеческим фактором, то есть участниками многоцентрового исследования, допускающими непреднамеренные ошибки при вводе данных, а также специально вводящие исследование в незапланированное русло. Разработанная методика и программное сопровождение является одновременно и средством автоматизации рутинной работы по проверке правильности и непротиворечивости введенных данных, и средством аудита данных и их качества.

Вполне понятно, что усложнение программного обеспечения, вовлеченного в исследовательский процесс, порождает дополнительные неудобства. К таким неудобствам в первую очередь относится необходимость освоения новых методов сбора данных и проверки их пригодности. Кроме того, создание новых методик верификации необратимо порождает увеличение бюджета проекта. Однако, и первое и второе в конечном итоге приводит к значительной экономии средств и усилий персонала в связи с экономией времени, затрачиваемого на поиск ошибок в собранных данных и ведет к повышению достоверности полученных результатов.

Те, кто планировал и проводил самостоятельно крупные эпидемиологические исследования, прекрасно представляют степень ответственности и все трудности, которые возникают в ходе выполнения проекта. Среди всех возможных, одной из наиболее часто встречаемых трудностей является точность ввода значений в базу данных и однотипность, или унификация типов данных и их вербального представления. В любом проекте авторы приходят к необходимости планировать, разрабатывать и внедрять автоматизированные методики, направленные на повышение уровня значимости полученных выводов. Но не всегда подобные разработки находят отражение в открытых публикациях, что ставит в затруднительное положение тех, кто впервые разрабатывает крупный проект. Недостаточность сведений о разработках систем проверки данных исследования не является препятствием на пути его разработки. Однако методическая часть каждого проекта, тем самым, делается уникальной, применимой только к условиям конкретного проекта.

Выполненная в данной работе методическая часть ставила перед собой целью создание наиболее универсального метода решения поставленных задач. Был выполнен подробный анализ типов исследований от простых до сложных комплексных, многовекторных. Сопоставление сложной структурной организации проекта и комплекса возможных ошибок, а также сложность управления выполнением таких проектов связана с их масштабностью и многокомпонентностью. Подробное систематизированное изучение данной проблемы показало необходимость разработки методик и специальных программных инструментов сбора и управления данными. В работе выполнен анализ методов и инструментов сбора и управления данными в многоцентровых эпидемиологических исследованиях. В результате анализа выявлен круг методов, которые обеспечивают высокие требования к качеству вводимых данных. Разработан комплекс программных средств, обеспечивающих распределенный ввод и последующее слияние данных, оперативный контроль и оценку качества информации, коррекцию ошибок. В данный комплекс вошли также средства и процедуры административного контроля всего процесса исследования.

На этапе ввода информации проведено усовершенствование методики наполнения базы данных путем построения шести распределенных модулей. Данное усовершенствование позволило сократить время, затрачиваемое на ввод данных, и снизить уровень ошибок ввода. Известная технология сбора данных через заполнение электронных форм, примененная в сочетании с телекоммуникационными технологиями позволила оперативно вносить информацию непосредственно с удаленных клиентских мест. В тех случаях, когда on-line связь была затруднена, проверена и введена в эксплуатацию система передачи данных по каналам электронной почты, что значительно ускорило процесс передачи данных из локальных центров в координационный.

Учитывая то, что Консорциум проводил многоцентровое исследование на протяжении многих лет, в течение которых изменялись условия сбора информации и появлялись новые технические возможности, в данной работе решена еще одна важная задача — объединение выполненных в разное время фрагментов работы в виде разнообразных локальных баз данных. Полученная в результате их слияния база данных позволяет точно сопоставить разнородную информацию об одном исследуемом (результаты интервью, дозиметрических исследований, данные молекулярных исследований) и провести одновременную обработку большего объема информации. Такое методическое решение, выполненное в виде модулей слияния баз, представляет эффективное средство полной автоматизации объединения данных, которые были получены на различных этапах эпидемиологического исследования в полуавтоматическом режиме и с использованием разных по свойствам и возможностям программных продуктов.

При выполнении работы одной из важных задач явился контроль качества собранных данных. Для этого были разработаны методики и алгоритмы, позволяющие оценивать качество собранных данных и способствующие уменьшению случайных и систематических ошибок. Особое внимание уделялось методикам контроля и проверки результатов работы персонала, занятого в сборе и вводе данных. Разработанный алгоритм и программная реализация модуля административного контроля на практике показали высокую эффективность в мониторинге общеэкономических вопросов проектов, что является ключевым компонентом в отчетности по полученному финансированию.

В настоящее время, описываемый программный комплекс внедрен и эксплуатируется в условиях действующего проектного задания для информационного обеспечения двух текущих эпидемиологических исследований Консорциума.

Итак, комплекс программного обеспечения по административным процедурам и сбору и управлению данными, разработанный и внедренный нами, существенно (принципиально) изменил подход к организации и проведению крупномасштабного многоцентрового эпидемиологического исследования, что на практике подтверждает правильность решения поставленных в работе задач и объективность инструментальных реализаций, связанных с системным подходом к исследованию.

Библиография Лукьянова, Елена Анатольевна, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. Алейников Р.В., Дягиль А.Ю., Кузина И.Р. Интернет-технология в разработке приложений медицинских баз данных // Материалы 1-го Российского научного форума МедКомТех 2003. — М.: "Авиаиздат", 2003.1. С.4-6.

2. Андреева Т.В.,Гурьянов А.С. Роль и место "компьютерной грамотности" вподготовке и профессиональной деятельности медицинского персонала ЛПУ // Материалы. 1-го Российского научного форума МедКомТех 2003.- М.: "Авиаиздат", 2003. С.8-10

3. Бабосов Е.М. Прикладная социология- Минск: ТетраСистемс, 2000.-496 с.

4. Белолюбская И.С., Васильева Р.С., Назаров В.И. Создание унифицированной технологии мониторинга состояния здоровья населения республики Саха (Якутия) // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. - С. 19-20.

5. Беляков В.Д., Семененко Т.А., Шрага М.Х. Введение в эпидемиологию инфекционных и неинфекционных заболеваний человека М.: Медицина, 2001.-264 с.

6. Бжитских А.В. и др. Интеграционный компьютерный комплекс хранения иобработки диагностической информации в лечебно-профилактическом учреждении // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. - С.22-23.

7. Блажис А.К., Дюк В.А. Телемедицина. СПб.: спецлит, 2001.-143с.:ил.

8. Буравков С.В., Григорьев А.И. Основы телемедицины. М.: Фирма "Слово", 2001.- 112 с.

9. Васильев В. А., Карасев Н.А. Интранет технологии в создании интегрированных информационных систем стационаров // Материалы. 1го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. -С.27-28.

10. Васин М.В. Медицинские аспекты радиационных аварий. М.: РМАПО МЗ РФ, 2003.-64 с.

11. Гаспарян С.А., Пашкина Е.С. Страницы истории информатизации здравоохранения России. М.: 2002. — 304с.

12. Грабер М. SQL. М.: Лори, 2001. 643 с.

13. Гублер Е.В. Вычислительные методы анализа и распознавания патологических процессов—Л.: Медицина, 1978. — 296 с.

14. Гублер Е.В. Информатика в патологии, клинической медицине и педиатрии.-Л.: Медицина, 1990. 176 е.: ил.

15. Девятко И.Ф. Методы социологического исследования. Учебное пособие. 2-е изд., исп. — М.: Книжный дом "Университет", 2002. — 296 с.

16. Дегтярев Ю.И. Системный анализ и исследование операций.- М.: Высшая школа. 1996. - 335 с.

17. Доклад на симпозиуме Чернобыль Сасакава (Москва, июнь 30 - июль 2,1993 г.). - Токио, 1993. - 214 с.

18. Емелин И.В. Стандарты электронного обмена медицинскими документами HL7 // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. - С.45-46.

19. Ермолов А.С., Синякова О.Г., Ишмухаметов А.И. Компьютерные технологии в анализе клинико физиологических исследований в неотложной хирургии. —Москва, 2002. — 186 с.

20. Зекий О.Е. Основные направления автоматизации здравоохранения // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. —С. 185-188.

21. Иванов В.К., Цыб А.Ф., Иванов С.И. Ликвидаторы чернобольской катастрофы: радиациационно эпидемиологический анализ медицинских последствий. - М.: Галанис, 1999. — 312 с.

22. Ильин Л.А., Кириллов В.Ф., Коренков И.П. Радиационная безопасность и защита. Справочник. — М.: Медицина, 1996. 336 с.

23. Камаев И.А., Леванов В.М., Сергеев Д.В. Телемедицина: клинические, организационные, правовые, технологические, экономические аспекты. -Н.Новгород: Нижегородская государственная медицинская академия, 2001.-98 с.

24. Кобринский Б.А. Телемедицина в системе практического здравоохранения. // Приложение к журналу "Здравоохранение", №2, 2002. -М.: МЦФЭР, 2002. 176с.

25. Колесников Ю.С. Прикладная социология: Учебное пособие. — Ростов-на-Дону: "Феникс", 2001. 320 с.

26. Котлер Ф. Основы маркетинга: Пер. с англ. / Общ. ред. и вступ.ст. Е.М.Пеньковой. М.: Прогресс, 1993. - 736 с.

27. Куликов С.М., Лукьянова Е. А., Маслова Е.Р., Чабаева Ю.А. Управление данными «случай-контроль» исследования лейкозов на территории,загрязненной в результате аварии на Чернобыльской АЭС /1-ый съезд гематологов России, Москва, 2002г.

28. Леонов В.П., Реброва О.Ю., Ижевский П.В. В и др. В новый век с доказательной биомедициной // Математическая морфология. - 1999. - №3.- С.82-93

29. Медик В.А., Юрьев В.К. Курс лекций по Общественному здоровью и здравоохранению. Часть 1. Общественное здоровье. М.: Медицина, 2001.- 200с.

30. Мельниченко Г.А., Зекий О.Е. и др. Использование локальных компьютерных сетей в клинической и научной работе // Материалы. 1-го Российского научного форума МедКомТех 2003. — М.: "Авиаиздат", 2003.- С.81-82.

31. Новик А.А., Ионова Т.И. Руководство по исследованию качества жизни в медицине. -СПб.: Издательский Дом "Нева", М.: "ОЛМА-ПРЕСС Звездный мир", 2002.-320 с.

32. Нортон П., Андерсен В. Разработка приложений в Access 97: пер. с англ. -СПб.: BHV Санкт-Петербург, 1998. -656 е., ил.

33. Олейников Д. Маркетинговые исследования в фармацевтическом бизнесе.- http://www.bma.ru/lib/libl 8.htm, (2000).

34. Оптнер СЛ. Системный анализ для решения деловых и промышленных проблем: Пер. с англ.- М.: Советское радио, 1969. — 216 с.

35. Остапенко Ю.Н., Литвинов Н.Н. и др. Информационное обеспечение стационара токсикологического профиля // Материалы. 1-го Российского научного форума МедКомТех 2003. -М.: "Авиаиздат", 2003. С.89-90.

36. Отраслевая программа "Управление качеством в здравоохранении" // 23.04.03

37. Павлов А.С., Костромина К.Н., Кижаев Е.В. и др. Компьютерная информационно-поисковая система "Радиационная онкология // Материалы. 1-го Российского научного форума МедКомТех 2003. — М.: "Авиаиздат", 2003. С.90-91.

38. Радиационные поражения (клиника, профилактика, принципы лечения). Диспансеризация участников ликвидации аварий на АЭС/ Сост. А.Н. Смирнов, М.: КАППА, 1998. - 36 с.

39. Радиация. Дозы, эффекты, риск: Пер. с англ. М.: Мир. Р15, 1988. - 79 с.

40. Раковый регистр и порядок оформления документов при выявлении онкологических заболеваний. М.: ГРАНТ, 1999. - 200 с.

41. Резонанс: Южно-Уральская атомная: быть или не быть? / А.Г. Назаров, Е.Б. Бурлакова, Д.П. Осанов и др. Под ред. А.Н. Пенягина. Челябинск: Юж.-Урал.кн.изд-во, 1991. - 56 с.

42. Сахно И.И. и др. Организация санитарно-противоэпидемического обеспечения населения в чрезвычайных ситуациях // Пособие для государственных служащих федеральных органов исполнительной власти. М.: Издательский дом МАГИСТР-ПРЕСС, 2001.- 488с.

43. Смирнов А.Н. Радиационные поражения (клиника, профилактика, принципы лечения. Диспансеризация участников ликвидации аварий на АЭС. М.: Каппа, 1998. - 37 с.

44. Соколович Г.Е., Бауэр В.А., Гибадулина И.О. и др. Применение компьютерных технологий в абулаторно-поликлинической практике // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. - С. 110-112.

45. Сроки хранения документов в учреждениях здравоохранения. (Приказ Минздрава СССР от 30.05.74 №493). (Библиотека журнала "Качество медицинской помощи") М.: ГРАНГЬ, 2002. - 208с.

46. Страусс А., Корбин Д. Основы качественного исследования: Пер. с англ.-М.: Эдиториал УРСС, 2001.-256 с.

47. Федорченко Б.Н., Сокол Д.А., Марголина И.И. Смарт карты в тульском здравоохранении и медицинском страховании // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. -С.119-120.

48. Федотов Ю.Н., Белов А.В., Быченкова Т.М. и др. Электронная история болезни в БКЦББ // Материалы. 1-го Российского научного форума МедКомТех 2003. -М.: "Авиаиздат", 2003. С. 120-121.

49. Флетчер Р., Флетчер С., Вагнер Э. Клиническая эпидемиология. Основы доказательной медицины: Пер. с англ. — М.: Медиа Сфера , 1998. — 352с.

50. Ховард М., Леви М., Вэймир Р. Разработка защищенных Web приложений на платформе Microsoft Windows 2000.Мастер класс./Пер.с англ.— Спб.: Питер, М.: Издательско торговый дом "Русская Редакция ", 2001— 464 с.

51. Челноков А.Н., Сомов И.С. и др. Хранилище клинических изображений на базе открытых WEB-технологий // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. - С. 130.

52. Шаврин Ю.А. Методика сбора и обработки информации при построении автоматизированной информационной системы лечебно-профилактического учреждения // Материалы. 1-го Российского научного форума МедКомТех 2003. -М.: "Авиаиздат", 2003. С.136-137.

53. Шифрин М.А. Вопросник заказчика медицинской информационной системы (рекомендации разработчика) // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. - С.232-236.

54. Шкалы, тесты и опросники в медицинской реабилитации: под ред. А.Н. Беловой, О.Н. Щепетовой. М.: Антидор, 2002 г. - 440 с.

55. Шумилова И.Н. и др. Региональная медицинская информационная сеть II Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. С. 144-145.

56. Эльянов М.М. Ассоциация развития медицинских информационных технологий — первый опыт // Материалы. 1-го Российского научного форума МедКомТех 2003. М.: "Авиаиздат", 2003. - С. 147-148.

57. Яблонский С.В. Введение в дискретную математику. М.: Наука, 1979. -272 с.

58. Ядов В.А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности. М.: "Добросвет", 2001. - 596с.

59. Яковлев А.П., Ререкин И.А. Практический опыт ведения электронной истории болезни // Материалы. 1-го Российского научного форума МедКомТех 2003. -М.: "Авиаиздат", 2003. -С.150-151.

60. A checklist to assess data quality management efforts / AHIMA data quality management task force. — http://library.ahima.org/xpedio/groups/public/ documents/ahima/pubbok l000069.html, (1998).

61. Aaronson N.K. et al. The European organization for research and treatment of cancer (EORTC) modular approach to quality of life assessment in oncology // Int. J. Ment. Health. 1994. - V.23. - P.75-96.

62. Aaronson N.K. Quality of life assessment in clinical trials: methodological issues // Control clin. Trials. 1998. - V. 10. - P. 195-208.

63. Amatayakul M., Brandt M.D., Dennis J.C. Implementing the minimum necessary standard // Journal of AHIMA -2002. V.73, №9 P.96A-F.

64. Armstrong B. Study Design for exposure assessment in epidemiological studies //The science of the total environment. 1995. -№168. -P.187-194.

65. Baxter P. Evidence based medicine // Developmental Medicine & Child Neurology 2004. - V.46 - P.723-723

66. Berberov M., Eder R., Gerstbach P. Data information quality management // Seminar aus Informationsmanagement: Institut fur Informatik und Wirstschaftsinformatik, Multimediale Informationssysteme- 2002. - 1-14p.

67. Berner M.M., Ruther A. Evidence-based medicine, psychiatry, quality control, data banks, and randomised, controlled studies // Nervenarzt 2000. -V.71 -P.173-180

68. Bottcher F. et al. Quality management in experimental research: a new Software to coordinate the timing, the completeness and the plausibility of data collection // European journal of trauma. 2000. - №4. — P.191-192.

69. Bowling A. Measuring disease: a review of disease-specific quality of life measurement scales. Buckingham: Open university Press, 1996. - 208p.

70. Bradley C. Diabetes treatment satisfaction questionnaire. // Diabetes Care. -1999. V.22, №3. - P.530-532

71. Brandt M.D. Information Security: An Overview // Journal of АШМА. -http://library.ahima.org/xpedio/groups/public/documents/ahima/pubbokl001 028.html (1996)

72. Brouch K, Where to find answers to your coding questions // Journal of AHIMA -2003. V.74, №1 - P.84-86.

73. Bruni R. Sassano A. Errors Detection and Correction in Large Scale Data Collecting. / In F. Hoffmann et al. eds. Advances in Intelligent Data Analysis, // Lecture Notes in Computer Science. 2001. - V.2189. - P.84-94.

74. Budd G.T. Palliative chemotherapy of adult soft tissue sarcomas // Semin. Oncol. 1995. V.22, Suppl. 3. -P.30-34.

75. Bushnell D.M. Martin M.L. Quality of life and Parkinson's disease: Translation and validation of the US Parkinson's disease questionnaire (PDQ-39) // Quality of Life Research. 1999. - V.8, №4, p.345-350.

76. Calle J.E. et al. Quality of the information contained in the minimum basic data set: Results from an evaluation in eight hospitals // European Journal of Epidemiology 2000. - V.16 - P. 1073-1080.

77. Carlsson M. et al. Psychometric assessment of the life satisfaction questionnaire (LSQ) and a comparison of a randomized sample of swedish women and those suffering from breast cancer. // Quality of life research. 1999. - V.8, №3. -P.245-253.

78. Carlsson M., Hamrin E. Evaluation of the life satisfaction questionnaire (LSQ) using structural equation modeling (SEM). // Quality of life research. — 2002. -V.l 1, №5.-P.415-426.

79. Carol R. From Figures to Facts: Data Quality Managers Emerge as Knowledge Leaders // Journal of AHIMA -2002. V.73, №10. - P.24-28.

80. Carpenter J.E. Managing multimedia medical records: a health information managerys role. — http://library.ahima.org/xpedio/groups/public/documents/ahima/pubbokl000 070.html, (1998).

81. Casali P.G.,Licitra L., Bruzzi P. QUOROM and the search for an updated 'clinical method' in the era of evidence-based medicine // Annals of Oncology -2000. №8.-C. 923-925

82. Cella D.F. Manuel: Functional Assesessment of Cancer therapy (FACT) // Scales.-NY.- 1992.

83. Coast J. et al. Use of the EuroQoL among elderly acute care patients. // Quality of life research. 1998. - V. 7, №1. - P. 1-10.

84. Conner-Spady B. et al. Responsiveness of the EuroQol in breast cancer patients undergoing high dose chemotherapy. // Quality of life research. 2001. - V.10, №6. — P.479-486.

85. Crerand W., et al. Building data quality into clinical trails // Journal of AHIMA -2002.-V.73, №10. 44ff.

86. Curran D. et al. Incomplete quality of life data in randomized trials: missing forms // Statistics in medicine. 1998. - V.l7. - P.697-709.

87. Data Quality // Journal of AHIMA. http://library.ahima.org/xpedio/groups/ public/documents/ahima/pubbokl000092.html, (1996)

88. Data Quality Management Model / AHIMA Data Quality Management Task Force-http://library.ahima.org/xpedio/groups/public/documents/ahima/ pubbokl000066.html ( June 1998).

89. Davis A.E. Instrument development: getting started // Journal of neuroscience nurses. 1996. - V.28, №3. - P.204-207.

90. Davis D. L., Stellman S. Questionnaire for breast cancer epidemiology. // Lancet. 1994. - V.344, №8931. - P. 1217.

91. Davis M. Stealing time: time management techniques add hours to each day. // Journal of AHIMA 2003. - V.74, №6. - P.25-28.

92. Davis S, Stepanenko V, Rivkind N, Kopecky KJ, Voilleque P. et al. Risk of thyroid cancer in the Bryansk Oblast of the Russian Federation after the Chernobyl Power Station accident. // Radiation Research. 2004. - V. 162(3) -P.241-248.

93. Dean B. et al. Environmental epidemiology // World health organization sustainable development and healthy environments. 1999. - 342 c.

94. Drummond H.E. et al. Electronic quality of life questionnaires: a comparison of pen-based electronic questionnaires with conventional paper in a gastrointestinal study // Quality of life research. — 1995. Feb. 4(1) — P.21-26.

95. Eggli S. Holm J. Implementierung einer elektronischen Krankengeschichte in der Chirurgie // Journal Chirurgie. 2001. -№72. - P. 1492-1500.

96. Epidemiology, data Management and biostatistics Facility Core. -http://www.niehs.nih.gov/centers/fac-core/colcore3.htm

97. Escobar A. et al. Validation of the Spanish version of the WOMAC questionnaire for patients with hip or knee osteoarthritis clinical rheumatology. 2002. - V.21, №6, P.466-471.

98. Fletcher M.M., McManus C.D. A computerized data management system for head and neck oncology // Laryngoscope 1987. - V.97 — P. 1422-1429.

99. Fox C. Questionnaire development // J health soc. policy. 1996. 8(1) - P.39-48.

100. Franks P.J., Moffatt C.J. Health related quality of life in patients with venous ulceration: use of the Nottingham health profile. // Quality of life research. -2001. V. 10, №8. - P.693-700.

101. Fuller S. Designing a Data Collection Process // Journal of AHIMA. -http://library.ahima.org/xpedio/groups/public/documents/ahima/pubbokl000 067.html (1998).

102. Fumimoto H. et al. Cross-cultural validation of an international questionnaire, the general measure of the functional assessment of cancer therapy scale (FACT-G), for Japanese // Quality of life research. 2001. - V. 10, №8. -P.701-709.

103. Gillham R. et al. Standardization of a self-report questionnaire for use in evaluating cognitive, affective and behavioral side-effects of anti-epileptic drug treatments // 1: Epilepsy Res. 1996. - May 24(1). - P.47-55.

104. Gordis L. Assuring the quality of questionnaire data in epidemiological research. // Am. J. epidemiology. 1979. - №109. - P.21-24.

105. Gretchen, Brandt M. Health informatics standards and information transfer: exploring the HIM role // Journal of AHIMA 2001.- V.72, №1. - P.68A-D.

106. Gwede C. et al. Validation of the quality of life-radiation therapy instrument (QOL-RTI) in-patients receiving definitive radiation therapy for locally advanced prostate cancer. // International Journal of Radiation. 1996. - V.36, №1. -P.269

107. Haes J., Curran D., Young T. et al. Quality of life evaluation in ontological clinical trials- the EORTC model. // European journal of cancer. 2000. - V.36, №7. -P.821-825.

108. Hagland M. Moving forward with document imaging and never looking back to paper // Journal of AHIMA 2002. - V.73, №9. - P.40-43.

109. Harrison W.A. et al. Identification of neonatal hearing impairment: Experimental protocol and database management // Ear. and hearing. — 2000. — V.21 №5. — P.357-365.

110. Health consequences of the Chernobyl accident. Results of the IPHECA pilot projects and related national programs scientific report. Scientific report // World Health Organization. Geneva 1996. - 520 p.

111. Health consequences of the Chernobyl accident. Results of the IPHECA pilot projects and related national programs. Scientific report. -Geneva.: World Health Organization, 1996. 520 pp.

112. Heim M.E. et al. Anxiety and depression in cancer patients The HADS-questionnaire as screening instrument in cancer rehabilitation // European Journal of Cancer. - 1999 -№35, S281

113. Houston J.D., Fiore D.C. Online medical surveys: using the Internet as a research tool // MD Comput. 19980. - 15:2. - P.l 16-120.

114. Huang Y. Ravishankar С. V. Synthesizing Translation Agents for Multi-Disciplinary Data Integration. / Proc. Third IEEE International Conference for Systems Integration, Sao Paulo, Brazil, August 1994

115. Hughes K.S. et al. Prevalence of family history of breast and ovarian cancer in a single primary care practice using a self-administered questionnaire // The breast journal 2003. - V.9, №1. - P. 19-25.

116. Hunte M. The Women's Health Questionnaire (WHQ): The development, standardization and application of a measure of mid-aged women's emotional and physical health // Quality of life research. 2000. - V.91 - P.733-738.

117. Ibrahim J.E. What is the quality of our quality managers? Is it time for quality managers in Australia to be certified? // Journal of quality in clinical practice. -2000. — V.20, №1. -P.32.

118. Jack D., Clarke A.M. The purpose and use of questionnaires in research // Prof, nurse. 1998. - Dec 14(3). - P. 176-9.

119. Janda M. et al. Measurement of quality of life in head and neck cancer patients utilizing the quality of life radiation therapy questionnaire // Strahlentherapie und onkologie. -2002. V.178, №3. - P. 153-158.

120. Jans M.P. et al. The Nottingham health profile: score distribution, internal consistency and validity in asthma and COPD patients. // Quality of life research. 1999. - V.8, №6, (сентябрь). - P.501-507.

121. Jenkinson C. Short form 36 (SF 36) health survey questionnaire: normative data for adults of working age // British Medical Journal. — 1993. — V.306, №6890. P.1437-1440.

122. Jinks C. et al. A brief screening tool for knee pain in primary care. 1. Validity and reliability // Rheumatology (Oxford). 2001. - May 40(5). - P.528-536.

123. Jonson P.M. et al. A critical analysis of PSP data quality: results from a case study // Empirical software engineering. 1999. - № 4. - P.317-349.

124. Kessler S. et al. Assessing health in musculoskeletal disorders the appropriateness of a German version of the sickness impact profile. // Rheumatology international. - 1997. - V.l7, №3. - P. 119-125.

125. Khan Z.M. et al. Fax technology for collecting outcomes data in a computer database // Am. J. health syst. pharm. 1999. - Dec 15 56(24). - P.2540-2542.

126. Kind P., Charro F. The EuroQoL EQ-5D: an outcome measure for use in clinical and economic evaluation. // Value in health. 1998. — V.l, №1. - P.93-94.

127. Kulikov S, Kopecky K, Maslova E, et al. Data and specimen management systems for large scale international epidemiologic studies in region affected by

128. Chernobyl / XII Conf. of the Int.Society for Environmental Epid. 2000. -Buffalo, New York.

129. Kurth B.M., Ellert U. The SF-36 questionnaire and its usefulness in population studies: results of the German health interview and examination survey // Sozial und Priventivmedizin. 2002. - V.47, №4. - P.266-277.

130. Landgraf J.M. et al. The child health questionnaire (CHQ). A user's manual / 2nd printing. Boston, MA: Health Act, 1999. - 552p.

131. Leroyer C. et al. Knowledge, self-management, compliance and quality of life in asthma: a cross-sectional study of the French version of the asthma quality of life questionnaire // Quality of life research. 1998. - Apr 7(3). - P.267-272.

132. Lowe M. Evidence-based medicine and clinical practice // Journal of Paediatrics and Child Health 2003. - V.39 - P. 145-146

133. Lukkarinen H., Hentinen M. Assessment of quality of life with the Nottingham health profile among patients with coronary heart disease. // Journal of advanced nursing. 1997. - V.26, №1. - P.73-84.

134. Mahoney M.E. Software development: from conception to implementation // Journal of AHIMA 2003 - V.74, №9 - P.32-33.

135. Margaret R. et al. The development of a comprehensive, institution-based patient risk evaluation program: I. development, content, and data management // American journal of preventive medicine. 1988. V.4, № 4. - P. 183-187.

136. Marschner N. Clinical investigations: innovative management of data. Electronic Data Capture: lOStudy Office // ????

137. McCarthy PL, Paltiel O, Maslova E, Kulikov S, et al. Histopathological varification of acute leukemia (AL) in a cohort of 463 post-Chernobyl patients from Belarus, Russia and Ukraine // Leukemia Research 2004. - V.28 -P.1273-1280.

138. Missier P. et al. Improving data quality in practice: a case study in the italian public administration // Distributed and Parallel Databases. 2003. - №13.-P.135-160.

139. Muntner P. et al. Comparison of the psychometric properties of the asthma quality of life questionnaire (AQLQ) among 115 asthmatic adults assessed during acute hospitalization and as outpatients. // Quality of life research.2000. V.9, №9. - P.987-995

140. Myjer, et al. Implementing a Document Imaging System // Journal of AHIMA — 2002. V.73, №.9. 44ff.

141. Pientka L. Applied evidence based medicine // Zeitschrift fur Rheumatologie2001. V.60 №6 - P.446-449

142. Pollard W.E. et al. the sickness impact profile: reliability of a health status measure // Medical Care. 1976. - V.l4. - P. 146-155.

143. Poss J.E. Developing an instrument to study the tuberculosis screening behaviors of Mexican migrant farmworkers // Journal of transcultrural nursing.- 1999. V.l0, №4. - P.306-319.

144. Pouwer F. et al. A comparison of the standard and the computerized versions of the well-being questionnaire (WBQ) and the diabetes treatment satisfaction questionnaire (DTSQ) // Quality of life research. 1998. - Jan.7(l) - P.33-38.

145. Prentice R.L. Measurement error and results from analytic epidemiology: dietary fat and breast cancer // Journal of the National Cancer Institute. 1996.- V.88, №23. P. 1738-1747.

146. Quality of life assessment in clinical trials / Ed. M.J. Staquet. Oxford university Press: Oxford, New York, Tokyo, - 1998. - 360 p.

147. Raw G.J. Questionnaire design for sick building syndrome: an empirical comparison of options // Environment international. — 1996. V.22, №1. — P.61-72.

148. Salmon P. et al. Measuring the meaning of life for patients with incurable cancer: the life evaluation questionnaire (LEQ) // Eur. J. Cancer. — 1996. May 32A(5). -P.755-760.

149. Schattner P. Forms in general practice. Paper war or paper tiger? // Aust. Fam. Physician. 1998. - 27 Suppl 1. - S29-33.

150. Shmueli A. The SF-36 profile and health-related quality of life: an interpretative analysis // Quality of Life Research. 1998. - V.7, №3 . - P. 187195.

151. Siivola M. et al. Bar coding — a functional tool in survey research // J Epidemiol, community health. 1992. - Apr 46(2). - P. 162-163.

152. Sitzia J., Sobrido L. Measurement of health-related quality of life of patients receiving conservative treatment for limb lymphoedema using the Nottingham health profile // Health profile quality of life research. 1997. V.6, №5. -P.373-384.

153. Spertus J.A. et al. Development and evaluation of the Seattle angina questionnaire: a new functional status measure for coronary artery disease // J. Am. Coll. Cardiol. 1995. - Feb 25(2). - P.333-341.

154. Sprangers MA et al. The European organization for research and treatment of cancer approach to developing questionnaire modules: an update and. overview // Quality of life research. 1998. - V.7. -P.291-300.

155. Stefek M. Epidemiology tools program and selected medical applications / M. Stefek., D. Svejda, J. Zvarova, at al. // Internatinal Journal of Medical Informatics 1997. - V.45 - P.35-41.

156. Stolk E.A., Busschbach J.V. A comparison of the EuroQol and the health utilities index in patients treated for congenital anomalies. // The European journal of health economics (HEPAC). 2001. - V.2, №2. - P.54-59.

157. Stone D.H. Design a questionnaire // BMJ. 1993. - Nov 13 307(6914). -P. 1264-1266.

158. Sullivan L.M. et al. A Comparison of Various Methods of Collecting Self-Reported Health Outcomes Data Among Low-Income and Minority Patients // Medical Care. 1995. - V.33. №4, -P.AS183-AS194.

159. Tabira Y. et al. Quality of life after esophagectomy for cancer: an assessment using the questionnaire with the face scale // Surg, today. — 2002. — №32. — P.213-219.

160. Taylor D., Brown A. Analysis of the study design and manuscript deficiencies in research articles submitted to Emergency Medicine // Journal Emergency Medicine. 2001. - № 13. - P.444-450.

161. Tracy W.R., Michelle D. HL7 Standard shapes content, exchange of patient information // Journal of AHIMA -2002. V.73. №8. - P.49-51.

162. Treloar R.W. Clinical resource management: driven by data // Journal of AHIMA 2003. - V.74, №9 - P.27-29.

163. Trotti A. et al. Development of a head and neck companion module for the quality of life radiation therapy instrument (QOL-RTI) // International Journal of Radiation. - 1997. - V.39, №2. - P.l 88

164. Varni J.W. et al. The PedsQLTM 4.0 Measurement model for the pediatric quality of life InventoryTM version 4.0 // Quality of life News letter. 1997. -V.3. -P.4-10.

165. Versal Technologies, INC.Announces Versal Webtrial, a WEB-BASED.Data Collection Tool For Clinical Trials // ????

166. Vision of the e-HIM Future: a report from the AHIMA e-HIM task force http://library.ahima.org/xpedio/groups/public/documents/ahima/pubbokl020 835.html

167. Ware J.E., Sherbourne C.D. The MOS 35-item short form health survey (SF-36): conceptual framework and item selection // Medical Care. — 1992. V.30.1. P.473-483.

168. Watt A. et al. Keen eye on core measures: joint commission data quality study offers insights into data collection, abstracting processes. // Journal of AHIMA- 2003. V.74, №10 - P.20-25.

169. Weiss R.B. Systems of protocol review, quality assurance, and data audit // Cancer chemother. pharmacol. 1998. - №42 - S88 - S92.

170. Wigler I. et al. Validation study of a Hebrew version of WOMAC in patients with osteoarthritis of the knee // Clinical rheumatology. 1999. - V.l 8, №5. — P.402-405.

171. Wilcox A.J. The guest for better questionnaires // Am. J. Epidemiol. 1999. -Dec 15 150(12).-P.1261-1262.

172. Wilson L.L. The quality manager // Journal of quality in clinical practice.2000. V.20.№4. - P. 127.

173. Witvrouw E.A. et al. A correlation study of objective functionality and WOMAC in total knee arthroplasty. // Knee surgery, sports traumatology, arthroscopy. 2002. V.10, №6. - P.347-351.

174. Wolfgang H. Jost Evidence-based medicine (EBM) // Journal of Neurology2001.-V248№13-P.I1-I2

175. Wood-Dauphinee S. The Canadian SF-36 health survey: normative data add to its value // Canadian medical association journal. 2000. - V.l63, №3. -P.283-284.

176. Woolbright L.A. et al. The revised standard certificate of live birth: analysis of medical risk factor data from birth certificates in Alabama, 1988-92 // Public Health Rep. 1995. - Jan-Feb 110(1). - P.59-63.

177. Wu A.W. et al. Validity and responsiveness of the EuroQol as a measure of health-related quality of life in people enrolled in an AIDS clinical trial. // Quality of life research. -2002. V.l 1, №3. - P.273-282.

178. Young P.E. et al. A new short practical quality of life questionnaire for use in head and neck oncology outpatient clinics. // Clinical otolaryngology. 1998. -V.23, №6. — P.528-532.

179. Your Job in the E- health Era / AHIMA E-health Task Force 11 Journal of AHIMA. 2002. - V.73. - №6. P.32-35.

180. Zotti P. et al. The EORTC quality of life questionnaire-head and neck 35 in Italian laryngectomized patients // Quality of life research. — 2001. — У.9, №10. -P.l 147-1153.