автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Разработка и исследование моделей и алгоритмов информационно-вычислительной системы компьютерного тестирования

Введение.

Глава 1. Современные системы компьютерного тестирования.

1.1. Анализ функций, технической структуры и программного обеспечения современных систем компьютерного тестирования.

1.2. Классификация современных систем компьютерного тестирования.

1.3. Разработчики современных систем компьютерного тестирования.

1.4. Требования к информационно-вычислительной системе компьютерного тестирования.

1.5. Постановка задач исследования.

1.6. Выводы по первой главе.

Глава 2. Математические модели и центральные алгоритмы информационно-вычислительной системы компьютерного тестирования.:.

2.1. Концептуальная модель ИБС КТ.

2.2. Разработка и исследование аналитической модели блока обработки заявок, поступающих на тест-сервер ИВС КТ.

2.3. Разработка и исследование имитационной модели телекоммуникационной подсистемы ИВС КТ.

2.4. Центральные алгоритмы взаимодействия рабочих станций и тест-сервера в рамках ИВС КТ.

2.5. Выводы по второй главе.

Глава 3. Информационное и программное обеспечение ИВС КТ.

3.1. Автоматизированная компоновка компьютерных тестов.

3.2. Проведение сеансов тестирования на компьютерах.

3.3. Статистический анализ результатов тестирования.

3.4. Методика синтеза ИВС КТ.

3.5. Внедрение результатов исследования.

3.6. Выводы по третьей главе.

Мировой опыт использования тестов как метода контроля знаний показал необходимость и перспективность централизованного тестирования [10]:

• оно обеспечивает объективную оценку учебных достижений учащихся, студентов, повышающих свою квалификацию специалистов, позволяет сопоставить уровень их подготовки с данными по учебному заведению, региону или стране и с требованиями образовательных стандартов;

• по результатам тестов можно судить о качестве преподавания - отметить сильные стороны и указать слабые места, требующие дальнейшего совершенствования методов работы учителей и преподавателей;

• итоги централизованного тестирования - это информационная основа процесса принятия решений на любом уровне управления образованием.

В ведущих странах мира централизованное тестирование пользуется заслуженным доверием и имеет широкую область применения [8, 44]:

• международные сравнительные исследования;

• мониторинг качества образования в масштабах страны;

• лицензирование и государственная аккредитация учебных заведений;

• аттестация учащихся и студентов, учителей и преподавателей;

• проверка профессиональной пригодности специалистов и т.д.

По мере развития компьютерных и телекоммуникационных технологий централизованное тестирование становится компьютерным, что позволяет [38]:

• применять новые адаптивные алгоритмы тестового контроля;

• использовать в тестах мультимедийные возможности компьютеров;

• уменьшить объём бумажной работы и ускорить подсчёт результатов;

• упростить администрирование и проводить тестирование круглый год;

• обеспечить комфортные условия работы для каждого тестируемого;

• повысить секретность и оперативность передаваемой информации;

• снизить затраты на организацию и проведение тестирования.

Актуальность исследования

В нашей стране в области централизованного тестирования, тем более компьютерного, делаются лишь первые шаги. В феврале 1999 года коллегия Минобразования России рассмотрела вопрос о работе Центра тестирования выпускников общеобразовательных учреждений Российской Федерации, созданного в 1995 году приказом Госкомвуза России при Московском педагогическом государственном университете, на примере которого изучается возможность централизованного тестирования в системе непрерывного общего и профессионального образования [10].

Наряду с важностью внедрения тестирования как научного метода оценки учебных достижений коллегия отметила существенное отставание России от западных стран по масштабам работы в сфере производства и применения тестов, по степени теоретической, методической, технической и программной оснащённости процесса тестирования, подтвердив тем самым актуальность данного научно-практического исследования в области перспективного для России компьютерного тестирования.

Цель диссертационной работы

Анализ многочисленных зарубежных публикаций и пятилетний опыт реальной работы над автоматизацией отечественного централизованного тестирования указывают на необходимость создания информационно-вычислительной системы компьютерного тестирования (ИВС КТ), обладающей следующими свойствами [19]:

• комплексность (так как автоматизация нужна на всех этапах: для ввода и хранения тестовых заданий, компоновки тестов, передачи данных по каналам связи, обработки ответов тестируемых, хранения результатов, сбора и анализа статистической информации);

• производительность (для получения, хранения, обработки и передачи по каналам связи больших объёмов информации);

• надёжность (поскольку информационные базы данных насчитывают десятки и сотни тысяч записей, а услуги системы одновременно необходимы большому количеству людей);

• масштабируемость (для расширения диапазона возможных применений: тестирование на автономном компьютере, в локальной сети, через Интернет с оперативной или отложенной обработкой результатов одного человека или сотен тысяч тестируемых).

Целью диссертационной работы является разработка и исследование математических моделей, центральных алгоритмов, программного обеспечения и методики синтеза на их основе ИБС КТ с описанными выше свойствами.

Задачи исследования

Для достижения цели работы поставлены и решены следующие задачи:

Проанализировать и классифицировать современные зарубежные и отечественные системы компьютерного тестирования, определить требования к ИБС КТ и показатель её эффективности.

2) Создать концептуальную модель ИБС КТ, разработать аналитическую модель центрального блока обработки заявок, поступающих на тест-сервер, и имитационную модель телекоммуникационной подсистемы, исследовать с помощью моделей работоспособность различных вариантов ИБС КТ.

3) Разработать и исследовать центральные алгоритмы взаимодействия рабочих станций и тест-сервера в рамках ИБС КТ.

4) Разработать и исследовать информационное обеспечение подсистем автоматизированной компоновки компьютерных тестов, проведения сеансов тестирования и статистического анализа полученных результатов.

5) Разработать и исследовать варианты программной реализации основных модулей ИБС КТ.

6) Разработать методику синтеза ИБС КТ и дать рекомендации по ее экспериментальным испытаниям.

7) Внедрить разработанные математические модели, центральные алгоритмы и программное обеспечение ИВС КТ в Центре тестирования выпускников общеобразовательных учреждений РФ, в Головном центре тестирования граждан зарубежных стран по русскому языку, в центрах тестирования ряда ведущих вузов России.

Научная новизна работы

1) Предложена классификация современных систем компьютерного тестирования.

2) Разработана аналитическая модель центрального блока обработки поступающих на тест-сервер запросов как системы массового обслуживания с дополнительным внутренним источником заявок. С помощью модели изучены зависимости характеристик ИВС КТ (среднее время пребывания заявки в блоке обработки, загрузка процессора и предельно допустимая интенсивность сеансов тестирования) от параметров (производительность процессора, интенсивность сеансов тестирования, соотношение между объёмами оперативной и отложенной обработки).

3) Разработана имитационная модель телекоммуникационной подсистемы ИВС КТ. На основе модели исследованы зависимости характеристик ИВС КТ (время отклика на запрос клиента, процент использования пропускной способности и очереди канала сервера) от её параметров (пропускные способности и задержки каналов, объём передаваемой информации, количество одновременно работающих клиентов).

4) Разработаны и исследованы центральные алгоритмы взаимодействия рабочих станций и тест-сервера в рамках ИВС КТ, обеспечивающие её комплексность, производительность, надёжность и масштабируемость. Учтены возможности современных методов передачи данных и обработки информации, модульного подхода к созданию крупных информационно-вычислительных систем, средств объектно-ориентированного и визуального программирования.

Практическая значимость работы

Созданные математические модели позволяют оценить работоспособность различных вариантов реализации ИБС КТ и эффективность использования дорогостоящего оборудования, облегчают проектирование новых комплексов и выбор технических средств, адекватных поставленным задачам.

Предложенные центральные алгоритмы взаимодействия рабочих станций и тест-сервера обеспечивают комплексность, производительность, надёжность и масштабируемость ИБС КТ, что в итоге сказывается на качестве самого компьютерного тестирования.

Технические решения по программной реализации основных модулей ИБС КТ на основе разработанных алгоритмов и методика синтеза обеспечивают:

• сокращение сроков создания компьютерных тестов и повышение их качества за счет статистической обработки результатов тестирования;

• реализацию компьютерного тестирования с оперативной и отложенной обработкой результатов на автономном компьютере, в локальной сети, через Интернет;

• ведение базы данных с реквизитами и результатами большого числа тестируемых и оперативное получение из неё нужной информации.

Результаты исследования способствуют внедрению тестирования как научного метода оценки учебных достижений, повышают степень теоретической, методической, технической и программной оснащённости процесса создания и применения компьютерных тестов.

Основные положения, выносимые на защиту

1) Классификация современных систем компьютерного тестирования.

2) Аналитическая модель центрального блока обработки запросов, поступающих на тест-сервер ИБС КТ.

3) Имитационная модель телекоммуникационной подсистемы ИБС КТ и результаты её исследования.

4) Центральные алгоритмы взаимодействия рабочих станций и тест-сервера в рамках ИБС КТ.

5) Технические решения по программной реализации основных модулей ИВС КТ на основе разработанных алгоритмов.

6) Методика синтеза ИВС КТ.

Апробация работы

Научно-практические результаты диссертационной работы использовались в Центре тестирования выпускников общеобразовательных учреждений РФ при проведении централизованного и репетиционного тестирования через Интернет в кампаниях 1998-1999 гг., в Головном центре тестирования граждан зарубежных стран по русскому языку в кампаниях 1996-1999 гг., что подтверждено актами о внедрении.

Отдельные результаты работы в виде программного обеспечения применяются в региональных представительствах Центра тестирования выпускников общеобразовательных учреждений РФ на базе ведущих вузов России (НовГУ, КГУ, КГТУ, УГАТУ и др.). Комплекс компьютерного тестирования граждан зарубежных стран по тестам первого сертификационного уровня используется на Филологическом факультете МГУ и в учебном процессе РУДН при проведении семинаров повышения квалификации преподавателей кафедр РКИ. Комплекс компьютерного тестирования студентов по разным курсам информатики и программирования применяется в ОИАТЭ.

Основные результаты работы использовались при подготовке отчётов о НИР Министерства общего и профессионального образования РФ и ежегодных (1996-1999 гг.) итоговых статистических отчетов Центра тестирования выпускников общеобразовательных учреждений РФ, докладывались на научных конференциях: Безопасность АЭС и подготовка кадров. У-я Международная конференция (Обнинск, 2-5 февраля 1998 г.), Проблемные задачи энергетики, техники и кибернетики. Научно-техническая конференция студентов и аспирантов, посвященная 100-летию со дня рождения В.Н.Глазанова (Обнинск, 17 апреля 1998 г.), Международное сотрудничество в образовании. Научно-практическая конференция (Санкт-Петербург, 1998), Безопасность АЭС и подготовка кадров. У1-я Международная конференция (Обнинск, 4-8 октября 1999 г.), Развитие системы тестирования в России. Всероссийская научно-практическая конференция (Москва, 25-26 ноября 1999 г.).

Результаты работы по внедрению компьютерного тестирования через Интернет докладывались (1998-1999 гг.) на Координационном совете по развитию тестирования в России и (1999 г.) на Координационном совете по развитию системы тестирования граждан зарубежных стран по русскому языку при Министерстве общего и профессионального образования РФ, на семинарах руководителей региональных представительств Центра тестирования выпускников общеобразовательных учреждений РФ.

Публикации

По теме диссертации опубликовано 14 печатных работ, в том числе 5 статей и 9 тезисов докладов. Практические результаты исследования представлены на сервере http://www.vin.kaluga.ru.

Структура и объем работы

Диссертация состоит из введения, трёх глав, заключения, списка литературы 86 наименований и двух приложений. Диссертация содержит 154 страницы, 12 таблиц и 59 рисунков.

3.6. Выводы по третьей главе

Разработаны и исследованы информационное и программное обеспечение подсистем автоматизированной компоновки компьютерных тестов, проведения сеансов тестирования и статистического анализа полученных результатов.

Учитывались концептуальная модель ИВС КТ и результаты исследований аналитической модели блока обработки заявок, поступающих на тест-сервер, и имитационной модели телекоммуникационной подсистемы. За основу приняты разработанные в предыдущей главе центральные алгоритмы взаимодействия рабочих станций и тест-сервера в рамках ИВС КТ. Обеспечено:

• сокращение сроков создания компьютерных тестов и повышение их качества за счет статистической обработки результатов тестирования;

• реализация компьютерного тестирования с оперативной и отложенной обработкой результатов на автономном компьютере, в локальной сети, через Интернет;

• ведение базы данных с реквизитами и результатами большого числа тестируемых и оперативное получение из неё нужной информации.

136

Предложена инженерная методика, позволяющая синтезировать ИБС КТ, удовлетворяющую требованиям, изложенным в первой главе диссертации. Методика предполагает формулировку целей тестирования, выбор адекватных технических средств, установку необходимого программного обеспечения и проведение комплексных испытаний синтезированной системы для проверки её работоспособности.

Разработанные автором диссертации математические модели, центральные алгоритмы, информационное и программное обеспечение ИБС КТ внедрены в Центре тестирования выпускников общеобразовательных учреждений РФ и в Головном центре тестирования граждан зарубежных стран по русскому языку.

ЗАКЛЮЧЕНИЕ

Перечислим основные результаты диссертационной работы.

1. Проведён анализ функций, технической структуры и программного обеспечения современных систем компьютерного тестирования, предложена их классификация. Показана актуальность задачи создания научных и методических основ для разработки и внедрения информационно-вычислительной системы компьютерного тестирования (ИБС КТ).

2. Сформулированы основные требования к ИБС КТ (комплексность, производительность, надёжность, масштабируемость, защищённость, простота), определён показатель её эффективности (среднее время отклика системы на запрос клиента) и создана концептуальная модель, которая предполагает использование центрального тест-сервера и подсистемы передачи данных по каналам связи.

3. Разработана аналитическая модель блока обработки поступающих на тест-сервер запросов как системы массового обслуживания с дополнительным внутренним источником заявок. С помощью модели изучены зависимости характеристик ИБС КТ (среднее время пребывания заявки в блоке обработки, загрузка процессора и предельно допустимая интенсивность сеансов тестирования) от параметров (производительность процессора, интенсивность сеансов тестирования, соотношение между объёмами оперативной и отложенной обработки).

4. Разработана имитационная модель телекоммуникационной подсистемы ИБС КТ. На основе модели исследованы зависимости характеристик системы (процент использования пропускной способности и очереди канала сервера, время отклика на запрос клиента) от её параметров (пропускные способности и задержки каналов, объём передаваемой информации, количество одновременно работающих клиентов).

5. Созданные математические модели позволяют оценить качество и работоспособность различных вариантов реализации ИБС КТ, эффективность использования дорогостоящего оборудования. Например, для рассмотренного прототипа ИБС КТ сделан вывод о наличии запаса производительности и об отсутствии необходимости наращивать вычислительную мощь тест-сервера, так как допустимая нагрузка на блок обработки превышает реальную в 200 раз. Показано, что при параметрах прототипа ИБС КТ канал тест-сервера и маршрутизатор загружены всего на 6 и 8 процентов соответственно. Поэтому, целесообразно использовать менее дорогой канал связи с меньшей пропускной способностью.

6. Разработаны и исследованы центральные алгоритмы взаимодействия рабочих станций и тест-сервера в рамках ИБС КТ, позволяющие проводить сеансы тестирования на автономных компьютерах, в локальной сети, через Интернет с оперативной и отложенной обработкой ответов тестируемых. Алгоритмы обеспечивают комплексность, производительность, надёжность и масштабируемость ИВС КТ.

7. Обеспечена автоматизированная компоновка компьютерных тестов из существующего банка тестовых заданий централизованного тестирования на бланках (он насчитывает 45.000 тестовых заданий по 31 учебной дисциплине и создавался 3 года). Реализована возможность проводить сеансы компьютерного тестирования в локальной сети с отложенной обработкой ответов тестируемых и через Интернет непосредственно на удалённом тест-сервере. При этом тестовые задания передаются в виде черно-белых графических образов, объём которых после сжатия составляет в среднем 2 Кбайта. Для статистического анализа результатов тестирования разработано информационное и программное обеспечение, которое даёт возможность вести базу данных с реквизитами и результатами большого числа (сотен тысяч) тестируемых и оперативно (в течение нескольких секунд) получать из неё нужную информацию.

139

8. Предложена инженерная методика, позволяющая синтезировать ИВС КТ, удовлетворяющую требованиям, изложенным в первой главе диссертации. Методика предполагает формулировку целей тестирования, выбор адекватных технических средств, установку необходимого программного обеспечения и проведение комплексных испытаний синтезированной системы для проверки её работоспособности.

Разработанные автором диссертации математические модели, центральные алгоритмы, информационное и программное обеспечение ИВС КТ внедрены в Центре тестирования выпускников общеобразовательных учреждений РФ и в Головном центре тестирования граждан зарубежных стран по русскому языку. Результаты проведённого исследования повышают степень теоретической, методической и программной оснащённости работ, связанных с переходом на компьютерное тестирование.

1. Альянах И.Н. Моделирование вычислительных систем. Л.: Машиностроение, 1988. - 223 с.

2. Анастази А. Психологическое тестирование. Перевод с английского. М.: Педагогика, 1982. - 320 с.

3. Анисимов Б.В., Петров В.Я. Организация вычислительных процессов ЦВМ. Учебник для вузов. М.: Высшая школа, 1977. - 408 с.

4. Антонов A.B. Проектирование систем. Учебное пособие по курсам "Основы автоматизированного управления" и "Проектирование АСОИУ". -Обнинск: ИАТЭ, 1996. 157 с.

5. Дальневосточный Государственный Университет. Кафедра компьютерных систем. Методические материалы по теме "Информационная безопасность". http://lemoi-www.dvgu.ru/lect/.

6. Джамса К., Коуп К. Программирование для Internet в среде Windows. Перевод с английского. СПб.: Питер, 1996. - 688 с.

7. Дьяконов И. А., Нар дюжев В.И., Нар дюжев И.В. Автоматизация тестирования граждан зарубежных стран по русскому языку. // Международное сотрудничество в образовании: Материалы научно-практической конференции. СПб.: Издательство СПбГТУ, 1998. - с. 92-93.

8. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. СПб.: Образование и культура, 1996. - 304 с.

9. Майоров С.А., Новиков Г.И., Алиев Т.И., Махарев Э.И., Тимченко Б.Д. Основы теории вычислительных систем. Учебное пособие для вузов. М.: Высшая школа, 1978. - 408 с.

10. Материалы коллегии Минобразования России от 23.02.99 "О работе Центра тестирования выпускников общеобразовательных учреждений

11. Российской Федерации Московского педагогического государственного университета".

12. Нардюжев В.И., Нардюжев И.В. Единая компьютерная сеть национальной системы тестирования в области образования. // Отчёт о НИР Министерства общего и профессионального образования за 1998 год.

13. Нардюжев В.И., Нардюжев И.В. Применение компьютерных тестов в формате HTML для контроля знаний. // Безопасность АЭС и подготовка кадров. VI-я Международная конференция: Тезисы докладов. Обнинск, 4-8 октября 1999 г. Обнинск: ИАТЭ, 1999. - с.73-74.

14. Нар дюжев В.И., Нар дюжев И.В. Тестирование на компьютерах через Интернет. // Труды Центра тестирования. Выпуск 2. М.: Прометей, 1999. -с. 139-157.

15. Нар дюжев И.В. Принципы построения автоматизированной системы государственного централизованного тестирования. // Сборник научных трудов № 12 кафедры АСУ. Обнинск: ИАТЭ, 1998. - с. 94-97.

16. Нар дюжев И.В. Оценка функциональных возможностей сервера компьютерного тестирования с помощью аналитической модели. // Сборник научных трудов № 13 кафедры АСУ. Обнинск: ИАТЭ, 1999. - с. 112-116.

17. Смелянский Р.Л. Московский Государственный Университет. Кафедра АСВК. Конспект лекций по курсу "Системы передачи данных и сети ЭВМ". http://cmc.cs.msu.su/curr/cn/.

18. Соловов A.B. Проектирование компьютерных систем учебного назначения. Учебное пособие. Самара: СГАУ, 1995. - 138 с.

19. Спесивцев A.B., Вегнер В.А., Крутяков А.Ю., Серегин В.В., Сидоров В.А. Защита информации в персональных ЭВМ. М.: Радио и связь, МП Веста, 1992. - 192 с.

20. Телетестинг: дистанционная олимпиада для старшеклассников. Сборник информационно-рекламных и методических материалов. Выпуск 2. Под общей редакцией А.Г.Шмелева. М.: Первое сентября, 1998. - 35 с.

21. Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. М.: ИНФРА-М, 1998. - 528 с.

22. Фролов А.В., Фролов Г.В. Локальные сети персональных компьютеров. Монтаж сети, установка программного обеспечения. М.: Диалог-МИФИ, 1993.- 176 с.

23. Фролов А.В., Фролов Г.В. Мультимедиа для Windows. Руководство для программиста. М.: Диалог-МИФИ, 1994. - 284 с.

24. Abdulla G. Analysis and Modeling of World Wide Web Traffic. Blacksburg, VA: Virginia Polytechnic Institute and State University, 1998. - 114 p.

25. Abrams M., Williams S., Abdulla G., Patel S., Ribler R., Fox E. Multimedia Traffic Analysis Using Chitra 95. Blacksburg, VA: Computer Science Department, Virginia Polytechnic Institute and State University, 1995. - 10 p.

26. Adams J.C., Armstrong A.A. Web-based testing: A study in insecurity. Grand Rapids, MI: Department of Computer Science of Calvin College & Department of Electrical Engineering and Computer Science of The University of Michigan, 1998. - 16 p.

27. Almeida J., Almeida V., Yates D. J. Measuring the Behavior of a World-Wide Web Server. Technical Report BU-CS-96-025. Boston, MA: Computer Science Department, Boston University, 1996. - 19 p.

28. Bagrodia R.L., Liao W. Maisie: a Language for Design of Efficient Discrete Event Simulation. // IEEE Transactions on Software Engineering, April 1994. -27 p.

29. Bagrodia R., Meyer R., Takai M., Chen Y., Zeng X., Martin J., Song H. Parsec: a Parallel Simulation Environment for Complex Systems. // IEEE Computer, v. 31, October 1998.-p. 77-85.

30. Barford P., Crovella M. Generating Representative Web Workloads for Network and Server Performance Evaluation. Technical Report BU-CS-97-006. Boston, MA: Computer Science Department, Boston University, 1997. - 18 p.

31. Bennett R.E. Reinventing Assessment: Speculations on the Future of Large-Scale Educational Testing. Princeton, NJ: Educational Testing Service, 1997. - 13 p.

32. Berners-Lee T., Connolly D. Hypertext Markup Language 2.0. RFC 1866. -Network Working Group, 1995. - 77 p.

33. Bicanich E., Slivinski T., Hardwicke S.B., Kapes J.T. Internet-Based Testing: A Vision or Reality? // T.H.E. Journal (Technological Horizons in Education), v. 25, № 12, 1997. p. 61-65.

34. Bolot J. Characterizing End-to-End Packet Delay and Loss in the Internet. // Journal of High-Speed Networks, v. 2, № 3, 1993. p. 305-323.

35. Brakmo L.S., Peterson L.L. Experiences with Network Simulation. University of Arizona, 1996. - 17 p.

36. Carter R.L., Crovella M.E. Measuring Bottleneck Link Speed in Packet-Switched Networks. Technical Report BU-CS-96-006. Boston, MA: Computer Science Department, Boston University, 1996. - 24 p.

37. Castle R.A. The Relative Efficiency of Two-Stage Testing Versus Traditional Multiple Choice Testing Using Item Response Theory in Licensure. Lincoln , NE: University of Nebraska, 1997. - 15 p.

38. Coley R., Cradler J., Engel P. Computers and Classrooms: The Status of Technology in U.S. Schools Princeton, NJ: Educational Testing Service, 1997. -67 p.

39. College Board 1997-98 Annual Report. New York, NY: College Entrance Examination Board, 1998.

40. Colton G.D. High-Tech Approaches to Breeching Examination Security. -Clearwater, FL: Loss Prevention Schroeder Measurement Technologies, Inc., 1997. 10 p.

41. Danzig P., Jarnin S. TcpLib: A Library of TCP Internetwork Traffic Characteristics. Los Angeles, CA: Computer Science Department, University of Southern California, 1992. - 8 p.

42. Deutsch P., Gailly J-L. ZLIB Compressed Data Format Specification version 3.3. RFC 1950. Network Working Group, 1996. - 11 p.

43. Deutsch P. DEFLATE Compressed Data Format Specification version 1.3. RFC 1951. Network Working Group, 1996. - 17 p.

44. Educational Testing Service 1998 Annual Report. Princeton, NJ: Educational Testing Service, 1998.

45. Eignor D., Taylor C., Kirsch I., Jamieson J. Development of a Scale for Assessing the Level of Computer Familiarity of TOEFL Examinees. TOEFL Research Rep. № 60. Princeton, NJ: Educational Testing Service, 1998. - 32 p.

46. Entacher K. Linear congruential generator: LCG. PLab, Mathematics Institute, University of Salzburg, 1998. - 15 p.

47. Fall K. Network Emulation in the VINT/NS Simulator. Berkeley, CA: Computer Science Division, The University of California at Berkeley, 1999. - 9 p.

48. Fall K., Varadhan K. NS Notes and Documentation. The VINT Project, 1998. -187 p.

49. Feldmann A. Characteristics of TCP Connection Arrivals. Florham Park, NJ: AT&T Labs-Research, 1998. - 20 p.

50. Hall M. Prototype of a Configurable Web-based Assessment System. -Cambridge, MA: Artificial Intelligence Laboratory, Massachusetts Institute of Technology, 1996. 79 p.

51. Hawkes T. An Experiment in Computer-Assisted Assessment at Warwick Mathematics Institute. // Interactions Journal, v. 2, № 3, 1998. 6 p.

52. Heidemann J. , Obraczka K., Touch J. Modeling the Performance of HTTP Over Several Transport Protocols. Los Angeles, CA: The University of Southern California, 1997. - 25 p.

53. Jacobson V., Leres C., McCanne S. TCPDUMP Manual. Berkeley, CA: Lawrence Berkeley National Laboratory, University of California at Berkeley, 1997,- 15 p.

54. Kirsch L, Jamieson J., Taylor C., Eignor D. Computer Familiarity Among TOEFL Examinees. TOEFL Research Report № 59. Princeton, NJ: Educational Testing Service, 1998.-42 p.

55. Kjell B. Simulation the Study of Everything. - Connecticut, CT: Department of Computer Science, Central Connecticut State University, 1998. - 6 p.

56. Little M.C. C++SIM User's Guide. Public Release 1.5. Newcastle upon Tyne: Computing Laboratory, The University of Newcastle upon Tyne, 1994. - 31 p.

57. MacDonald D. Microsoft Windows NT 3.5/3.51/4.0: TCP/IP Implementation Details. TCP/IP Protocol Stack and Services, Version 2.0. Redmond, WA: Microsoft Corporation, 1996. - 91 p.

58. Masters K., Delpierre G., Paxton M. Designing and Managing MCQs. Cape Town: University of Cape Town, 1996. - 13 p.

59. MathCAD 8 User's Guide. Cambridge, MA: MathSoft, Inc., 1998 - 373 p.

60. Meyer R. PARSEC User Manual. Release 1.1. Los Angeles, CA: UCLA Parallel Computing Laboratory, 1998. - 39 p.

61. Mislevy R.J. Test Theory Reconceived. CSE Technical Report № 376. Los Angeles, CA: CRESST/Educational Testing Service, 1994. - 61 p.

62. Mislevy R.J., Almond R.G. Graphical Models and Computerized Adaptive Testing. CSE Technical Report № 434. Los Angeles, CA: CRESST/Educational Testing Service, 1997. - 32 p.

63. Mogul J.C. Observing TCP Dynamics in Real Networks. Palo Alto, CA: Western Research Laboratory, 1992. - 38 p.

64. Padhye J., Firoiu V., Towsley D., Kurose J. Modeling TCP Throughput: A Simple Model and Its Empirical Validation. Amherst, MA: Department of Computer Science, The University of Massachusetts, 1998. - 12 p.

65. Padmanabhan V.N., Mogul J.C. Improving HTTP Latency. The University of California at Berkeley & Digital Equipment Corporation Western Research Laboratory, 1994. - 15 p.

66. Page E.H. Simulation Modeling Methodology: Principles and Etiology of Decision Support. Blacksburg, VA: Computer Science Department, Virginia Polytechnic Institute and State University, 1994. - 294 p.

67. Paxson V. Empirically-Derived Analytic Models of Wide-Area TCP Connections. Berkeley, CA: Lawrence Berkeley National Laboratory, University of California at Berkeley, 1994. - 25 p.

68. Paxson V. End-to-End Internet Packet Dynamics. Berkeley, CA: Network Research Group, Lawrence Berkeley National Laboratory, University of California at Berkeley, 1998. - 17 p.

69. Postel J. Internet Control Message Protocol. RFC 792. Information Sciences Institute, University of Southern California, 1981. - 21 p.

70. Postel J. Transmission Control Protocol. RFC 793. Information Sciences Institute, University of Southern California, 1981. - 85 p.

71. Russell M., Haney W. Testing Writing on Computers: An Experiment Comparing Student Performance on Tests Conducted via Computer and via Paper-and-Pencil. // Education Policy Analysis Archives, v. 5, № 3, 1997. 19 p.

72. Spero S.E. Analysis of HTTP Performance problems. Chapel Hill, NC: The University of North Carolina at Chapel Hill, 1995. - 6 p.

73. Sportster Voice 28.8 Faxmodem with Personal Voice Mail. Installation & Troubleshooting. Skokie, IL: U.S. Robotics Access Corp., 1996. - 79 p.

74. Stevens W.R. TCP/IP Illustrated, Volume 1: The Protocols (Addison-Wesley Professional Computing Series). Addison-Wesley, 1994. - 576 p.

75. Taylor C., Jamieson J., Eignor D., Kirsch I. The Relationship Between Computer Familiarity and Performance on Computer-based TOEFL Test Tasks. TOEFL Research Rep. № 61. Princeton, NJ: Educational Testing Service, 1998. - 30 p.

76. Touch J., Heidemann J., Obraczka K. Analysis of HTTP Performance. -University of Southern California & Information Sciences Institute, 1996. 15 p.

77. VIPER-DSL and Affinity LC. Release 1 Installation Guide. Skokie, IL: 3Com Corp., 1997. - 53 p.

78. Windows Sockets 2 Application Programming Interface. An Interface for Transparent Network Programming Under Microsoft Windows. WinSock Group, 1997.- 304 p.