Главная Контакты Добавить в избранное Авторы Вопросы и ответы
,

 

 

УДК 681.3:378.146

ЭФФЕКТИВНОСТЬ ПРИМЕНЕНИЯ МЕТОДОВ НЕЧЕТКОЙ ЛОГИКИ В ТЕСТИРОВАНИИ

Коджа Т.И., Гогунский В.Д.

Одним из наиболее эффективных направлений повышения качества учебного процесса в Вузах является создание и эксплуатация автоматизированных систем контроля знаний (АСКЗ). Известно множество практических реализаций систем автоматизированного тестирования, как по отдельным дисциплинам, так и универсальных систем оценивания знаний (т.н. “конструкторов тестов”). Однако многие из них не лишены недостатков, обуславливающих настороженное и даже негативное отношение к подобным системам. Наиболее существенные причины, сдерживающие широкое применение автоматизированных систем обучения и контроля знаний:

-  необходимость формулирования вариантов ответов на тестовые задания по принципу “один абсолютно правильный” — “N абсолютно неправильных”, что не дает возможности организовать полноценное тестирование по слабо формализованным дисциплинам, для которых характерна диалектичность знаний (гуманитарные, общественно-политические, социально-экономические дисциплины);

-  примитивность и негибкость процедур расчета итоговой оценки, сводимых либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ.

Переход от задания истинности предлагаемых вариантов ответов в категориях двоичной логики (“правильно — неправильно”) к более общей и универсальной схеме оценивания с учетом частично верных или неполных ответов возможен с помощью функций принадлежности, определяемых в категориях нечеткой логики. Такой переход не отрицает и традиционный подход, поскольку в соответствии с современными представлениями двоичная логика может считаться частным случаем нечеткой логики.

Интуитивная простота нечеткой логики как методологии решения проблем идентификации гарантирует ее успешное использование во встроенных системах контроля и анализа информации. При этом могут использоваться приемы человеческой интуиции и опыт экспертов по знаниям.

Практическая реализация предлагаемых принципов с применением методов теории нечетких множеств осуществлена на основе Автоматизированной системы контроля знаний [1] для усовершенствования алгоритма оценки результатов тестирования.

АСКЗ предназначена для систематизированного контроля и оценки знаний, и для формирования базы данных с целью сохранения результатов тестирования. АСКЗ включает 5 программных модулей, 3 из которых составляют собственно программу тестирования, а остальные, — программную среду, позволяющую создавать и редактировать вопросы и базу данных системы.

Программный модуль «Выбор темы и идентификация студента» предназначен для выбора из предлагаемых списков названия и темы курса (дисциплины), по которой будет производиться тестирование, группы и фамилии тестируемого.

«Создание и редактирование тестов» — программный модуль, содержащий поле ввода вопроса теста и 6 полей для ввода вариантов ответов, применяется для выполнения следующих действий:

-  создание и редактирование вопросов и вариантов ответа теста в рабочем файле заданной темы;

-  просмотр (от первого до последнего, либо наоборот) вопросов и вариантов ответа;

-  удаление вопроса и вариантов ответа из рабочего файла заданной темы;

-  очистка полей ввода от записей;

-  формирование рабочего файла «Экзамен»;

-  переход к подсистеме формирования файлов базы данных.

Модуль «Тестирование» — выполняет непосредственное представление вопросов и вариантов ответа на вопросы теста, а также анализ ответов и запись результатов анализа в базу данных системы.

Программный модуль «Просмотр результатов тестирования» позволяет выводить информацию о дате прохождения теста, оценке и количестве пересдач по каждой теме. При этом существует возможность выводить результаты одного студента, одной группы, одной темы, а также весь массив данных по всем темам и группам.

Основным программным модулем среды разработки базы данных системы тестирования является подсистема «Создание и редактирование базы данных тестов», в которой выполняются следующие операции:

-  создание и редактирование списка курсов (дисциплин);

-  создание папки курса (файла списка тем курса, файла списка групп, файла анализа результатов);

-  создание и редактирование списка групп курса;

-  создание и редактирование списка тем курса.

При формировании списка тем курса задается и может быть откорректированным количество вопросов в тесте, время, отводимое на тестирование, максимальная сумма баллов за ответ.

Благодаря применению способа автоматической генерации вопросов теста, а также возможности формирования специализированных баз данных вопросов по каждой теме опроса, можно быстро проверить уровень подготовки обучаемого по заданной теме. Предлагаемая организация баз данных вопросов позволяет преподавателю формировать тесты, рассчитанные на воспроизведение изученного материала по одной теме, либо объединять несколько тем, весь курс.

По окончании тестирования АСКЗ дает возможность просматривать правильные ответы на только что поставленные вопросы. Формирование условий самообучения позволяет существенно повысить результаты усвоения учебного материала.

Решение поставленной задачи усовершенствования алгоритма оценки результатов тестирования сводится к идентификации нелинейного объекта с одним выходом и многими входами [2]. Взаимосвязь переменных «вход—выход» задается в виде экспертных высказываний: ЕСЛИ <входы>, ТО <выход>, представляющих собой нечеткие базы знаний.

Нами рассматривается объект с четырьмя входами и одним выходом вида:

,                          (1)

где d — выходная количественная переменная, отображающая оценку за ответ на текущий вопрос (диапазон изменения (0—1));

x1, x2, x3, x4 — входные количественные переменные (в скобках указаны термы, которыми они оцениваются);

x1 — количество правильных вариантов ответа в вопросе (1, 2, 3, 4, 5);

x2 — количество верных ответов, указанных тестируемым (1, 2, 3, 4, 5);

x3 — общее количество всех ответов, выбранных тестируемым (1, 2, 3, 4, 5);

x4 — общее количество вариантов ответов в вопросе (2, 3, 4, 5, 6).

Для наглядности приведем пример вопроса с вариантами ответа из курса «Информатика, основы программирования и применения ЭВМ» по теме «Вычисления в электронных таблицах MS Excel»:

Какие типы операторов применяются при записи формул в MS Excel ?

1.                      Операторы описания типов переменных.                       Ö

2.                      Арифметические операторы.                                 Ö          Ö

3.                      Операторы сравнения переменных.                     Ö          Ö

4.                      Адресные операторы.                                             Ö         

5.                      Текстовые операторы.                                            Ö         

6.                      Операторы перехода.                                                         

Флажок Ö указывает на выбранный вариант ответа. Первый столбец флажков соответствует правильным вариантам полного эталонного ответа для данного вопроса. Предположим, что тестируемый частично ответил на данный вопрос (второй столбец флажков), при этом выбрал один неверный вариант ответа. Т.о. в данном примере x1=4; x2=2; x3=3; x4=6. В общем случае для данного вопроса (с шестью вариантами ответа, из которых четыре правильных) в зависимости от ответа тестируемого возможно 11 сочетаний значений входных переменных. Если же учесть что в эталонном ответе может быть от одного до пяти верных вариантов, то таких сочетаний будет уже более 90, что исключает возможность «угадывания» верных ответов.

Разобьем диапазон изменения выходной переменной на 10 частей (0; 0,1; 0,2; 0,3; 0,4; 0,5; 0,6; 0,7; 0,8; 1), так, чтобы каждому сочетанию значений параметров входных переменных было поставлено в соответствие одно из решений: .

Нечеткая база знаний представляет собой совокупность правил вывода ЕСЛИ <входы>, ТО <выход>, которые отражают опыт эксперта и его понимание причинно—следственных связей в рассматриваемой задаче принятия решения. Сформируем матрицу знаний, определяющую систему логических высказываний типа «ЕСЛИ—ТО, ИНАЧЕ»:

 

                                       (2)

                и т.д.

Таким образом, искомое соотношение (1), устанавливающее связь между входными параметрами xi и выходной переменной y , формализовано в виде системы нечетких логических высказываний (2), которая базируется на матрице знаний определенной экспертом, связывающей значения входных переменных x1, x2, x3, x4 с одним из возможных типов решения .

Функция принадлежности mT(x) характеризует субъективную меру (в диапазоне [0,1]) уверенности эксперта в том, что четкое значение x соответствует нечеткому терму T.

Предлагается использовать простую для настройки аналитическую модель функций принадлежности переменной x произвольному нечеткому терму Т в виде:

(3)

 

 

где b и c — параметры настройки: b —координата максимума функции, mT(b)=1; c — коэффициент концентрации (растяжения) функции.

Для нечеткого терма Т число b представляет наиболее возможное значение переменной х. Для упрощения моделирования будем использовать для всех переменных x1, x2, x3, x4 только одну колоколообразную форму функций принадлежности. Для этого приведем интервалы изменения каждой переменной к одному универсальному интервалу [0,4] с помощью следующих соотношений:

(4)

 

 

где  — интервал изменения переменной

Аналитическая модель функций принадлежности:

 

                                 (5)

 

а ее параметры b и c приведены в таблице 1.

Таблица 1

Параметры грубых функций принадлежности

Терм

1

2

3

4

5

b

0

1

2

3

4

c

0,923

0,923

0,923

0,923

0,923

 

Выбор таких функций обусловлен тем, что они являются хорошими аппроксимациями функций принадлежности, полученных от эксперта методом парных сравнений [2] (см. рис. 1).

 

Используя операции Ù ( И — min ) и Ú ( ИЛИ — max ), можно записать систему нечетких логических уравнений, связывающих функции принадлежности входных и выходных переменных:

          (6)

Аналогичным образом записываются логические уравнения для остальных решений выходной переменной d.

Таким образом, решая поставленную задачу на уровне структурной идентификации, получаем алгоритм оценки уровня усвоения знаний основанный на нечетких логических высказываниях, который позволяет однозначно оценить ответ тестируемого с учетом как абсолютно правильных, так и частично правильных либо неполных вариантов ответов.

В отличие от традиционной математики, требующей на каждом шаге моделирования точных и однозначных формулировок, нечеткая логика предлагает совершенно иной уровень трансформации данных, благодаря которому творческий процесс моделирования происходит с использованием минимального набора закономерностей. Нечеткий метод позволяет резко сократить объем производимых вычислений, что, в свою очередь, приводит к увеличению быстродействия нечетких систем.

Эффективность применения методов нечеткой логики в процессе контроля и оценки уровня усвоения знаний можно проследить на рис. 2, где представлена гистограмма изменения усредненных оценок ответов тестируемых по учебному курсу "Информатика, основы программирования и применения ЭВМ" (1643 тестирования, 3 группы). Каждый столбец гистограммы соответствует определенной теме курса, а последний столбец отображает средние оценки по результатам прохождения экзаменационного теста. Как видно из рисунка, по всем без исключения темам оценка ответов с применением методов теории нечетких множеств несколько выше соответствующей оценки с помощью выборочной системы. Это объясняется тем, что в то время когда «выборочная система» оценивает частично правильный ответ нулевым баллом, «система на нечеткой логике» определяет общее количество всех ответов, выбранных тестируемым, а из них — количество верных ответов. Затем, используя логические уравнения, составленные исходя из нечеткой базы знаний, оценивает этот ответ баллом от 0 до 1. Предложенный алгоритм позволяет повысить объективность оценки уровня усвоения знаний. Он основан на методах и моделях, развиваемых в рамках теории интеллектуальных вычислений и инженерии знаний, и относится к концепции интеллектуального тестирования.

 

Таким образом, подводя итоги, можно сказать, что нечеткая логика в некоторых простейших случаях позволяет улучшить качество управления интеллектуальными системами. Причем решающую роль в оптимизации показателей эффективности играют эксперты, которые определяют количество входных и выходных переменных, число термов для каждой переменной, виды функций принадлежности, т.к. изменение этих параметров приводит к улучшению или ухудшению процесса идентификации.

 

In the article the problems of modern automated testing systems are considered. Is offered the approach to organisation of checking and estimation process of mastering knowledge level connected with application of theory fuzzy sets methods.

 

1.                  Тертышная Т.И., Колесникова Е.В., Гогунский В.Д. Автоматизированная система контроля знаний // Тр. Одес. политехн. ун-та. — Одесса, 2001. — Вып. 1(13). — С. 125 – 128.

2.                  Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткие множества, генетические алгоритмы, нейронные сети. — Винница: «УНІВЕРСУМ – Вінниця», 1999. — 320 с.

 





Ответы на вопросы [_Задать вопроос_]

Информационно-управляющие комплексы и системы

Теленик С.Ф., Ролік О.І., Букасов М.М., Андросов С.А. Генетичні алгоритми вирішення задач управління ресурсами і навантаженням центрів оброблення даних

Богушевский В.С., Сухенко В.Ю., Сергеева Е.А., Жук С.В. Реализация модели управления конвертерной плавкой в системе принятия решений

Бень А.П., Терещенкова О.В. Применение комбинированных сетевых методов планирования в судоремонтной отрасли

Цмоць І. Г., Демида Б.А., Подольський М.Р. Методи проектування спеціалізованих комп’ютерних систем управління та обробки сигналів у реально-му час

Теленик С.Ф., РолікО.І., Букасов М.М., РимарР.В., Ролік К.О. Управління навантаженням і ресурсами центрів оброблення даних при виділених серверах

Селякова С. М. Структура інтелектуальної системи управління збиральною кампанією

Еременко А.П., Передерий В.И. Принятие решений в автоматизированных системах с учетом психофункциональных характеристик оператора на основе генетических алгоритмов

Львов М.С. Алгоритм перевірки правильності границь змінення змінних у послідовних програмах

Ляшенко Е.Н. Анализ пожарной опасности сосновых насаждений в зоне Нижне-днепровских песков – самой большой пустыни в Европе

Кучеров Д.П., Копылова З.Н. Принципы построения интеллектуального автору-левого

Касаткина Н.В., Танянский С.С., Филатов В.А. Методы хранения и обработки нечетких данных в среде реляционных систем

Ходаков В.Е., Жарикова М.В., Ляшенко Е.Н. Применение когнитивного подхода для решения задачи поддержки принятия управленческих решений при ликвидации лесных пожаров

Гончаренко А.В. Моделювання впливу ентропії суб’єктивних переваг на прийняття рішень стосовно ремонту суднової енергетичної установки

Фарионова Н.А. Системный подход построения алгоритмов и моделей систем поддержки принятия решений при возникновении нештатных ситуаций

Биленко М.С., Серов А.В., Рожков С.А., Буглов О.А. Многоканальная система контроля качества текстильных материалов

Мотылев K.И., Михайлов M.В., Паслен В.В. Обработка избыточной траекторной информации в измерительно-вычислительных системах

Гончаренко А.В. Вплив суб’єктивних переваг на показники роботи суднової енергетичної установки

Гульовата Х.Г., Цмоць І.Г., Пелешко Д.Д. Архітектура автоматизованої системи моніторингу і дослідження характеристик мінеральних вод

Соломаха А.В. Разработка метода упреждающей компенсации искажений статорного напряжения ад, вносимых выходными силовыми фильтрами

ПотапенкоЕ.М., Казурова А.Е. Высокоточное управление упругой электромеханической системой с нелинейным трением.

Кузьменко А.С., Коломіц Г.В., Сушенцев О.О. Результати розробки методу еквівалентування функціональних особливостей fuzzy-контролерів

Кравчук А. Ф., Ладанюк А.П., Прокопенко Ю.В. Алгоритм ситуационного управления процессом кристаллизации сахара в вакуум-аппарате периодического действия с механическим циркулятором

Абрамов Г.С., Иванов П.И., Купавский И.С., Павленко И.Г. Разработка навигационного комплекса для автоматического наведения на цель системы груз-управляемый парашют

Литвиненко В.И., Четырин С.П. Компенсация ошибок оператора в контуре управления следящей системы на основе синтезируемых вейвелет-сетей

Бардачев Ю.Н., Дидык А.А. Использование положений теории опасности в искусственных иммунных системах

Рожков С.О., Кузьміна Т.О., Валько П.М. Інформаційна база як основа для створення асортименту лляних виробів.

Ускач А.Ф., Становский А.Л., Носов П.С. Разработка модели автоматизированной системы управления учебным процессом

Мазурок Т.Л., Тодорцев Ю.К. Актуальные направления интеллектуализации системы управления процессом обучения.

Ускач А.Ф., Гогунский В.Д., Яковенко А.Е. Модели задачи распределения в теории расписания.

Сідлецький В.М., Ельперін І.В., Ладанюк А.П. Розробка алгоритмів підсистеми підтримки прийняття рішень для контролю якості роботи дифузійного відділення.

Пономаренко Л.А., Меликов А.З., Нагиев Ф.Н. Анализ системы обслуживания с различными уровнями пространственных и временных приоритетов.

Коршевнюк Л.О. Застосування комітетами експертів системи нечіткого логічного виводу із зваженою істинністю.. – С. 73 – 79.

Кирюшатова Т.Г., Григорова А.А Влияние направленности отдельных операторов и направленности всей группы на конечный результат выполнения поставленной задачи.

Петрушенко А.М., Хохлов В.А., Петрушенко І.А. Про підключення до мови САА/Д деяких засобів паралельного програмування пакету МРІСН.

Ходаков В.Е., Граб М.В., Ляшенко Е.Н. Структура и принципы функционирования системы поддержки принятия решений при ликвидации лесных пожаров на базе новых геоинформационных технологий.

Сидорук М.В., Сидорук В.В. Информационные системы управления корпорацией в решении задач разработки бюджета.

Нагорный Ю.И. Решение задачи автоматизированного расчета надежности иасуп с использованием модифицированного метода вероятностной логики

Козак Ю.А. Колчин Р.В. Модель информационного обмена в автоматизированной системе управления запасами материальных ресурсов в двухуровневой логистической системе

Гожий А.П., Коваленко И.И. Системные технологии генерации и анализа сценариев

Вайсман В.А., Гогунский В.Д., Руденко С.В. Формирование структур организационного управления проектами

Бараненко Р.В., Шаганян С.М., Дячук М.В. Аналіз алгоритмів взаємних виключень критичних інтервалів процесів у розподілених системах

Бабенко Н.И., Бабичев С.А. Яблуновская Ю.А. Автоматизированная информационная система управления учебным заведением

Яковенко А.Е. Проектирование автоматизированных систем принятия решений в условиях адаптивного обучения с учетом требований болонского процесса

Бараненко Р.В Лінеаризація шкали і збільшення діапазону вимірювання ємностей резонансних вимірювачів

Головащенко Н.В. Математичні характеристики шумоподібно кодованих сиг-налів.

Шерстюк В.Г. Формальная модель гибридной сценарно-прецедентной СППР.

Шекета В.І. Застосування процедури Append при аналізі абстрактних типів даних модифікаційних запитів.

Цмоць І.Г. Алгоритми та матричні НВІС-структури пристроїв ділення для комп'-ютерних систем реального часу.

Кухаренко С.В., Балтовский А.А. Решение задачи календарного планирования с использованием эвристических алгоритмов.

Бараненко Р.В., Козел В.Н., Дроздова Е.А., Плотников А.О. Оптимизация рабо-ты корпоративных компьютерных сетей.

Нестеренко С.А., Бадр Яароб, Шапорин Р.О. Метод расчета сетевых транзакций абонентов локальных компьютерных сетей.

Григорова А.А., Чёрный С. Г. Формирование современной информационно-аналитической системы для поддержки принятия решений.

Шаганян С.Н., Бараненко Р.В. Реализация взаимных исключений критических интервалов как одного из видов синхронизации доступа процессов к ресурсам в ЭВМ

Орлов В.В. Оценка мощности случайного сигнала на основе корреляционной пространственной обработки

Головащенко Н.В., Боярчук В.П. Аппаратурный состав для улучшения свойств трактов приёма – передачи информации в системах промышленной автоматики.