Автоматика.
    Автоматизация.
        Электротехнические
            комплексы и системы.

УДК 681.3:378.146

ЭФФЕКТИВНОСТЬ ПРИМЕНЕНИЯ МЕТОДОВ НЕЧЕТКОЙ ЛОГИКИ В ТЕСТИРОВАНИИ

Коджа Т.И., Гогунский В.Д.

Одним из наиболее эффективных направлений повышения качества учебного процесса в Вузах является создание и эксплуатация автоматизированных систем контроля знаний (АСКЗ). Известно множество практических реализаций систем автоматизированного тестирования, как по отдельным дисциплинам, так и универсальных систем оценивания знаний (т.н. “конструкторов тестов”). Однако многие из них не лишены недостатков, обуславливающих настороженное и даже негативное отношение к подобным системам. Наиболее существенные причины, сдерживающие широкое применение автоматизированных систем обучения и контроля знаний:

-  необходимость формулирования вариантов ответов на тестовые задания по принципу “один абсолютно правильный” — “N абсолютно неправильных”, что не дает возможности организовать полноценное тестирование по слабо формализованным дисциплинам, для которых характерна диалектичность знаний (гуманитарные, общественно-политические, социально-экономические дисциплины);

-  примитивность и негибкость процедур расчета итоговой оценки, сводимых либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ.

Переход от задания истинности предлагаемых вариантов ответов в категориях двоичной логики (“правильно — неправильно”) к более общей и универсальной схеме оценивания с учетом частично верных или неполных ответов возможен с помощью функций принадлежности, определяемых в категориях нечеткой логики. Такой переход не отрицает и традиционный подход, поскольку в соответствии с современными представлениями двоичная логика может считаться частным случаем нечеткой логики.

Интуитивная простота нечеткой логики как методологии решения проблем идентификации гарантирует ее успешное использование во встроенных системах контроля и анализа информации. При этом могут использоваться приемы человеческой интуиции и опыт экспертов по знаниям.

Практическая реализация предлагаемых принципов с применением методов теории нечетких множеств осуществлена на основе Автоматизированной системы контроля знаний [1] для усовершенствования алгоритма оценки результатов тестирования.

АСКЗ предназначена для систематизированного контроля и оценки знаний, и для формирования базы данных с целью сохранения результатов тестирования. АСКЗ включает 5 программных модулей, 3 из которых составляют собственно программу тестирования, а остальные, — программную среду, позволяющую создавать и редактировать вопросы и базу данных системы.

Программный модуль «Выбор темы и идентификация студента» предназначен для выбора из предлагаемых списков названия и темы курса (дисциплины), по которой будет производиться тестирование, группы и фамилии тестируемого.

«Создание и редактирование тестов» — программный модуль, содержащий поле ввода вопроса теста и 6 полей для ввода вариантов ответов, применяется для выполнения следующих действий:

-  создание и редактирование вопросов и вариантов ответа теста в рабочем файле заданной темы;

-  просмотр (от первого до последнего, либо наоборот) вопросов и вариантов ответа;

-  удаление вопроса и вариантов ответа из рабочего файла заданной темы;

-  очистка полей ввода от записей;

-  формирование рабочего файла «Экзамен»;

-  переход к подсистеме формирования файлов базы данных.

Модуль «Тестирование» — выполняет непосредственное представление вопросов и вариантов ответа на вопросы теста, а также анализ ответов и запись результатов анализа в базу данных системы.

Программный модуль «Просмотр результатов тестирования» позволяет выводить информацию о дате прохождения теста, оценке и количестве пересдач по каждой теме. При этом существует возможность выводить результаты одного студента, одной группы, одной темы, а также весь массив данных по всем темам и группам.

Основным программным модулем среды разработки базы данных системы тестирования является подсистема «Создание и редактирование базы данных тестов», в которой выполняются следующие операции:

-  создание и редактирование списка курсов (дисциплин);

-  создание папки курса (файла списка тем курса, файла списка групп, файла анализа результатов);

-  создание и редактирование списка групп курса;

-  создание и редактирование списка тем курса.

При формировании списка тем курса задается и может быть откорректированным количество вопросов в тесте, время, отводимое на тестирование, максимальная сумма баллов за ответ.

Благодаря применению способа автоматической генерации вопросов теста, а также возможности формирования специализированных баз данных вопросов по каждой теме опроса, можно быстро проверить уровень подготовки обучаемого по заданной теме. Предлагаемая организация баз данных вопросов позволяет преподавателю формировать тесты, рассчитанные на воспроизведение изученного материала по одной теме, либо объединять несколько тем, весь курс.

По окончании тестирования АСКЗ дает возможность просматривать правильные ответы на только что поставленные вопросы. Формирование условий самообучения позволяет существенно повысить результаты усвоения учебного материала.

Решение поставленной задачи усовершенствования алгоритма оценки результатов тестирования сводится к идентификации нелинейного объекта с одним выходом и многими входами [2]. Взаимосвязь переменных «вход—выход» задается в виде экспертных высказываний: ЕСЛИ <входы>, ТО <выход>, представляющих собой нечеткие базы знаний.

Нами рассматривается объект с четырьмя входами и одним выходом вида:

,                          (1)

где d — выходная количественная переменная, отображающая оценку за ответ на текущий вопрос (диапазон изменения (0—1));

x₁, x₂, x₃, x₄ — входные количественные переменные (в скобках указаны термы, которыми они оцениваются);

x₁ — количество правильных вариантов ответа в вопросе (1, 2, 3, 4, 5);

x₂ — количество верных ответов, указанных тестируемым (1, 2, 3, 4, 5);

x₃ — общее количество всех ответов, выбранных тестируемым (1, 2, 3, 4, 5);

x₄ — общее количество вариантов ответов в вопросе (2, 3, 4, 5, 6).

Для наглядности приведем пример вопроса с вариантами ответа из курса «Информатика, основы программирования и применения ЭВМ» по теме «Вычисления в электронных таблицах MS Excel»:

Какие типы операторов применяются при записи формул в MS Excel ?

1.                      Операторы описания типов переменных.                       Ö

2.                      Арифметические операторы.                                 Ö          Ö

3.                      Операторы сравнения переменных.                     Ö          Ö

4.                      Адресные операторы.                                             Ö         

5.                      Текстовые операторы.                                            Ö         

6.                      Операторы перехода.                                                         

Флажок Ö указывает на выбранный вариант ответа. Первый столбец флажков соответствует правильным вариантам полного эталонного ответа для данного вопроса. Предположим, что тестируемый частично ответил на данный вопрос (второй столбец флажков), при этом выбрал один неверный вариант ответа. Т.о. в данном примере x₁=4; x₂=2; x₃=3; x₄=6. В общем случае для данного вопроса (с шестью вариантами ответа, из которых четыре правильных) в зависимости от ответа тестируемого возможно 11 сочетаний значений входных переменных. Если же учесть что в эталонном ответе может быть от одного до пяти верных вариантов, то таких сочетаний будет уже более 90, что исключает возможность «угадывания» верных ответов.

Разобьем диапазон изменения выходной переменной на 10 частей (0; 0,1; 0,2; 0,3; 0,4; 0,5; 0,6; 0,7; 0,8; 1), так, чтобы каждому сочетанию значений параметров входных переменных было поставлено в соответствие одно из решений: .

Нечеткая база знаний представляет собой совокупность правил вывода ЕСЛИ <входы>, ТО <выход>, которые отражают опыт эксперта и его понимание причинно—следственных связей в рассматриваемой задаче принятия решения. Сформируем матрицу знаний, определяющую систему логических высказываний типа «ЕСЛИ—ТО, ИНАЧЕ»:

                                       (2)

                и т.д.

Таким образом, искомое соотношение (1), устанавливающее связь между входными параметрами x_i и выходной переменной y , формализовано в виде системы нечетких логических высказываний (2), которая базируется на матрице знаний определенной экспертом, связывающей значения входных переменных x₁, x₂, x₃, x₄ с одним из возможных типов решения .

Функция принадлежности m^T(x) характеризует субъективную меру (в диапазоне [0,1]) уверенности эксперта в том, что четкое значение x соответствует нечеткому терму T.

Предлагается использовать простую для настройки аналитическую модель функций принадлежности переменной x произвольному нечеткому терму Т в виде:

(3)

где b и c — параметры настройки: b —координата максимума функции, m^T(b)=1; c — коэффициент концентрации (растяжения) функции.

Для нечеткого терма Т число b представляет наиболее возможное значение переменной х. Для упрощения моделирования будем использовать для всех переменных x₁, x₂, x₃, x₄ только одну колоколообразную форму функций принадлежности. Для этого приведем интервалы изменения каждой переменной к одному универсальному интервалу [0,4] с помощью следующих соотношений:

(4)

где  — интервал изменения переменной

Аналитическая модель функций принадлежности:

                                 (5)

а ее параметры b и c приведены в таблице 1.

Таблица 1

Параметры грубых функций принадлежности

Выбор таких функций обусловлен тем, что они являются хорошими аппроксимациями функций принадлежности, полученных от эксперта методом парных сравнений [2] (см. рис. 1).

Используя операции Ù ( И — min ) и Ú ( ИЛИ — max ), можно записать систему нечетких логических уравнений, связывающих функции принадлежности входных и выходных переменных:

          (6)

Аналогичным образом записываются логические уравнения для остальных решений выходной переменной d.

Таким образом, решая поставленную задачу на уровне структурной идентификации, получаем алгоритм оценки уровня усвоения знаний основанный на нечетких логических высказываниях, который позволяет однозначно оценить ответ тестируемого с учетом как абсолютно правильных, так и частично правильных либо неполных вариантов ответов.

В отличие от традиционной математики, требующей на каждом шаге моделирования точных и однозначных формулировок, нечеткая логика предлагает совершенно иной уровень трансформации данных, благодаря которому творческий процесс моделирования происходит с использованием минимального набора закономерностей. Нечеткий метод позволяет резко сократить объем производимых вычислений, что, в свою очередь, приводит к увеличению быстродействия нечетких систем.

Эффективность применения методов нечеткой логики в процессе контроля и оценки уровня усвоения знаний можно проследить на рис. 2, где представлена гистограмма изменения усредненных оценок ответов тестируемых по учебному курсу "Информатика, основы программирования и применения ЭВМ" (1643 тестирования, 3 группы). Каждый столбец гистограммы соответствует определенной теме курса, а последний столбец отображает средние оценки по результатам прохождения экзаменационного теста. Как видно из рисунка, по всем без исключения темам оценка ответов с применением методов теории нечетких множеств несколько выше соответствующей оценки с помощью выборочной системы. Это объясняется тем, что в то время когда «выборочная система» оценивает частично правильный ответ нулевым баллом, «система на нечеткой логике» определяет общее количество всех ответов, выбранных тестируемым, а из них — количество верных ответов. Затем, используя логические уравнения, составленные исходя из нечеткой базы знаний, оценивает этот ответ баллом от 0 до 1. Предложенный алгоритм позволяет повысить объективность оценки уровня усвоения знаний. Он основан на методах и моделях, развиваемых в рамках теории интеллектуальных вычислений и инженерии знаний, и относится к концепции интеллектуального тестирования.

Таким образом, подводя итоги, можно сказать, что нечеткая логика в некоторых простейших случаях позволяет улучшить качество управления интеллектуальными системами. Причем решающую роль в оптимизации показателей эффективности играют эксперты, которые определяют количество входных и выходных переменных, число термов для каждой переменной, виды функций принадлежности, т.к. изменение этих параметров приводит к улучшению или ухудшению процесса идентификации.

1.                  Тертышная Т.И., Колесникова Е.В., Гогунский В.Д. Автоматизированная система контроля знаний // Тр. Одес. политехн. ун-та. — Одесса, 2001. — Вып. 1(13). — С. 125 – 128.

2.                  Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткие множества, генетические алгоритмы, нейронные сети. — Винница: «УНІВЕРСУМ – Вінниця», 1999. — 320 с.