Автоматика.
    Автоматизация.
        Электротехнические
            комплексы и системы.

УДК 658.336:007:681.3.06

ЕКСПЕРТНЕ ОЦІНЮВАННЯ ЗНАНЬ

В СИСТЕМІ ДИСТАНЦІЙНОГО НАВЧАННЯ

Шибицька Н.М

Поглиблення і розширення процесів математизації і комп'ютеризації науки націлені на створення нових інформаційних технологій з можливістю придбання та динамічної обробки необхідної інформації і знань. Реформи освіти останніх років обумовили тенденції переходу теорії і практики від парадигми навчання, у рамках якої студент виступає як об'єкт навчальних впливів, до парадигми безперервної освіти, що базується на самостійній роботі студента з метою самовдосконалення. Процес навчання розуміється сьогодні не як придбання сукупності знань і володіння набором професійних навичок, а як розвиток різноманітних здібностей системного характеру та підвищення ступеню їх продуктивності. Актуальним є питання моделювання такої системи освіти, в якій важливу роль має не традиційна трансляція знань, умінь, цінностей, норм поведінки і т.д., а створення умов для максимально можливої адаптації і розвитку конкретної особистості.

У зв'язку з цим виникає логічне питання про вдосконалення інформаційних технологій, що відкривають нові оперативні можливості, способи й умови освоєння освітньої і професійної діяльності. Новітні технології повинні забезпечити багатоваріантність предметного наповнення змісту навчання, можливість моделювання знань та різноманіття освітніх послуг.

В системі державної професійної підготовки фахівців актуальною є задача впровадження нової форми освіти – дистанційного навчання [1, 2]. Це обумовлено соціально-економічною ситуацією, яка склалася у цілому в Україні та в системі освіти, тому традиційні форми освіти і моделі навчання на цей час не можуть задовольнити потреб в освітніх послугах. У даний час у світі зростає число вузів, що ведуть підготовку фахівців за допомогою цієї форми навчання.

Актуальність впровадження дистанційної форми навчання обумовлено наступними причинам: зниженням витрат на навчання, що важливо в умовах відставання фінансування системи освіти; включенням в освітній процес людей різних вікових та соціальних категорій, що дозволяє задовольнити різноманітні запити населення в освіті; розширенням доступу до додаткової інформації, динамічним регулюванням необхідного обсягу знань: оперативної передачею інформацію за допомогою комп’ютерних телекомунікацій; зручність освітнього процесу: гнучкість, адаптивність, модульність подачі наукового змісту навчання.

У зв’язку з цим актуальною науковою задачею є розробка нових методів аналізу процесу навчання з можливістю подальшого контролю та інваріантності оцінки якості засвоєння декларованих знань, умінь і сформованих навичок, необхідних для виконання професійної діяльності.

Пріоритетним напрямком розвитку системи дистанційного навчання є створення автоматизованих систем декларування та оцінювання знань. Використання мережних технологій є передумовою створення комп'ютерних тестових систем. Використання тестів дозволяє автоматизувати контроль знань при прийнятті рішень про рівень навченості студентів.

Впровадження тестових технологій дозволяє підвищити якість і об'єктивність оцінювання процесу навчання, шляхом зниження суб'єктивної оцінки конкретного педагога і значно деталізувати, уніфікувати атестаційні вимоги по дисциплінам на основі Державних освітніх стандартів, підвищити об'єктивність атестації, а також оцінити ефективність професійної діяльності викладачів.

Сучасні інформаційні технології розробки тестів ґрунтуються на комплексній методиці складання тестових завдань з урахуванням думок декількох експертів, яки є фахівцями у даній предметній області [3].

На сьогодні комп'ютерні технології є невід'ємною складовою процесу навчання. Таким чином, вирішення проблеми поліпшення якості, активізації й індивідуалізації навчання може бути досягнуто лише на основі органічного застосування комп'ютерних технологій в навчальному процесі поряд із традиційними методами навчання.

Для забезпечення навчального процесу з необхідним рівнем якості знань інформаційне забезпечення установ дистанційного освіти повинне повною мірою використовувати засоби оперативного доступу до інформаційних ресурсів, яки засновані на комп'ютерних мережних технологіях.

Впровадження новітніх інформаційних технологій і можливості сучасних комп'ютерних систем відкривають необмежений простір для педагогічної творчості, дозволяючи модернізувати вже існуючі і впроваджувати новітні технології і форми навчання. Аналіз світової педагогічної практики дозволяє виділити наступні типи програмних продуктів для супроводження процесу навчання: комп'ютерні підручники; навчальні програми; імітаційні і моделюючі тренажери; електронні підручники, словники, енциклопедії; системи самопідготовки і самоконтролю; системи контролю знань і тестування.

В існуючих системах [4] для оцінювання процесу навчання використовують наступні форми діагностики: вхідний тестовий контроль, поточний контроль, заключний контроль або іспит.

Вхідний тестовий контроль дозволяє визначити початковий рівень підготовки операторів з метою формування індивідуальних керуючих впливів у системі навчання; поточний контроль визначає на скільки успішно той, якого навчають, отримує знання й володіє системою умінь у процесі навчання, у випадку недостатньої успішності проводиться пошук зворотного зв'язку від помилкових дій до необхідних елементів знань; заключний контроль або іспит покликаний формально оцінити знання і систему умінь по дисципліні, накопичених у протягом всього часу навчання.

Системи тестування орієнтовані на оцінку рівня знань людини, яку навчають, у заданих точках аналізу навчального процесу. Використовуючи різні методики, такі системи пред'являють тому, кого навчають, відкритий або закритий варіант питання. Вибір форми варіанта питання багато в чому залежить від ступеня формалізації предметної області. Комбінація в тестовій системі двох форм оцінювання знань дозволяє підвищити гнучкість і адаптивність системи навчання.

Відкриті питання складаються тільки з формулювання питання, відповідь на які повинен сформулювати об’єкт навчання. Цей тип питань рекомендується застосовувати в областях знань з високим рівнем формалізації. В якості відповіді виступає значення, що може бути однозначним або належати деякому заданому припустимому діапазону. Звичайно, в якості відповіді на відкриті питання не використовуються символьні рядки, що містять букви, пробіли й інші символи, тому що в цьому випадку важко визначити правильність відповіді через можливі помилки користувача при введенні інформації (наприклад, введення двох замість одного пробілів).

Закриті питання складаються з формулювання питань і декількох варіантів відповіді. Цей тип питань рекомендується застосовувати в слабо формалізованих областях знань. Той, кого навчають, повинен вибрати один або кілька правильних варіантів відповіді. Рекомендується наявність від 3 до 6 варіантів відповідей. У залежності від цілей створення тестової системи і етапу оцінювання знань можливий випадок пред'явлення декількох відповідей, умовно прийнятих як правильні.

При застосуванні тесту на етапах рубіжного (підсумкового) контролю в якості абсолютно правильної відповіді може бути тільки один з варіантів. При цьому не допускається ситуація, коли усі відповіді на закрите питання є неправильними. Правильність відповіді можна зараховувати по сумі правильно обраних варіантів або по одному правильно обраному варіанті.

Таким чином, кожна з представлених структур дозволяє пред'являти навчальний матеріал, відповідно до послідовності, що забезпечує прийнятне пред'явлення навчального матеріалу відповідно до вимог предметної області

Базу знань по дисципліні можна представити у виді ієрархічної структури. Структура знань по дисципліні розбивається на розділи R, які впливають на результат діагностики з ваговими коефіцієнтами µ_r. Кожний розділ R (модуль) складається з тем T_i з урахуванням вагових коефіцієнтів µ_t (рис.1). Кожна тема складається з елементів знань (основні положення, визначення, формули, закони), яким відповідають тестові запитання q_i в системі діагностики знань.

Будемо вважати, що знання Y оператора є нечітка підмножина множини X знань системи з деякою функцією належності m_y (x), що характеризує ступень засвоєння об’єктом навчання елемента x_i множини знань X, " x_i  Î X. При цьому кожному елементу x_i знань системи ставиться в відповідність тестове запитання q_i .

Нечітка підмножина Y множини X представляє собою множину пар:

Y = { (x /m_Y (x))}, x_i Î X , m_y (x) Î [ 0 .. 1].

Рис 1. Множинна модель структури знань за темою

Рішення про рівень навченості по дисципліні приймається на основі результатів тестування на нижньому рівні знань (запитання за темою) шляхом згортання залежно від відповідних вагових коефіцієнтів.

Кожній змістовній одиниці знань x_i відповідає тестове запитання q_i з вагою m_qi в шкалі нечітких множин [0..1], яка призначається експертно та залежить від:

       міри вкладу певного елемента знань у знання по розділу типа;

       лінгвістичної форми подання питання;

       складності питання.

Міра вкладу певного елемента знань у знання по розділу визначається експертом зі знань – спеціалістом в галузі знань, яка досліджується.

Складність питання визначається на етапі попереднього налагодження тесту на контрольної групі операторів з метою виявлення найбільш складних та простих запитань на яки не було надано жодної правильної відповіді. В випадку коли потрібно виявити особливо здібних студентів, слід залишити в тесті складні питання для виявлення евристичного мислення фахівців.

Лінгвістична форма подання питання q_i може бути класифікована на підставі логіко-семантичних еталонів:

1. Концептуальні питання “хто, що” і “визначити поняття”.

2. Концептуально-аналітичні питання “провести аналогію”.

3. Концептуально-семантичні питання q_i, які дозволяють визначить змістовну еквівалентність або близькість понять і ситуацій, і описують об’єкт  і є підмножиною змістовних одиниць знань з оператором відношення σ “один до одного” на множині X одиниць знань, що можна записати як

.

4. Фактологічні питання q_i визначають існування явища або ситуації, які позначимо S₁, а факт їх існування з об’єктом S у момент часу t, визначає оператор ψ. Отже можна записати

.

5. Функціональні (цільові або причинні) питання q_i “для чого – навіщо – чому” дозволяють виявити характерні зміни об’єкта S в ланцюжку причинно-слідчих зв’язків

.

6. Структурні питання q_i “із чого” (або з яких частин складається) спрямовують сприйняття на аналіз зовнішнього вигляду об’єкта S, його структури і складових його частин S₁, S₂, ... , S_n , що за допомогою оператора χ утворять ціле:

7. Проблемно-операційні завдання q_i з метою розв’язання поставленої задачі припускають використання змістовних одиниць  знань поза межами розглядуваної множини  знань, що формально відображується

.

Автоматизація процесу контролю знань дозволяє застосувати багатокритеріальну оцінку та значно спростити функцій викладача та зменшити суб’єктивний фактор при оцінюванні знань студента.

Розглянемо структуру тестової системи (рис.2) та методику формування кінцевої оцінки  за результатами тестування та виведемо функціональну залежність знань оператора від впливу часу t та вагових коефіцієнтів m_q, які характеризують вклад кожного елементу знань в знання за розділом або темою

,

де t_max – час що виділяється на відповідь та залежить від ваги питання , ball_max1 та ball_min1 – відповідно максимальний та мінімальний відносний бал, який може бути призначено за введення відповіді, що порівнюється з еталоном, ball_max2 та ball_min2 –– відповідно максимальний та мінімальний відносний бал, який може бути призначено за вибір відповіді із запропонованих варіантів,  – час, затрачений на відповідь,  – вага теми відносно розділу, модулю або дисципліни.

Формування тестових запитань проводиться таким чином. В базі даних експертно задається еталон та варіанти відповіді, з якими в процесі тестування проводиться порівняння з відповіддю користувача. При цьому кожний варіант відповіді характеризує ступень відповідності еталону і оцінюється в шкалі розмитих множин.

Рис 2. Структурна модель тестової системи

На етапі структурування наукового змісту навчання експертно задаються: ваговий коефіцієнт  кожної тими; ваговий коефіцієнт m_q тестового запитання, що однозначно відповідає елементарному інформаційному об’єкту x_i.

За кожне тестове питання об’єкт навчання отримує бал ball_q, що розраховується за формулою:

,

де ball - відносний бал, який отримує студент.

На першому етапі процесу тестування відповідь порівнюється з еталоном. Час t_max, що виділяється на надання відповіді залежить від ваги питання m_q. При цьому системою динамічно враховується час, який об’єкт навчання витратив на відповідь. Таким чином, можна вивести функціональну залежність відносного балу , що призначається за відповідь від затраченого часу t:

.

Якщо об’єкт навчання надав невірну відповідь, або час, виділений на відповідь, закінчився, переходимо до другого етапу тесту.

На другому етапі експертного оцінювання знань пропонуються вибір правильної відповіді із декількох варіантів. При цьому кожному варіанту відповіді експертно призначається ваговий коефіцієнт m_v, який дозволяє врахувати ступень відповідності відповіді еталону. Час , що виділяється на відповідь залежить від ваги питання . При цьому динамічно враховується час, який оператор витратив на вибір варіанту відповіді. На цьому етапі функціональна залежність відносного балу ball, що призначається за відповідь від затраченого часу t, має такій спосіб:

.

У зв'язку з тим, що при візуальному вибору варіанта іде звернення до короткочасної пам'яті і можливий процес „впізнання” інформації, відносний бал .

У випадку слабоформалізованого середовища формування наукового змісту навчання, коли немає можливості однозначно задати еталон відповіді, процес оцінювання починається відразу з другого етапу, враховуючи, що .

При прийнятті рішення про рівень  знань за дисципліною та проведення рубіжного контролю типу диференційований залік або екзамен проводять згортання оцінок за темами  у такій спосіб:

,

де  – кількість тем за дисципліною;  – відносна вага теми, що задовольняє принципу повноти знань за дисципліною і дорівнює .

Технологія розподіленого мережного навчання припускає створення на базі комп'ютерних класів ефективного групового й індивідуального навчання в традиційному навчальному процесу. При наявності домашніх комп'ютерів мережне навчання забезпечує технічну можливість працювати не тільки в комп'ютерних класах навчального закладу.

Таким чином застосування комп'ютерної технології дозволяє відповідно до запропонованого підходу складати заочно іспити з урахуванням результатів тестування в інтерактивному режимі по мережі Internet. Розглянута методика дозволяє підвищити ефективність, об'єктивність і гнучкість процесу оцінювання знань завдяки впровадженню в процес навчання новітніх інформаційних технологій діагностики знань.

Distance Education System should provide consecutive guided ducation process, obtaining knowledge and skills, other process of maintenance of a specialist's qualification. The scientific research in field of computer training system and estimation of training process is described.

1.                  П.В.Дмитренко, Ю.А.Пасічник. Дистанційна освіта. Бібліотека працівника освіти. Київ:1999.

2.                  Про затвердження Програми розвитку системи дистанційного навчання на 2004-2006 роки // Постанова Кабінету Міністрів України від 23 вересня 2003 р. N 1494 – Київ.

3.                  Шибицька Н.М. Еталонний підхід експертного оцінювання дидактичних знань // Вісник НАУ. №.3, 2002 – Київ: КМУЦА, 2002.-С.166-170.

4.                  Савельев А.Я., Новиков В.А., Лобанов Ю.И. Подготовка информации для автоматизированных обучающих систем / под ред. Проф. А.Я. Савельева. – М.: Высшая школа, 1986. - 176 с.