Як вчаться медики, які лікуватимуть нас завтра. Оцінки студентів медвишів, та про що вони свідчать

Усі ми хочемо аби нас лікував висококваліфікований, небайдужий  лікар, який справді хоче, щоб ми одужали і ніколи більше до нього не зверталися.

Але де шукати такого спеціаліста, звідки він береться?

Відповідь на це запитання лише одна: перш за все, хороший лікар у майбутньому – це хороший студент медичного вишу сьогодні.

Так, дуже багато залежить від мотивації цього студента, його здібностей та здатності вчитися й аналізувати матеріал.

Проте також визначити, чи вийде завтра із нинішнього студента хороший лікар, можна за системою іспитів та тестувань.

Якими ж ці іспити є в Україні, як їх здавали студенти 2009-2018 років та головне, як оцінювання впливає на майбутню кваліфікацію медиків.

ТРИ "КРОКИ" ДО ЛІКАРЯ

З 1998 року усі українські студенти-медики складають іспити "Крок":

•         на третьому курсі Крок 1 (фундаментальні дисципліни)
•         на останньому курсі – Крок 2 (клінічні дисципліни)
•         під час інтернатури – Крок 3

Іспити були розроблені завдяки тісній міжнародній співпраці та базувались на найкращих світових практиках.

Це був перший в Україні успішний досвід розбудови системи незалежного оцінювання, котрий у тому числі використовувався для запуску ЗНО на початку 2000-х.

Попри використання найкращих міжнародних практик, серед студентів, викладачів та лікарів часто лунають критичні зауваження щодо "Кроків".

Найчастіше скаржаться на якість тестових завдань.

У відповідь на цю критику Центр тестування при Міністерстві охорони здоров'я щоразу вказував, що запитання готують викладачі вишів, тому всі питання слід адресувати їм.

Розробники, в свою чергу, небезпідставно нарікають на відсутність оплати за непросту роботу з розробки тестових завдань.

Усі українські студенти-медики складають іспити "Крок"

Безперечно, не всі проблеми з якістю пов’язані з рівнем мотивації викладачів. Є питання і до змісту програм, на основі яких формуються питання, і до неузгодженостей у тлумаченні одних і тих самих відповідей у різних тестах.

Окрім зауважень до якості питань, у спілкуванні зі студентами та викладачами постійно звучать сумніви щодо рівня прозорості та об’єктивності оцінювання "Кроків".

Звучать різні суми, за які нібито можна "вирішити питання"; називаються різні імена людей, до яких можна звернутись; переказують історії тих, кому "вдалося".

Водночас за 20 років існування "Кроків" жодні підозри чи звинувачення не були доведені.

[BANNER1]

ЯК ЗДАЮТЬ "КРОКИ" СТУДЕНТИ

Влітку 2018 року МОЗ попросило Центр тестування надати повну інформацію про результати складання "Кроків".

Зважаючи на заплановані зміни в оцінюванні студентів-медиків, міністертсво хотіло мати більш розгорнутий аналіз навчальних результатів.

Деперсоніфіковану інформацію було надано для опрацювання авторкам цієї статті.

Це дані про понад 197 тис. іспитів за період з 2009 по 2018 рік.

Є роки або іспити, дані про які не було надано взагалі.

При аналізі розподілу результатів "Кроків" помітні деякі особливості.

Зокрема, спостерігається непропорційне зростання або падіння кількості студентів, які отримали певний бал.

На графіках складання Крок 1 у 2009-2014 роках видно ділянку "провалу" на позначці 50% правильних відповідей.

Натомість у тих же роках кількість осіб, котрі отримали 50,5% є значно вищою за кількість осіб, котрі отримали 51%.  

У 2015 році спостерігається така сама ситуація, але на іншому відрізку кривої – 60,5% правильних відповідей набрала дуже велика кількість студентів (малюнок 1).

Сірим кольором позначені результати, які нижчі за поріг "склав/не склав", зеленим – вище порогу. Для збільшення натисніть на малюнок

"Аномальне" зростання чітко співпадає з порогом "склав/не склав" для кожного року.

Так, у 2015 році поріг "склав/не склав" було піднято з 50,5% до 60,5% – і стрибок зсунувся саме до цього рівня.

Подібною є ситуація і для Крок-2 та Крок-3.

Сірим кольором позначені результати, які нижчі за поріг "склав/не склав", зеленим – вище порогу. Для збільшення натисніть на малюнок

ПРО ЩО СВІДЧАТЬ ДАНІ "КРОКІВ"

Стрімке зростання кількості осіб, котрі набрали бал, що співпадає з порогом "склав/не склав" та висота "стрибка" цього показника свідчать про те, що бали осіб, які набрали на 0,5% менше за встановлений поріг, "підтягувалися" до порогу.

Разом із тим, в окремі роки тільки "підтягуванням" це пояснити неможливо.

Інколи "стрибок" у 2,5 рази більший за середнє між сусідніми ненульовими значеннями, в інші роки – у 8 разів, іноді – майже не відрізняється від нього.

Якщо б дорахунок здійснювався автоматично та підхід був би однаковий, у різні роки відхилення було б більш-менш однакове.

Графіки різних років різняться, що свідчить про зміну підходів до оцінювання.

Інколи повністю відсутні студенти, котрі набрали на 0,5% менше за прохідний бал.

Теоретично це може свідчити про автоматичний "дорахунок".

Водночас, в інші роки є студенти, котрі отримали на 0,5% менше за поріг "склав/не склав", проте їхня кількість досить низька.

Правильні відповіді на іспитах Крок-1

Частка та кількість правильних відповідей в іспитах Крок-1 за різні роки

Правильні відповіді на іспитах Крок-2 та Крок-3

Частка та кількість правильних відповідей в іспитах Крок-2 та Крок-3 за різні роки

Крива результатів Крок-2 помітно зсунута в бік вищих результатів, тобто, випускний іспит Крок-2 є помітно легшим за Крок-1.

На другому іспиті значно менше студентів отримують результати в межах від 50% до 75% порівняно з першим.

Водночас дуже високі результати отримує більша кількість студентів.

Розподіл результатів іспитів Крок-1, Крок-2 та Крок-3 у 2015 році

Розподіл результатів іспитів Крок-1, Крок-2 та Крок-3 у 2015 році

Частка студентів, котрі не складають Кроки, у відсотках (за даними звітів Центру тестування)

 

Рік / Крок	Крок 1	Крок 2	Крок 3
2012	14%	1%	8%
2013	9,9%	2,1%	3,7%
2014	13,1%	2,2%	6,1%
2015	15,01%	1%	6,87%
2016	11,7%	2%	8.2%
2017	18,4%	4,8%	32,2%
2018	19,1%	н/д	27,8%

В цілому за Крок-2 дуже мала частка студентів отримує менше балів, ніж потрібно для подолання порогу склав/не склав.

Оскільки Крок-2 складається на випускному курсі, ціна невдачі є значно вищою.

Студент, котрий не склав іспит Крок-1 на третьому курсі, продовжує навчатись та може перескладати іспит у процесі навчання.

Якщо ж студент не склав іспит Крок-2 на 6 курсі, він не може отримати диплом та вимушений відтерміновувати початок інтернатури.

Можливо, висока ціна провалу стимулює до формування таких завдань в іспиті, які не створюватимуть проблем великій кількості студентів.

[BANNER2]

ЧОМУ ТАК ВІДБУВАЄТЬСЯ? ВЕРСІЯ ЦЕНТРУ ТЕСТУВАННЯ МОЗ

Результати попереднього аналізу були спрямовані до МОЗу, щоб отримати офіційні пояснення.

У декількох листах-відповідях Центр тестування пояснив результати "Кроків" кількома чинниками.

1.    Коригування результатів на похибку оцінювання.

Мова про те, що результати "автоматично перераховуються" для врахування похибки для тих осіб, у яких результат є меншим за поріг "склав/не склав" на число, що є меншим або дорівнює похибці оцінювання.

Це теоретично могло б пояснити, чому відсутні бали на 0,5 менші за поріг "склав/не склав".

Водночас в листі Центр тестування вказує, що такий перерахунок здійснюється тільки для іспитів "з високими ставками" – тих, які не перескладаються.

Оскільки іспит "Крок-1" перескладається – то для нього такий перерахунок здійснюється лише "при форс-мажорних обставинах".

У листі не вказується, хто та в який спосіб може прийняти рішення про наявність "форс-мажорних обставин".

Та сама інформація була оприлюднена на фейсбук-сторінці Центру тестування у той самий день, коли МОЗ попросив надати відповіді на запитання щодо результатів "Кроків".

Центр пише, що "перерахунок результату з урахуванням похибки для результатів іспитів з "невисокими ставками" – іспити, які перескладаються або складаються повторно, застосовується Центром тестування з 2018 року".

Тобто здійсненням перерахуну іспиту Крок-1 лише за форс-мажорних обставин неможливо пояснити відсутність результатів нижчих за поріг "склав/не склав" на 0,5 бали у більшості років до 2018 року.

2.    Перескладання зараховують на рівні мінімального прохідного балу

Ця норма затверджена у Порядку проведення ліцензійних інтегрованих іспитів.

Цим же порядком встановлюється, що "Центр тестування має право проводити перескладання ліцензійних іспитів у визначені ним дати, використовувати різні варіанти тестів, у тому числі сформовані з буклетів попередніх років".

Тобто при перескладанні студенти фактично мають набрати мінімальну кількість балів на тесті, котрий уже використовувався та є доступним.

Ця норма може пояснити різке збільшення кількості осіб, які отримують бал на рівні порогу, проте піднімає питання про якість такого оцінювання.

Фактично, якщо при перескладанні студенти працюють із заздалегідь відомими тестами, то складання такого тесту зовсім не є свідченням належного рівня підготовки.  

ЩО ЦЕ ОЗНАЧАЄ?

Відповіді Центру тестування вказують, що рішення щодо того, яким чином здійснювати оцінювання, приймалися ad hoc, залежно від ситуації.

Отже, Центр міг на власний розсуд ухвалити рішення про форс-мажорні обставини та відкоригувати підхід до оцінювання.

За словами представників Центру тестування, так було зроблено у 2015 році для переміщених університетів.

Водночас, сама наявність можливості приймати такі рішення свідчить про відсутність єдиного усталеного підходу до визначення результатів іспитів та про можливість зміни підходу внутрішнім рішенням Центру тестування.

Проте ще важливішим є питання, якою мірою насправді іспити Крок можуть відсіювати слабких студентів.

У результаті, архітектура тестів змушує сумніватись в їх ефективності як способу оцінювання рівня знань студентів.

Якщо Крок-1 можна перескласти на значно легших умовах, а Крок-2 навмисно є порівняно легким, значить, "Кроки" не можуть бути дієвим запобіжником для недопуску некваліфікованих студентів до лікарської професії.

ЩО ДАЛІ?

Рік тому за ініціативи Міністерства охорони здоров’я було прийнято постанову, котра кардинально змінює систему оцінювання рівня знань студентів.

На додачу до іспитів "Крок" на третьому курсі студенти будуть також складати іспит на знання англійської мови та IFOM – Міжнародний іспит з основ медицини (базові дисципліни), який проводиться Національною радою медичних екзаменаторів США.

Ця  організація проводить ліцензійні іспити для американських медиків.

На випускному курсі додатково до "Кроку" студенти складатимуть IFOM (клінічні дисципліни) та об’єктивний структурований клінічний іспит, котрий повинен перевірити рівень їхніх практичних навичок.

[BANNER3]

У рамках підготовки до запуску нового формату іспиту 15 березня 2019 року українські студенти-медики вперше на національному рівні складатимуть Міжнародний іспит з основ медицини.

Результати не впливатимуть на їхні бали, але вперше дадуть можливість оцінити рівень підготовки українських студентів порівняно з іншими країнами.

Ще рік тому обговорювалась можливість повної відмови від "Кроків".

Зрештою,  було прийнято рішення їх залишити, створивши передумови для підвищення якості тестів, у першу чергу – через зміну механізмів фінансування.

Зокрема, були виділені кошти на розробку тестів з адекватною оплатою за таку роботу.

Вочевидь, необхідно також суттєво переглянути підходи до адміністрування іспитів та гарантувати прозорість процедур та підходів до оцінювання студентів.

Інна Совсун, віце-президентка Київської школи економіки, запрошена дослідниця Університету Каліфорнії в Берклі

Тетяна Тищук, лідерка проекту іМоРе, VoxUkraine

Вас також може зацікавити:

Инициатива "150 баллов" 

150 балів: у кожному медвиші набирають контрактників з балами ЗНО, що не долають цей поріг 

На стоматологію, медицину та педіатрію прийматимуть зі 150 балами ЗНО з профільних предметів