ШІ може погіршити ваші результати на іспиті: що виявили вчені
Дослідники з Університету Східної Фінляндії з'ясували, що на іспиті, де дозволили штучний інтелект, найвищі бали мали студенти, які спершу писали відповіді самі, а потім просили ШІ вказати, чого бракує. Ті, хто віддавав завдання ШІ й лише злегка редагував текст, нерідко отримували нижчі бали, ніж одногрупники, які ШІ не використовували взагалі, повідомляє Earth.
Як студенти використовували ШІ на іспиті
- Команда вчених вивчала іспити з вступного курсу з якісних методів дослідження, обов'язкового для студентів соціальних наук, бізнесу та інших напрямів. ШІ дозволяли за умови, що студент про це повідомить.
- Із 891 студента про використання ШІ повідомили 159; приблизно 85% із них користувалися ChatGPT. Більшість студентів ШІ не використовували.
- У відгуках про курс дехто пояснював це браком навичок, дехто — побоюваннями щодо чесності, дехто — бажанням думати самостійно.
- Один зі студентів написав, що передоручати своє мислення комусь іншому — погана ідея.
- Іспит складався з трьох завдань: визначити ключове поняття, проаналізувати невеликий набір даних і оцінити сильні та слабкі сторони дизайну дослідження. Викладач оцінював за єдиною рубрикою, а дослідження почалося після завершення оцінювання.
Підписуйтеся на наші соцмережі
Три способи користуватися ШІ
Науковці зіставили відповіді зі звітами студентів про використання ШІ й виділили три моделі:
- Передоручення завдання. Найпоширеніший варіант: студент брав відповідь ШІ й трохи редагував, іноді лише мову.
- ШІ як джерело ідей. Студент просив підказати ракурси чи пункти, а відповідь писав сам.
- Спершу власний текст, потім запитання. Найрідший варіант: за словами одного зі студентів, він написав практично весь текст сам, а потім запитав ШІ, чого бракує.
Як ШІ впливає на результати іспитів
За визначення поняття (3 бали) ті, хто передав роботу ШІ, мали в середньому 1,9, ті, хто ШІ не використовував, — 2,2, а ті, хто просив фідбек, — 2,5.
В аналізі даних (6 балів) розрив більший: 3,8, 4,6 і 5,5 відповідно. Така картина повторилася в усіх трьох завданнях: передоручення — на останньому місці, фідбек — на першому, а студенти без ШІ посередині.
Дослідники значною мірою пов'язують розрив із критеріями оцінювання: визначення від ШІ були гладкими, але загальними й не спиралися на матеріали курсу, які рубрика заохочувала.
Загалом користувачі ШІ набирали більше балів, ніж ті, хто ним не користувався, і частіше витрачали на іспит менш ніж три години: 65% проти 48%.
Вчені трактують результати через саморегульоване навчання, тобто звичку планувати роботу, перевіряти її й коригувати. Студенти, які вже мають цю звичку, можуть переносити її й на ШІ, тож інструмент здатен збільшувати наявні розриви.
За словами науковців, тому студентів важливо вчити користуватися ШІ ефективно й цілеспрямовано, не підміняючи ним власну роботу чи мислення.