Головна Штучний інтелект

ChatGPT не зміг відповісти на більшість запитань про програмування

1 хвилин читання

Дослідники з Університету Пердью у США вирішили перевірити, наскільки добре один із найпопулярніших генеративних ШІ — ChatGPT — може відповідати на запитання про програмування, повідомляє TechSpot.

Дослідники поставили ChatGPT 517 запитань із Stack Overflow — популярного ресурсу запитань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 людей, які мали досвід програмування, оцінити відповіді ШІ за критеріями правильності, послідовності, вичерпаності та лаконічності.

Результати розчарували. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.

Ми помітили, що тільки тоді, коли помилка у відповідь ChatGPT є очевидною, користувач може її ідентифкувати.
стверджують дослідники
Читайте також: Штучним інтелектом в Україні користується вже не лише молодь. Серед людей віком 60+ чатботами та ШІ-помічниками користуються 36%, тобто кожен третій. А загалом ШІ використовують дві третини українців. Такі результати опитування «Українці та штучний інтелект» оприлюднили Інститут соціології НАН України та Лабораторія соціального дизайну. Його провели в жовтні 2026 року серед 505 респондентів.

Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників однаково віддавали перевагу йому через приємний, впевнений і позитивний тон ШІ. 

Інші матеріали

штучний інтелект ШІ програмування Stack Overflow chatGPT програмісти Редакція
Читати на speka.media