Головна Штучний інтелект

ChatGPT не зміг відповісти на більшість запитань про програмування

1 хвилин читання

Дослідники з Університету Пердью у США вирішили перевірити, наскільки добре один із найпопулярніших генеративних ШІ — ChatGPT — може відповідати на запитання про програмування, повідомляє TechSpot.

Дослідники поставили ChatGPT 517 запитань із Stack Overflow — популярного ресурсу запитань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 людей, які мали досвід програмування, оцінити відповіді ШІ за критеріями правильності, послідовності, вичерпаності та лаконічності.

Результати розчарували. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.

Ми помітили, що тільки тоді, коли помилка у відповідь ChatGPT є очевидною, користувач може її ідентифкувати.
стверджують дослідники
Читайте також: ChatGPT, Claude, Gemini і Google AI Overview по-різному описують нового премʼєр-міністра Сергія Корецького. Чотири ШІ-системи отримали однакові запити про Корецького і склали чотири різних портрети очільника уряду. Це виявили в дослідженні plusone AI.

Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників однаково віддавали перевагу йому через приємний, впевнений і позитивний тон ШІ. 

Інші матеріали

штучний інтелект ШІ програмування Stack Overflow chatGPT програмісти Редакція
Читати на speka.media