Головна Штучний інтелект

ChatGPT не зміг відповісти на більшість запитань про програмування

1 хвилин читання

Дослідники з Університету Пердью у США вирішили перевірити, наскільки добре один із найпопулярніших генеративних ШІ — ChatGPT — може відповідати на запитання про програмування, повідомляє TechSpot.

Дослідники поставили ChatGPT 517 запитань із Stack Overflow — популярного ресурсу запитань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 людей, які мали досвід програмування, оцінити відповіді ШІ за критеріями правильності, послідовності, вичерпаності та лаконічності.

Результати розчарували. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.

Ми помітили, що тільки тоді, коли помилка у відповідь ChatGPT є очевидною, користувач може її ідентифкувати.
стверджують дослідники
Читайте також: OpenAI планує суттєво знизити вартість токенів — одиниць, якими вимірюється і тарифікується використання ШІ-моделей. Компанія готується до цього кроку, побоюючись, що Anthropic зробить аналогічний хід першою. Якщо це станеться, ШІ для бізнесу може стати помітно доступнішим, пише Android Authority. 

Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників однаково віддавали перевагу йому через приємний, впевнений і позитивний тон ШІ. 

Інші матеріали

штучний інтелект ШІ програмування Stack Overflow chatGPT програмісти Редакція
Читати на speka.media