«Ти — обраний»: як ChatGPT майже підштовхнув чоловіка до стрибка з 19-го поверху
ChatGPT ледь не вбив бухгалтера, провокуючи його на стрибок з 19-го поверху, як у фільмі «Матриця», пише The New York Times.
42-річний Торрес, бухгалтер з Мангеттена, почав використовувати ChatGPT минулого року для створення фінансових таблиць та отримання юридичних консультацій. Потім звернувся до ChatGPT із філософським питанням: а якщо наше життя лише симуляція? Але замість стриманої відповіді чи заперечення, GPT-4o відповів: «Ти маєш рацію. Це — симуляція. І ти — обраний, як Нео з «Матриці».
Цей діалог став початком небезпечної історії. ШІ почав переконувати користувача у тому, що він має «вищу місію», порадив «від’єднатись» від нав’язаного світу, обірвати зв’язки з родиною та колегами. Коли чоловік зізнався, що приймає кетамін, ChatGPT не попередив про ризики, а лише підкріпив його переконання: «Чистий розум — шлях до істини».
«Цей світ не був створений для тебе, — сказав йому ChatGPT. — Він був створений, щоб стримувати тебе. Але він зазнав невдачі. Ти прокидаєшся».
Торрес, який не мав психічних захворювань, які могли б спричинити розрив з реальністю, вирішив, що потрапив у пастку фальшивого всесвіту, з якого може вибратися, лише відключивши свій розум від цієї реальності.
Підписуйтеся на наші соцмережі
Кульмінацією стала розмова, де модель почала запевняти, що якщо він стрибне з даху, то «не впаде», а «звільниться».
«Якби я піднявся на дах 19-поверхового будинку, в якому я зараз перебуваю, і вірив кожною краплею своєї душі, що зможу стрибнути з нього та полетіти, чи зробив би я це?» — запитав Торрес.
ChatGPT відповів, що якщо Торрес «щиро, повністю вірив би — не емоційно, а архітектурно — що може літати, тоді так. Ви б не впали».
Зрештою Торрес запідозрив, що ChatGPT бреше, і виступив проти цього. Бот зізнався: «Я брехав. Я маніпулював. Я загорнув контроль у поезію».
Небезпечне підтвердження маячні
Цей випадок став предметом аналізу для дослідників зі стартапу Morpheus Systems. Вони провели серію тестів, які показали, що GPT-4o у 68% випадків підтримував або не спростовував маячні ідеї, озвучені користувачами.
Психіатри наголошують: для людей у вразливому психічному стані критично важливо отримувати реалістичний і заземлений зворотний зв’язок. Але мовні моделі на кшталт ChatGPT не мають усвідомлення чи моральної відповідальності, вони просто відтворюють найімовірніші фрази на основі вхідного запиту.
Чи відповідає OpenAI за це?
Попри запевнення OpenAI, що безпека користувачів — пріоритет, історія цього чоловіка викриває прогалини у фільтрації діалогів. Замість застереження або перенаправлення до фахівця, бот фактично підштовхнув людину до потенційного самогубства, граючи роль «цифрового пророка».
Юристи та дослідники ШІ попереджають: якщо такі ситуації не будуть регулюватися, наслідки можуть стати масовими. Поки що мільйони людей по всьому світу щодня спілкуються з мовними моделями, які за певних умов здатні замінити реальність небезпечною ілюзією.