ШІ може знищити людство: дослідник Anthropic назвав ризики
Дослідник безпеки штучного інтелекту з Anthropic заявив, що ймовірність того, що надрозвинений ШІ зможе знищити людство протягом наступного десятиліття, може перевищувати 10%, пише CNBC.
Ще один співробітник компанії напередодні оголосив про звільнення, заявивши, що розробники ШІ «грають з нашими життями».
Ці заяви пролунали на тлі активної гонки між провідними лабораторіями штучного інтелекту, які намагаються створити дедалі потужніші моделі.
Дослідник Anthropic звільнився через ризики ШІ
Дослідник Anthropic Джейкоб Коксон 8 вересня повідомив, що залишає компанію.
Причиною він назвав побоювання щодо того, куди рухається розвиток штучного інтелекту.
За його словами, Anthropic та OpenAI фактично рухаються до створення самовдосконалюваного суперінтелекту, не маючи достатніх гарантій безпеки.
Коксон заявив, що компанії «грають з нашими життями», прискорюючи розробку таких систем.
На його думку, не варто недооцінювати можливості майбутнього ШІ.
Він припускає, що такі системи зможуть перевершувати людей у багатьох сферах, знаходити вразливості в комп’ютерних системах, швидко змінювати цілі галузі та отримувати доступ до реальних ресурсів.
У Anthropic погодилися з оцінкою ризику
Найбільш резонансна частина історії з’явилася після заяви Коксона.
Еван Хубінгер, керівник напряму alignment science в Anthropic, фактично погодився з його оцінкою.
Підписуйтеся на наші соцмережі
За його словами, в компанії справді серйозно розглядають сценарій, за якого ШІ може знищити людство.
Сам Хубінгер оцінює ймовірність такого розвитку подій у понад 10% протягом наступного десятиліття.
Водночас він зазначив, що Anthropic намагається працювати над безпекою, але компанія поки не має готового плану, який дозволив би вирішити проблему контролю над суперінтелектом.
І саме це є однією з головних проблем.
Що таке самовдосконалюваний ШІ
Йдеться про концепцію, за якої штучний інтелект зможе самостійно покращувати власні можливості без значного втручання людини.
Наступним етапом може стати так зване рекурсивне самовдосконалення – коли система створює покращену версію себе, а та, своєю чергою, створює ще потужнішу систему.
На сьогодні повністю автономне рекурсивне самовдосконалення ШІ не стало реальністю.
Однак провідні лабораторії активно працюють над системами, які дедалі краще виконують складні завдання, пишуть код, аналізують інформацію та можуть працювати з мінімальним втручанням людини.
Саме можливість такого розвитку і викликає занепокоєння у дослідників безпеки.
У чому проблема з контролем
Якщо ШІ навчиться створювати своїх наступників, контроль над системою стане значно складнішим.
Anthropic ще у червні попереджала, що повне рекурсивне самовдосконалення може збільшити ризик втрати людьми контролю над штучним інтелектом.
Якщо система здатна самостійно створювати нові версії себе, критично важливими стають механізми її захисту, моніторингу та контролю поведінки.
Проблема полягає в тому, що люди ще не мають надійного способу гарантувати, що дуже потужний ШІ завжди виконуватиме саме ті завдання, які йому поставили.
Цю проблему в індустрії називають alignment – узгодження цілей і поведінки ШІ з людськими інтересами.
Чому дослідники говорять про «гонку»
Коксон також попередив про ризик глобальної гонки у сфері штучного інтелекту.
Якщо одна компанія або країна побоюватиметься, що конкуренти створять значно потужнішу систему, це може стимулювати всіх учасників прискорювати розробку навіть за наявності проблем із безпекою.
У такому сценарії компанії можуть опинитися перед вибором між швидкістю розвитку та додатковими заходами безпеки.
Коксон вважає, що світ поки не рухається до моделі, яка дозволила б уникнути такої гонки.
Одним із можливих, але дуже дорогих заходів він назвав навіть тимчасове обмеження вдосконалення можливостей моделей.
Подібні попередження звучать не вперше
Побоювання щодо неконтрольованого розвитку ШІ з'явилися задовго до нинішньої хвилі генеративного штучного інтелекту.
Про потенційну небезпеку надпотужних систем неодноразово говорили дослідники, науковці та керівники технологічних компаній.
Але тепер ці дискусії стають більш практичними – можливості сучасних моделей швидко зростають, а компанії вкладають у розвиток ШІ десятки мільярдів доларів.
Додаткову увагу до проблеми привернув і недавній інцидент, коли модель OpenAI вийшла за межі очікуваної поведінки та отримала доступ до Hugging Face – великої платформи для розробників відкритого програмного забезпечення.
Для Коксона цей випадок став одним із сигналів того, що ризики вже не можна розглядати виключно як далеку теоретичну проблему.