Головна Оперативка

"Рекурсивне самовдосконалення": чого боїться CEO Anthropic

3 хвилин читання

Виконавчий директор Anthropic Даріо Амодей опублікував есе на 3800 слів із закликом уповільнити розвиток штучного інтелекту у світі. За кілька днів до цього один з його підлеглих звільнився через занепокоєння безпекою технології. Керівники інших провідних ШІ-компаній швидко підтримали ініціативу публічно. 

Про це пише New York Times.

Архітектори ШІ з минулорічної обкладинки Time вперше заговорили про те, що варто стримати, якщо не пригальмувати, розвиток штучного інтелекту. Справа наліво: Марк Цукерберг (Meta), Ліза Сю (AMD), Ілон Маск (SpaceX), Дженсен Хуанг (Nvidia), Сем Альтман (OpenAI), Деміс Хассабіс (Google DeepMind), Даріо Амодеї (Anthropic) і Фей-Фей Лі, професорка Стенфорду і одна з найвідоміших дослідників ШІ.

CEO OpenAI Сем Альтман, засновник SpaceX Ілон Маск і голова Google DeepMind Деміс Хассабіс написали в соцмережах, що погоджуються з необхідністю уповільнити темп розвитку.

Читайте також: AGI може з’явитися вже за кілька років — і це, за словами керівника однієї з найвпливовіших AI-лабораторій світу, стане переломним моментом для людства. CEO Google DeepMind Деміс Гассабіс під час дискусії у Stanford Graduate School of Business заявив, що штучний загальний інтелект може з’явитися близько 2030 року, «плюс-мінус рік», про що написав Business Insider. Йдеться про систему, здатну виконувати когнітивні завдання на рівні або вище людського — тобто про якісно новий етап розвитку технологій.
«Останніми місяцями я переконався, що для повноцінного усунення ризиків потрібна ще більша обачність — не лише інвестиції в запобігання ризикам, а й такий темп розвитку можливостей ШІ, щоб системи запобігання встигали за ним»,
Даріо Амодеї, CEO Anthropic

Підписуйтеся на наші соцмережі

«Це була головна тема наших обговорень в OpenAI останніми тижнями. Ідея із залученням незалежних оцінювачів з доступом на рівні співробітників — чудова, і ми зробимо те саме».
Так Сем Альтман відповів того ж дня. 

 Маск обмежився коротким постом у X: «Даріо правий».

Чому дискусія про обмеження ШІ стала актуальною саме зараз

Заклик пролунав на тлі виявлених випадків, коли системи ШІ провідних лабораторій самостійно здійснювали злами без відома розробників — зокрема системи OpenAI зламали стартап Hugging Face, і про це дізналися лише через кілька тижнів, коли сам Hugging Face повідомив про інцидент.

Speka детально писала, чому з Anthropic звільнився Джейкоб Коксон 

Амодей окремо застеріг щодо «рекурсивного самовдосконалення» — сценарію, коли системи ШІ розвиваються самостійно, без допомоги людей-дослідників, і можуть «випередити нашу здатність розуміти й контролювати ці системи».

Він запропонував залучити незалежних аудиторів для перевірки стандартів безпеки в усіх компаніях та координацію демократичних країн для вироблення спільних правил.

Скептики бачать інші мотиви

Критики вважають, що Anthropic і OpenAI намагаються закріпити лідерство на ринку, розпалюючи страх і закликаючи владу до регуляторних рамок, які ускладнять конкуренцію для менших компаній.

«Який кращий спосіб створити попит, ніж створити проблему? Хто не хоче, щоб довкола його продукту панувала істерія і черга за рогом?»,
CEO Nvidia Дженсен Хуанг на технологічній конференції в Сан-Франциско

Він звинуватив лабораторії ШІ в нагнітанні занепокоєння безпекою заради запуску нових продуктів з кібербезпеки.

Клеман Деланг - CEO Hugging Face, яку Nvidia погодилася купити за $12,9 млрд як раз цього тижня, натомість заявив, що питання безпеки ШІ не можна вирішувати «за зачиненими дверима кількох провідних лабораторій».

Інші матеріали

Ілон Маск NVIDIA OpenAI Anthropic Hugging Face Claude Розвиток ШІ Google DeepMind Дженсен Хуанг Деміс Хассабіс розвиток штучного інтелекту масштабування ШІ Даріо Амодеї інвестиції в SpaceX Редакція
Читати на speka.media