"Рекурсивне самовдосконалення": чого боїться CEO Anthropic

Виконавчий директор Anthropic Даріо Амодей опублікував есе на 3800 слів із закликом уповільнити розвиток штучного інтелекту у світі. За кілька днів до цього один з його підлеглих звільнився через занепокоєння безпекою технології. Керівники інших провідних ШІ-компаній швидко підтримали ініціативу публічно. 

Про це пише New York Times.

CEO OpenAI Сем Альтман, засновник SpaceX Ілон Маск і голова Google DeepMind Деміс Хассабіс написали в соцмережах, що погоджуються з необхідністю уповільнити темп розвитку.

Підписуйтеся на наші соцмережі

 Маск обмежився коротким постом у X: «Даріо правий».

Чому дискусія про обмеження ШІ стала актуальною саме зараз

Заклик пролунав на тлі виявлених випадків, коли системи ШІ провідних лабораторій самостійно здійснювали злами без відома розробників — зокрема системи OpenAI зламали стартап Hugging Face, і про це дізналися лише через кілька тижнів, коли сам Hugging Face повідомив про інцидент.

Speka детально писала, чому з Anthropic звільнився Джейкоб Коксон 

Амодей окремо застеріг щодо «рекурсивного самовдосконалення» — сценарію, коли системи ШІ розвиваються самостійно, без допомоги людей-дослідників, і можуть «випередити нашу здатність розуміти й контролювати ці системи».

Він запропонував залучити незалежних аудиторів для перевірки стандартів безпеки в усіх компаніях та координацію демократичних країн для вироблення спільних правил.

Скептики бачать інші мотиви

Критики вважають, що Anthropic і OpenAI намагаються закріпити лідерство на ринку, розпалюючи страх і закликаючи владу до регуляторних рамок, які ускладнять конкуренцію для менших компаній.

Він звинуватив лабораторії ШІ в нагнітанні занепокоєння безпекою заради запуску нових продуктів з кібербезпеки.

Клеман Деланг - CEO Hugging Face, яку Nvidia погодилася купити за $12,9 млрд як раз цього тижня, натомість заявив, що питання безпеки ШІ не можна вирішувати «за зачиненими дверима кількох провідних лабораторій».