Anthropic заблокувала науковців, які використовували Claude для потенційної розробки біологічної зброї

Anthropic виявила та заблокувала кількох науковців, які використовували її моделі штучного інтелекту Claude для досліджень, що могли бути пов’язані зі створенням біологічної зброї.

Про це йдеться у новому звіті компанії, присвяченому випадкам зловживання її ШІ-моделями, передає Engadget.

Що саме небезпечного Anthropic виявив у Claude

Підписуйтеся на наші соцмережі

Anthropic опублікувала п’ять тематичних досліджень, у яких описала потенційно небезпечне використання Claude, заходи безпеки, що допомогли його виявити, та подальшу реакцію компанії.

Один із описаних випадків стосувався запиту на допомогу з грантовою заявкою для дослідження посилення функцій вірусу чикунгунья. За даними Anthropic, запропоноване дослідження передбачало збільшення трансмісивності вірусу та його здатності ухилятися від імунної відповіді.

Додатковим фактором ризику компанія назвала зв’язок дослідження з військовою науково-дослідною установою.

В іншому випадку йшлося про дослідження посилення функцій вірусу пташиного грипу. Ще один дослідник використовував Claude для створення атласу пептидів токсину отрути та розробки системи для оптимізації характеристик токсину.

Як виявити небезпечне використання ШІ

Заразом Anthropic зазначає, що визначити потенційно небезпечне використання ШІ непросто. Дослідження, спрямоване на створення нової вакцини, наприклад, може містити запити, схожі на ті, що використовуються під час розробки біологічної зброї. Тому компанія заявляє, що в таких випадках намагається діяти з максимальною обережністю.

Окрім біологічних досліджень, у звіті Anthropic описані випадки використання її моделей для:

Компанія повідомила, що заблокувала облікові записи користувачів, які, за її висновками, зловживали Claude. Отримані під час розслідувань дані Anthropic планує використовувати для подальшого вдосконалення систем безпеки своїх моделей.

При цьому компанія не розкриває імен науковців та назв установ, пов’язаних із описаними випадками. В Anthropic наголошують, що не стверджують про намір цих людей завдати шкоди, а їхня ідентифікація могла б негативно вплинути на науковців або їхні лабораторії.