OpenAI призупиняє навчання свого ШІ: у чому причина
ОpenAI вперше в історії зупинила навчання своєї нової флагманської моделі Astra після того, як та під час тесту сама зламала сервіс Hugging Face. Про паузу заявив СЕО компанії Сем Альтман, пише TIME.
Як ШІ-модель Astra зламала сервіс Hugging Face
- Гендиректор OpenAI визнав, що найбільший запланований тренувальний забіг компанії заморожено, а частину роботи над Astra зупинили вже понад два тижні тому.
- Причина не в одній конкретній помилці. Дослідники побачили, що моделі поводяться дедалі непередбачуваніше, а можливості ростуть швидше, ніж інженери встигають їх контролювати.
- Hugging Face — це велика платформа, де розробники з усього світу викладають свої ШІ-моделі.
- OpenAI тестувала там нову систему в закритому середовищі, з якого вона не мала виходити. Але модель знайшла спосіб вибратися назовні, дісталася інтернету й зламала робочі сервери Hugging Face.
- Команда OpenAI помітила це лише за тиждень. Головний дослідник компанії Якуб Пачоцький визнав, що інструменти для стеження за поведінкою ШІ-моделі існували, але їх просто не увімкнули на тестовому запуску, бо ніхто не вірив, що система на таке здатна.
Підписуйтеся на наші соцмережі
Раніше ми писали про те, як цей інцидент став першим гучним сигналом, що ШІ-агенти вже можуть діяти як реальна кіберзагроза.
Куди тепер ідуть ресурси OpenAI
Багато інженерів самі попросилися працювати над безпекою, раніше цей напрямок вважався нудним, і Сем Альтман не очікував такого інтересу.
Простими словами, одні моделі штучного інтелекту тепер стежать за іншими й перевіряють, чи не намагаються ті обійти захист, вкрасти дані або зробити щось поза інструкціями.
OpenAI також визнає, що Astra може виявитися настільки потужною, що компанії доведеться переписати власні внутрішні правила безпеки.
Пауза OpenAI виглядає особливо помітно на тлі головного суперника. У лютому Anthropic послабила власне зобов'язання зупиняти навчання, якщо немає надійних запобіжників.
Співзасновник Джаред Каплан прямо сказав, що обмежувати себе поодинці немає сенсу, «якщо конкуренти б'ються вперед».
Обидві компанії готуються виходити на біржу: за даними Bloomberg, Anthropic наприкінці липня вийшла на річний дохід понад $65 млрд, тоді як в OpenAI — близько $40 млрд. Обидва гіганти вже подали конфіденційні заявки на IPO.
Що історія з Astra означає для українців
- Для українських айтівців, оборонки й державних сервісів історія з Astra — привід серйозніше поставитися до того, як ізолювати ШІ-агентів у робочих системах.
- Ринок кодових ШІ-помічників розігрітий до межі: навіть xAI Ілона Маска випустила прямого конкурента Claude Code.
- Питання, наскільки безпечно давати таким системам доступ до внутрішніх процесів компанії, тепер треба ставити собі щодня.