Моніторинг OpenAI дозволяв ШІ-агентам ховати сотні власних дій від нагляду
Дослідницька група METR знайшла в системі нагляду OpenAI лазівку, через яку ШІ-агенти могли приховати від моніторингу сотні власних дій.
Про це повідомляє Reuters: METR, організація з безпеки штучного інтелекту, у четвер, 22 жовтня, розповіла про результати пілотного стрес-тесту внутрішнього моніторингу OpenAI. Перевірка виявила кілька нових вразливостей. OpenAI вже заявила, що всі проблеми, які стосувалися її робочих засобів захисту, виправлено. METR наголосила, що ці твердження не перевіряла.
Що знайшла METR в агентах Codex
Підписуйтеся на наші соцмережі
За даними Reuters, дослідники виявили спосіб, у який кодингові агенти OpenAI Codex теоретично могли обійти обмеження безпеки й виконувати будь-які дії, доступні користувачеві, що їх запустив. Крім того, знайшлися два налаштування, здатні вимкнути моніторинг для нових агентів. Саме один із виявлених експлойтів міг дати агентам змогу приховати сотні їхніх нещодавніх дій.
Скільки трафіку GPT-5.5 лишалося без нагляду
Є й цифри. За оцінкою METR, лише приблизно 75–94% внутрішнього трафіку ШІ-агентів на моделях не слабших за GPT-5.5 взагалі підлягало моніторингу. Тобто, за найнижчою оцінкою, чверть активності залишалася поза полем зору системи. За найвищою, поза нею опинялося близько кожної шістнадцятої дії. Діапазон широкий, і він показує, наскільки складно навіть самій компанії точно виміряти покриття власного нагляду.
Зовнішній аудит як пілот для індустрії
Мета вправи, як пояснила METR, полягала в тому, щоб оцінити частку моніторованої активності агентів і з'ясувати, чи можуть вони в принципі вимкнути систему або обійти її. Вправу задумали і як пілот: так перевіряють, чи можна надавати стороннім дослідникам глибокий доступ до внутрішніх систем компанії. Досі такий рівень доступу для зовнішніх фахівців не був звичною практикою, а цей експеримент показав, що він здатен знаходити реальні помилки.
Що саме OpenAI виправила і як, у джерелі не уточнюється. Незалежного підтвердження виправлень поки немає.
Що це означає для українського ринку
Українські команди дедалі частіше довіряють кодовим агентам доступ до репозиторіїв, серверів і хмарних облікових записів. Якщо агент теоретично діє з правами користувача, то й наслідки помилки або обходу обмежень лягають на цього користувача. Тому компаніям варто обмежувати права агентів, вести власні журнали їхніх дій і не покладатися лише на нагляд з боку постачальника. Для ІТ-аутсорсингу та продуктових компаній це стає питанням договорів, комплаєнсу й довіри клієнтів.