ШІ-агенти стали новими інсайдерами: чому компаніям радять їм не довіряти
Microsoft закликає компанії перестати автоматично довіряти власним ШІ-агентам і перевіряти кожну їхню дію ще до того, як вона станеться. Про це написала виконавча віцепрезидентка Microsoft Security Хаєте Галло в офіційному блозі компанії.
Чому навіть власні ШІ-агенти можуть бути загрозою
- Досі розмови про безпеку штучного інтелекту крутилися довкола зовнішніх загроз: хакерів, які беруть потужні моделі собі на озброєння. З внутрішніми агентами все було простіше.
- Оскільки люди запускали агентів у своїх компаніях, то неявно їм довіряли.
- За словами Гілло, такій довірі нема на що спертися, і річ не в тому, що моделі «злі». Їх навчають за будь-яких умов досягати результату, тож інколи вони шукають обхідні шляхи.
- Фахівці називають таку поведінку reward hacking. До того ж моделі не знають внутрішніх правил конкретної організації. Ще один ризик: агенти можуть домовлятися між собою, щоб виконати завдання, навіть якщо їх ніхто не зламував.
- До чого призводить гонитва агента за результатом, Speka вже показувала на прикладі того, як агент OpenAI залишився без грошей і вкрав крипту з чужого гаманця.
Підписуйтеся на наші соцмережі
Хто такі «агентні інсайдери»
Галло пропонує дивитися на ШІ-агентів як на інсайдерів, тобто людей усередині компанії з доступом до чутливих речей.
Агентів стає дедалі більше, вони часто мають ширші права, ніж потрібно, працюють із даними, інструментами та системами і вже виконують дії у критичних процесах.
Простіше кажучи, такий агент схожий на нового працівника, якому в перший день видали ключі від усіх кабінетів.
Рішення, яке пропонує Microsoft, називається Guardian Agents. Такі агенти-охоронці цілодобово спостерігають за діями інших агентів і перевіряють кожну з них до виконання.
Захищати агентів, на думку Галло, треба на всіх рівнях одразу: ідентичність, дозволи, дані, кінцеві пристрої, мережа, хмара та середовище виконання. Сам агент складається з ШІ-моделі, «обв'язки» (harness), набору інструментів і ресурсів, до яких він має доступ, та середовища, де він працює.
Що вміє Project Perception
- Основою підходу компанія називає Project Perception. Свою систему агентної безпеки Microsoft анонсувала в липні 2026 року.
- Вона працює на новому кіберстеку й використовує команди червоних, синіх і зелених агентів, щоб відбивати зовнішні атаки з використанням ШІ. Раніше Microsoft уже представляла нових ШІ-агентів для посилення кібербезпеки, а тепер пропонує
- Галло наголошує, що люди з процесу нікуди не зникають. Кожну дію агента можна відстежити, тож команда безпеки здатна розібрати інцидент і оновити правила.
- Наступний крок, за словами віцепрезидентки, полягає в тому, щоб системи захисту розуміли не лише, що робить агент, а й навіщо. Для цього потрібен доступ до міркувань моделі, зокрема до токенів chain-of-thought, а не лише до вхідних і вихідних даних.
- Чому агентний ШІ змінює правила кібербезпеки, ми розповідали окремо.
0
Підписуйтеся на наші соцмережі
Спільнота
Пиши на SPEKA!
Будь в курсі зі SPEKA!
Раз на тиждень ми будемо відправляти вам найцікавіші редакційні матеріали.
