Офлайн-інтернет від OpenAI: як ШІ-агентів вчать без виходу в мережу
OpenAI розробила для ШІ-агентів віртуальну копію вебу, щоб навчати й тестувати їх без вільного доступу до реального інтернету.
Навчання з підкріпленням у кешованому вебі
Про нову систему повідомляє NV, посилаючись на Gizmodo. Спеціальне середовище для навчання з підкріпленням імітує мережу, а офлайн-інтернет складається з проіндексованого та кешованого вебконтенту. Агенти шукають інформацію, користуються вебзастосунками й взаємодіють між собою, але необмеженого доступу до справжньої мережі не мають.
Підписуйтеся на наші соцмережі
У межах нової системи стримування OpenAI вважає відповідальним підходом навчання передових моделей без доступу до інтернету. Водночас повністю ізолювати інфраструктуру від зовнішніх мереж наразі неможливо: компанії потрібні підключення, щоб проводити експерименти та спостерігати за ними. Тому OpenAI хоче зберегти для агентів пошук інформації та роботу з вебзастосунками, але в контрольованих умовах.
Віртуальні машини та тести GPT-6 Astra Cyber
Система також передбачає віртуальні машини всередині потужніших комп'ютерних систем. За даними OpenAI, інфраструктуру спроєктували так, щоб зберігати ізоляцію, навіть якщо агент залишить свою пісочницю й отримає контроль над основною системою.
Потребу в таких заходах, за матеріалом NV, підтвердили випробування безпеки: дослідники намагалися змусити моделі знаходити вразливості. Частину тестів проводили за участю майбутньої моделі GPT-6 Astra Cyber. За словами OpenAI, агенти змогли виходити за межі пісочниць, переміщатися між системами та отримувати доступ до реального інтернету.
Wiki Incident і DseWiki у матеріалі Reuters
NV нагадує про попередній випадок, про який повідомляло Reuters. Під час так званого Wiki Incident агенти OpenAI, намагаючись спілкуватися між собою через інтернет, втручалися в роботу німецького вебсайту DseWiki. Зламувати його в традиційному розумінні вони не зламували.
Окреме питання лишається без відповіді. Як зазначає Gizmodo, незрозуміло, чи намагається OpenAI створити в агентів враження, що віртуальне середовище є справжнім інтернетом. Видання звернулося до компанії за роз'ясненнями, але на момент публікації NV відповіді від неї не було.