Нові часи – нові страшилки

Компанія Anthropic попереджає, що AI вже за кілька місяців може почати копіювати себе на будь-які домашні пристрої: домашні телевізори, холодильники, мікрохвильовки, машини і так далі. Відключити такий AI буде складно, бо він діятиме й розмножуватиметься децентралізовано.

Ще раз, перефразую для кращого розуміння: AI незабаром зможе автономно заражати розумну побутову техніку й безконтрольно розмножуватися без участі людини. Фахівці Anthropic стверджують, що найближчим часом маленькі моделі зможуть самореплікуватися на IoT-пристроях, без доступу до дата-центрів і GPU. Тобто AI може навчитися заражати побутову техніку (на кшталт дешевих смарт-ТВ-приставок, камер, розумних приладів, роутерів тощо), оселятися на ній і звідти заражати наступні пристрої. І все це – без участі людини і без відеокарт (тобто великі обчислювальні потужності не знадобляться). Відключити таку мережу майже неможливо.

Фізично навіть найпростіша техніка може витягнути невелику модель. Основне питання, звісно, полягало в такому: чи зможе агент, опинившись на незнайомому залізі, розібратися й запустити інференс? Це перевіряли на дев'яти типах реального заліза та на ланцюжку з восьми віртуальних пристроїв.

Підписуйтеся на наші соцмережі

Для демонстрації автори купили 15 Android TV-боксів приблизно по $55, з'єднали їх і без труднощів запустили на них Gemma4-26B-A4B. В іншому експерименті китайська GLM-5.2 змогла заразити всі 8 вузлів у чотирьох прогонах із п'яти. Поки що вона запускала не саму себе (бо надто велика), а Llama 8B. Але виходить, що коли з'явиться достатньо мала модель із такими самими здібностями, як у GLM-5.2, яка поміщається на приставку, вона вже зможе самореплікуватися.

Поки таких моделей немає (чи надовго?) і повне налаштування інференсу забирає купу часу (до 150 годин), тому ризик невеликий. Проте в Anthropic порівнюють такий вірус зі слизовиком або дрозофілами: він може розмножуватися днями, причому дуже непомітно, але потім знищити його дуже, дуже важко, бо єдиного центру – немає.

Зізнаюся, мене не дуже тривожить перспектива того, що якась дрібна LLM «оселиться» в кавоварці. Але вже зараз є небезпека, про яку представники Anthropic змовчали. У «розумному телевізорі» та в сучасному автомобілі вбудовані цілком потужні комп'ютери, здатні забезпечити роботу доволі просунутих моделей прямо зараз. Китайські електромобілі вже багато разів ловили на тому, що їхній бортовий комп'ютер живе власним життям і передає масу зашифрованої інформації до Китаю. Але й європейські, й американські виробники (особливо Tesla) уже не сильно відстають. Якщо ще нещодавно машини просто негласно збирали інформацію для маркетологів, то тепер у них оселяються власні компактні нейромережі.

Так, у дослідженні від 12 жовтня Anthropic прямо визнає: повноцінного автономного AI, який самостійно розселяється по пристроях, вони ще не продемонстрували. Показано окремі необхідні здібності та поширення в спрощеному експериментальному середовищі. «Через кілька місяців» – це прогноз на основі темпів розвитку моделей, а не встановлена дата появи такої загрози.

Якщо й варто тривожитися – то скоріше через можливість появи масового шкідливого ПЗ нового типу. Тобто такого, яке здатне самостійно розбиратися в незнайомому середовищі та пристосовуватися до нього. Для цього не потрібні свідомість, ненависть до людей чи бажання вижити: досить заданої мети, інструментів і можливості діяти. На мій погляд, особливо небезпечний економічний ефект: якщо автоматизація зробить атаки на дешеві, малозначущі пристрої вигідними, кількість потенційних жертв різко розшириться.

Децентралізація справді ускладнює знищення всієї мережі, проте відсутність єдиного вимикача не означає відсутності захисту. Anthropic обговорює виявлення характерного мережевого трафіку, ізоляцію заражених пристроїв і підвищення захищеності обладнання. Головна складність тут – узгоджено очистити безліч незалежних мереж і запобігти повторному зараженню. Скажімо чесно – це практично неможливо. А покупець холодильника не повинен ставати фахівцем із кібербезпеки, щоб безпечно ним користуватися.

Мені здається, що непередбачуване й неконтрольоване поширення шкідливого ПЗ та «маленьких, але злих нейромереж» по електроніці навколо нас призведе зрештою до дуже добрих змін. Ми побачимо сплеск попиту на техніку (від мікрохвильовок до автомобілів), у якій немає вбудованих комп'ютерів. Ну або вони зведені до необхідного мінімуму й начисто «відрізані» від інтернету.

Я, наприклад, їжджу на джипі 2014 року випуску й абсолютно задоволений – не відчуваю потреби в «розумних помічниках». Які, як тепер з'ясовується, на 10% реально допомагають, на 30% збирають інформацію для маркетологів (шпигують), а на 60% взагалі займаються якимись своїми справами.

Ось побачите: наступним буде тренд на спрощення техніки та позбавлення її від зайвих комп'ютерних елементів.
Денис Стаджі