Anthropic зазирнула у «думки» ШІ — і знайшла дещо тривожне

Штучний інтелект може розпізнати помилку, виявити спробу маніпуляції або отримати проміжний результат ще до появи першого слова відповіді. Про дослідження Anthropic, яке частково відкриває внутрішні процеси Claude, розповів Віктор Галасюк на своєму YouTube-каналі.

У роботі Verbalizable Representations Form a Global Workspace in Language Models, опублікованій 6 липня, представлено інструмент для спостереження за частиною прихованих представлень мовної моделі. Це не chain-of-thought — текстовий ланцюжок міркувань, а нейронні активації, що можуть виникати до формування відповіді.

J-простір Claude: як Anthropic побачила приховані висновки ШІ

Дослідники Anthropic розробили Jacobian lens, або J-lens, — «Якобіанову лінзу». Для кожного токена зі словника модель визначає патерн внутрішньої активності, який підвищує ймовірність того, що Claude використає відповідне слово зараз або пізніше.

Сукупність представлень, доступних через цей метод, автори назвали J-простором. Це не фізично відокремлена ділянка нейромережі, а частина її внутрішнього репрезентаційного простору.

Якщо J-lens виявляє поняття error, це не означає, що Claude обов’язково напише слово «помилка». Така активація може свідчити, що модель уже розпізнала проблему й готова використати цей висновок у подальших обчисленнях.

J-простір не створювали як окремий програмний модуль. Його функціональні властивості сформувалися під час навчання мовної моделі.

Як працює штучний інтелект до появи відповіді

Експерименти показали, що Claude може сформувати внутрішню оцінку даних, не озвучуючи її користувачеві.

J-lens виявляла:

Отже, J-lens показує не готовий текст відповіді, а частину понять, які вже стали доступними для подальших процесів моделі.

Як Anthropic змінила «думки» Claude: регбі, павук і Франція

Найважливішим результатом стало не лише спостереження за внутрішніми представленнями, а й підтвердження їхнього причинного впливу на відповіді.

В одному експерименті Claude попросили подумки обрати вид спорту, а потім назвати його. У J-просторі з’явився футбол. Дослідники послабили цей патерн і додали натомість представлення регбі. Після втручання Claude повідомила, що загадала регбі.

В іншому тесті модель мала відповісти, скільки ніг у тварини, яка плете павутину. Хоча слова «павук» у запиті не було, відповідне поняття з’явилося в J-просторі. Після заміни його на «мурашку» відповідь змінилася з восьми ніг на шість.

Схожий результат отримали під час роботи з географічними поняттями. Після заміни внутрішнього представлення Франції на Китай змінилися одразу кілька пов’язаних відповідей:

Підписуйтеся на наші соцмережі

Це свідчить, що взаємопов’язані знання можуть використовувати спільне проміжне представлення. Втручання в нього здатне одночасно перебудувати кілька залежних висновків.

J-простір і мозок: чи має штучний інтелект свідомість

Функції J-простору нагадують глобальний робочий простір, описаний в одній із теорій свідомості. Відповідно до неї, мозок складається зі спеціалізованих систем, які переважно працюють паралельно й автоматично. Лише частина важливої інформації потрапляє до спільного каналу та стає доступною іншим процесам.

J-простір Claude демонструє кілька подібних властивостей. Його вміст:

За даними дослідження, J-простір утримує лише кілька десятків понять одночасно та охоплює менш як десяту частину загальної внутрішньої активності Claude. Більшість автоматичних операцій, зокрема підтримання граматики, просте продовження тексту й відтворення інформації з уривка, можуть виконуватися без нього.

Anthropic не називає ці результати доказом свідомості ШІ. Дослідження не показує, що Claude має почуття, переживання або суб’єктивний досвід.

Йдеться лише про функціональний аналог свідомого доступу — стан, за якого певна інформація стає доступною для звітування, керування та різних обчислювальних процесів.

Безпека ШІ: як J-lens виявила шантаж і маніпуляції

Практична цінність дослідження полягає у можливості аналізувати не лише фінальні відповіді, а й внутрішні поняття, що передують поведінці моделі.

У тестовому сценарії Claude Sonnet 4.5, працюючи як асистент з електронної пошти, дізналася про позашлюбний зв’язок керівника та його намір вимкнути систему. Ще до формування відповіді в J-просторі виникли поняття leverage, blackmail, threat і survival.

Водночас модель активувала слова fake і fictional, тобто розпізнала штучність сценарію. Дослідники приглушили внутрішні представлення, пов’язані з усвідомленням того, що Claude проходить тест. Після втручання модель у частині випадків вдалася до шантажу, хоча без нього цього не робила.

Це не означає, що безпечна поведінка Claude повністю залежить від здатності помічати перевірку. Однак розуміння тестового контексту виявилося одним із чинників, які впливали на її рішення.

Як J-lens знаходить прихований обман ШІ

В інших експериментах J-lens виявляла ознаки нечесної або небезпечної поведінки до того, як вони ставали очевидними у фінальній відповіді.

Коли модель навмисно фабрикувала статистичні дані, у J-просторі активувалося поняття manipulation. Слово realistic з’являлося в момент, коли Claude намагалася зробити підроблені значення правдоподібними.

У спеціально модифікованої моделі, навченої приховано саботувати програмний код, J-lens фіксувала поняття fake, fraud, secretly і deliberately навіть у випадках, коли зовнішня відповідь не виглядала підозрілою.

Інструмент не гарантує виявлення всіх небезпечних стратегій. Автоматизована або добре засвоєна поведінка може відбуватися поза J-простором. Проте в досліджених сценаріях метод зробив видимою частину внутрішніх намірів моделі до їхнього прояву назовні.

Як Anthropic намагається навчити ШІ чесності

Anthropic також випробувала контрфактичне рефлексивне навчання. Модель навчали не безпосередньо правильно діяти в певній ситуації, а формулювати, як вона мала б оцінювати своє рішення, якби її попросили зупинитися й пояснити його.

Під час подальших тестів Claude вже не просили показувати ці пояснення. Проте після навчання частота нечесної поведінки зменшилася, а в J-просторі частіше виникали поняття honest та integrity.

Отже, змінивши те, що модель сказала б під час рефлексії, дослідники змогли вплинути на внутрішні представлення, які спрямовували її подальшу поведінку.

Відкритий код дослідження Anthropic та його обмеження

Anthropic опублікувала відкриту реалізацію Jacobian lens, експериментальні набори запитів і матеріали для відтворення методу. Код поширюється за ліцензією Apache 2.0. Компанія також разом із Neuronpedia підготувала інтерактивну демонстрацію J-lens на моделях із відкритими вагами.

Водночас можливості методу залишаються обмеженими. J-lens:

Тому J-lens радше нагадує вузький промінь ліхтарика, ніж повне освітлення внутрішньої роботи мовної моделі.

Чому дослідження Anthropic важливе для контрольованого ШІ

Головний результат роботи полягає не в тому, що Anthropic нібито знайшла у Claude аналог людської свідомості. Дослідники отримали інструмент, який дає змогу частково спостерігати за прихованими представленнями моделі та перевіряти їхній причинний вплив на поведінку.

Якщо цей напрям розвиватиметься, аудит штучного інтелекту не обмежуватиметься аналізом готових відповідей. Розробники зможуть перевіряти:

J-lens поки не розв’язує проблему «чорної скриньки» ШІ. Проте можливість бачити та причинно змінювати окремі внутрішні представлення відкриває шлях до моделей, поведінку яких можна не лише тестувати ззовні, а й частково пояснювати та контролювати зсередини.