Таємна ефективність ШІ: як LLM кодують Теорію Розуму

Розвиток Великих мовних моделей (LLM) знову привертає увагу до їхньої здатності до соціального інтелекту, зокрема до Теорії Розуму (ToM) — навички розуміти ментальні стани інших. У цьому матеріалі ми розглянемо ключові висновки дослідження вчених із Технологічного інституту Стівенса щодо того, які архітектурні компоненти LLM відповідають за ToM і чому це викриває значну проблему неефективності сучасного ШІ. Видання Neuroscience News написало про це революційне відкриття, а ми підготували виклад найважливішого для розуміння майбутнього технології.

Людська ToM: зразок енергоефективності

Теорія Розуму — це не просто емоційна, а фундаментальна когнітивна здатність, яка дозволяє нам приписувати іншим людям певні ментальні стани — переконання, бажання, наміри, знання. Ця навичка «читання думок» є основою соціальної взаємодії та дає нам змогу прогнозувати поведінку. Класичний приклад, який використовується в психології, стосується переконання першого порядку: якщо персонаж А поклав шоколад у коробку і вийшов, а персонаж Б переклав його в шухляду, то спостерігач, що володіє ToM, знає, що персонаж А шукатиме шоколад у коробці, оскільки він не знає про його переміщення. Це є інференцією про хибні переконання іншої особи.

Для людського мозку ця операція виконується автоматично і швидко, залучаючи при цьому лише невелику підмножину нейронів. Це свідчить про надзвичайну енергоефективність природного інтелекту.

Неефективність LLM та архітектурний парадокс

На противагу цьому, Великі мовні моделі (LLM), попри свою потужність, є вроджено неефективними. Вони змушені активувати майже всю свою нейронну мережу для виконання кожного завдання. Це стосується як складних міркувань, так і найпростіших запитів (наприклад, резюмування «Мобі Діка» проти запитання про час).

Ця системна надлишковість означає, що LLM виконують багато зайвих обчислень — вони розраховують багато потенційних шляхів, які не є критично важливими для конкретного запиту, що призводить до значних обчислювальних та енергетичних витрат. Саме ця неефективність робить масштабування ШІ такою дорогою і складною задачею.

Підписуйтеся на наші соцмережі

Ключове відкриття: ToM-міркування закодовані у 0.001% параметрів

Спільна робота дослідників Zhaozhuo Xu (комп’ютерні науки) та Denghui Zhang (інформаційні системи та аналітика) із Технологічного інституту Стівенса виявила парадоксальний механізм, що лежить в основі соціальних здібностей LLM.

У статті, опублікованій у Nature Partner Journal on Artificial Intelligence (28 серпня 2025 р.), було доведено: попри повну активацію мережі, LLM використовують невелику, спеціалізовану та розріджену підмножину параметрів для виконання міркувань ToM. Ці внутрішні «розріджені схеми» відповідають за відстеження переконань та перспектив.

Для перевірки цієї гіпотези, дослідники застосували метод для ідентифікації та навмисного порушення цих ToM-чутливих параметрів. Вони встановили, що порушення лише 0,001% від загальної кількості цих параметрів призводило до значного погіршення продуктивності моделі в завданнях ToM. Це свідчить про те, що соціальні здібності моделей не є дифузним явищем, а закодовані в чітко визначеному, хоча й мінімальному, внутрішньому кластері з'єднань.

Критично важливим побічним ефектом пертурбації було те, що вона також погіршувала контекстну локалізацію та загальне розуміння мови моделлю, підкреслюючи, що ці схеми є фундаментальними для обробки послідовності та формування контексту.

Архітектурний код: RoPE як ключ до перспективи

Найважливішим інженерним висновком дослідження стала роль Роторного позиційного кодування (Rotary Position Embedding, RoPE).

Позиційне кодування є життєво необхідним компонентом LLM, оскільки механізм уваги (Attention Mechanism) сам по собі не враховує порядок слів. RoPE — це просунута форма такого кодування, і дослідники виявили, що ці розріджені внутрішні схеми ToM сильно залежать від RoPE.

RoPE не просто надає інформацію про позицію — воно сильно формує те, як моделі представляють переконання та перспективи. Ці «особливі зв'язки» впливають на механізм уваги LLM, модулюючи кут між векторами запитів (queries) та ключів (keys). Іншими словами, RoPE керує тим, як модель «фокусується» на різних словах та ідеях під час міркувань про чиїсь думки.

Таким чином, здатність моделі до соціальних висновків прямо корелює зі здатністю її архітектури точно відстежувати позиційну інформацію та відносини між словами. Порушення ToM-чутливих параметрів руйнує саме ці домінантні частотні активації, критичні для точної контекстної обробки.

Практичне значення: шлях до енергоощадного ШІ

Це дослідження, хоча й зосереджене на когнітивних здібностях, має величезне прикладне значення для інженерії ШІ. Воно чітко окреслює неефективність сучасних систем, які витрачають надмірну енергію на виконання простих завдань.

Виявлення розріджених схем відкриває прямий шлях до створення нових архітектур LLM, натхненних мозком (brain-inspired designs). Кінцева мета полягає у розробці моделей, які функціонують більш вибірково. Замість того, щоб активувати всю мережу, майбутні моделі повинні будуть залучати лише ті параметри, які є релевантними для конкретного завдання.

Це дозволить різко знизити обчислювальні та енергетичні витрати. Фактично, розуміння того, як LLM кодують складну соціальну навичку, як ToM, за допомогою мінімальної кількості параметрів, є першим кроком до створення енергоефективного, масштабованого та більш екологічного штучного інтелекту, який зможе конкурувати з людиною не лише за швидкістю, а й за ресурсною доцільністю.

Глосарій ключових понять

Цей матеріал підготовлений на основі інформації з відкритих джерел. Редакція самостійно відбирає ключові факти, аналізує їх та структурує за допомогою AI-інструментів.