Штучний інтелект і хвороба Альцгеймера: чи старіють мовні моделі?

Чи можуть мовні моделі штучного інтелекту старіти та демонструвати ознаки когнітивного спаду? Науковці спробували перевірити, чи можуть великі мовні моделі виявляти ознаки когнітивного зниження подібно до того, як це відбувається у людей, пише BMJ.

Дослідження когнітивних здібностей великих мовних моделей

Вчені вирішили перевірити, як ШІ впорається із завданнями, які для людини є досить простими, але водночас можуть свідчити про наявність когнітивних порушень. Для цього п'ятьом великим мовним моделям було запропоновано пройти Монреальський тест на когнітивні здібності (MoCA). Тест оцінює пам’ять, увагу, мовлення, орієнтацію у просторі та інші когнітивні навички.

Підписуйтеся на наші соцмережі

Які результати дослідження тесту великих мовних моделей на старіння?

Виявилося, що старіші версії GPT-4, Gemini 1 та Gemini 1.5 та Claude показали гірші результати, ніж їхні новіші аналоги. Зокрема, вони допускали більше помилок у завданнях на відтворення слів і числових послідовностей, що є характерним для людей із початковими стадіями деменції.

Цікаво, що навіть найсвіжіші моделі не впоралися з деякими аспектами тесту. Наприклад, завдання на малювання годинника виявилося проблемним для всіх протестованих ШІ, що пояснюється їхньою текстовою природою. Однак це підняло питання: чи можуть мовні моделі, які використовують для медичних консультацій, самі мати «когнітивні» обмеження?

Дослідники зазначають, що результати тесту MoCA не означають буквального «старіння» ШІ, але вказують на поступову втрату певних навичок у міру оновлення моделей. Це може бути наслідком змін у навчальних наборах даних або алгоритмах оптимізації.