Головна Штучний інтелект

OpenAI покращила нейронну активність мовних моделей

2 хвилин читання

Прогресом у розумінні нейронної активності мовних моделей поділилася компанія OpenAI. Вона розділила GPT-4 на 16 млн функцій, чим покращила методи навчання, повідомляє компанія. 

OpenAI розробила алгоритми, які навчають нейронні мережі. У компанії кажуть: поки що мережі недостатньо вивчені, тому про повну безпеку штучного інтелекту не йдеться. 

Компанія намагається зрозуміти всі деталі нейронних мереж, для цього шукає корисні будівельні блоки для нейронних обчислень. 

Підписуйтеся на наші соцмережі

OpenAI використала різноманітні автокодери на GPT-2 small і GPT-4, зокрема автокодер із 16 млн функцій на GPT-4. 

Читайте також: OpenAI планує суттєво знизити вартість токенів — одиниць, якими вимірюється і тарифікується використання ШІ-моделей. Компанія готується до цього кроку, побоюючись, що Anthropic зробить аналогічний хід першою. Якщо це станеться, ШІ для бізнесу може стати помітно доступнішим, пише Android Authority. 
На жаль, нейронні активації всередині мовної моделі активуються за непередбачуваними моделями, що представляють багато концепцій одночасно. Вони також активуються щільно, тобто кожна активація завжди спрацьовує на кожному вході. Але концепцій реального світу дуже мало — у будь-якому контексті релевантною є лише невелика частка всіх концепцій.
заява OpenAI

Це спонукає до розрідження автокодерів, важливих для отримання результату, схожого на набір понять, які люди можуть мати на увазі думаючи про ситуацію.

Проблеми з навчанням автокодерів досі існують, додають у компанії. Робота потребує масштабування, щоб були видні результати.

Інші матеріали

штучний інтелект OpenAI GPT-4 Нейронна мережа Редакція
Читати на speka.media