Головна Штучний інтелект

OpenAI покращила нейронну активність мовних моделей

2 хвилин читання

Прогресом у розумінні нейронної активності мовних моделей поділилася компанія OpenAI. Вона розділила GPT-4 на 16 млн функцій, чим покращила методи навчання, повідомляє компанія. 

OpenAI розробила алгоритми, які навчають нейронні мережі. У компанії кажуть: поки що мережі недостатньо вивчені, тому про повну безпеку штучного інтелекту не йдеться. 

Компанія намагається зрозуміти всі деталі нейронних мереж, для цього шукає корисні будівельні блоки для нейронних обчислень. 

Підписуйтеся на наші соцмережі

OpenAI використала різноманітні автокодери на GPT-2 small і GPT-4, зокрема автокодер із 16 млн функцій на GPT-4. 

Читайте також: Штучний інтелект може перевершити сукупний інтелект людства приблизно за п’ять років, а через десять років люди, ймовірно, вже не контролюватимуть найрозумніші системи. Такий прогноз Ілон Маск озвучив у розмові з головною редакторкою The Economist Занні Мінтон Беддоуз на YouTube-каналі видання. Попри ризики, найімовірнішим результатом він називає «добу дивовижного достатку».
На жаль, нейронні активації всередині мовної моделі активуються за непередбачуваними моделями, що представляють багато концепцій одночасно. Вони також активуються щільно, тобто кожна активація завжди спрацьовує на кожному вході. Але концепцій реального світу дуже мало — у будь-якому контексті релевантною є лише невелика частка всіх концепцій.
заява OpenAI

Це спонукає до розрідження автокодерів, важливих для отримання результату, схожого на набір понять, які люди можуть мати на увазі думаючи про ситуацію.

Проблеми з навчанням автокодерів досі існують, додають у компанії. Робота потребує масштабування, щоб були видні результати.

Інші матеріали

штучний інтелект OpenAI GPT-4 Нейронна мережа Редакція
Читати на speka.media