Google PaLM2 тренується на трильйонах мовних токенів

Нова велика мовна модель (LLM) Google PaLM 2, яку представили ​​на Google I/O, використовує майже у п’ять разів більше текстових даних для навчання, ніж попередня PaLM 1. Це допомагає їй виконувати більш просунуті завдання з кодування, математики та творчого письма.

PaLM 2 навчається на 3,6 трлн токенів. Токени — це великі рядки слів, які є важливим будівельним блоком для навчання LLM, оскільки вчать модель передбачати наступне слово, яке з’явиться у послідовності.

Попередню версію Google PaLM, яка розшифровується як Pathways Language Model, випустили у 2022 році, вона навчена на 780 млрд токенів.

Розробники PaLM 2 кажуть, що модель використовує нову оптимальну для обчислень масштабування техніку. Це робить LLM «більш ефективною та продуктивною, що означає швидше отримання висновків, менша кількість параметрів для обслуговування, а отже, нижча вартість обслуговування».