Головна Оперативка

Мінцифри та Київстар обрали базову модель для тренування національної LLM

2 хвилин читання

Міністерство цифрової трансформації України разом із Київстаром визначилися з великою мовною моделлю, на основі якої тренуватимуть національну українську LLM. Базою стане Gemma 3 — відкрита модель Google нового покоління, що вже продемонструвала високу якість роботи з українською мовою, повідомляє пресслужба Мінцифри.

Мінцифра та Київстар обрали базову модель для тренування національної LLM. Фото: Мінцифри
«Ми будуємо українську LLM на базі загальнодоступної open-source-моделі. Головне завдання в розробці — попередньо навчити її на наших унікальних даних. При виборі орієнтувалися на те, наскільки якісно модель вже опрацьовує тексти українською мовою та її контрольованість під час навчання. Це допоможе мінімізувати лінгвістичні та етичні ризики в нашій LLM».
Зазначив Данило Цьвок, Chief AI Officer Мінцифри та CEO WINWIN AI Center of Excellence. 

Як адаптуватимуть Gemma для України?

Підписуйтеся на наші соцмережі

Читайте також: Штучний інтелект в Україні давно вийшов за межі лабораторій і технічних конференцій і стає інструментом стратегічної трансформації держави та економіки. Його інтеграція в державні сервіси, освіту та бізнес уже визначає конкурентоспроможність країни.

У межах проєкту планують:

  • Удосконалити український токенайзер, щоб підвищити точність генерації текстів та оптимізувати обчислення;
  • Донавчити модель на великому масиві унікальних україномовних текстів, які зараз збирають експерти;
  • Розробити локальні бенчмарки для точнішого налаштування та оцінювання моделі.
«Вибір Gemma забезпечує оптимальний баланс між продуктивністю та ресурсами, а також високу якість навчання української LLM. Модель підтримує понад 140 мов, включно з українською, має до 128 тисяч токенів, мультимодальні можливості та гнучку архітектуру, що дозволяє адаптувати її під різні завдання».
Сказав Михайло Нестор, директор з розробки диджитал-продуктів Київстар.

Чому саме Gemma?

Серед ключових переваг моделі:

  • Висока якість при помірних інфраструктурних вимогах — одна з найкращих open-source LLM у співвідношенні «розмір/якість»;
  • Багатомовність і готовність до донавчання українською;
  • Мультимодальність, що дозволяє працювати з текстами та зображеннями;
  • Розширений токенайзер та довге контекстне вікно (128 тис. токенів);
  • Кілька розмірів моделі, що спрощує підбір ресурсоємності під конкретні задачі.

Gemma вже продемонструвала ефективність у створенні українських LLM, зокрема, MamayLM та Lapa LLM. Також її використовують у болгарській сучасній моделі INSAIT BgGPT.

Інші матеріали

Київстар Мінцифра Національна українська LLM Gemma Редакція
Читати на speka.media