Master of Code Global розробив фреймворк для інтеграції великих мовних моделей у чатботи
2 хвилин читання
IT-компанія Master of Code Global представила Large Language Model Orchestrator Framework Tool (LOFT), який дозволить інтегрувати великі мовні моделі у розмовні чатботи.
Основні функції LOFT:
- агностичний фреймворк — безперешкодна інтеграція у будь-яку бекенд-систему, незалежно від HTTP-фреймворка;
- архітектура на основі черг — оптимізована для сценаріїв з високою пропускною здатністю;
- динамічні промпти — можливість змінювати запити перед відправленням до API LLM;
- підтримка проміжного програмного забезпечення — налаштування введення/виведення даних чату (наприклад, можна змінювати введені користувачем дані перед відправленням в API LLM);
- виявлення та оброблення подій — розширені можливості для виявлення та оброблення подій у чаті;
- обмеження частоти та горизонтальне масштабування — вбудовані можливості обмеження частоти запитів, які працюють у горизонтально масштабованих середовищах.
Підписуйтеся на наші соцмережі
Читайте також:
Велика мовна модель від IT-компанії Master of Code Global сканує історію розмов споживачів у чатботі підтримки та автоматично створює базу знань з цих даних. Про таке SPEKA повідомили у компанії.
Master of Code Global
У компанії визнають, що аналогічний фреймворк DIAL від EPAM є значно масштабнішим, оскільки складається з багатьох репозиторіїв на різних мовах програмування. Однак, на їхню думку, конкурентне рішення більше підходить для корпоративних бізнес-рішень, які потребують широкого спектра інтеграцій.
Раніше SPEKA писала, що Master of Code Global розробив чатбот для католицької церкви у Нью-Йорку.