Коли мовні моделі ШІ замінять фронтенд-розробників — дослідження Design2Code

DeepMind, Технологічний інститут Джорджії, Microsoft та дослідники зі Стенфордського університету провели перше систематичне дослідження Design2Code — завдання з перетворення візуального дизайну в код. Результати вони розмістили на Github. 

Автори створили бенчмарк із дизайну 484 реальних сайтів. Завдання моделі полягало в тому, щоб за допомогою скриншота сторінки створити код, який видавав би максимально схожу картинку під час рендерингу в браузері.

Підписуйтеся на наші соцмережі

Людська оцінка та автоматичні метрики показали, що GPT-4V демонструє хороші результати у цьому завданні. Рецензенти вважають, що вебсторінки, створені GPT-4V, можуть замінити вихідні вебсторінки у 49% випадків з точки зору візуального вигляду та змісту. Також у 64% випадків вебсторінки, створені GPT-4V, вважаються кращими за оригінал.