Штучний інтелект CLIPasso навчили перетворювати фото на художні скетчі

Науковці з Тель-авівського університету, Федеральної політехнічної школи Лозанни (EPFL) та ізраїльського Університету імені Райхмана презентували нейромережу CLIPasso, що малює ескізи за фотографіями та іншими зображеннями, зберігаючи базові візуальні компоненти. 

Жанр скетчу передбачає спрощене зображення об'єктів, які однак мають бути впізнаваними з першого погляду. Алгоритм CLIPasso (Contrastive Language Image Pretraining) досягає цього ефекту, визначаючи як геометричні, так і семантичні (смислові) патерни картинки. Для тренування моделі використовували метод оптимізації, тому надавали їй лише «стартові» зображення з текстовими описами, а не колекцію готових ескізів. 

Підписуйтеся на наші соцмережі

Як пояснюють розробники, програма сприймає скетч як певний набір чорних ліній (штрихів) на білому тлі. Насамперед CLIPasso знаходить опорні точки об'єкта і визначає базове геометричне розташування штрихів. На основі цих даних створюється «чорновий» ескіз, який потім перевіряється на схожість із вхідним зображенням.

Регулюючи кількість штрихів, можна генерувати зображення з різним ступенем абстрактності — від зовсім схематичних до ретельно промальованих. 

Нагадаємо, британський стартап Sonantic створив «голосовий діпфейк», що імітує інтонації закоханої жінки. Подробиці — у матеріалі SPEKA.