Огляд ШІ-інструментів: оновлення, практичні кейси та поради

На каналі «ШІманія» відбувся огляд ключових оновлень у галузі креативного штучного інтелекту, що допомагає створювати візуальний контент. Спікер у відео ділився власним досвідом та практичними прикладами застосування оновлених інструментів. Ми підготували детальний виклад найважливішої інформації, щоб ви могли легко орієнтуватися у світі генеративного ШІ та його можливостях.

Runway Act-Two: оновлення в генерації відеоаватарів

Runway Act-Two — це вебзастосунок, який дозволяє створювати відеоаватари, що відтворюють міміку обличчя, жести та рухи тіла. Ця модель значно вдосконалилася, вирішивши багато обмежень дифузійних моделей, зокрема проблеми з якісним відтворенням дрібної моторики.

Покрокова інструкція по створенню відео:

Вартість та використання: Вартість зі стандартною підпискою становить близько дванадцяти центів за секунду відео. При докуповуванні кредитів ціна може знизитися до п'яти центів. Цей інструмент відкриває нові можливості, наприклад, у галузі спецефектів. Netflix уже почав замінювати частину класичних спецефектів генеративним ШІ. Наприклад, при зйомках серіалу «El Eternauta», сцена руйнування будівлі була створена за допомогою ШІ, що було вдесятеро швидше та значно дешевше, ніж традиційними методами.

Оновлення в генераторах зображень: Image 3.1 та Flux.1 Krea

Нова модель від ByteDance

Підписуйтеся на наші соцмережі

Image 3.1, випередила GPT-4o у рейтингу генераторів зображень, хоч і з мінімальним відривом. Однак, за словами автора огляду, Image 3.1 має свої переваги та недоліки.

Де Image 3.1 поступається GPT-4o:

Переваги Image 3.1: Розробники зазначають, що Image 3.1 створена для «візуальної насолоди», а не для механічного слідування промту. Завдяки цьому деякі зображення, наприклад, образ середньовічного лицаря у світі кіберпанку, виглядають дуже виразно. Модель має меншу цензуру для художнього контенту. Вона працює швидко і коштує недорого. Застосунок Dreamina має дуже щедрий безкоштовний план, що дозволяє експериментувати.

Flux.1 Krea [Dev] — ще одна нова модель, створена у співпраці Black Forest Labs та Krea AI. Метою її створення було досягнення високої точності дотримання промптів та реалізму, на противагу «надмірно глянцевим» творінням інших ШІ-генераторів. Розробники називають Flux.1 Krea моделлю з «власним поглядом». Вона часто пропонує нестандартні рішення, як у прикладі демонстрації текстури одягу.

Технічні деталі та доступність: Flux.1 Krea має відкриті ваги, що дозволяє запускати її на власному обладнанні безкоштовно у некомерційних цілях. Проте, модель має дванадцять мільярдів параметрів, що потребує топової відеокарти. Спробувати цю модель можна безкоштовно на платформі Krea AI. Також її можна використовувати на платформі Fal.AI, де генерація одного зображення коштує близько трьох центів і займає трохи більше секунди.

Wan 2.2: прорив у генерації відео з відкритим кодом

Значення моделі

Wan 2.2 від Alibaba для галузі складно переоцінити, адже це найкращий наразі open source генератор відео. Він дозволяє порівнювати модель з відкритими вагами з комерційними, закритими аналогами. Теоретично, генерувати відео можна без підписок, розгорнувши модель на власному обладнанні.

Технічні вимоги та вартість: Модель є доволі вимогливою до ресурсів. Версія на чотирнадцять мільярдів параметрів потребує від сорока двох до шістдесяти гігабайт пам'яті на одному графічному процесорі. Менша версія має нижчий апетит, але все ще вимагає двадцять чотири гігабайти пам'яті. Якщо у вас немає такого обладнання, його можна орендувати в хмарі, наприклад, на платформі ComfyUI. Доступ до моделі є також на платформі Fal.AI, де генерація коштує від чотирьох до восьми центів за секунду відео.

OmniHuman та 3D-світи: нові можливості для креаторів

OmniHuman від ByteDance — це модель для створення аватарів, яка відрізняється від Runway Act-Two тим, що для генерації вам потрібне лише зображення та аудіотрек, без необхідності записувати власне відео. Це робить її більш гнучким інструментом. Вона доступна на платформі Fal.AI, де секунда відео коштує чотирнадцять центів.

На завершення, варто згадати новий open source генератор

3D-світів від Tencent. Він створює панорамні зображення та цілі 3D-світи, які можна досліджувати. Для отримання світу з правильною перспективою та масштабом достатньо одного фото. Хоча інтерфейс на сайті розробника китайською, ви можете скористатися Fal.AI. Для перегляду результату потрібно завантажити спеціальний в'ювер із репозитарію Tencent.

Оновлення у креативних ШІ-інструментах надають креаторам більше можливостей, ніж будь-коли раніше. Від Runway Act-Two, що дозволяє створювати реалістичні аватари, до Wan 2.2, який демократизує доступ до генерації відео, та інструменту від Tencent для створення 3D-світів. Важливо використовувати ці інструменти, враховуючи їхні переваги, недоліки та вартість. Open source моделі, такі як Flux.1 Krea та Wan 2.2, відкривають двері до творчості без цензури та значних фінансових вкладень.

Глосарій ключових понять

Цей матеріал підготовлений на основі інформації з відкритих джерел. Редакція самостійно відбирає ключові факти, аналізує їх та структурує за допомогою AI-інструментів.