Що робити, якщо завтра зникне інтернет, а вам потрібен AI? Завантажте це вже сьогодні

Ми настільки звикли щодня користуватись AI у роботі, що майже не думаємо про одну неприємну деталь: ChatGPT, Claude, Gemini та інші сервіси працюють у чужих дата-центрах. Доступ до потужних моделей у нас є рівно доти, доки є мережа.

Виникає логічне питання: а що робити, якщо інтернету раптом не стане? Відповідь проста — використовувати власний «дата-центр», тобто рахувати відповіді моделі локально, на своєму комп'ютері. І зробити це можна вже зараз, поки інтернет ще є.

Де крутиться модель і хто нею володіє

Різниця між хмарною і локальною моделлю — це, по суті, різниця між орендою й власністю.

Claude, як і GPT чи Gemini — хмарна закрита модель. Сама модель — це файл із мільярдами чисел, так звані «ваги». Він лежить на серверах Anthropic, і ви його ніколи не побачите. Ви відправляєте текст через API, обчислення відбуваються на чужому залізі, а вам повертається готовий результат. Це як електрика з розетки: користуєтесь нею, але електростанція вам не належить.

Що насправді означає слово "відкрита" модель

Тут є доволі поширена плутанина, яку варто розплутати одразу.

Підписуйтеся на наші соцмережі

Open weights, тобто відкриті ваги — це коли компанія викладає сам файл моделі у вільний доступ. Можна качати, запускати, донавчати, вбудовувати у власний продукт. Але як саме модель тренували, на яких даних і яким кодом — компанія не розповідає. Це якраз ті 95% того, що люди зазвичай називають «відкритими моделями»: Llama від Meta, Qwen від Alibaba, DeepSeek, Mistral, Gemma від Google, gpt-oss від OpenAI.

Open source у справжньому сенсі слова — це коли відкриті ще й дані, код тренування, весь рецепт створення моделі. Таких моделей мало, і вони, як правило, слабші за великих закритих чи open-weights конкурентів.

Простими словами: «відкрита» модель означає, що у вас в руках сам двигун, а не інструкцію, як саме його зібрали. Ліцензії теж відрізняються: у Llama є обмеження для дуже великих комерційних продуктів, тоді як Qwen і Mistral здебільшого поширюються за ліцензією Apache 2.0, яка дозволяє робити з моделлю практично що завгодно, включно з комерційним використанням.

Як я сам користуюсь відкритими моделями локально

Найголовніше, що варто знати — це справді легко.

Я використовую для цього LM Studio — безкоштовну програму, яка працює на macOS, Windows і Linux. Завантажуєте потрібну модель на комп'ютер — і далі можете працювати з нею взагалі без інтернету.

На своєму MacBook Pro M4 Pro з 24 ГБ пам'яті я встановив одразу три моделі:

Мені подобається тримати одразу кілька моделей, бо вони по-різному помиляються і по-різному інтерпретують одне й те саме питання. Це, до речі, зручний спосіб перевіряти відповіді на достовірність: якщо кілька різних моделей видають однаковий результат — довіряю йому більше. Якщо відповіді сильно розходяться — це сигнал перевірити інформацію окремо.

Скільки пам'яті насправді потрібно

Для локальних моделей ключовий ресурс — саме оперативна пам'ять комп'ютера. Орієнтовно це виглядає так:

Навіщо це взагалі ставити

Якщо колись станеться щось на кшталт кінця світу — буде трохи спокійніше на душі: знатимете, як перев'язати рану, полагодити двигун чи розібратись у будь-якому іншому питанні, маючи під рукою AI без жодного інтернету.

Але, якщо чесно, для реального кінця світу готуватись зовсім не обов'язково — навіть банальний кінець інтернету на кілька днів вже зробить таку локальну модель дуже доречною.