Що робити, якщо завтра зникне інтернет, а вам потрібен AI? Завантажте це вже сьогодні
Ми настільки звикли щодня користуватись AI у роботі, що майже не думаємо про одну неприємну деталь: ChatGPT, Claude, Gemini та інші сервіси працюють у чужих дата-центрах. Доступ до потужних моделей у нас є рівно доти, доки є мережа.
Виникає логічне питання: а що робити, якщо інтернету раптом не стане? Відповідь проста — використовувати власний «дата-центр», тобто рахувати відповіді моделі локально, на своєму комп'ютері. І зробити це можна вже зараз, поки інтернет ще є.
Де крутиться модель і хто нею володіє
Різниця між хмарною і локальною моделлю — це, по суті, різниця між орендою й власністю.
Claude, як і GPT чи Gemini — хмарна закрита модель. Сама модель — це файл із мільярдами чисел, так звані «ваги». Він лежить на серверах Anthropic, і ви його ніколи не побачите. Ви відправляєте текст через API, обчислення відбуваються на чужому залізі, а вам повертається готовий результат. Це як електрика з розетки: користуєтесь нею, але електростанція вам не належить.
Що насправді означає слово "відкрита" модель
Тут є доволі поширена плутанина, яку варто розплутати одразу.
Підписуйтеся на наші соцмережі
Open weights, тобто відкриті ваги — це коли компанія викладає сам файл моделі у вільний доступ. Можна качати, запускати, донавчати, вбудовувати у власний продукт. Але як саме модель тренували, на яких даних і яким кодом — компанія не розповідає. Це якраз ті 95% того, що люди зазвичай називають «відкритими моделями»: Llama від Meta, Qwen від Alibaba, DeepSeek, Mistral, Gemma від Google, gpt-oss від OpenAI.
Open source у справжньому сенсі слова — це коли відкриті ще й дані, код тренування, весь рецепт створення моделі. Таких моделей мало, і вони, як правило, слабші за великих закритих чи open-weights конкурентів.
Простими словами: «відкрита» модель означає, що у вас в руках сам двигун, а не інструкцію, як саме його зібрали. Ліцензії теж відрізняються: у Llama є обмеження для дуже великих комерційних продуктів, тоді як Qwen і Mistral здебільшого поширюються за ліцензією Apache 2.0, яка дозволяє робити з моделлю практично що завгодно, включно з комерційним використанням.
Як я сам користуюсь відкритими моделями локально
Найголовніше, що варто знати — це справді легко.
Я використовую для цього LM Studio — безкоштовну програму, яка працює на macOS, Windows і Linux. Завантажуєте потрібну модель на комп'ютер — і далі можете працювати з нею взагалі без інтернету.
На своєму MacBook Pro M4 Pro з 24 ГБ пам'яті я встановив одразу три моделі:
- Qwen3.8 9B Heretic Uncensored — 6,3 ГБ;
- Ornith 1.5 9B Uncensored 8bit — 10,5 ГБ;
- google/gemma-4-e4b — 6,9 ГБ.
Мені подобається тримати одразу кілька моделей, бо вони по-різному помиляються і по-різному інтерпретують одне й те саме питання. Це, до речі, зручний спосіб перевіряти відповіді на достовірність: якщо кілька різних моделей видають однаковий результат — довіряю йому більше. Якщо відповіді сильно розходяться — це сигнал перевірити інформацію окремо.
Скільки пам'яті насправді потрібно
Для локальних моделей ключовий ресурс — саме оперативна пам'ять комп'ютера. Орієнтовно це виглядає так:
- 16 ГБ — можна комфортно працювати з моделями приблизно 9B параметрів у 4-бітному форматі;
- 24 ГБ — можна брати ту саму модель у 8-бітному форматі, або трохи більші моделі;
- 32 ГБ і більше — відкривається можливість працювати з моделями на рівні 27B параметрів.
Навіщо це взагалі ставити
Якщо колись станеться щось на кшталт кінця світу — буде трохи спокійніше на душі: знатимете, як перев'язати рану, полагодити двигун чи розібратись у будь-якому іншому питанні, маючи під рукою AI без жодного інтернету.
Але, якщо чесно, для реального кінця світу готуватись зовсім не обов'язково — навіть банальний кінець інтернету на кілька днів вже зробить таку локальну модель дуже доречною.