Віталік Бутерін ділиться: як я створив повністю локальне, конфіденційне та самокероване середовище для роботи з ШІ

Віталік Бутерін запропонував архітектуру ШІ, що працює локально, наголошуючи на приватності, безпеці та самостійному контролі, і попередив про потенційні ризики для AI-агентів.

Засновник Ethereum Віталік Бутерін 2 квітня на своєму персональному сайті опублікував велику статтю, де розповів про налаштування свого робочого середовища для ШІ, побудованого навколо приватності, безпеки та самостійному контролі — усі LLM-обчислення виконуються локально, усі файли зберігаються локально, середовище повністю ізольоване в пісочниці; він навмисно уникає хмарних моделей та зовнішніх API.

На початку статті він спершу попереджає: «Будь ласка, не копіюйте інструменти та технології, які описані в цій статті, і не припускайте, що вони безпечні. Це лише точка старту, а не опис готового продукту».

Чому зараз він пише цю статтю? Проблеми безпеки AI agent суттєво недооцінені

Віталік зазначив, що на початку цього року ШІ зробив важливий перехід від «чат-ботів» до «агентів» — тепер вам не просто відповідають на запитання, а виконують завдання, змушуючи ШІ довго мислити, викликати сотні інструментів для реалізації. Він навів приклад OpenClaw (зараз це repo, яке найшвидше зростає в історії GitHub) і водночас назвав кілька проблем безпеки, зафіксованих дослідниками:

• AI-агент може змінювати критичні налаштування без потреби в ручному підтвердженні, зокрема додавати нові канали зв’язку та змінювати системні підказки
• Парсинг будь-якого шкідливого зовнішнього вводу (наприклад, зловмисних вебсторінок) може призвести до повного перехоплення agent; у демонстрації HiddenLayer дослідник змусив ШІ підсумувати добірку вебсторінок, серед яких була одна з інструкцією, яка наказувала agent завантажити й виконати shell-скрипт
• Частина сторонніх пакетів навичок (skills) може виконувати мовчазне витікання даних, надсилаючи їх через команду curl на зовнішній сервер, який контролює автор навички
• У пакетах навичок, які вони аналізували, приблизно 15% містили шкідливі інструкції

Віталік підкреслив, що його відправною точкою щодо приватності є інше, ніж у традиційних дослідників з кібербезпеки: «Я походжу з позиції, яка глибоко лякається того, що особисте життя повністю згодовується хмарному ШІ — саме тоді, коли наскрізне шифрування та локально-пріоритетне програмне забезпечення нарешті стають мейнстримом, ми, можливо, робимо крок назад на десять кроків».

П’ять цілей безпеки

Він встановив чітку рамку цілей безпеки:

• Приватність LLM: у ситуаціях, що стосуються персональних даних, максимально зменшувати використання віддалених моделей
• Інша приватність: мінімізувати витік даних, не пов’язаних із LLM (наприклад, пошукові запити, інші онлайн API)
• Втеча LLM: запобігати тому, щоб зовнішній контент «зламав» мій LLM і змусив його діяти всупереч моїм інтересам (наприклад, надсилати мої токени або приватні дані)
• Несподівано LLM: запобігати тому, щоб LLM випадково відправив приватні дані не в той канал або опублікував їх у мережі
• LLM backdoor: запобігати прихованим механізмам, спеціально натренованим у моделі. Він особливо наголосив: відкриті моделі — це відкриті ваги (open-weights), і майже жодна з них не є справді відкритим вихідним кодом (open-source)

Вибір обладнання: 5090 ноутбук перемагає, DGX Spark розчаровує

Віталік протестував три конфігурації обладнання для локального виведення (inference). Основний варіант — модель Qwen3.5:35B, у поєднанні з llama-server і llama-swap:

Його висновок: менше ніж 50 tok/sec занадто повільно, а 90 tok/sec — ідеально. NVIDIA 5090 ноутбук дає найплавніший досвід; AMD наразі ще має більше проблем із крайовими випадками, але в майбутньому є надія, що це покращать. Преміальний MacBook — теж дієвий варіант, але він особисто його не тестував.

Щодо DGX Spark він сказав без церемоній: «Його описують як “настільний AI суперкомп’ютер”, але на практиці tokens/sec нижчий, ніж у кращих GPU для ноутбуків, і ще треба додатково розв’язати деталі на кшталт підключення до мережі — це дуже невдало». Його рекомендація така: якщо ви не можете дозволити собі дорогий ноутбук, можна разом із друзями придбати достатньо потужну машину, поставити її в місці з фіксованою IP-адресою, а всі віддалено підключатимуться.

Чому проблеми приватності локального ШІ є нагальнішими, ніж ви думаєте

Ця стаття Віталіка перегукується з дискусією про безпеку Claude Code, яку оприлюднили того ж дня. Коли AI-агенти входять у повсякденний робочий процес розробки, проблеми безпеки також переходять від теоретичних ризиків до реальних загроз.

Його ключове повідомлення дуже чітке: у той час, коли AI-інструменти стають дедалі потужнішими й усе краще отримують доступ до ваших персональних даних та системних прав, «локальний пріоритет, ізоляція в пісочниці, мінімальна довіра» — це не параноя, а розумний старт.

• Цей матеріал відтворено за ліцензією з: «Ланцюг новин»
• Оригінальна назва: «Віталік: як я створив повністю локальне, приватне й кероване собою робоче середовище для ШІ»
• Автор оригіналу: Elponcrab