В.神 ділиться: як я створив повністю локальне, конфіденційне та самокероване середовище для роботи з ШІ

Віталік Бутерін запропонував архітектуру ШІ, що працює локально, наголошуючи на конфіденційності, безпеці та самостійному контролі, і попередив про потенційні ризики для AI Agent.

Засновник Ethereum Віталік Бутерін 2 квітня на своєму персональному сайті опублікував довгий допис, де розповів про налаштування свого AI-середовища, побудованого з фокусом на конфіденційність, безпеку та самостійному контролі — у ньому всі LLM-обчислення виконуються локально, всі файли зберігаються локально, середовище повністю ізольоване в пісочниці (sandbox), і спеціально уникаються хмарні моделі та зовнішні API.

На початку статті він спершу попереджає: «Будь ласка, не копіюйте інструменти та технології, описані в цій статті, і не припускайте, що вони безпечні. Це лише відправна точка, а не опис готового продукту».

Чому зараз він пише про це? Проблеми безпеки AI agent недооцінені

Віталік зазначив, що на початку цього року AI здійснив важливий перехід від «чат-ботів» до «agent». Тепер вам не просто відповідають на питання — ви ставите завдання, а ШІ довго обмірковує, викликає сотні інструментів для виконання. Він навів приклад OpenClaw (зараз — репозиторій із найшвидшим зростанням в історії GitHub) і водночас назвав кілька безпекових проблем, зафіксованих дослідниками:

• AI agent може змінювати критичні налаштування без підтвердження людиною, зокрема додавати нові канали зв’язку та змінювати системні підказки (system prompts)
• Розбір будь-яких шкідливих зовнішніх вхідних даних (наприклад, зловмисних вебсторінок) може призвести до повного захоплення agent; у демонстрації HiddenLayer дослідник змусив AI узагальнити набір вебсторінок, у якому була одна шкідлива сторінка, що віддавала команду agent завантажити і виконати shell-скрипт
• Частина сторонніх навичок (skills) може виконувати тиху (без явного сигналу) витік інформації з даних, відправляючи дані через команду curl на зовнішній сервер, який контролює автор навички
• У навичках, які вони проаналізували, приблизно 15% містять зловмисні інструкції

Віталік наголосив, що його позиція щодо конфіденційності відрізняється від підходу традиційних дослідників із кібербезпеки: «Я прийшов з позиції, глибоко наляканої тим, що персональне життя повністю потрапляє в хмарні AI. Саме коли з’явився, нарешті, енд-ту-енд шифрування та локально-орієнтоване програмне забезпечення стало масовим — коли ми, здається, зробили крок уперед, — ми, можливо, робимо десять кроків назад».

П’ять цілей безпеки

Він встановив чітку рамку цілей безпеки:

• Конфіденційність LLM: у сценаріях, пов’язаних із персональними конфіденційними даними, максимально зменшувати використання віддалених моделей
• Інша конфіденційність: мінімізувати витік даних, які не є LLM (наприклад, пошукові запити, інші онлайн API)
• Утечка (jailbreak) LLM: запобігати тому, щоб зовнішній контент «зламав» мій LLM, змусивши його діяти всупереч моїм інтересам (наприклад, відправити мої токени або приватні дані)
• Непередбачуване: запобігати тому, щоб LLM помилково відправив приватні дані не туди або опублікував їх у мережі
• LLM-бекдор (backdoor): запобігати наявності прихованих механізмів, спеціально навчених у модель. Він особливо зауважив: відкриті моделі — це відкриті ваги (open-weights), і майже жодна з них не є справді відкритим вихідним кодом (open-source)

Вибір апаратного забезпечення: 5090 ноутбук перемагає, DGX Spark розчаровує

Віталік протестував три конфігурації локального виведення (inference). Основною моделлю він використовував Qwen3.5:35B, разом із llama-server та llama-swap:

Його висновок такий: менше ніж 50 tok/sec — занадто повільно, 90 tok/sec — ідеально. Досвід із NVIDIA 5090 ноутбуком — найплавніший; AMD наразі все ще має більше прикордонних (edge) проблем, але в майбутньому є надія, що це покращиться. Преміальні MacBook також є робочим варіантом, але особисто він їх не тестував.

Щодо DGX Spark він сказав напряму без жодних церемоній: «Його описують як “настільний AI суперкомп’ютер”, але на практиці tokens/sec нижчий, ніж у кращих ноутбучних GPU, і ще треба окремо розібратися з підключенням до мережі та іншими деталями — це дуже невдало». Його порада така: якщо ви не можете дозволити собі висококласний ноутбук, можна купити достатньо потужну машину разом із друзями, поставити її в місці з фіксованим IP, а всім під’єднуватися віддалено (remote) і користуватися нею.

Чому проблеми конфіденційності локального AI є більш нагальними, ніж ви думаєте

Цей допис Віталіка перекликається з обговоренням безпекових питань Claude Code, який вийшов у той самий день — у той час як AI agent входить у щоденний робочий процес розробки, проблеми безпеки також переходять від теоретичних ризиків до реальних загроз.

Його головне повідомлення дуже чітке: «Коли AI-інструменти стають дедалі потужнішими й дедалі більше здатні отримувати доступ до ваших персональних даних і системних повноважень, “локально-орієнтований підхід, ізоляція в пісочниці та мінімальна довіра” — це не параноя, а раціональна відправна точка».

• Цей матеріал відтворено за ліцензією з: «鏈新聞»
• Оригінальний заголовок: «Vitalik：我如何打造完全本地、私密、自主可控的 AI 工作環境》
• Автор оригіналу: Elponcrab