Святий Грааль Crypto AI: передові дослідження децентралізованого навчання

У повній ціннісній ланцюгу AI, навчання моделей є етапом з найбільшими витратами ресурсів і найвищими технологічними бар'єрами, що безпосередньо визначає межу можливостей моделі та ефективність її застосування. У порівнянні з легковаговим викликом на етапі виведення, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних і інтенсивної підтримки оптимізаційних алгоритмів, що є справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.

Концентрація навчання є найпоширенішим традиційним способом, який виконується єдиною організацією в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, основного програмного забезпечення, системи розподілу кластерів до всіх компонентів навчального фреймворку координується єдиною системою управління. Така глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить його дуже підходящим для навчання масштабних моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.

Розподілене навчання є основним способом навчання великих моделей на сьогодні, його суть полягає в тому, щоб розділити завдання навчання моделі, а потім розподілити їх на кілька машин для спільного виконання, щоб подолати обмеження обчислювальної потужності та зберігання на одному комп'ютері. Хоча фізично воно має "Децентралізація" характер, але в цілому все ще контролюється централізованими установами, які координують та синхронізують, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної зв'язку NVLink, головний вузол централізовано координує кожне підзавдання. Основні методи включають:

• Паралельність даних: кожен вузол тренує різні дані, параметри діляться, потрібно узгоджувати ваги моделі
• Модельна паралельність: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості
• Паралельний трубопровід: поетапне послідовне виконання, підвищення пропускної здатності
• Тензорне паралелювання: уточнене розподіл матричних обчислень, підвищення паралельної грануляції

Розподілене навчання – це комбінація "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно координує співпрацю кількох "офісних" працівників для виконання завдання. На сьогоднішній день майже всі провідні великі моделі (GPT-4, Gemini, LLaMA тощо ) навчаються саме таким чином.

Децентралізоване навчання представляє собою більш відкритий та стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька неприємних вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайовими пристроями ), які співпрацюють у виконанні навчальних завдань без центрального координатора, зазвичай через протокол, що керує розподілом завдань та співпрацею, і за допомогою криптографічних механізмів стимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:

• Гетерогенність пристроїв та складність сегментації: висока складність координації гетерогенних пристроїв, низька ефективність сегментації завдань
• Вузьке місце в ефективності зв'язку: нестабільний мережевий зв'язок, помітне вузьке місце в синхронізації градієнтів
• Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку, чи дійсно вузол бере участь у обчисленнях.
• Відсутність єдиної координації: немає центрального диспетчера, розподіл завдань, механізм скасування помилок складний

Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які спільно вносять обчислювальну потужність для тренування моделі, але "справді життєздатне масове децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та багато інших аспектів, але чи можливо "спільно ефективно + стимулювати чесність + отримати правильний результат" поки що перебуває на ранній стадії прототипування.

Федеративне навчання, як перехідна форма між розподіленими та децентралізованими системами, підкреслює збереження даних на місцях та централізовану агрегацію параметрів моделі, що підходить для сцен, які акцентують увагу на дотриманні конфіденційності, таких як медичні послуги та фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальну кооперативну здатність, одночасно поєднуючи переваги розподілених даних децентралізованого навчання, але все ще залежить від надійних координаторів і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольоване децентралізоване" рішення в умовах дотримання конфіденційності, яке є відносно м'яким у навчальних завданнях, структурах довіри та механізмах зв'язку, більше підходить для перехідної архітектури в промисловості.

![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(

Децентралізація тренування: межі, можливості та реальні шляхи

З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях через складну структуру завдання, надвисокі вимоги до ресурсів або високий рівень співпраці, це природним чином не підходить для ефективного виконання між гетерогенними, бездовереними вузлами. Наприклад, навчання великих моделей часто залежить від високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритих мережах; завдання з сильними обмеженнями конфіденційності даних та суверенітету ), такі як медичні, фінансові та з конфіденційними даними (, обмежені юридичними та етичними нормами, що унеможливлює їх відкритий обмін; а завдання ), які не мають основи для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів (, не мають зовнішньої мотивації для участі. Ці межі разом складають реалістичні обмеження сучасного децентралізованого навчання.

Але це не означає, що децентралізоване навчання є хибним висловлюванням. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути заохочені, децентралізоване навчання демонструє явні перспективи застосування. Серед них: тонка настройка LoRA, завдання після навчання з поведінковою відповідністю ), такі як RLHF, DPO (, завдання навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язаність та терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори тощо.

![Святий Грааль Crypto AI: Децентралізація тренування на передньому краї досліджень])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(

Децентралізація тренування класичних проектів аналіз

В даний час в передових сферах децентралізованого навчання та федеративного навчання основними представницькими блокчейн-проєктами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та дизайні алгоритмів, представляючи передові напрямки сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io відносно ясні, вже можна спостерігати початковий прогрес у інженерії. У цій статті буде поетапно проаналізовано основні технології та інженерну архітектуру за цими п'ятьма проєктами, а також додатково обговорено їх відмінності та взаємодоповнюючі стосунки в системі децентралізованого AI навчання.

) Prime Intellect: Тренувальні траєкторії, що підлягають верифікації, послідовники кооперативних мереж посилення

Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect планує побудувати децентралізовану систему навчання ШІ з можливістю верифікації, відкритістю та повною системою стимулів за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.

01、Структура протоколу Prime Intellect та цінність ключових модулів

![Крипто AI Святе Грааль: Децентралізація навчання на передовій]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(

)# 02, Детальний розгляд ключових механізмів тренування Prime Intellect

PRIME-RL: Архітектура завдань асинхронного підкріпленого навчання з роздільними компонентами

PRIME-RL є рамкою моделювання та виконання завдань, налаштованою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеною для гетерогенних мереж і асинхронних учасників. Вона використовує посилене навчання як пріоритетний об'єкт адаптації, структурно декомпонує процеси навчання, висновків та завантаження ваги, дозволяючи кожному навчальному вузлу незалежно виконувати цикл завдань на місці та співпрацювати з механізмами верифікації та агрегування через стандартизовані інтерфейси. У порівнянні з традиційними процесами керованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в середовищі без централізованого управління, що знижує складність системи і закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.

TOPLOC: легкий механізм верифікації поведінки навчання

TOPLOC###Довірене спостереження & Перевірка локальності( є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всього моделю, а здійснює верифікацію з легкою структурою, аналізуючи локальну узгодженість між "послідовністю спостережень ↔ оновленням стратегій". Вперше він перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагород за навчання без потреби у довірі, забезпечуючи реальний шлях для створення підзвітної та заохочувальної децентралізованої мережі співпраці у навчанні.

SHARDCAST: Асинхронна агрегація ваг та протокол поширення

SHARDCAST — це протокол вагомого поширення та агрегування, розроблений Prime Intellect, оптимізований спеціально для реальних мережевих умов з асинхронним, обмеженим пропускним здатністю і змінним станом вузлів. Він поєднує механізм госсіп-поширення та локальну синхронізацію, що дозволяє кільком вузлам безперервно подавати часткові оновлення в умовах несинхронізації, досягаючи поступової конвергенції ваги та еволюції декількох версій. Порівняно з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для створення стабільного консенсусу ваги та безперервних ітерацій навчання.

OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк

OpenDiLoCo є незалежно реалізованою та відкритою оптимізаційною рамкою зв'язку, розробленою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Вона спеціально створена для вирішення викликів, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто зустрічаються в децентралізованому навчанні. Її архітектура базується на паралельній обробці даних, шляхом створення рідкісних топологічних структур, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на зв'язок при глобальній синхронізації, завершуючи спільне навчання моделі, спираючись лише на сусідні вузли. Поєднуючи асинхронне оновлення і механізм відновлення після збоїв, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному кооперативному навчанні, є однією з ключових комунікаційних інфраструктур для створення децентралізованих навчальних мереж.

PCCL: Бібліотека спільного зв'язку

PCCL)Prime Collective Communication Library( є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення проблем адаптації традиційних бібліотек зв'язку), таких як NCCL, Gloo(, у гетерогенних пристроях та мережах з низькою пропускною спроможністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної спроможності навчальної мережі та сумісність пристроїв, прокладаючи "остання миля" комунікаційної основи для побудови справжньої відкритої, без довіри, мережі спільного навчання.

![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

)# 03、Prime Intellect стимулююча мережа та розподіл ролей

Prime Intellect побудував мережу навчання без дозволу, що підлягає перевірці та має економічні стимули, що дозволяє кожному брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:

• Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
• Вузол тренування: виконання локального навчання, подача оновлень ваг та спостережуваних траєкторій
• Вузли верифікації: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участі у розрахунках винагороди та агрегації стратегій

Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та розподіл винагород, що складає incentivний замкнутий цикл навколо "реальної навчальної поведінки".

![Святий Грааль Crypto AI: Децентралізація тренування на передовій]###https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(

)# 04、INTELLECT-2:Перше перевірене рішення для децентралізованого навчального моделювання.

Prime Intellect випустив INTELLECT-2 у травні 2025 року, це перший у світі продукт, створений за допомогою децентралізації.