Святой Грааль Crypto AI: передовые исследования Децентрализации обучения

В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким технологическим порогом, что напрямую определяет пределы способности моделей и эффективность их практического применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку интенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данной статьи.

Централизованное обучение является наиболее распространенным традиционным способом, осуществляемым единственным учреждением в локальном высокопроизводительном кластере, которое выполняет весь процесс обучения: от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов учебной платформы, которые координируются единой управляющей системой. Эта глубокая совместная архитектура позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее идеальной для обучения крупных моделей, таких как GPT и Gemini, обеспечивая высокую эффективность и контролируемые ресурсы, но также существует ряд проблем, таких как монополия данных, барьеры для ресурсов, потребление энергии и риски единой точки.

Распределенное обучение является основным способом обучения крупных моделей в настоящее время. Его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает «Децентрализация» характеристиками, в целом он все еще контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:

• Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо соответствие весам модели
• Модульная параллельность: распределение различных частей модели на разные узлы для достижения высокой масштабируемости
• Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллелизм: детализированное разделение матричных вычислений, повышение параллельной гранулярности

Распределенное обучение — это комбинация "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно координирует сотрудников нескольких "офисов" для выполнения задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и ) обучаются именно таким образом.

Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую модель. Ее ключевыми характеристиками являются: несколько недоверяющих узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптостимулов для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:

• Гетерогенность устройств и сложность разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Бутылка с эффективностью связи: нестабильная связь в сети, явные бутылочные горлышки в синхронизации градиентов
• Недостаток доверенного выполнения: отсутствует доверенная вычислительная среда, трудно проверить, действительно ли узлы участвуют в вычислениях
• Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизмы отката при исключениях

Децентрализация обучения можно понимать как: группа глобальных волонтеров, каждый из которых вносит свои вычислительные ресурсы для совместного обучения модели, но "действительно жизнеспособное масштабируемое децентрализованное обучение" по-прежнему остается системной инженерной задачей, охватывающей несколько уровней, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и т.д., но вопрос о том, можно ли добиться "совместной эффективности + стимулов к честности + правильности результатов" все еще находится на ранней стадии прототипирования.

Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина и финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальной кооперации, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежных координационных сторон и не обладает полностью открытыми и антикризисными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" для сценариев соблюдения конфиденциальности, при этом задачи обучения, структура доверия и механизмы связи являются относительно мягкими, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.

![Святой Грааль крипто ИИ: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высокой потребности в ресурсах или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как ) в области медицины, финансов и конфиденциальных данных (, ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи ), которые недостаточно имеют стимулов для сотрудничества, такие как закрытые модели предприятий или обучение внутренних прототипов (, лишены внешней мотивации для участия. Эти границы совместно составляют текущие реальные ограничения Децентрализации обучения.

Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах, которые имеют легкую структуру, легко параллелизуемы и могут быть мотивированы, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: микротренировка LoRA, послеподготовительные задачи по выравниванию поведения ), такие как RLHF, DPO (, задачи по обучению и аннотированию данных с краудсорсингом, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и допускают гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.

![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(

Децентрализация тренировки классических проектов

В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя текущие передовые направления теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, и уже можно увидеть предварительный инженерный прогресс. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, и далее будут обсуждены их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.

) Prime Intellect: Обучающие траектории могут быть проверены, усиливающая сеть совместной работы, первопроходец

Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованного обучения ИИ с возможностью верификации, открытостью и полноценной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.

01、Структура протокола Prime Intellect и ценность ключевых модулей

![Крипто ИИ Святой Грааль: Децентрализация обучения на передовом уровне]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(

)# 02、Подробное объяснение ключевых механизмов тренировки Prime Intellect

PRIME-RL: Архитектура задач асинхронного обобщенного обучения с подкреплением с разъединением

PRIME-RL является框架ом моделирования задач и выполнения задач, разработанным Prime Intellect для Децентрализация обучающих сценариев, специально предназначенным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому узлу обучения независимо завершать цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. В сравнении с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.

TOPLOC: Легковесный механизм верификации поведения обучения

TOPLOC###Доверенное наблюдение и проверка локальности( является основным механизмом проверки обучаемости, предложенным Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он превращает поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания поддающейся аудиту и стимулирующей децентрализованной сети совместного обучения.

SHARDCAST: Асинхронная агрегация весов и протокол распространения

SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он объединяет механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам непрерывно отправлять частичные обновления в состоянии несинхронности, достигая прогрессивной сходимости весов и многоверсионной эволюции. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно улучшает масштабируемость и устойчивость к ошибкам децентрализованного обучения, являясь ключевой основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.

OpenDiLoCo:Разреженная асинхронная коммуникационная структура

OpenDiLoCo – это фреймворк оптимизации связи, разработанный командой Prime Intellect на основе идей DiLoCo, предложенных DeepMind, и реализованный в виде открытого кода. Он специально разработан для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто возникают в процессе Децентрализации обучения. Его архитектура основана на параллельной обработке данных, и с помощью построения разреженных топологий, таких как Ring, Expander, Small-World, избегает высоких затрат на связь при глобальной синхронизации, полагаясь только на соседние узлы для выполнения совместного обучения модели. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в задачах обучения, значительно повышая доступность глобального кооперативного обучения и становясь одной из ключевых коммуникационных инфраструктур для создания сети Децентрализации обучения.

PCCL: Библиотека координационной связи

PCCL)Prime Collective Communication Library( является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, целью которой является решение проблем адаптации традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является базовым компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно повышает устойчивость сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной основы для создания действительно открытой и не требующей доверия сети совместного обучения.

![Крипто ИИ - святой Грааль: Децентрализация, передовые исследования])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

)# 03、Prime Intellect стимулы сети и распределение ролей

Prime Intellect создал разрешительную, проверяемую и экономически мотивированную сеть для обучения, позволяющую любому участвовать в задачах и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:

• Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и стандарт проверки
• Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
• Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.

Ядро процесса протокола включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реальных тренировочных действий".

![Святой Грааль Crypto AI: передовые исследования Децентрализации обучения])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(

)# 04、INTELLECT-2:Первая публикация проверяемой Децентрализации модели обучения

Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первый в мире продукт, созданный на основе децентрализации.