Святой грааль Crypto AI: передовые исследования децентрализованного обучения

В полной цепочке создания стоимости ИИ обучение модели является этапом с наибольшими затратами ресурсов и самыми высокими техническими барьерами, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и высокоинтенсивной поддержки алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" системы ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным предметом обсуждения в данной статье.

Централизованная тренировка — это самый распространенный традиционный способ, который выполняется единственным учреждением на локальном высокопроизводительном кластере, охватывающим весь процесс тренировки, от аппаратного обеспечения до низкоуровнего программного обеспечения, системы управления кластерами и всех компонентов тренировочного фреймворка, которые координируются единой контрольной системой. Эта глубоко координированная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для тренировки крупных моделей, таких как GPT, Gemini, обладающих высоким уровнем эффективности и контролируемыми ресурсами, но при этом существуют проблемы с монополизацией данных, барьерами для ресурсов, потреблением энергии и рисками единой точки.

Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели на части, которые распределяются нескольким машинам для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на физическую "распределённость", в целом процесс всё ещё контролируется и синхронизируется централизованным органом, обычно работающим в среде высокоскоростной локальной сети и использующим технологию высокоскоростной межсоединительной шины NVLink для координации подзадач главным узлом. Основные методы включают:

• Параллельные данные: каждый узел обучает различные данные, параметры общие, необходимо сопоставить веса модели
• Модельное параллелизм: размещение различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллельные каналы: Поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллелизм: детализированное разбиение матричных вычислений, повышение степени параллелизма

Распределенное обучение — это комбинация "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же босс удаленно координирует работу нескольких сотрудников из "офисов" для выполнения задач. В настоящее время почти все основные модели обучаются именно таким образом.

Децентрализация обучения представляет собой более открытую и антикоррупционную будущую траекторию. Его ключевой характеристикой является: несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или краевыми устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов, которые управляют распределением задач и сотрудничеством, и с использованием механизмов криптоощущения, чтобы обеспечить честность вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:

• Гетерогенность устройств и сложности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Бутылочное горлышко в эффективности связи: нестабильная сеть, явное бутылочное горлышко в синхронизации градиентов
• Недостаток доверенного выполнения: отсутствие доверенной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях.
• Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизмы отката ошибок сложны

Децентрализация тренировки может быть понята как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще представляет собой системную инженерную задачу, затрагивающую несколько уровней, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию моделей и т.д. Однако возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии ранних прототипов.

Федеративное обучение как переходная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, подходит для сценариев, ориентированных на соблюдение конфиденциальности, таких как здравоохранение, финансы(. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностями локальной кооперации, в то же время имея преимущества распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно умеренными задачами обучения, структурами доверия и механизмами связи, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.

![Святой Грааль Crypto AI: передовые исследования Децентрализации обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, высоких требований к ресурсам или больших трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение крупных моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, требующие сильной конфиденциальности данных и суверенитета, ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, которым не хватает основ для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.

Но это не означает, что Децентрализация тренировки является ложным понятием. На самом деле, в задачах, которые имеют легкую структуру, легко параллелизуемы и могут быть вознаграждены, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения, такие как RLHF, DPO), задачи по краудсорсингу данных и аннотированию, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и допускают гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.

Децентрализация тренировки классических проектов

В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в архитектуре систем и проектировании алгоритмов, представляя собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно наблюдать начальные этапы инженерного прогресса. В данной статье будут последовательно анализироваться ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет обсуждено их различие и взаимодополняемость в системе децентрализованного AI-обучения.

( Prime Intellect: Проверяемая траектория обучения в сети совместного обучения

Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, которая позволит каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.

)# 01、Структура и ключевые модули протокола Prime Intellect

![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###

(# 02、Подробное объяснение ключевых механизмов обучения Prime Intellect

#PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией

PRIME-RL — это фреймворк для моделирования и выполнения задач, разработанный Prime Intellect для децентрализованных тренировочных сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу тренировки независимо выполнять цикл задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированный интерфейс. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.

#TOPLOC:Легковесный механизм проверки поведения в обучении

TOPLOC)Доверенное наблюдение и проверка локальности###— это основная механика тренируемой проверяемости, предложенная Prime Intellect, для оценки того, действительно ли узел на основе данных наблюдения завершил эффективное обучение стратегии. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полного пересчета модели, а осуществляет верификацию легковесной структуры путем анализа локальных последовательностей согласованности между "последовательностью наблюдений↔обновлением стратегии". Он впервые преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения наград за обучение без доверия, предоставляя осуществимый путь к созданию可审计、可激励的去中心化协作训练网络.

#SHARDCAST: Асинхронный весовой агрегатор и протокол распространения

SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и с переменным состоянием узлов реальных сетевых условий. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях рассинхронизации, что обеспечивает прогрессивное сходимость весов и многоверсионную эволюцию. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.

#OpenDiLoCo:Разреженная асинхронная коммуникационная структура

OpenDiLoCo — это оптимизированный для коммуникации фреймворк, независимая реализация и открытый исходный код концепции DiLoCo, предложенной командой Prime Intellect на основе DeepMind, специально разработанный для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, полагаясь только на локальных соседей для совместного обучения моделей. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, значительно повышая доступность глобального совместного обучения, что делает его одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.

#PCCL:Библиотека совместной связи

PCCL(Prime Collective Communication Library) является легковесной библиотекой связи, разработанной Prime Intellect для Децентрализация AI тренировочной среды, нацеленной на решение проблем адаптации традиционных библиотек связи(, таких как NCCL и Gloo), в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Он значительно улучшает терпимость к пропускной способности тренировочной сети и совместимость устройств, прокладывая "последнюю милю" коммуникационной основы для создания действительно открытой и надежной сети совместного обучения.

(# 03, Сеть стимулирования и ролевое подразделение Prime Intellect

Prime Intellect создал обучающую сеть без разрешений, которая может быть проверена и имеет экономические стимулы, что позволяет любому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:

• Инициатор задачи: определяет обучающую среду, начальную модель, функцию вознаграждения и критерии валидации
• Узел обучения: выполнение локального обучения, отправка обновлений веса и наблюдательных траекторий
• Проверка узлов: Использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в вычислении вознаграждений и агрегации стратегий.

Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегирование весов )SHARDCAST### и распределение вознаграждений, образуя замкнутый круг стимулов вокруг "реального тренировочного поведения".

(# 04, INTELLECT-2: Выпуск первой проверяемой Децентрализация модели обучения

Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, созданная путем асинхронного, бездоверительного Децентрализация совместного обучения узлов, с масштабом параметров 32B. Модель INTELLECT-2 состоит из