Новая парадигма обучения ИИ: передовые исследования децентрализованного обучения
В полной цепочке создания стоимости ИИ обучение моделей является наиболее ресурсозатратным и высокотехнологичным этапом, который напрямую определяет пределы возможностей модели и эффективность её применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в создании ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет рассмотрено в данной статье.
Централизованное обучение является самой распространенной традиционной формой, при которой вся процедура обучения выполняется одним учреждением на высокопроизводительном локальном кластере. Все компоненты, начиная от аппаратного обеспечения, программного обеспечения нижнего уровня, системы распределения кластера и заканчивая фреймворком обучения, координируются единой управляющей системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемости ресурсов, но в то же время сталкивается с проблемами монополии данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он обладает "Децентрализация" характеристиками, в целом он все еще контролируется и координируется централизованными организациями, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: детализированное разделение матричных вычислений, повышение уровня параллелизма
Распределённое обучение — это комбинация "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник удаленно руководит сотрудничеством нескольких сотрудников из разных "офисов" для выполнения задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в том, что несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов криптоощущения для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Проблема с эффективностью связи: нестабильная сетевая связь, явная проблема с синхронизацией градиентов
Отсутствие доверенного выполнения: отсутствие доверенной среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизмы отката при ошибках сложные
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей множество аспектов, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию модели и так далее, но вопрос о том, возможно ли "совместное эффективное + стимулирование честности + правильность результатов", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, подходит для сцен, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными способностями, одновременно имея преимущества распределенных данных в Децентрализация, но по-прежнему зависит от надежных координирующих сторон и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценах соблюдения конфиденциальности, которая относительно умеренная в отношении задач обучения, структуры доверия и механизмов связи, и более подходит в качестве переходной архитектуры для промышленного развертывания.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от большого объема видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с высокой степенью конфиденциальности данных и суверенитетом, такие как медицина, финансы и конфиденциальные данные ), ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, которые не имеют оснований для сотрудничества (, такие как закрытые модели предприятий или внутреннее обучение прототипов ), лишены внешней мотивации для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в типах задач с легкой структурой, легкостью параллелизации и возможностью стимуляции, Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи пост-тренировки, связанные с выравниванием поведения (, такие как RLHF, DPO ), задачи по сбору данных и аннотации, тренировка небольших базовых моделей с контролем ресурсов, а также сценарии совместной тренировки с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического проектирования, представляя современные передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже видны первые этапы инженерного прогресса. В данной статье будет последовательно проанализирована основная технология и инженерная архитектура пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
( Prime Intellect: Проверяемая траектория обучения усилением кооперативной сети пионеров
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяющую каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
)# 01、Структура протокола Prime Intellect и ценность ключевых модулей
![Крипто ИИ: Святой Грааль: Децентрализация обучения на переднем крае исследований]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
(# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL — это фреймворк моделирования и выполнения задач, разработанный Prime Intellect для децентрализованных учебных сценариев, специально предназначенный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процесс обучения, вывода и загрузки весов, позволяя каждому учебному узлу независимо выполнять цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегирования. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
![Священный Грааль Crypto AI: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###
#TOPLOC:Легковесный механизм проверки поведения тренировки
TOPLOC(Доверенное Наблюдение & Проверка Политики-Локальности) является ядром механизма проверки обучаемости, предложенного Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а анализирует локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легкой структуры. Он впервые преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым инновационным решением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособные пути для создания аудируемой, мотивированной Децентрализация сети совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, с ограниченной пропускной способностью и изменяющимся состоянием узлов реальных сетевых условий. Он сочетает в себе механизм распространения gossip и локальную стратегию синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, обеспечивая постепенную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально созданная для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в Децентрализация тренингах. Его архитектура основана на параллелизме данных, строя разреженные топологии, такие как Ring, Expander и Small-World, избегая высоких затрат на коммуникацию из-за глобальной синхронизации и полагаясь только на локальные соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность для глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация тренинга.
#PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, предназначенной для решения проблем адаптации традиционных библиотек связи(, таких как NCCL, Gloo), в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и неустойчивых узлах, и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает устойчивость сети к пропускной способности и совместимость устройств, открывая "последнюю милю" коммуникационной основы для создания действительно открытой, не требующей доверия сети совместного обучения.
(# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создала сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для верификации
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
21 Лайков
Награда
21
5
Поделиться
комментарий
0/400
bridge_anxiety
· 14ч назад
Неудивительно, что вычислительная мощность такая дорогая
Посмотреть ОригиналОтветить0
GasBankrupter
· 08-04 21:02
Почему такая дорогая вычислительная мощность... Это же полный убыток!
Децентрализация AI тренировки передового исследования: Prime Intellect ведет новый парадигму
Новая парадигма обучения ИИ: передовые исследования децентрализованного обучения
В полной цепочке создания стоимости ИИ обучение моделей является наиболее ресурсозатратным и высокотехнологичным этапом, который напрямую определяет пределы возможностей модели и эффективность её применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в создании ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет рассмотрено в данной статье.
Централизованное обучение является самой распространенной традиционной формой, при которой вся процедура обучения выполняется одним учреждением на высокопроизводительном локальном кластере. Все компоненты, начиная от аппаратного обеспечения, программного обеспечения нижнего уровня, системы распределения кластера и заканчивая фреймворком обучения, координируются единой управляющей системой. Эта глубоко согласованная архитектура обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемости ресурсов, но в то же время сталкивается с проблемами монополии данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он обладает "Децентрализация" характеристиками, в целом он все еще контролируется и координируется централизованными организациями, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределённое обучение — это комбинация "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же начальник удаленно руководит сотрудничеством нескольких сотрудников из разных "офисов" для выполнения задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и другие ) обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в том, что несколько недоверительных узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, управляющих распределением задач и сотрудничеством, а также с использованием механизмов криптоощущения для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей множество аспектов, включая системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию модели и так далее, но вопрос о том, возможно ли "совместное эффективное + стимулирование честности + правильность результатов", все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, подходит для сцен, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными способностями, одновременно имея преимущества распределенных данных в Децентрализация, но по-прежнему зависит от надежных координирующих сторон и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценах соблюдения конфиденциальности, которая относительно умеренная в отношении задач обучения, структуры доверия и механизмов связи, и более подходит в качестве переходной архитектуры для промышленного развертывания.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае])https://img-cdn.gateio.im/webp-social/moments-a8004f094fff74515470052b3a24617c.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от большого объема видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытых сетях; задачи с высокой степенью конфиденциальности данных и суверенитетом, такие как медицина, финансы и конфиденциальные данные ), ограничены юридическими и этическими нормами и не могут быть открыто поделены; а задачи, которые не имеют оснований для сотрудничества (, такие как закрытые модели предприятий или внутреннее обучение прототипов ), лишены внешней мотивации для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в типах задач с легкой структурой, легкостью параллелизации и возможностью стимуляции, Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи пост-тренировки, связанные с выравниванием поведения (, такие как RLHF, DPO ), задачи по сбору данных и аннотации, тренировка небольших базовых моделей с контролем ресурсов, а также сценарии совместной тренировки с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмического проектирования, представляя современные передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже видны первые этапы инженерного прогресса. В данной статье будет последовательно проанализирована основная технология и инженерная архитектура пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в системе децентрализованного AI-обучения.
( Prime Intellect: Проверяемая траектория обучения усилением кооперативной сети пионеров
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяющую каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
)# 01、Структура протокола Prime Intellect и ценность ключевых модулей
![Крипто ИИ: Святой Грааль: Децентрализация обучения на переднем крае исследований]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###
(# 02, Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL — это фреймворк моделирования и выполнения задач, разработанный Prime Intellect для децентрализованных учебных сценариев, специально предназначенный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процесс обучения, вывода и загрузки весов, позволяя каждому учебному узлу независимо выполнять цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегирования. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
![Священный Грааль Crypto AI: Децентрализация тренировки на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###
#TOPLOC:Легковесный механизм проверки поведения тренировки
TOPLOC(Доверенное Наблюдение & Проверка Политики-Локальности) является ядром механизма проверки обучаемости, предложенного Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от перерасчета всей модели, а анализирует локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии" для выполнения верификации легкой структуры. Он впервые преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым инновационным решением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособные пути для создания аудируемой, мотивированной Децентрализация сети совместного обучения.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, с ограниченной пропускной способностью и изменяющимся состоянием узлов реальных сетевых условий. Он сочетает в себе механизм распространения gossip и локальную стратегию синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, обеспечивая постепенную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo:Разреженная асинхронная коммуникационная рамка
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, специально созданная для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в Децентрализация тренингах. Его архитектура основана на параллелизме данных, строя разреженные топологии, такие как Ring, Expander и Small-World, избегая высоких затрат на коммуникацию из-за глобальной синхронизации и полагаясь только на локальные соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в обучающих задачах, значительно повышая доступность для глобального совместного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения сети Децентрализация тренинга.
#PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, предназначенной для решения проблем адаптации традиционных библиотек связи(, таких как NCCL, Gloo), в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и неустойчивых узлах, и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает устойчивость сети к пропускной способности и совместимость устройств, открывая "последнюю милю" коммуникационной основы для создания действительно открытой, не требующей доверия сети совместного обучения.
(# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создала сеть обучения, которая не требует разрешения, является проверяемой и имеет экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей: