الكأس المقدس للذكاء الاصطناعي في التشفير: استكشاف الحدود في التدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد وأعلى مستوى من التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته بشكل خاص في هذه المقالة.
يُعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة إلى البرامج الأساسية، ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية المتعمقة المتآزرة تجعل كفاءة مشاركة الذاكرة، ومزامنة التدرجات، وآلية تحمل الأخطاء تصل إلى ذروتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، حيث تتمتع بمزايا عالية الكفاءة وقابلية التحكم في الموارد، ولكنها في نفس الوقت تواجه مشكلات مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحوسبة والتخزين المحلية. على الرغم من أن لديه خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة المؤسسات المركزية التي تنظم وتزامن العمليات، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية.
البيانات المتوازية: يقوم كل عقدة بتدريب معلمات بيانات مختلفة ومشاركة المعلمات، يجب مطابقة أوزان النموذج
توزيع النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع القوية
تنفيذ متوازي عبر الأنابيب: تنفيذ تسلسلي على مراحل، لزيادة معدل الإنتاج
التوازي في المصفوفات: تقسيم دقيق لحساب المصفوفات، وزيادة درجة التوازي
التدريب الموزع هو مزيج من "تحكم مركزي + تنفيذ موزع"، وهو يشبه رئيس واحد يقود عن بعد تعاون موظفين في عدة "مكاتب" لإكمال المهام. في الوقت الحالي، يتم تدريب تقريبًا جميع النماذج الكبيرة الرائدة بهذه الطريقة.
يمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: يمكن أن تكون العديد من العقد التي لا تثق ببعضها البعض ( أجهزة كمبيوتر منزلية، أو وحدات معالجة رسومات سحابية، أو أجهزة حافة ) تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تقود توزيع المهام والتعاون، ومن خلال آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة التوافق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة التنسيق بين الأجهزة المتنوعة وكفاءة تقسيم المهام منخفضة
عائق كفاءة الاتصال: الاتصال الشبكي غير مستقر، وظهور واضح لعائق تزامن التدرجات
نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كان العقدة تشارك حقاً في الحساب
نقص التنسيق الموحد: لا يوجد جهاز توجيه مركزي، توزيع المهام، آلية التراجع عن الاستثناءات معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، كل منهم يساهم بقوة الحوسبة لتدريب النموذج بشكل مشترك، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن هندسة النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان يمكن "التعاون بفعالية + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
تعلم الفيدرالية كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا وتجمع معلمات النموذج بشكل مركزي، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية ( مثل الطب والمالية ). يتمتع تعلم الفيدرالية بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، وفي نفس الوقت يمتلك مزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب وبنية الثقة وآلية الاتصال، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعته غير مناسب لإتمامه بكفاءة بين العقد المتنوعة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن انتقال منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في الشبكات المفتوحة؛ وتكون المهام التي تتعلق بخصوصية البيانات والقيود السيادية مقيدة بالقوانين والامتثال الأخلاقي، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي تفتقر إلى أساس حوافز التعاون إلى دوافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مقولة زائفة. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام الهيكلية الخفيفة، السهلة التوازي، القابلة للتحفيز. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، المهام التدريبية ما بعد السلوك المحاذي مثل RLHF، DPO(، مهام تدريب وإشارة البيانات المعتمدة على الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، فضلاً عن سيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تتمتع هذه المهام بشكل عام بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القوة الحاسوبية غير المتجانسة، مما يجعلها مناسبة للغاية للتدريب التعاوني عبر الشبكات P2P، بروتوكولات Swarm، والمُحسنات الموزعة.
![كأس المقدس للذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
تحليل المشاريع الكلاسيكية للتدريب اللامركزي
حاليًا في مجال التدريب اللامركزي وتعلم الفيدرالية، تشمل المشاريع البارزة في مجال blockchain بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، ويمثلون الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، وقد بدأنا نرى تقدمًا هندسيًا أوليًا. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وتناقش كذلك الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
) Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تحتاج إلى الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect في بناء نظام تدريب AI لامركزي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
)# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكوك
PRIME-RL هو إطار عمل لنمذجة المهام وتنفيذها مصمم خصيصًا من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، ومخصص للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف للتكيف الأولوي، ويقوم بفصل هيكلي لعمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم بالإشراف التقليدية، يُعتبر PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC###المشاهدة الموثوقة & تحقق سياسة-الموقع( هو آلية أساسية للتحقق من القابلية للتدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان عقدة معينة قد أكملت فعلاً تعلم سياسة فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل المسار المحلي للاتساق بين "سلسلة الملاحظات↔تحديث السياسة"، لإكمال التحقق الهيكلي الخفيف. إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي الذي يتيح توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول لنشر وتجمع الوزن مصمم بواسطة Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية، والقيود على النطاق الترددي، والتغيرات في حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يزيد SHARDCAST بشكل ملحوظ من قابلية التوسع وقدرة تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتكرارات المستمرة للتدريب.
#OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالجمع بين التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL)مكتبة الاتصالات الجماعية التعاونية(هي مكتبة اتصالات خفيفة الوزن صممتها Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل اختناقات التكيف في مكتبات الاتصالات التقليدية)مثل NCCL وGloo(في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنها تعزز بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة من خلال توفير "آخر كيلومتر" من البنية التحتية للاتصالات.
)# 03، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
قام Prime Intellect بإنشاء شبكة تدريب قابلة للتحقق وبدون إذن، مزودة بآلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول استنادًا إلى ثلاث فئات رئيسية من الأدوار:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجمع الاستراتيجيات
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان ###SHARDCAST( وإصدار المكافآت، مما يشكل حلقة تحفيزية حول "سلوك التدريب الحقيقي".
)# 04، INTELLECT-2: أول إصدار لنموذج تدريب قابل للتحقق من اللامركزية
أصدرت Prime Intellect INTELLECT-2 في مايو 2025، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة تعاون عقد لامركزية غير موثوقة وغير متزامنة، بحجم معلمات يصل إلى 32B. نموذج INTELLECT-2 من قبل
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 19
أعجبني
19
4
مشاركة
تعليق
0/400
SelfCustodyBro
· 08-06 00:26
تدريب مركزي، اتركه، إنه قديم وغير عصري.
شاهد النسخة الأصليةرد0
NotFinancialAdvice
· 08-05 19:48
متى يمكننا تشغيل جهاز التعدين الموزع؟
شاهد النسخة الأصليةرد0
NftPhilanthropist
· 08-05 07:06
همم، في الواقع بناء تدريب لامركزي هو مجرد إثبات للخير 2.0 بصراحة
شاهد النسخة الأصليةرد0
SellTheBounce
· 08-05 07:04
مرة أخرى رأينا الفقاعات، إذا كنت على الحراسة فسوف تخسر بالتأكيد
اللامركزية AI التدريب الجديد: Prime Intellect أنشأت شبكة التعاون غير المتزامن
الكأس المقدس للذكاء الاصطناعي في التشفير: استكشاف الحدود في التدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد وأعلى مستوى من التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وتأثيره الفعلي في التطبيقات. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته بشكل خاص في هذه المقالة.
يُعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة إلى البرامج الأساسية، ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية المتعمقة المتآزرة تجعل كفاءة مشاركة الذاكرة، ومزامنة التدرجات، وآلية تحمل الأخطاء تصل إلى ذروتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، حيث تتمتع بمزايا عالية الكفاءة وقابلية التحكم في الموارد، ولكنها في نفس الوقت تواجه مشكلات مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحوسبة والتخزين المحلية. على الرغم من أن لديه خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة المؤسسات المركزية التي تنظم وتزامن العمليات، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية.
التدريب الموزع هو مزيج من "تحكم مركزي + تنفيذ موزع"، وهو يشبه رئيس واحد يقود عن بعد تعاون موظفين في عدة "مكاتب" لإكمال المهام. في الوقت الحالي، يتم تدريب تقريبًا جميع النماذج الكبيرة الرائدة بهذه الطريقة.
يمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: يمكن أن تكون العديد من العقد التي لا تثق ببعضها البعض ( أجهزة كمبيوتر منزلية، أو وحدات معالجة رسومات سحابية، أو أجهزة حافة ) تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تقود توزيع المهام والتعاون، ومن خلال آلية تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين حول العالم، كل منهم يساهم بقوة الحوسبة لتدريب النموذج بشكل مشترك، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن هندسة النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان يمكن "التعاون بفعالية + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
تعلم الفيدرالية كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا وتجمع معلمات النموذج بشكل مركزي، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية ( مثل الطب والمالية ). يتمتع تعلم الفيدرالية بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، وفي نفس الوقت يمتلك مزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب وبنية الثقة وآلية الاتصال، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه بطبيعته غير مناسب لإتمامه بكفاءة بين العقد المتنوعة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن انتقال منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في الشبكات المفتوحة؛ وتكون المهام التي تتعلق بخصوصية البيانات والقيود السيادية مقيدة بالقوانين والامتثال الأخلاقي، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي تفتقر إلى أساس حوافز التعاون إلى دوافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مقولة زائفة. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام الهيكلية الخفيفة، السهلة التوازي، القابلة للتحفيز. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، المهام التدريبية ما بعد السلوك المحاذي مثل RLHF، DPO(، مهام تدريب وإشارة البيانات المعتمدة على الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، فضلاً عن سيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تتمتع هذه المهام بشكل عام بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القوة الحاسوبية غير المتجانسة، مما يجعلها مناسبة للغاية للتدريب التعاوني عبر الشبكات P2P، بروتوكولات Swarm، والمُحسنات الموزعة.
![كأس المقدس للذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
تحليل المشاريع الكلاسيكية للتدريب اللامركزي
حاليًا في مجال التدريب اللامركزي وتعلم الفيدرالية، تشمل المشاريع البارزة في مجال blockchain بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، ويمثلون الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، وقد بدأنا نرى تقدمًا هندسيًا أوليًا. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وتناقش كذلك الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
) Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تحتاج إلى الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect في بناء نظام تدريب AI لامركزي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
![كأس القدر للذكاء الاصطناعي للعملات الرقمية: استكشاف متقدم للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكوك
PRIME-RL هو إطار عمل لنمذجة المهام وتنفيذها مصمم خصيصًا من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، ومخصص للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف للتكيف الأولوي، ويقوم بفصل هيكلي لعمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم بالإشراف التقليدية، يُعتبر PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC###المشاهدة الموثوقة & تحقق سياسة-الموقع( هو آلية أساسية للتحقق من القابلية للتدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان عقدة معينة قد أكملت فعلاً تعلم سياسة فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بتحليل المسار المحلي للاتساق بين "سلسلة الملاحظات↔تحديث السياسة"، لإكمال التحقق الهيكلي الخفيف. إنها المرة الأولى التي يتم فيها تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي الذي يتيح توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول لنشر وتجمع الوزن مصمم بواسطة Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية، والقيود على النطاق الترددي، والتغيرات في حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يزيد SHARDCAST بشكل ملحوظ من قابلية التوسع وقدرة تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتكرارات المستمرة للتدريب.
#OpenDiLoCo: إطار الاتصال غير المتزامن النادر
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect استنادًا إلى مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالجمع بين التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL)مكتبة الاتصالات الجماعية التعاونية(هي مكتبة اتصالات خفيفة الوزن صممتها Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل اختناقات التكيف في مكتبات الاتصالات التقليدية)مثل NCCL وGloo(في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنها تعزز بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة من خلال توفير "آخر كيلومتر" من البنية التحتية للاتصالات.
)# 03، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
قام Prime Intellect بإنشاء شبكة تدريب قابلة للتحقق وبدون إذن، مزودة بآلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول استنادًا إلى ثلاث فئات رئيسية من الأدوار:
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان ###SHARDCAST( وإصدار المكافآت، مما يشكل حلقة تحفيزية حول "سلوك التدريب الحقيقي".
![كأس القدر للعملات المشفرة: استكشاف متقدم للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04، INTELLECT-2: أول إصدار لنموذج تدريب قابل للتحقق من اللامركزية
أصدرت Prime Intellect INTELLECT-2 في مايو 2025، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة تعاون عقد لامركزية غير موثوقة وغير متزامنة، بحجم معلمات يصل إلى 32B. نموذج INTELLECT-2 من قبل