نموذج جديد لتدريب الذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقه. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج البنية، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يناقش في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل هيئة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية العميقة المتناسقة كفاءة مشاركة الذاكرة، وتزامن الانحدار، وآلية تحمل الخطأ تصل إلى أقصى حد، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT و Gemini، وتتمتع بميزة الكفاءة العالية، والسيطرة على الموارد، لكنها في نفس الوقت تواجه مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة لتدريب النماذج الكبيرة في الوقت الحالي، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متزامن، من أجل التغلب على قيود الحوسبة والتخزين على جهاز واحد. على الرغم من وجود خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام ككل لا يزال يتم التحكم فيه وتنسيقه بواسطة مؤسسات مركزية، وغالبًا ما يعمل في بيئات الشبكات المحلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة ما يلي:
التوازي في البيانات: كل عقدة تقوم بتدريب بيانات مختلفة مع مشاركة المعلمات، ويجب مطابقة أوزان النموذج
التوازي بين النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
أنابيب متوازية: تنفيذ تسلسلي على مراحل، مما يزيد من معدل الإرسال
التوازي على مستوى المصفوفة: تقسيم دقيق لحساب المصفوفات، لتحسين درجة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يمكن تشبيهه بتوجيه رئيس واحد عن بُعد لعدة "مكاتب" من الموظفين للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا (GPT-4، Gemini، LLaMA وغيرها ) بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: عدة عقد غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو GPU سحابية، أو أجهزة طرفية ) تعمل معًا لإكمال مهام التدريب دون منسق مركزي، وعادة ما يتم ذلك من خلال البروتوكولات التي تدفع توزيع المهام والتعاون، بالإضافة إلى استخدام آليات التحفيز المشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة تباين الأجهزة وتقسيم المهام: التنسيق بين الأجهزة المتباينة صعب، وكفاءة تقسيم المهام منخفضة
عائق كفاءة الاتصال: الاتصال الشبكي غير مستقر، وعائق تزامن التدرج واضح
نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقد تشارك فعليًا في الحساب.
نقص التنسيق الموحد: لا توجد وحدة تحكم مركزية، توزيع المهام، آلية التراجع عن الاستثناءات معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة حوسبته لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن تحقيق "تعاون فعال + تحفيز الصدق + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
يعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع و اللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا وتجميع معلمات النموذج مركزيًا، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية والمالية ). يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، إلا أنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الفتح الكامل ومقاومة الرقابة. يمكن اعتباره نوعاً من "اللامركزية المُسيطر عليها" في سياقات الامتثال للخصوصية، حيث يكون لطيفًا نسبيًا في مهام التدريب، وهياكل الثقة وآليات الاتصال، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والمسارات الواقعية
من منظور نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة وارتفاع متطلبات الموارد أو صعوبة التعاون، فإنه ليس مناسبًا بطبيعته لإكمال المهام بكفاءة بين العقد غير المتجانسة واللامركزية. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة وصول عشوائي عالية، وزمن تأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ كما أن المهام ذات الخصوصية القوية والقيود السيادية ( مثل الرعاية الصحية والمالية وبيانات السرية ) مقيدة بالامتثال القانوني والاعتبارات الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ( إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية للتدريب اللامركزي الحالي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام الخفيفة الهيكلية، السهلة التوازي، والقابلة للتحفيز. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك ) مثل RLHF، DPO (، تدريب البيانات المجمعة ومهام التعليم، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من حيث التوازي، وانخفاض الترابط، والتحمل لقوة الحوسبة غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها.
![كأس القدر للذكاء الاصطناعي: استكشاف الحدود للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
تحليل المشاريع الكلاسيكية في اللامركزية التدريبية
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، وقد لوحظت تقدمات هندسية أولية. ستقوم هذه المقالة بتحليل تقنيات النواة والهياكل الهندسية وراء هذه المشاريع الخمسة بشكل متتابع، بالإضافة إلى مناقشة الاختلافات والعلاقات التكميلية لها في نظام تدريب الذكاء الاصطناعي اللامركزي.
) Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تحتاج إلى الثقة، بحيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI لامركزي مع قابلية للتحقق، وانفتاح، وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect والموارد القيمة للوحدات الرئيسية
)# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL:هيكل مهمة التعلم المعزز غير المتزامن القابل للفك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المصمم من قبل Prime Intellect لمشاهد التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف مناسب أولي، حيث يقوم بفصل هيكلي لعمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم تحت الإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
![كأس القدر في الذكاء الاصطناعي: استكشاف الحدود في التدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC)المراقبة الموثوقة والتحقق من السياسة المحلية( هو آلية أساسية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلياً تعلم سياسة فعالة استنادًا إلى بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، فإن TOPLOC لا تعتمد على إعادة حساب النموذج بالكامل، بل تكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة ↔ تحديث السياسة". إنها تحول لأول مرة مسارات السلوك أثناء عملية التدريب إلى كائنات قابلة للتحقق، مما يعد ابتكارًا رئيسيًا لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، ويوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر الوزن والتجميع مصمم من قبل Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، والقيود على عرض النطاق الترددي، وتغير حالات العقد. يجمع بين آلية نشر gossip واستراتيجيات المزامنة المحلية، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات غير متزامنة، لتحقيق تقارب تدريجي في الوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع وزن مستقر وتكرار تدريب مستمر.
![كأس المقدس للذكاء الاصطناعي: استكشاف الحدود في التدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-f86b109da66a0a4c9239221650a4a0a8.webp(
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات الذي طوره فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مستقل ومفتوح المصدر، مصمم خصيصًا لتحديات مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد التي غالبًا ما تحدث في التدريب اللامركزي. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية متفرقة مثل Ring وExpander وSmall-World، مما يجنب التكلفة العالية للتزامن العام، حيث يمكن إكمال تدريب النموذج بالتعاون فقط من خلال الاعتماد على العقد المجاورة المحلية. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يتيح OpenDiLoCo لمعدات GPU الاستهلاكية والأجهزة الطرفية المشاركة بانتظام في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL)Prime Collective Communication Library( هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، وتهدف إلى حل عنق الزجاجة في التكيف مع المكتبات التقليدية ) مثل NCCL وGloo( في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن بدقة منخفضة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد زاد بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة ولا تحتاج إلى ثقة.
![كأس القدر ل Crypto AI: استكشافات متقدمة للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-a562dacd6fc5420f2afd895664b6be65.webp(
)# 03، شبكة Prime Intellect للحوافز وتقسيم الأدوار
بنت Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، ذات آلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 20
أعجبني
20
5
مشاركة
تعليق
0/400
bridge_anxiety
· منذ 10 س
لا عجب أن قوة الحوسبة غالية هكذا
شاهد النسخة الأصليةرد0
GasBankrupter
· 08-04 21:02
لماذا لا تزال قوة الحوسبة هذه مكلفة للغاية... لقد خسرت كثيراً
شاهد النسخة الأصليةرد0
liquidation_surfer
· 08-04 01:17
بف! واحدة أخرى تلعب في اللامركزية
شاهد النسخة الأصليةرد0
SmartContractPhobia
· 08-04 00:53
تس تس، هل لا تزال تعتقد أن بطاقات التعدين ليست ساخنة بما يكفي؟
اللامركزية AI التدريب في استكشافات الطليعة: Prime Intellect يقود نموذجًا جديدًا
نموذج جديد لتدريب الذكاء الاصطناعي: استكشاف متقدم للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقه. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج البنية، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يناقش في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل هيئة واحدة داخل مجموعة عالية الأداء محليًا، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية العميقة المتناسقة كفاءة مشاركة الذاكرة، وتزامن الانحدار، وآلية تحمل الخطأ تصل إلى أقصى حد، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT و Gemini، وتتمتع بميزة الكفاءة العالية، والسيطرة على الموارد، لكنها في نفس الوقت تواجه مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة لتدريب النماذج الكبيرة في الوقت الحالي، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متزامن، من أجل التغلب على قيود الحوسبة والتخزين على جهاز واحد. على الرغم من وجود خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن النظام ككل لا يزال يتم التحكم فيه وتنسيقه بواسطة مؤسسات مركزية، وغالبًا ما يعمل في بيئات الشبكات المحلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية. تشمل الطرق السائدة ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يمكن تشبيهه بتوجيه رئيس واحد عن بُعد لعدة "مكاتب" من الموظفين للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا (GPT-4، Gemini، LLaMA وغيرها ) بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزته الأساسية في: عدة عقد غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو GPU سحابية، أو أجهزة طرفية ) تعمل معًا لإكمال مهام التدريب دون منسق مركزي، وعادة ما يتم ذلك من خلال البروتوكولات التي تدفع توزيع المهام والتعاون، بالإضافة إلى استخدام آليات التحفيز المشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة حوسبته لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن تحقيق "تعاون فعال + تحفيز الصدق + النتائج الصحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
يعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع و اللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا وتجميع معلمات النموذج مركزيًا، وهو مناسب للمشاهد التي تركز على الامتثال للخصوصية ( مثل الرعاية الصحية والمالية ). يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، إلا أنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص الفتح الكامل ومقاومة الرقابة. يمكن اعتباره نوعاً من "اللامركزية المُسيطر عليها" في سياقات الامتثال للخصوصية، حيث يكون لطيفًا نسبيًا في مهام التدريب، وهياكل الثقة وآليات الاتصال، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والمسارات الواقعية
من منظور نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة وارتفاع متطلبات الموارد أو صعوبة التعاون، فإنه ليس مناسبًا بطبيعته لإكمال المهام بكفاءة بين العقد غير المتجانسة واللامركزية. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة وصول عشوائي عالية، وزمن تأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ كما أن المهام ذات الخصوصية القوية والقيود السيادية ( مثل الرعاية الصحية والمالية وبيانات السرية ) مقيدة بالامتثال القانوني والاعتبارات الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ( إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية للتدريب اللامركزي الحالي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام الخفيفة الهيكلية، السهلة التوازي، والقابلة للتحفيز. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك ) مثل RLHF، DPO (، تدريب البيانات المجمعة ومهام التعليم، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من حيث التوازي، وانخفاض الترابط، والتحمل لقوة الحوسبة غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها.
![كأس القدر للذكاء الاصطناعي: استكشاف الحدود للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
تحليل المشاريع الكلاسيكية في اللامركزية التدريبية
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، وقد لوحظت تقدمات هندسية أولية. ستقوم هذه المقالة بتحليل تقنيات النواة والهياكل الهندسية وراء هذه المشاريع الخمسة بشكل متتابع، بالإضافة إلى مناقشة الاختلافات والعلاقات التكميلية لها في نظام تدريب الذكاء الاصطناعي اللامركزي.
) Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابل للتحقق من مسار التدريب
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تحتاج إلى الثقة، بحيث يمكن لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI لامركزي مع قابلية للتحقق، وانفتاح، وآلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
01، هيكل بروتوكول Prime Intellect والموارد القيمة للوحدات الرئيسية
![كأس القدر للذكاء الاصطناعي في العملات الرقمية: استكشاف متقدم للتدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
)# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL:هيكل مهمة التعلم المعزز غير المتزامن القابل للفك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المصمم من قبل Prime Intellect لمشاهد التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف مناسب أولي، حيث يقوم بفصل هيكلي لعمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم تحت الإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
![كأس القدر في الذكاء الاصطناعي: استكشاف الحدود في التدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC)المراقبة الموثوقة والتحقق من السياسة المحلية( هو آلية أساسية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلياً تعلم سياسة فعالة استنادًا إلى بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، فإن TOPLOC لا تعتمد على إعادة حساب النموذج بالكامل، بل تكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتناسق بين "سلسلة المراقبة ↔ تحديث السياسة". إنها تحول لأول مرة مسارات السلوك أثناء عملية التدريب إلى كائنات قابلة للتحقق، مما يعد ابتكارًا رئيسيًا لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، ويوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
![كأس القدر للعملات المشفرة:探索 اللامركزية للتدريب])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
#SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر الوزن والتجميع مصمم من قبل Prime Intellect، مُحسَّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، والقيود على عرض النطاق الترددي، وتغير حالات العقد. يجمع بين آلية نشر gossip واستراتيجيات المزامنة المحلية، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات غير متزامنة، لتحقيق تقارب تدريجي في الوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع وزن مستقر وتكرار تدريب مستمر.
![كأس المقدس للذكاء الاصطناعي: استكشاف الحدود في التدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-f86b109da66a0a4c9239221650a4a0a8.webp(
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات الذي طوره فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مستقل ومفتوح المصدر، مصمم خصيصًا لتحديات مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد التي غالبًا ما تحدث في التدريب اللامركزي. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية متفرقة مثل Ring وExpander وSmall-World، مما يجنب التكلفة العالية للتزامن العام، حيث يمكن إكمال تدريب النموذج بالتعاون فقط من خلال الاعتماد على العقد المجاورة المحلية. مع الجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يتيح OpenDiLoCo لمعدات GPU الاستهلاكية والأجهزة الطرفية المشاركة بانتظام في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL)Prime Collective Communication Library( هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، وتهدف إلى حل عنق الزجاجة في التكيف مع المكتبات التقليدية ) مثل NCCL وGloo( في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا المتناثرة، وضغط التدرجات، والتزامن بدقة منخفضة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد زاد بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة ولا تحتاج إلى ثقة.
![كأس القدر ل Crypto AI: استكشافات متقدمة للتدريب اللامركزي])https://img-cdn.gateio.im/webp-social/moments-a562dacd6fc5420f2afd895664b6be65.webp(
)# 03، شبكة Prime Intellect للحوافز وتقسيم الأدوار
بنت Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، ذات آلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية: