AI eğitiminin yeni paradigması: Merkeziyetsizlik eğitimi üzerine öncü keşifler

AI'nın tam değer zincirinde, model eğitimi kaynak tüketiminin en yüksek olduğu, teknik engelin en fazla olduğu aşamadır ve doğrudan modelin yetenek sınırını ve uygulama etkisini belirler. Çıkarım aşamasının hafif çağrısına kıyasla, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yoğun optimizasyon algoritması desteği gerektirir; bu, AI sistemlerinin inşasında gerçek anlamda "ağır sanayi"dir. Mimari paradigmalar açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezileştirilmiş eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitimi.

Merkeziyetsizleştirilmiş eğitim, tek bir kurumun yerel yüksek performanslı kümeler içinde tüm eğitim sürecini tamamladığı en yaygın geleneksel yöntemdir; donanım, alt yazılım, küme zamanlama sistemi ve eğitim çerçevesinin tüm bileşenleri tek bir kontrol sistemi tarafından koordine edilir. Bu derin iş birliği mimarisi, bellek paylaşımını, gradyan senkronizasyonunu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkarır; bu, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için çok uygundur, yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajlara sahiptir, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunlar da barındırmaktadır.

Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir; temelinde model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve işbirliği içinde gerçekleştirilmesi yatmaktadır. Bu, tek makine hesaplama ve depolama darboğazlarını aşmayı sağlar. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kuruluş tarafından kontrol, yönetim ve senkronizasyon edilir; genellikle yüksek hızlı yerel alan ağları ortamında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi ile ana düğüm, alt görevleri koordine eder. Ana akım yöntemler şunlardır:

• Veri paralelliği: Her düğüm farklı veri parametreleri eğitiyor, model ağırlıklarının eşleşmesi gerekiyor.
• Model paralelliği: Modelin farklı bölümlerini farklı düğümlerde konuşlandırarak güçlü ölçeklenebilirlik sağlama
• Boru Hattı Paralelliği: Aşamalı Seri İcra, Verimliliği Artırır
• Tensör paralelliği: Matris hesaplamalarını ince bir şekilde bölmek, paralel granülleri artırmak

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; bu, aynı patronun uzaktan birden fazla "ofis" çalışanını bir araya getirerek görevleri tamamlamasıyla benzerlik gösterir. Şu anda neredeyse tüm ana akım büyük modeller (GPT-4, Gemini, LLaMA gibi ) bu şekilde eğitim tamamlamaktadır.

Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir gelecek yolu anlamına gelir. Temel özellikleri şunlardır: birbirine güvenmeyen birden fazla düğüm (, ev bilgisayarları, bulut GPU'ları veya kenar cihazları ), merkezi bir koordinatör olmadan eğitim görevlerini işbirliği içinde tamamlayabilir; genellikle protokoller aracılığıyla görev dağıtımı ve işbirliği sağlanır ve katkının dürüstlüğünü sağlamak için şifreleme teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı ana zorluklar şunlardır:

• Cihaz heterojenliği ve bölme zorluğu: Heterojen cihazların koordinasyonu zor, görev bölme verimliliği düşük
• İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyonu darboğazı belirgin
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamının olmaması, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırır.
• Birlikte koordinasyon eksikliği: Merkezi bir yönlendirici yok, görev dağıtımı ve istisna geri alma mekanizması karmaşık

Merkeziyetsizlik eğitimi, dünya genelindeki bir grup gönüllünün her birinin hesaplama gücünü katkıda bulunarak modeli birlikte eğitmesi olarak anlaşılabilir, ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğudur; sistem mimarisi, iletişim protokolleri, kriptografik güvenlik, ekonomik mekanizmalar, model doğrulama gibi birçok boyutu içerir. Ancak "etkili iş birliği + dürüstlük teşviki + doğru sonuç" sağlanıp sağlanamayacağı henüz erken prototip keşif aşamasındadır.

Federated learning, bir geçiş biçimi olarak dağıtık ve Merkeziyetsizlik arasında, verilerin yerel olarak saklanmasını, model parametrelerinin merkezi olarak toplanmasını vurgular ve gizlilik uyumuna önem veren senaryolar için uygundur (, örneğin sağlık hizmetleri, finans ). Federated learning, dağıtık eğitim mühendislik yapısına ve yerel iş birliği yeteneğine sahiptir, aynı zamanda Merkeziyetsizlik eğitiminde verilerin dağılma avantajını da taşır, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumu senaryolarında "kontrollü Merkeziyetsizlik" çözümü olarak görülebilir, eğitim görevleri, güven yapılandırması ve iletişim mekanizması açısından nispeten ılımlıdır, endüstride geçici dağıtım mimarisi olarak daha uygundur.

Merkeziyetsizlik eğitiminin sınırları, fırsatlar ve gerçek yollar

Eğitim paradigması açısından merkeziyetsiz eğitim, tüm görev türlerine uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak taleplerinin son derece yüksek olması veya iş birliğinin zorluğu nedeniyle, doğal olarak heterojen, güvenilir olmayan düğümler arasında verimli bir şekilde tamamlanamaz. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir; bu, açık ağlarda etkili bir şekilde bölünmesini ve senkronizasyonunu zorlaştırır; veri gizliliği ve egemenlik kısıtlamaları olan görevler ( gibi sağlık, finans, gizli veriler ) yasal uyumluluk ve etik kısıtlamalar nedeniyle açıkça paylaşılamaz; ve iş birliği teşviklerine dayanmayan görevler ( gibi şirket içi kapalı kaynak modeller veya iç prototip eğitimleri ) dışsal katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsiz eğitimdeki gerçek kısıtlamaları oluşturur.

Ancak bu, merkeziyetsizlik eğitimlerinin sahte bir önerme olduğu anlamına gelmez. Aslında, yapısal olarak hafif, kolayca paralelleştirilebilen ve teşvik edici görev türlerinde, merkeziyetsizlik eğitimi belirgin uygulama potansiyeli göstermektedir. Bunlar arasında ama bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri (, RLHF, DPO ), veri kalabalıklaştırma eğitimi ve etiketleme görevleri, kaynak kontrolü olan küçük temel model eğitimi ve kenar cihazlarının katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevler genellikle yüksek paralellik, düşük bağlılık ve heterojen hesaplama toleransı özelliklerine sahiptir, bu da onları P2P ağları, Swarm protokolleri, dağıtılmış optimizatörler gibi yollarla işbirlikçi eğitim için son derece uygun hale getirir.

Merkeziyetsizlik Eğitim Klasik Projelerin Analizi

Şu anda merkeziyetsizlik eğitim ve federatif öğrenme öncülük alanında, temsil niteliği taşıyan blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai, sistem mimarisi ve algoritma tasarımında daha fazla özgün keşif önermiştir ve mevcut teorik araştırmaların öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun gerçekleştirme yolları ise nispeten net olup, ilk mühendislik ilerlemeleri görülmektedir. Bu makale, bu beş projenin ardındaki temel teknikler ve mühendislik yapısını sırasıyla analiz edecek ve merkeziyetsizlik AI eğitim sistemindeki farklılıkları ve tamamlayıcı ilişkilerini daha fazla tartışacaktır.

Prime Intellect: Eğitilmiş izlerin doğrulanabilir güçlendirilmiş öğrenme işbirlikçi ağ öncüsü

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye yönelik çalışmalar yapmaktadır. Bu sayede herkes eğitim sürecine katılabilir ve hesaplama katkıları için güvenilir ödüller alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modül ile, doğrulanabilirlik, açıklık ve teşvik mekanizmalarıyla donatılmış bir AI Merkeziyetsizlik eğitim sistemi kurmayı hedeflemektedir.

01、Prime Intellect protokol yığını yapısı ve ana modül değeri

02, Prime Intellect eğitimi anahtar mekanizmasının detaylı açıklaması

#PRIME-RL: Decoupled Asynchronous Reinforcement Learning Task Architecture

PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitim senaryoları için özel olarak tasarlanmış bir görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve asenkron katılımcılar için özel olarak tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayırır, böylece her eğitim düğümü yerel olarak bağımsız bir görev döngüsü tamamlayabilir ve standartlaştırılmış arayüzler aracılığıyla doğrulama ve toplama mekanizmaları ile iş birliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL Merkeziyetsizlik olmayan bir ortamda esnek eğitim uygulamak için daha uygun olup, sistem karmaşıklığını azaltmakta ve çoklu görev paralelliği ile strateji evrimi için bir temel oluşturmaktadır.

#TOPLOC:Ağırlıksız Eğitim Davranışı Doğrulama Mekanizması

TOPLOC(Güvenilir Gözlem & Politika-Yerelleştirme Kontrolü), Prime Intellect tarafından önerilen eğitim doğrulanabilirlik çekirdek mekanizmasıdır ve bir düğümün gerçekten gözlem verilerine dayanarak etkili bir politika öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tüm modelin yeniden hesaplanmasına dayanmaz, bunun yerine "gözlem dizisi↔politika güncellemesi" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını gerçekleştirir. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştürme konusunda ilk kez gerçekleştirilmiştir; bu, güvene dayanmayan eğitim ödül dağıtımını sağlamanın ana yeniliğidir ve denetlenebilir, teşvik edici bir Merkeziyetsizlik işbirlikçi eğitim ağı inşa etmek için uygulanabilir bir yol sunar.

#SHARDCAST: Asenkron Ağırlık Toplama ve Yayılma Protokolü

SHARDCAST, Prime Intellect tarafından tasarlanan bir ağırlık yayılımı ve birleştirme protokolüdür; asenkron, bant genişliği kısıtlı ve düğüm durumu sürekli değişen gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizmasını ve yerel senkronizasyon stratejisini birleştirerek, birden fazla düğümün senkronize olmayan durumlarda sürekli kısmi güncellemeler göndermesine olanak tanır, böylece ağırlıkların aşamalı olarak yakınsaması ve çoklu versiyon evrimi sağlanır. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST, Merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır ve kararlı ağırlık uzlaşması ile sürekli eğitim döngüleri oluşturmanın temelini oluşturur.

#OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi

OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak gerçekleştirdiği ve açık kaynak olarak sunduğu bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsiz eğitimde yaygın olan bant genişliği kısıtlamaları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklar için özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmakta olup, Ring, Expander, Small-World gibi seyrek topoloji yapıları inşa ederek, küresel senkronizasyonun yüksek iletişim maliyetinden kaçınmakta ve yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti tolerans mekanizması ile birleştirildiğinde, OpenDiLoCo, tüketici sınıfı GPU'ların ve kenar cihazlarının eğitim görevine istikrarlı bir şekilde katılmasını sağlayarak, küresel işbirlikçi eğitimin katılımcılığını önemli ölçüde artırmakta ve merkeziyetsiz eğitim ağlarının inşası için temel iletişim altyapılarından biri olmaktadır.

#PCCL: İşbirliği İletişim Kütüphanesi

PCCL(Prime Collective Communication Library), Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir ve NCCL, Gloo( gibi geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesintiden kurtarmayı destekler, tüketici sınıfı GPU'larda ve istikrarsız düğümlerde çalışabilir, OpenDiLoCo protokolünün asenkron iletişim yeteneklerini destekleyen temel bileşendir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçek anlamda açık ve güven gerektirmeyen işbirlikçi eğitim ağlarını inşa etmek için "son mil" iletişim altyapısını sağlamaktadır.

![Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlikle Eğitimdeki Sınırları Keşfetmek])https://img-cdn.gateio.im/webp-social/moments-a562dacd6fc5420f2afd895664b6be65.webp(

)# 03, Prime Intellect teşvik ağı ve rol dağılımı

Prime Intellect, herkese katılma imkanı sunan, doğrulanabilir ve ekonomik teşvik mekanizmalarına sahip bir eğitim ağı kurdu; böylece herkes görevlerde yer alabilir ve gerçek katkılara dayalı ödüller kazanabilir. Protokol, üç ana rol üzerine çalışmaktadır:

• Görev başlatıcısı: Eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımla
• Eğitim Düğümleri: Yerel eğitim gerçekleştirin, ağırlık güncellemelerini gönderin ve gözlem izlerini gönderin
• Doğrulama Düğümü: TOPLOC mekanizmasını kullanarak doğrulama