Kripto AI'nin Kutsal Kâsesi: Merkeziyetsizlikte Eğitimdeki Öncü Keşifler

AI'nın tam değer zincirinde, model eğitimi en fazla kaynak tüketen, en yüksek teknik engel olan aşamadır ve doğrudan modelin yetenek sınırlarını ve gerçek uygulama etkisini belirler. Çıkarım aşamasının hafif çağrıları ile karşılaştırıldığında, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunluklu optimizasyon algoritması desteği gerektirir; bu, AI sisteminin inşasının gerçek "ağır sanayi"sidir. Mimari paradigmasından bakıldığında, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede ana odak olarak ele alınan Merkeziyetsizlik eğitimi.

Merkeziyetsizlik eğitimi, tek bir kurumun yerel yüksek performanslı kümeler içinde tüm eğitim süreçlerini tamamladığı en yaygın geleneksel yöntemdir. Donanım, alt yazılım, küme planlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilerek çalıştırılır. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkarır ve GPT, Gemini gibi büyük ölçekli modellerin eğitimi için son derece uygundur. Yüksek verimlilik ve kontrol edilebilir kaynaklar avantajına sahiptir, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da beraberinde getirir.

Dağıtık eğitim, günümüz büyük model eğitiminde ana akım bir yöntemdir. Temelinde, model eğitim görevlerinin parçalanması ve birden fazla makineye dağıtılarak işbirliği içinde çalıştırılması yatmaktadır. Bu, tek makineli hesaplama ve depolama sıkıntılarını aşmak içindir. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol edilen planlama ve senkronizasyon ile yürütülmektedir. Genellikle yüksek hızlı yerel alan ağı ortamlarında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi ile ana düğüm, her alt görevi koordine eder. Ana akım yöntemler şunlardır:

• Veri paralelliği: Her düğüm farklı veri parametreleri üzerinde eğitim yapar, model ağırlıkları eşleştirilmelidir.
• Model paralelliği: Modelin farklı kısımlarını farklı düğümlere dağıtarak güçlü ölçeklenebilirlik sağlamak
• Boru hattı paralel: Aşamalı seri yürütme, verimliliği artırır
• Tensör paralelliği: Matris hesaplamalarını ince bir şekilde bölerek paralel granulariteyi artırma

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; aynı patronun uzaktan birden fazla "ofis" çalışanını işbirliği yaparak görevleri tamamlamasıyla benzerlik gösterir. Şu anda neredeyse tüm önde gelen büyük modeller bu yöntemle eğitim tamamlamaktadır.

Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir geleceği temsil eder. Temel özellikleri şunlardır: Birbirine güvenmeyen birden fazla düğüm (ev bilgisayarları, bulut GPU'ları veya kenar cihazları olabilir) merkezi bir koordinator olmadan eğitim görevlerini işbirliği içinde tamamlar, genellikle protokollerle görev dağılımı ve işbirliği sağlanır ve katkının doğruluğunu güvence altına almak için şifreleme teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı ana zorluklar arasında:

• Cihaz heterojenliği ve parçalanma zorluğu: Heterojen cihazların koordinasyonu zor, görev parçalama verimliliği düşük
• İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyonu darboğazı belirgin.
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamının olmaması, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırır.
• Birlikte çalışmanın eksikliği: Merkezi bir düzenleyici yok, görev dağılımı ve hata geri alma mekanizması karmaşık.

Merkeziyetsizlik eğitimi, dünya çapında bir grup gönüllünün, her birinin hesaplama gücünü katkıda bulunarak modeli birlikte eğitmesi olarak anlaşılabilir. Ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğu olarak kalmaktadır. Bu, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok yönü içermektedir. Ancak "etkili iş birliği + dürüstlük teşviki + doğru sonuç" sağlanıp sağlanamayacağı henüz erken prototip keşif aşamasındadır.

Federated learning, bir geçiş biçimi olarak dağıtılmışlık ile Merkeziyetsizlik arasında, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi olarak toplanmasını vurgular; gizlilik uyumuna önem veren senaryolar için uygundur. Federated learning, dağıtılmış eğitim için mühendislik yapısı ve yerel iş birliği yeteneğine sahipken, aynı zamanda Merkeziyetsizlik eğitiminde verilerin dağılması avantajını da taşır; ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumu gerektiren senaryolar için bir "kontrollü Merkeziyetsizlik" çözümü olarak görülebilir; eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından oldukça ılımlıdır ve sanayi açısından geçiş aşaması olarak daha uygundur.

Merkeziyetsizlik eğitiminde sınırlar, fırsatlar ve gerçek yollar

Eğitim paradigması açısından, merkeziyetsiz eğitim her görev türü için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin son derece yüksek olması veya işbirliği zorluğu nedeniyle, doğası gereği heterojen, güvenilir olmayan düğümler arasında verimli bir şekilde tamamlanması zor olabilir. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir ve açık ağda etkili bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamaları olan görevler, yasal uyumluluk ve etik kısıtlamalar nedeniyle açıkça paylaşılamaz; ve işbirliği teşvik temeli eksik olan görevler, dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsiz eğitimin gerçek sınırlamalarını oluşturur.

Ancak bu, merkeziyetsizlik eğitiminin bir safsata olduğu anlamına gelmez. Aslında, yapı olarak hafif, paralelleştirilmesi kolay ve teşvik edici görev türlerinde merkeziyetsizlik eğitimi belirgin bir uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri, veri toplama eğitimi ve etiketleme görevleri, kaynakları kontrol edilebilen küçük temel model eğitimi ve kenar cihazlarının katıldığı işbirlikçi eğitim senaryoları yer almaktadır. Bu görevler genellikle yüksek paralellik, düşük bağlılık ve farklı hesaplama güçlerine tolerans gösterme özelliklerine sahiptir ve P2P ağları, Swarm protokolleri, dağıtık optimizasyon araçları gibi yöntemlerle işbirlikçi eğitim için son derece uygundur.

Merkeziyetsizlik eğitim klasik proje analizi

Şu anda Merkeziyetsizlik eğitimi ve federatif öğrenme öncü alanında, temsil niteliği taşıyan blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı konusunda oldukça fazla özgün keşif önermiştir ve mevcut teorik araştırmaların öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun ise uygulama yolları nispeten net olup, ilk mühendislik ilerlemeleri görülebilmektedir.

Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme işbirliği ağı öncüsü

Prime Intellect, herkesin eğitim sürecine katılabileceği ve hesaplama katkılarının güvenilir ödüllerle karşılandığı bir güvene dayanmayan AI eğitim ağı kurmayı taahhüt ediyor. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilirlik, açıklık ve teşvik mekanizmasının tam olduğu bir AI merkeziyetsiz eğitim sistemi inşa etmeyi umuyor.

Anahtar Mekanizma Detayları

PRIME-RL, Prime Intellect'in merkeziyetsiz eğitim senaryoları için özel olarak tasarlanmış görev modelleme ve yürütme çerçevesidir ve heterojen ağlar ile asenkron katılım için optimize edilmiştir. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırarak her eğitim düğümünün yerel olarak bağımsız bir şekilde görev döngüsünü tamamlamasına olanak tanır ve standart arayüzler aracılığıyla doğrulama ve birleştirme mekanizmaları ile işbirliği yapar. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL merkezi bir planlama ortamında esnek eğitim gerçekleştirmek için daha uygundur; bu, sistem karmaşıklığını azaltmanın yanı sıra çoklu görev paralelliği ve strateji evrimi desteklemek için bir temel oluşturur.

TOPLOC, Prime Intellect tarafından önerilen, bir düğümün gerçekten gözlem verilerine dayanarak etkili bir strateji öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılan doğrulanabilirlik çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz; bunun yerine "gözlem dizisi↔strateji güncellemesi" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk sistemdir ve güvenmeye gerek olmadan eğitim ödül dağıtımını sağlamanın ana yeniliğidir, denetlenebilir ve teşvik edici Merkeziyetsizlik işbirliği eğitim ağları inşa etmek için uygulanabilir bir yol sunar.

SHARDCAST, Prime Intellect tarafından tasarlanmış bir ağırlık yayılımı ve toplama protokolüdür ve asenkron, bant genişliği kısıtlı ve düğüm durumu değişken gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ile yerel senkronizasyon stratejilerini birleştirerek, farklı senkronizasyon durumlarındaki birden fazla düğümün kısmi güncellemeleri sürekli olarak göndermesine olanak tanır ve ağırlıkların kademeli yakınsamasını ve çoklu versiyon evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST, Merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır ve istikrarlı ağırlık konsensüsü ve sürekli eğitim iterasyonu oluşturmanın temel temelidir.

OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo konseptini bağımsız olarak gerçekleştirdiği ve açık kaynak olarak sunduğu bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsizlik eğitiminde sıkça karşılaşılan bant genişliği kısıtlaması, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorlukları ele almak üzere tasarlanmıştır. Mimari, veri paralelliğine dayanmakta ve Ring, Expander, Small-World gibi seyrek topoloji yapıları oluşturarak, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta ve yalnızca yerel komşu düğümlere dayanarak modelin ortak eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti toleransı mekanizması ile OpenDiLoCo, tüketici düzeyindeki GPU'lar ve kenar cihazlarının da eğitim görevlerine istikrarlı bir şekilde katılmasını sağlamakta ve küresel işbirliği eğitimine katılımı önemli ölçüde artırmaktadır. Bu, merkeziyetsizlik eğitim ağı inşa etmek için kritik bir iletişim altyapılarından biridir.

PCCL, Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir ve geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorununu çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesinti kurtarmayı destekler, tüketici sınıfı GPU'lar ve istikrarsız düğümlerde çalışabilir ve OpenDiLoCo protokolünün asenkron iletişim yeteneklerinin temel bileşenidir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçekten açık ve güvene ihtiyaç duymayan bir işbirlikçi eğitim ağı inşa etmek için "son bir mil" iletişim altyapısını sağlamıştır.

Prime Intellect teşvik ağı ve rol dağılımı

Prime Intellect, herkesin görevlere katılabileceği ve gerçek katkılara dayalı ödüller alabileceği, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizması olan bir eğitim ağı inşa etti. Protokol, üç ana rol temelinde çalışmaktadır:

• Görev başlatıcısı: Eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımla
• Eğitim düğümü: Yerel eğitim gerçekleştirir, ağırlık güncellemeleri ve gözlem izlerini gönderir.
• Doğrulama Düğümü: Eğitim davranışının gerçekliğini doğrulamak için TOPLOC mekanizmasını kullanın ve ödül hesaplaması ile strateji birleştirmeye katılın.

Protokolün temel süreçleri, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme (SHARDCAST) ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngü oluşturur.

INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayımlanması

Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü. Bu, dünya çapında asenkron, güven gerektirmeyen Merkeziyetsizlik düğümleriyle iş birliği içinde eğitilen ilk güçlendirme öğrenme büyük modelidir ve parametre ölçeği 32B'ye ulaşmaktadır. INTELLECT-2 modeli, üç kıtada bulunan 100'den fazla GPU heterojen düğüm tarafından iş birliği içinde eğitilmiştir, tamamen asenkron bir mimari kullanılmıştır ve eğitim süresi 400 saatten fazla sürmüştür. Bu, asenkron iş birliği ağının uygulanabilirliğini ve istikrarını göstermektedir. Bu model yalnızca bir performans atılımı değil, aynı zamanda Prime Intellect'in "eğitim konsensüsü" paradigmasının ilk sistematik uygulanmasıdır. INTELLECT-2, merkeziyetsiz eğitim ağının eğitim sürecini açık hale getirmesi, doğrulayıcı ve ekonomik teşvik kapalı döngüsünü sağlamasıyla birlikte, PRIME-RL (asenkron eğitim yapısı), TOPLOC (eğitim davranış doğrulama) ve SHARDCAST (asenkron ağırlık toplama) gibi temel protokol modüllerini içermektedir.

Performans açısından, INTELLECT-2 QwQ-32B üzerinde eğitim almış ve kod ile matematikte özel bir RL eğitimi yapılmıştır, mevcut açık kaynaklı RL ince ayar modellerinin ön saflarında yer almaktadır. Henüz GPT-4 veya Gemini gibi kapalı kaynaklı modelleri geçmemiş olsa da, gerçek anlamı şudur: Bu, dünya genelinde tam eğitim süreci tekrarlanabilir, doğrulanabilir ve denetlenebilir olan bir Merkeziyetsizlik modeli deneyidir. Prime Intellect yalnızca modeli açık kaynak yapmamış, daha da önemlisi eğitim sürecinin kendisini açık kaynak hale getirmiştir - eğitim verileri, strateji güncelleme izleri, doğrulama süreçleri ve toplama mantığı tamamen şeffaf ve incelenebilir şekilde sunulmuştur, herkesin katılabileceği bir yapı oluşturulmuştur.