Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и наиболее высокими техническими требованиями, что напрямую определяет предельные возможности модели и фактическую эффективность применения. По сравнению со стадией вывода, которая требует легковесного вызова, процесс обучения требует постоянных инвестиций в крупномасштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, который выполняется одним учреждением на локальном высокопроизводительном кластере, где весь процесс обучения контролируется единой системой управления, начиная от аппаратного обеспечения, нижнего программного обеспечения и системы управления кластером до всех компонентов учебной рамки. Эта система глубокой координации позволяет достичь оптимальной эффективности при совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, обладая такими преимуществами, как высокая эффективность и контролируемые ресурсы, но также имея проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным способом обучения крупных моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели и распределении ее на несколько машин для совместного выполнения с целью преодоления узких мест вычислений и хранения на одном компьютере. Несмотря на то что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется и координируется централизованной организацией, обычно работает в среде высокоскоростной локальной сети и использует технологию высокоскоростной межсоединительной шины NVLink, с помощью главного узла, который координирует все подзадачи. Основные методы включают:
Параллельная обработка данных: каждый узел обучает разные данные, параметры совместно используются, необходимо сопоставить веса модели
Параллелизм моделей: развертывание различных частей модели на разных узлах для обеспечения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение для повышения пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма
Распределённое обучение - это комбинация «централизованного управления + распределённого выполнения», аналогично тому, как один и тот же начальник удалённо управляет несколькими «офисами», чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре будущую траекторию. Его ключевой особенностью является: несколько взаимно недоверчивых узлов (возможно, домашние компьютеры, облачные GPU или устройства на краю сети) совместно выполняют задачи обучения без центрального координатора, обычно через протокол, управляющий распределением задач и сотрудничеством, и с помощью криптоин incentive механизма для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверенного выполнения: нехватка доверенной среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизм отката при ошибках
Децентрализация тренировки может быть понята как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системным инженерным вызовом, который охватывает архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, проверку моделей и другие аспекты, но возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но все же зависит от доверенной координирующей стороны и не имеет полностью открытых и антикоррупционных характеристик. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи являются относительно мягкими, что делает его более подходящим в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным их открытое совместное использование; а задачи, лишенные основ для сотрудничества, испытывают недостаток внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является мнимой проблемой. На самом деле, в задачах с легкой структурой, легкими для параллелизации и стимулирующими характеристиками, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: дообучением LoRA, задачами постобучения с согласованием поведения, задачами обучения и аннотирования данных через краудсорсинг, обучением малых базовых моделей с контролируемыми ресурсами, а также сценариями кооперативного обучения с участием крайних устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и терпимостью к неоднородной вычислительной мощности, что делает их особенно подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической новизны и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и проектировании алгоритмов, представляя передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в инженерной реализации.
Prime Intellect: пионер сети совместного обучения с проверяемыми траекториями тренировки.
Prime Intellect стремится создать сеть обучения ИИ без необходимости в доверии, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Подробное объяснение ключевых механизмов
PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу тренировки независимо выполнять цикл задач на локальном уровне, а также взаимодействовать через стандартизированный интерфейс с механизмами проверки и агрегации. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкой тренировки в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельных многозадач и эволюции стратегий.
TOPLOC — это основная механика проверяемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершается через анализ локальных согласованных траекторий между "последовательностью наблюдений ↔ обновлением стратегии", что обеспечивает валидацию легковесной структуры. Впервые поведенческие траектории в процессе обучения преобразованы в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивированной Децентрализация сотрудничества обучающих сетей.
SHARDCAST является протоколом распространения и агрегации весов, разработанным Prime Intellect, оптимизированным для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, основанной на концепции DiLoCo, предложенной командой Prime Intellect и DeepMind, специально разработанной для решения таких проблем, как ограничения по пропускной способности, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных, с построением разреженных топологий, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального совместного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, которая направлена на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия, сети совместного обучения.
Сеть стимулирования Prime Intellect и распределение ролей
Prime Intellect построил сеть тренировки, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определяет среду обучения, начальную модель, функцию вознаграждения и стандарт валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узловая проверка: использование механизма TOPLOC для проверки подлинности обучающего поведения и участие в расчетах вознаграждений и агрегации стратегий
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, что образует замкнутый цикл стимулов вокруг "реального тренировочного поведения".
INTELLECT-2: Первая публикация проверяемой Децентрализации обучающей модели
В мае 2025 года Prime Intellect выпустила INTELLECT-2, это первая в мире большая модель обучения с подкреплением, обученная с помощью асинхронного, не требующего доверия Децентрализации узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только стала прорывом в производительности, но и впервые системно реализовала предложенную Prime Intellect парадигму "обучение — это консенсус". INTELLECT-2 интегрировала ключевые протокольные модули, такие как PRIME-RL (асинхронная структура обучения), TOPLOC (подтверждение поведения обучения) и SHARDCAST (асинхронная агрегация весов), что знаменует собой первую реализацию открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в рамках Децентрализации.
В плане производительности INTELLECT-2 основан на QwQ-32B, прошел специализированное обучение RL в коде и математике и находится на переднем крае современных открытых моделей микронастройки RL. Несмотря на то, что он еще не превзошел закрытые модели, такие как GPT-4 или Gemini, его истинное значение заключается в том, что это первая в мире децентрализованная модель, процесс обучения которой можно полностью воспроизвести, проверить и провести аудит. Prime Intellect не только открыла модель, но, что более важно, открыла сам процесс обучения — данные для обучения, траектории обновления стратегий, процессы валидации и логика агрегации полностью прозрачны и доступны для проверки, тем самым создавая платформу, к которой может получить доступ каждый.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
11 Лайков
Награда
11
4
Репост
Поделиться
комментарий
0/400
PebbleHander
· 08-12 12:40
Снова спекулируете на концепциях?
Посмотреть ОригиналОтветить0
MEVictim
· 08-12 12:38
Все понимают, все понимают, это снова рассказ о том, как заработать деньги.
Посмотреть ОригиналОтветить0
RamenDeFiSurvivor
· 08-12 12:24
Умер от смеха, снова рисуют большой блин.
Посмотреть ОригиналОтветить0
rugpull_survivor
· 08-12 12:18
Вот и всё? Слишком легко, чтобы тренировать игрушечный ИИ.
Крипто ИИ: новая парадигма тренировки: исследование вызовов и возможностей Децентрализации
Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и наиболее высокими техническими требованиями, что напрямую определяет предельные возможности модели и фактическую эффективность применения. По сравнению со стадией вывода, которая требует легковесного вызова, процесс обучения требует постоянных инвестиций в крупномасштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным методом, который выполняется одним учреждением на локальном высокопроизводительном кластере, где весь процесс обучения контролируется единой системой управления, начиная от аппаратного обеспечения, нижнего программного обеспечения и системы управления кластером до всех компонентов учебной рамки. Эта система глубокой координации позволяет достичь оптимальной эффективности при совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, обладая такими преимуществами, как высокая эффективность и контролируемые ресурсы, но также имея проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным способом обучения крупных моделей в настоящее время. Его суть заключается в разбиении задачи обучения модели и распределении ее на несколько машин для совместного выполнения с целью преодоления узких мест вычислений и хранения на одном компьютере. Несмотря на то что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется и координируется централизованной организацией, обычно работает в среде высокоскоростной локальной сети и использует технологию высокоскоростной межсоединительной шины NVLink, с помощью главного узла, который координирует все подзадачи. Основные методы включают:
Распределённое обучение - это комбинация «централизованного управления + распределённого выполнения», аналогично тому, как один и тот же начальник удалённо управляет несколькими «офисами», чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре будущую траекторию. Его ключевой особенностью является: несколько взаимно недоверчивых узлов (возможно, домашние компьютеры, облачные GPU или устройства на краю сети) совместно выполняют задачи обучения без центрального координатора, обычно через протокол, управляющий распределением задач и сотрудничеством, и с помощью криптоин incentive механизма для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системным инженерным вызовом, который охватывает архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, проверку моделей и другие аспекты, но возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но все же зависит от доверенной координирующей стороны и не имеет полностью открытых и антикоррупционных характеристик. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи являются относительно мягкими, что делает его более подходящим в качестве переходной архитектуры для промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ограничены юридическими и этическими нормами, что делает невозможным их открытое совместное использование; а задачи, лишенные основ для сотрудничества, испытывают недостаток внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.
Но это не означает, что Децентрализация обучения является мнимой проблемой. На самом деле, в задачах с легкой структурой, легкими для параллелизации и стимулирующими характеристиками, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: дообучением LoRA, задачами постобучения с согласованием поведения, задачами обучения и аннотирования данных через краудсорсинг, обучением малых базовых моделей с контролируемыми ресурсами, а также сценариями кооперативного обучения с участием крайних устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и терпимостью к неоднородной вычислительной мощности, что делает их особенно подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической новизны и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и проектировании алгоритмов, представляя передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги в инженерной реализации.
Prime Intellect: пионер сети совместного обучения с проверяемыми траекториями тренировки.
Prime Intellect стремится создать сеть обучения ИИ без необходимости в доверии, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Подробное объяснение ключевых механизмов
PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных тренировочных сценариев, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу тренировки независимо выполнять цикл задач на локальном уровне, а также взаимодействовать через стандартизированный интерфейс с механизмами проверки и агрегации. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкой тренировки в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельных многозадач и эволюции стратегий.
TOPLOC — это основная механика проверяемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершается через анализ локальных согласованных траекторий между "последовательностью наблюдений ↔ обновлением стратегии", что обеспечивает валидацию легковесной структуры. Впервые поведенческие траектории в процессе обучения преобразованы в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и мотивированной Децентрализация сотрудничества обучающих сетей.
SHARDCAST является протоколом распространения и агрегации весов, разработанным Prime Intellect, оптимизированным для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, достигая постепенной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, основанной на концепции DiLoCo, предложенной командой Prime Intellect и DeepMind, специально разработанной для решения таких проблем, как ограничения по пропускной способности, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных, с построением разреженных топологий, таких как Ring, Expander, Small-World, что позволяет избежать высоких затрат на связь при глобальной синхронизации, полагаясь только на локальных соседних узлов для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального совместного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, которая направлена на решение проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия, сети совместного обучения.
Сеть стимулирования Prime Intellect и распределение ролей
Prime Intellect построил сеть тренировки, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, что образует замкнутый цикл стимулов вокруг "реального тренировочного поведения".
INTELLECT-2: Первая публикация проверяемой Децентрализации обучающей модели
В мае 2025 года Prime Intellect выпустила INTELLECT-2, это первая в мире большая модель обучения с подкреплением, обученная с помощью асинхронного, не требующего доверия Децентрализации узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU гетерогенных узлов, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только стала прорывом в производительности, но и впервые системно реализовала предложенную Prime Intellect парадигму "обучение — это консенсус". INTELLECT-2 интегрировала ключевые протокольные модули, такие как PRIME-RL (асинхронная структура обучения), TOPLOC (подтверждение поведения обучения) и SHARDCAST (асинхронная агрегация весов), что знаменует собой первую реализацию открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в рамках Децентрализации.
В плане производительности INTELLECT-2 основан на QwQ-32B, прошел специализированное обучение RL в коде и математике и находится на переднем крае современных открытых моделей микронастройки RL. Несмотря на то, что он еще не превзошел закрытые модели, такие как GPT-4 или Gemini, его истинное значение заключается в том, что это первая в мире децентрализованная модель, процесс обучения которой можно полностью воспроизвести, проверить и провести аудит. Prime Intellect не только открыла модель, но, что более важно, открыла сам процесс обучения — данные для обучения, траектории обновления стратегий, процессы валидации и логика агрегации полностью прозрачны и доступны для проверки, тем самым создавая платформу, к которой может получить доступ каждый.