Проекты классифицированы по следующим параметрам: тип нагрузки (инференс или обучение); требования к оборудованию (минимальный объём VRAM, поддержка CUDA/ROCm, требования к CPU/RAM); сетевые требования (пропускная способность, задержка); порог входа (сложность установки); экономика участия (внутренняя валюта, токены, отсутствие вознаграждения).

2.2.  Уровни участия

Выделены 4 уровня участия: (1) BOINC-стиль (OpenCL/CPU) — классические научные проекты, задачи независимы, синхронизация не требуется; (2) инференс-воркеры — генерация контента на готовых моделях (AI Horde [6]); (3) лёгкое дообучение и инференс на фрагментах модели (Petals [3]); (4) полное обучение моделей с обновлением весов (Hivemind [4], Prime Intellect [7]).

3.  АНАЛИЗ ПРОЕКТОВ И ТРЕБОВАНИЯ К ОБОРУДОВАНИЮ

Таблица 1. Сравнение проектов распределённых вычислений. 

Классические BOINC-проекты (Einstein@Home, Milkyway@Home) предъявляют минимальные требования и работают с любыми GPU, поддерживающими OpenCL 1.2. Однако они не предназначены для обучения моделей машинного обучения.

Проект AI Horde [6] использует добровольческие GPU для инференса моделей генерации изображений (Stable Diffusion) и текста (LLM). За работу воркера начисляются «kudos» — внутренняя валюта сети, повышающая приоритет собственных запросов участника.

Проект Petals [3] разделяет большую языковую модель на блоки, каждый участник держит несколько слоёв на своей GPU. Поддерживается не только инференс, но и лёгкое дообучение (prompt tuning, адаптеры) без изменения базовых весов.

Фреймворк Hivemind [4] обеспечивает децентрализованное обучение моделей на добровольческих узлах. Использует распределённую хеш-таблицу (DHT) для координации без центрального сервера и асинхронное усреднение весов.

Платформа Prime Intellect [7] реализовала распределённое обучение моделей объёмом до 106 млрд параметров (INTELLECT-3) на узлах, расположенных на нескольких континентах, с использованием алгоритма DiLoCo.

4.  СЕТЕВЫЕ ТРЕБОВАНИЯ И ОЦЕНКА ПРОПУСКНОЙ СПОСОБНОСТИ

Таблица 2. Сетевые требования по классам моделей. 

Алгоритм DiLoCo [5] позволяет синхронизировать градиенты не каждый шаг, а каждые 500 шагов, что снижает объём сетевого трафика в 500 раз. При этом качество обучения остаётся сопоставимым с синхронным подходом. Компрессия градиентов (Int8, 1-bit Adam) дополнительно снижает объём передачи данных в 4–50 раз [8].

Даже при достаточной пропускной способности задержка остаётся критическим фактором. В синхронном обучении каждый шаг требует all-reduce операции, и все GPU ждут самого медленного узла. Задержка InfiniBand в дата-центрах составляет 0,5–1 мкс, тогда как в волонтёрских сетях — 20–250 мс. Разница в 100–1000 раз делает синхронное обучение на добровольческих узлах практически невозможным для больших моделей.

Решением являются асинхронные алгоритмы: SWARM Parallelism [9], DiLoCo [5], VC-ASGD [10]. Узлы не ждут друг друга, а считают дальше, когда данные приходят. Это ухудшает сходимость, но делает обучение устойчивым к нестабильности сети.

Спецификации 6G (IMT-2030) предусматривают пиковую скорость до 1 Тбит/с и задержку 0,1–1 мс [11]. Это закроет брешь для моделей среднего размера (до ~100 млрд параметров) при использовании современных методов оптимизации. Однако даже 6G с задержкой 100 мкс остаётся в 100 раз медленнее InfiniBand.

5.  ПРАКТИЧЕСКИЙ КЕЙС: RADEON HD 5870

5.1.  Технические ограничения

Radeon HD 5870 (архитектура TeraScale 2, 2009 г.) имеет следующие характеристики: VRAM 1–2 ГБ; вычислительная мощность ~2,7 TFLOPS (single-precision); поддержка OpenCL 1.2; отсутствие поддержки CUDA и ROCm.

Современные ML-фреймворки (PyTorch, TensorFlow) не поддерживают архитектуру TeraScale. ROCm (AMD-аналог CUDA) требует архитектуры GCN и новее — минимум Radeon HD 7970 (2012 г.). Следовательно, запуск Petals, AI Horde, Hivemind на GPU данного типа невозможен.

5.2.  Допустимые сценарии

1.    Участие в BOINC-проектах с поддержкой OpenCL: Einstein@Home, Milkyway@Home. Карта обеспечивает корректную обработку задач, хотя и с значительно меньшей производительностью по сравнению с современными GPU.

2.   Эксперименты с Hivemind на CPU: возможно концептуальное обучение на процессоре (например, классификация CIFAR-10) для понимания принципов работы P2P-сети и синхронизации весов. Производительность крайне низкая, но методология сохраняется.

Две карты Radeon HD 5870 суммарно обеспечивают около 5,4 TFLOPS (single-precision), что эквивалентно примерно 40% от одной NVIDIA RTX 3060 (12 TFLOPS).

6.  РЕКОМЕНДАЦИИ ПО ВЫБОРУ ПРОЕКТА

Таблица 3. Рекомендации по выбору проекта в зависимости от оборудования. 

7.  ЭКОНОМИЧЕСКАЯ ОЦЕНКА

Таблица 4. Сравнение стоимости обучения модели 1,5 млрд параметров. 

Экономия составляет 3–4 раза. Однако главное преимущество BOINC-варианта — не снижение стоимости, а доступность для тех, у кого нет бюджета на облачные вычисления: университетам, независимым исследователям, сообществам.

8.  РИСКИ И ОГРАНИЧЕНИЯ

1.  Нестабильность узлов. В добровольческой сети узлы могут отключаться в любой момент. Решение: SWARM-параллелизм [9] с автоматическим перераспределением задач и чекпоинтами каждые 500 шагов.

2.   Отравление модели. Злонамеренный узел может отправить некорректные градиенты. Решение: Byzantine-устойчивые алгоритмы [12], валидация результатов через TOPLOC [7].

3.   Сетевые задержки. Компенсируются компрессией градиентов, редкой синхронизацией (DiLoCo) и асинхронными методами.

4.      Неоднородность     оборудования.     Разные     GPU     считают    с     разной        скоростью.               Решение: SWARM-динамическое распределение задач.

5.   Юридические и этические аспекты. Использование данных должно соответствовать лицензиям и требованиям приватности.

9.  ПЕРСПЕКТИВЫ РАЗВИТИЯ

Дальнейшее развитие связано с: (1) совершенствованием асинхронных алгоритмов — Decoupled DiLoCo [13] уже показал возможность обучения моделей 10B+ на сетях 2–5 Гбит/с; (2) снижением порога входа — проекты Prime Intellect и Pluralis работают над подключением потребительских GPU; (3) развитием сетевой инфраструктуры — 6G с пиковой скоростью до 1 Тбит/с [11] расширит круг доступных моделей; (4) экономической мотивацией — Nous Psyche [14] реализовал оплату через токены на блокчейне Solana; (5) федеративным обучением [15], при котором данные не покидают устройство.

10.  ЗАКЛЮЧЕНИЕ

Распределённые вычисления остаются эффективным инструментом для научных расчётов и обучения моделей машинного обучения при условии правильного выбора проекта под имеющееся оборудование. Классические BOINC-проекты позволяют задействовать даже устаревшее оборудование (например, Radeon HD 5870), тогда как современные ML-фреймворки предъявляют жёсткие требования к архитектуре GPU и объёму видеопамяти.

Сетевые параметры (пропускная способность и задержка) играют критическую роль в эффективности обучения. Асинхронные методы (DiLoCo, SWARM) и компрессия градиентов позволяют снизить требования к сети в сотни раз, что делает BOINC-подход жизнеспособным для моделей среднего размера. Дальнейшее развитие направления связано с совершенствованием асинхронных алгоритмов, расширением сетевой инфраструктуры (6G) и созданием экономических стимулов для участников.

СПИСОК ЛИТЕРАТУРЫ

1.           Introl.        Bandwidth        Optimization        for        Distributed        Training        at         400   Gbps.        URL: https://introl.com/blog/bandwidth-optimization-distributed-training-400gbps

2.  BOINC: Berkeley Open Infrastructure for Network Computing. URL: https://boinc.berkeley.edu

3.  Petals: Decentralized Inference and Fine-Tuning of Large Language Models. URL: https://petals.dev

4.  Hivemind: Decentralized Deep Learning at the Edge. URL: https://github.com/learning-at-home/hivemind

5.  DiLoCo: Distributed Low-Communication Training. Google DeepMind, 2023. arXiv:2311.08105.

6.  AI Horde: Volunteer GPU Network. URL: https://ai.horde.net