🧮 Mesh LLM: распределённые AI-вычисления на базе iroh

Mesh LLM — это открытая платформа для распределённого запуска больших языковых моделей (LLM) на собственном оборудовании. Вместо аренды GPU в дата-центрах система объединяет вычислительные ресурсы нескольких машин (ноутбуки, серверы, облачные узлы) в единый mesh, доступный через OpenAI-совместимый API на localhost:9337/v1.

Под капотом — протокол iroh, обеспечивающий безопасные QUIC-соединения между узлами с NAT traversal и hole-punching. Модель может выполняться локально, маршрутизироваться на пир с уже загруженной моделью или разбиваться на стадии (режим Skippy) — слои распределяются по разным машинам, активации передаются по pipeline. Это позволяет запускать модели до 235B параметров на скромном железе.

Система поддерживает 40+ моделей, плагинную архитектуру (MCP, HTTP, inference), gossip-слой для пиринга и три типа ALPN-соединений: основной mesh, управление владельцем и транспорт для split-моделей. Размер бинарника — около 18 МБ. Планируется мобильное приложение на Swift SDK и поддержка протокола ACP.

#AI #MeshLLM #iroh #Computing #LLM #OpenCode