HN讨论 · 身份未知
用对等网络聚合普通电脑资源以运行超大 LLM 的早期实验
项目作者在无数据中心和大型 GPU 集群的条件下，探索用多个普通电脑组成对等网络，分担存储、计算和模型权重，以运行数百亿参数级别的 LLM，尤其针对 Mixture-of-Experts 模型通过发送激活值而非传输权重来降低网络开销。仍处于早期实验，面临延迟与安全挑战。
查看原始信号hn:49236781
目标用户
没有大型 GPU 集群或数据中心资源、但拥有多台普通电脑的个人开发者与研究者
潜在需求
在没有数据中心或大型 GPU 集群的情况下，通过把多台普通电脑当作共享资源池，实现超大 LLM 的存储与推理。
发生场景
用户希望运行参数规模达数百亿、无法在单台普通电脑上存储或推理的超大 LLM；当前受限于单机硬件资源，无法执行或需要依赖昂贵的基础设施。
来源证据
Lumabri 把普通计算机组网当作共享资源池，MoE 模型可将激活值发送给持有专家权重的对等节点执行，而无需传输大量专家权重。
space, another compute, another a different part of the model. If a required block or expert isn’t available locally, the system can retrieve or execute it on a peer. This is particularly interesting for Mixture-of-Experts models. A model can have hundreds of billions of parameters, while only a fraction are activated for each token. Rather than moving huge expert weights over the network, Lumabri can send the small activation to a peer that already has the expert and let it execute it. The goalhttps://news.ycombinator.com/item?id=49236781
为什么值得留意
该方向把用户自身变成基础设施，与中心化云服务形成对比；对 MoE 模型的激活转发设计可能大幅降低带宽需求，使个人与社区自建大规模推理成为可能。
已有方案
- Colibrì：作者此前尝试在单台普通电脑上运行超大 LLM 的项目
未满足部分
- 网络延迟与安全性是尚未解决的主要挑战
- 项目仍处于早期实验阶段，分布式执行的可行性尚未验证
可能延伸 · 模型推测
- 将激活转发策略扩展到分布式训练
- 基于贡献的节点激励与信誉机制
- 针对延迟优化的模型分片与专家放置
目前未知
- 信号来自项目作者本人，没有独立用户反馈或采用证据
- 消费级网络环境下 MoE 激活转发的延迟是否可接受尚不明确
- p2p 场景中安全性和恶意节点的实际威胁未见评估
继续核实
- 除了作者，是否有其他个人或小团队正在寻求这种资源池化推理方案？
- 在真实网络条件下，发送激活值与传输专家权重相比的延迟和吞吐差异有多大？
- 这种去中心化推理模式能否在安全与激励方面形成可持续的生态？
主题词
distributed inferencemixture of expertspeer to peer computinglarge language modelresource pooling