电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星​

不用H100，三台苹果电脑就能带动400B大模型。你没看错，这事儿已经有人做到了。

这背后的功臣，是GitHub上一个名叫exo的开源分布式AI推理框架，现在已经斩获了2.5k星标。简单来说，利用它，你手头的iPhone、iPad这些日常设备，花几分钟就能拼出一套自己的AI算力集群。

exo的设计思路和市面上其他分布式推理框架不太一样——它采用点对点（p2p）的连接方式，设备只要接入同一个网络，就能自动加入集群，几乎不用手动配置。有开发者拿两台MacBook Pro和一台Mac Studio组了个小集群，实测算力达到了110TFLOPS。而且这位开发者已经放话：随时准备迎接即将到来的Llama3-405B。exo官方也承诺，会在模型发布的第一时间（day 0）提供支持。

更让人意外的是，exo不仅限于电脑。iPhone、iPad甚至Apple Watch，理论上都可以加入这个本地算力网络。随着版本迭代，它也不再是苹果专属——起初只支持MLX框架，后来有人把安卓手机和NVIDIA RTX 4090显卡也拉进了集群。

最快60秒完成配置

和那些采用master-worker架构的框架不同，exo走的是p2p路线。设备连接到同一个局域网后，自动互相发现、组网，然后开始跑模型。在跨设备分割模型时，它默认使用环内存加权分区策略——每个设备在环中运行，承担的模型层数与其内存大小成比例。

整个过程几乎不需要你做任何额外设置。安装、启动，系统就会自动识别局域网内的其他设备。未来还会支持蓝牙连接。在一段演示视频中，作者只用了大约60秒，就在两台新的MacBook上完成了全部配置。

<iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3557190500724752396"></iframe>

视频里可以看到，刚到60秒左右，程序就已经开始在后台跑起来了。另外，exo还提供了图形化界面（tiny chat），以及一套兼容OpenAI的API接口。不过要注意的是，这些操作只能在集群中的尾节点（tail node）上实现。

目前，exo支持苹果的MLX框架和开源机器学习框架tinygrad，对llama.cpp的适配工作也在进行中。美中不足的是，由于iOS的实现更新跟不上Python，导致手机和iPad端出现不少问题，作者暂时把它们下线了。如果确实想尝试，可以通过邮件联系作者索取。

网友：真有那么好用？

这种用本地设备跑大模型的方式，在HackerNews上引来了不少讨论。本地化运行的好处显而易见：隐私更有保障，模型可以离线访问，还能自由做个性化定制。也有人算了一笔账——利用现有设备搭建集群跑大模型，长期使用成本比租云端服务要低。

但针对exo这个具体项目，质疑的声音也不少。有网友指出，旧设备的算力和专业服务商差着数量级，玩玩可以，想达到顶尖性能，成本完全不占优势。还有人算过，作者演示用的那台32GB内存的Mac设备，价格超过2000美元，这个价钱还不如直接买两块RTX 3090。他甚至吐槽：只要和苹果沾边，基本就和“便宜”说再见了。

这就引出了另一个关键问题：exo到底兼容哪些设备？难道只支持苹果？有网友直接问：支不支持树莓派？作者回复说，理论上可以，但还没测试，下一步会尝试。

除了设备本身的算力，也有人提到网络传输速度可能成为瓶颈。对此，框架作者亲自下场解释：exo在节点之间传输的是小型激活向量，而不是整个模型权重。比如Llama-3-8B，激活向量大约只有10KB；Llama-3-70B也才32KB。本地网络延迟通常很低（<5ms），不会显著影响性能。同时作者表示，目前exo已经支持tinygrad，因此理论上，只要能运行tinygrad的设备都可以用——当然，主要测试还是在Mac上完成的。

目前这个框架仍处于实验阶段，但目标很明确：让它变得像Dropbox一样简单易用。顺便说一句，exo官方列出了几个计划解决的缺点，并公开悬赏，解决这些问题的人可以获得100到500美元不等的奖金。

—

—