太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3

利用开源框架 Cake，用户可将闲置的 iPhone、iPad、Macbook 与不同系统设备组成异构集群，运行原本需要高端硬件支持的 AI 模型。通过将模型的 transformer 块分片到多个设备，Cake 实现了跨平台分布式推理，降低了运行大型 AI 模型的门槛。然而，这种方法可能导致高能耗和数据传输损耗，使用需权衡利弊。
来源：https://mp.weixin.qq.com/s/coMIiu8a2oAJXRx48tKgDQ