26年前老年机跑Llama2，每秒39个token：你的AI PC，也可以是Windows 98

EXO Labs 成功将 Llama 2 模型部署到 26 年前的 Windows 98 奔腾 2 电脑上，输出速度达 39.31 tok/秒。这台 128MB 内存的老机器通过 FTP 和旧编译器实现代码移植。EXO 致力于让 AI 普及大众，展示在有限资源下运行现代 AI 的可能性。此外，EXO 正开发 BitNet 三元权重模型，7B 参数模型仅需 1.38GB 存储空间，有望在更多老旧设备上运行 AI 模型，推动分布式计算发展。
来源：https://mp.weixin.qq.com/s/TRR5yZz5we1ezNuwfIMGjA