苹果提出新型反向传播：一台iPhone 15 Pro Max就能微调LLM
苹果在新论文中提出内存高效型反向传播（MeBP），可在 iPhone 15 Pro Max 上实现大语言模型的本地微调。该方法通过 4-bit 量化、梯度检查点和内存映射等技术，将训练内存控制在 1GB 以内，适用于 0.5B 至 4B 参数模型。实验显示，尽管 MeBP 单步计算时间比 MeZO 高 43%–94%，但因其收敛速度快 10–100 倍，整体效率更优，且总内存消耗比先前方案低约 10 倍，为移动端模型微调提供了可行路径。来源：https://mp.weixin.qq.com/s/cJp8htZYLqvaYUFiTF3j3g
页:
[1]