2比特复数模型媲美全精度！北大通用框架让大模型在手机上也能流畅运行

北京大学团队提出Fairy2i框架，首次实现无需重训的2比特模型量化，在LLaMA-2 7B上语言建模困惑度达7.85，零样本准确率62.00%，接近FP16全精度水平（6.63/64.72%）。该方法通过广义线性表示无损转换实数权重为复数形式，结合相位感知与递归残差量化，利用{±1, ±i}编码提升信息密度，并以多阶段并行残差优化精度，几乎不增加推理延迟。当前仅用30B token训练，未来扩展后或可超越原模型，推动大模型在边缘设备高效部署。
来源：https://mp.weixin.qq.com/s/Rz0jlIcig0R51KEqK4H6aw