北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，通过全新量化算法PhaseQuant将大模型权重量化为复数集合{+1, -1, +i, -i}，仅需2比特表示，实现模型体积压缩至FP16模型的1/8。该方案在推理中无需乘法运算，大幅降低计算开销。研究还对Transformer架构进行了全面复数化改造，提升模型表达能力。实验显示，iFairy在语言建模任务中困惑度（PPL）下降10%，下游任务表现优于全精度LLaMA基座模型。相关代码、模型权重和训练流程已开源，为大模型在边缘设备部署提供新可能。来源：https://mp.weixin.qq.com/s/gpLLsi7o4JuepsjqvJeU5A
页:
[1]