FBI-LLM低比特基础大语言模型来了，首个完全从头训练的二值化语言模型

MBZUAI与CMU合作的论文首次提出利用自回归蒸馏方式从零开始训练二值化大语言模型FBI-LLM，其性能接近FP16或BF16训练的LLMs，并超越先前所有二值化模型近十个点。训练代码、数据及模型权重已开源。实验表明，从零训练的FBI-LLM具备可行性，其性能与全精度模型相近。
来源：https://mp.weixin.qq.com/s/9EYjF8eARcceC48R3nyD4g