新型预训练技术 高精度压缩AI模型

科研人员提出了一种创新的预训练技术，能在保持高准确率的同时，将大型语言模型压缩至70%的稀疏度，打破了以往关于模型复杂性、任务难度与准确率之间平衡的观念。通过Cerebras CS-3系统加速，这种方法减少了计算需求，并在长上下文任务中展现出优越性能。
来源：https://mp.weixin.qq.com/s/U53JtPQSpxQvHLJ7VLfWxA