清华刘知远团队提出大模型“密度定律”：模型能力密度100天翻番

清华大学NLP实验室提出大模型的密度定律，模型能力密度每3.3个月翻一倍，揭示了AI时代电力、算力与智力的快速密度增长趋势。研究团队引入能力密度作为衡量大模型性价比的新指标，预计2024年年底只需8B参数即可实现与GPT-4相同的效果。自ChatGPT发布以来，大模型能力密度加速增强，推理开销大幅下降。芯片电路密度和模型能力密度的持续增强，揭示了端侧智能的巨大潜力。然而，现有模型压缩技术未必能提高模型密度，且模型高性价比有效期不断缩短。未来AI计算将实现从中心端到边缘端的分布式协同发展，推动“AI无处不在”的愿景实现。
来源：https://mp.weixin.qq.com/s/gK-egZSKFtzk9ZdlemtiQw