字节复旦联合推出自适应推理框架CAR，以困惑度动态切换推理模式，实现准确与效率平衡
来自字节和复旦大学的研究团队提出了基于置信度的自适应推理框架CAR。该框架通过评估模型困惑度（PPL），动态选择短回答或长文本推理模式，在保证准确性的同时提升了效率。实验结果表明，CAR在多模态视觉问答和关键信息提取等多个任务中表现出色，相比传统方法减少了85%的Token使用量，同时准确率分别达到81.1%和74.9%。这一研究打破了“长文本推理更优”的认知，为大模型推理提供了灵活高效的解决方案。来源：https://mp.weixin.qq.com/s/zisNuwXmcO8uEWEOijCi8w
页:
[1]