Intel首批通过AISBench大模型性能测试！5代至强可达每秒2493 token

第五代英特尔至强处理器在中国电子技术标准化研究院的AISBench测试中表现出色，成为首批通过大语言模型推理性能测试的企业。在ChatGLM V2-6B和Llama2-13B模型测试中，分别达到最高2493 token/s和513 token/s的性能，验证了其在轻量级模型上的强大推理能力。
来源：https://www.chinaz.com/2024/0905/1640556.shtml