周大 发表于 2024-8-9 17:04:36

手机跑大模型提速4-5倍！微软亚研院开源新技术，有CPU就行

微软亚洲研究院发布T-MAC技术，使大语言模型能在CPU上高效运行，性能超越NPU/GPU。通过基于查找表的计算方式，T-MAC有效解决了端侧部署的存储与计算难题，实验表明在多种设备上性能优异，功耗低。
来源：https://mp.weixin.qq.com/s/StA1BWmyRwnuFJWJONwniw
页: [1]
查看完整版本: 手机跑大模型提速4-5倍！微软亚研院开源新技术，有CPU就行