大模型终端部署新趋势：硬件直接支持混合矩阵乘法

微软亚洲研究院推出Ladder和T-MAC，解决了混合精度矩阵乘法在硬件设备上的运行难题。Ladder支持自定义数据类型无损转换为硬件支持类型，T-MAC实现了无需乘法的低比特混合精度矩阵乘计算，使大模型在资源受限设备上高效运行成为可能。T-MAC在Surface AI PC上使CPU运行的大模型吞吐率比NPU快两倍，LUT Tensor Core为下一代人工智能硬件设计提供了新思路。
来源：https://mp.weixin.qq.com/s/xOaOCLu4fdpx0-IVB0UnTg