从架构、工艺到能效表现，全面了解LLM硬件加速，这篇综述就够了
西阿提卡大学的研究者发表论文，全面概述了 FPGA、ASIC 和内存加速器在优化大型语言模型（LLM）方面的进展。研究表明，这些硬件加速器在 Transformer 模型中表现出显著的性能和能效提升，例如 FTRANS 框架比 GPU 快 81 倍，SpAtten 比 GPU 节能 1193 倍。内存加速器 ReTransformer 实现高达 23.21 倍的加速。来源：https://mp.weixin.qq.com/s/9oF98UVCXc92S06sKlj6NA
页:
[1]