Transformer新架构实现速度提升20倍，内存开销大幅下降

韩国、LG和DeepMind的研究团队为解决Transformer模型的推理速度和内存效率问题，提出了一种名为Block Transformer的新架构。该架构通过将注意力机制切块，成功将模型的推理速度提升了10-20倍，同时降低了内存开销，GPU利用率从1%提升至44%。尽管性能大幅提升，但在多项零样本任务上，Block Transformer的准确率并未下降，展现出高效且不失精度的优势。
来源：https://mp.weixin.qq.com/s/JE0w-ksh5TRby_TRfjWbzw