重新思考注意力机制的计算复杂度

一篇博客引发了AI社区对Transformer中注意力机制复杂度的新讨论。作者提出，基于“work-depth模型”，注意力机制的深度复杂度应视为对数级别（O(logn + logd)），而非传统理解的平方增长。然而，实际应用中由于内存访问模式及缓存限制，其复杂度更接近O(n log n)。Karpathy对此观点表示认可，并指出Transformer的核心思想即为“广度免费，深度昂贵”。此研究还探讨了未来芯片设计如何通过优化内存层级来突破当前深度复杂度的瓶颈。
来源：https://mp.weixin.qq.com/s/iDWcMYhTpqs-4hqsPGmVaA