Token化一切，甚至网络！北大&谷歌&马普所提出TokenFormer，Transformer从来没有这么灵活过！

北大博士生汪海洋等人提出TokenFormer，通过将模型参数Token化，增强了Transformer的灵活性和可扩展性。TokenFormer允许增量扩展模型大小，显著降低训练成本。实验显示，TokenFormer在语言和视觉建模上均优于传统Transformer，相关代码和模型已公开，引起广泛讨论。
来源：https://mp.weixin.qq.com/s/1wOGd1h5y5DjpAt1-n5WDA