Transformer²要做「活」的AI模型，动态调整权重，像章鱼一样适应环境

日本Sakana AI提出自适应大语言模型Transformer^2，该模型基于神经科学原理，通过动态调整权重以适应不同任务。与静态模型相比，它在数学、编程等任务中表现出色，参数量更少。研究引入奇异值微调（SVF）技术，有效降低过拟合风险并提高计算效率。实验表明，Transformer^2在多个任务上优于传统方法，尤其在视觉问答等跨领域任务中表现突出，展示了其灵活性和潜力。这一成果为未来非静态AI模型提供了新思路，有望实现持续变化和终生学习的智能系统。
来源：https://mp.weixin.qq.com/s/_vdA_KygkFWqFE5Xm6CDRg