白盒架构揭示Transformer秘密，AI创新亟待突破数据压缩局限

马毅教授对当前AI发展趋势提出批评，认为最优秀的学生不应仅局限于大语言模型，而应寻求创新。他的团队通过白盒CRATE架构揭示Transformer模型实际上在做数据压缩，指出大模型的局限性，如缺乏逻辑推理能力。马毅强调理论理解对AI发展的重要性，白盒架构可能提供更高效、有针对性的AI发展途径，挑战现有的Scaling Law。他认为，未来的AI创新应超越数据压缩，以实现类似人类的智能水平。
来源：https://tech.ifeng.com/c/8ah6MCkPbLV