MiniMax海螺视频团队首次开源：Tokenizer也具备明确的Scaling Law
MiniMax海螺视频团队推出可扩展视觉分词器预训练框架VTP，首次证明视觉Tokenizer存在Scaling Law——其生成性能可随预训练算力、数据和参数规模持续提升。实验显示，传统Tokenizer因仅追求像素重建，导致生成质量难以提升甚至倒退；而VTP通过联合优化图文对比、自监督学习与重建任务，在ImageNet零样本分类中达78.2%准确率，gFID低至2.81，并使下游模型收敛速度提升4.1–5.7倍。研究揭示：Tokenizer的“语义理解力”才是驱动生成效率与质量的核心，为行业提供了除主模型外另一条具备明确回报的优化路径。来源：https://mp.weixin.qq.com/s/ne5gllskdjDKaDvyqXLvYQ
页:
[1]