英伟达开源 Cosmos tokenizer，图像视频生成效率大幅提升

英伟达开源了名为 Cosmos 的全新 tokenizer，用于图像和视频生成模型。研究显示，好的 tokenizer 可显著提升模型效果。Cosmos tokenizer 支持连续和离散两种类型的 token 化，速度是现有方法的 12 倍，并在多个数据集上表现优异。该 tokenizer 采用轻量级时间因果架构，支持多种宽高比，且在高分辨率图像和长视频上进行了训练。此外，英伟达还发布了用于评估视频 tokenizer 的新数据集 TokenBench。
来源：https://mp.weixin.qq.com/s/eqaxr6_2j_1J1h3CQfjBZg