英伟达开源 Cosmos tokenizer,图像视频生成效率大幅提升
英伟达开源了名为 Cosmos 的全新 tokenizer,用于图像和视频生成模型。研究显示,好的 tokenizer 可显著提升模型效果。Cosmos tokenizer 支持连续和离散两种类型的 token 化,速度是现有方法的 12 倍,并在多个数据集上表现优异。该 tokenizer 采用轻量级时间因果架构,支持多种宽高比,且在高分辨率图像和长视频上进行了训练。此外,英伟达还发布了用于评估视频 tokenizer 的新数据集 TokenBench。来源:https://mp.weixin.qq.com/s/eqaxr6_2j_1J1h3CQfjBZg
页:
[1]