英伟达发布TiDAR：单步生成多个Token，AI吞吐量提升近600%
英伟达提出新型 AI 解码技术 TiDAR，融合自回归与扩散机制，在单个模型内实现并行 Token 生成，显著提升推理效率。测试显示，15 亿和 80 亿参数模型吞吐量分别提升 4.71 倍和 5.91 倍，且保持准确率。该技术利用 GPU 空闲资源，在不增加显存开销下加速生成，但目前仅在 80 亿参数以下模型验证，大规模应用仍需进一步研究。来源：https://tech.ifeng.com/c/8ol0Mai0MW9
页:
[1]