英伟达发布AI框架Flextron，支持灵活AI模型部署
英伟达与德克萨斯大学奥斯汀分校的科研团队合作推出FLEXTRON，这是一种新型的模型架构和优化框架，旨在解决传统AI模型部署效率低下的问题。FLEXTRON的嵌套弹性结构使其能在推理过程中根据特定的延迟和准确度需求动态调整，减少对多个模型变体的依赖。通过高效的训练方法和路由算法，预训练的大型语言模型可以转变为适应不同计算环境的弹性模型，自动选择最佳子网络，以实现高效且准确的性能。来源：https://tech.ifeng.com/c/8bJnAXReTdr
页:
[1]