长短大小样样精通！原始分辨率、超长视频输入：更灵活的全开源多模态架构Oryx

清华大学、腾讯及南洋理工大学联合推出多模态模型Oryx，该模型具备处理图像、视频及3D场景的能力，支持任意分辨率和长度的视觉输入。Oryx的核心组件包括预训练的OryxViT编码器和动态压缩模块，能够在不同任务中保持高效率和精度。实验结果显示，Oryx在视频理解、长视频检索及3D空间理解等多个领域展现出卓越性能，超越了部分大型模型，并提供了7B和34B两种版本供用户选择。
来源：https://mp.weixin.qq.com/s/IzRYcoAjb7pGwetimPocIg