Zipper：谷歌DeepMind的多模态生成新策略

谷歌DeepMind的最新研究解决了多模态模型的灵活性挑战，推出了Zipper架构。此架构通过独立训练的单模态解码器，然后在交叉注意力层中“压缩”它们，实现了多模态生成，减少了对大量跨模态数据的依赖。实验表明，Zipper在语音到文本和文本到语音的任务中表现优越，尤其是在数据有限的情况下。
来源：https://mp.weixin.qq.com/s/F8wstkJyYiNJCbSqYq3Pbw