无需Tokenizer，多模态对齐融合还会是难题吗？

Meta与芝加哥大学提出名为BLT的新型字节级大型语言模型架构，摒弃传统tokenizer，直接建模原始字节流。该架构将字节编码成动态大小的patches作为计算单元，在多模态数据处理方面展现出巨大潜力。当前多模态模型训练中存在不同模态（文本、图像等）对齐和融合难题，需将各模态数据转换为统一向量形式，而模态对齐主要解决语义一致性问题，分为显式和隐式两种类型，但目前仍面临模态特征对齐、计算效率等挑战。BLT架构的提出为解决这些难题提供了新思路。
来源：https://mp.weixin.qq.com/s/GbB5cDN5dmmpURnTmXxRng