Tokenization不存在了？Meta最新研究，无需Tokenizer的架构来了

Meta和芝加哥大学等机构发表的《Byte Latent Transformer: Patches Scale Better Than Tokens》提出了一种新的语言模型架构BLT。该模型直接建模原始字节流，动态分组为patch，无需tokenizer，从而在多个基准测试中超越基于token的架构，节省高达50%的计算资源。BLT在字符级理解、噪声输入和长尾泛化任务中表现出色，展示了高效扩展和鲁棒性。
来源：https://mp.weixin.qq.com/s/7ju-PjPZVPrBLQ1qFnFoKw