Mamba作者提出H-Net模型：动态分块技术实现无Tokenizer端到端语言建模

来自 CMU 和 Cartesia AI 的研究团队提出 H-Net，一种通过动态分块机制实现端到端序列建模的新架构，成功替代传统 tokenizer。实验显示，H-Net 在英语、中文、代码及 DNA 序列任务中表现优异，甚至超越两倍规模的 BPE token 化模型，标志着无需 tokenizer 的语言模型时代可能正在到来。
来源：https://mp.weixin.qq.com/s/fE5E4mTSaWqZ7rEtsm_Psw