大模型“故障”token问题凸显，优化tokenizer成关键

大模型的tokenizer问题引起关注，由于tokenizer与模型训练的分离，部分token可能“训练不足”，引发异常输出。Cohere公司的研究团队提出一种有效检测方法，并在多个开源模型上发现此类问题普遍存在。为解决这个问题，他们提出优化tokenizer算法和词汇表结构，以确保tokenizer与模型训练数据的对齐。
来源：https://mp.weixin.qq.com/s/UpkgRhZkK45gAPWOOmEwYQ