ModernBERT：超越BERT的新一代编码器模型

近日，Answer.AI与英伟达等推出新型编码器模型ModernBERT。该模型有基础版（139M）和较大版（395M），相较于BERT，其速度更快、准确率更高，上下文长度增至8k。作为首个包含大量代码训练数据的仅编码器模型，ModernBERT在长上下文推理速度上表现突出，比其他高质量模型快近3倍。它采用现代化Transformer架构，重视注意力效率，训练数据来源多样，包括网页文档、代码等。尽管近年来生成式AI兴起，但仅编码器模型如BERT依旧广泛应用，ModernBERT为BERT提供了亟需的升级，适用于检索、分类等实际场景，具备高效、低成本的优势。
来源：https://mp.weixin.qq.com/s/QDtl2Q_BHdL1PZw5wCUBaw