MiniMax发布高效大模型 支持4M上下文 引发关注

近日，MiniMax团队发布了两个大型语言模型MiniMax-Text-01和MiniMax-VL-01的开源版本。该系列模型采用创新的线性注意力机制，支持高达4M上下文处理，相比同类产品在相同时间内可处理多达1000k tokens（其他模型仅256K）。作为拥有456B参数的大规模模型，其每次激活仅需45.9B参数，展现出优秀的性能功耗比，整体效果处于行业第一梯队，尤其在长文本处理方面表现突出。
来源：https://tech.ifeng.com/c/8gA1WNF8Mza