开源1.6B小模型「小狐狸」，表现超同类模型Qwen和Gemma

TensorOpera 发布开源小语言模型 FOX，参数量仅为 16 亿，但通过多种优化技术在多个任务中表现出色，尤其在 GSM8k 任务中优势明显。FOX 采用解码器架构，通过共享嵌入、预归一化、旋转式位置编码等技术提升性能，同时在推理效率上表现出色，每秒可处理超过 200 个 token，所需 GPU 内存较少。这一成果为小语言模型在智能体领域的应用提供了新的思路。
来源：https://mp.weixin.qq.com/s/7xLr-z_KPpU0b7b4nd66oA