大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup
SGLang 于2025年10月25日联合美团、亚马逊云科技在北京举办国内首场官方 Meetup，展示其作为高性能开源大模型推理引擎的技术进展与广泛应用。该平台支持 Llama、Qwen、DeepSeek 等主流模型，在 NVIDIA、华为昇腾等多种硬件运行，全球已服务超30万块 GPU。会上披露了 KV Cache 分层缓存、FP4 量化、Specforge 投机采样框架（显存节省10–20倍）等关键技术突破，并分享了在百度搜索、微信搜一搜、华为 NPU 及医疗 AI 等场景的落地实践，体现了其在推理效率、跨平台兼容性与生态整合方面的持续创新。来源：https://mp.weixin.qq.com/s/Rjo7kpZkMbW7HeI3MoRMSw
页:
[1]