vLLM 首日支持开源模型 Muse Spark Open
Muse Spark Open 为 816B 参数的多模态 MoE 模型,支持 1M 上下文。vLLM 提供 Day 0 支持,涵盖 DSpark 投机解码、NVIDIA 与 AMD 平台部署、初步 TPU 支持以及 LoRA RL。
推荐理由:开源前沿大 MoE 的首日推理支持细节(投机解码、跨硬件)直接影响部署选型与推理成本。
Muse Spark Open 为 816B 参数的多模态 MoE 模型,支持 1M 上下文。vLLM 提供 Day 0 支持,涵盖 DSpark 投机解码、NVIDIA 与 AMD 平台部署、初步 TPU 支持以及 LoRA RL。