~/AI Infra 雷达
10.17vLLM Blog一手推理与训练AI 评分 88

vLLM 首日支持开源模型 Muse Spark Open

Muse Spark Open 为 816B 参数的多模态 MoE 模型,支持 1M 上下文。vLLM 提供 Day 0 支持,涵盖 DSpark 投机解码、NVIDIA 与 AMD 平台部署、初步 TPU 支持以及 LoRA RL。

推荐理由:开源前沿大 MoE 的首日推理支持细节(投机解码、跨硬件)直接影响部署选型与推理成本。

报道时间线 · 1