DiffusionGemma: 4x Faster Text Generation

摘要

该模型基于 26B MoE 架构（推理仅激活 3.8B），打破了传统 LLM 逐字生成的模式，可并行生成 256 个 token，在 H100 上速度超过 1000 tps。其具备双向注意力机制，擅长代码填充、实时编辑及数学图表等任务，且支持量化后在 18GB 显存的消费级 GPU 上运行。需注意其生成质量低于标准 Gemma 4，更适合低并发、高速度要求的本地开发场景。