Gemma 4 QAT models: Optimizing compression for mobile and laptop efficiency

摘要

Google 推出 Gemma 4 系列的量化感知训练（QAT）版本，旨在不牺牲模型质量的前提下大幅降低显存占用。通过静态激活、通道量化及针对性的 2-bit 压缩等技术，Gemma 4 E2B 文本版内存需求已降至 1GB 以下。目前该版本已支持 Hugging Face 下载，并兼容 llama.cpp (GGUF)、vLLM、Ollama 及苹果 MLX 等主流本地部署工具。