华为云与AI实验室（计算系统实验室）周四开源多模态大模型量化框架MACaQ，采用Apache 2.0商用友好协议。报告显示，它仅需32.5GB设备显存，可在64分钟内完成1220亿参数模型的量化压缩。
MACaQ支持通过llama.cpp输出2比特、3比特与4比特GGUF文件，支持vLLM的W4A4及仅权重量化服务模式，覆盖Diffusers图像视频生成管线以及PyTorch语音处理流程，并记录针对华为昇腾CANN内核的适配工作。项目采用逐层独立校准策略，推理期对激活值施加逐通道缩放与分块哈达玛旋转，随后将逆变换折叠回权重中，避免跨层结构改造，新架构模型无需定制工程即可直接套用。
推理提速逾两倍 实测困惑度优于MR-GPTQ等现有基线
报告称MACaQ在困惑度基准测试中优于MR-GPTQ和DuQuant++。在Llama-3-8B模型上，MACaQ达到同等最佳困惑度所需量化时间比上述工具减少11倍；在Qwen3.8-27B模型的W4A4量化实测中，其vLLM预填充速度较BF16基线提升2.33倍，解码速度提升2.58倍，困惑度从2.8463微升至2.8994。独立开发者SamCodeman周四指出，项目说明未披露产生上述加速比的具体GPU型号、批处理大小与序列长度；32.5GB是指量化过程的显存占用而非推理显存。122B参数旗舰量化模型目前仅公布Wikitext2困惑度（5.14对比FP16的5.06），尚未提供长上下文或代码生成实测。
