inclusionAI/ZoomGain-4B-GGUF

蚂蚁 inclusionAI：HuggingFace 新模型2026-11-11 11:09可用产品未入选

阅读原文

摘要

inclusionAI 在 Hugging Face 发布 ZoomGain-4B 的 GGUF 格式权重，经 llama.cpp 转换，语言模型与视觉编码器、投影器（mmproj）均提供 FP16、Q8_0、Q4_K_M 三种精度。

摘要由模型根据原文撰写，以原文为准。

正文 · 原文

GGUF-format weights for ZoomGain-4B, converted with llama.cpp.

Language model: FP16, Q8_0, Q4_K_M.
Vision encoder and projector (mmproj): FP16, Q8_0, Q4_K_M.

For image input, provide both the language model and the corresponding mmproj file.

CLI Inference (`llama-mtmd-cli`)

llama-mtmd-cli \
  -m ZoomGain-4B-Q8_0.gguf \
  --mmproj mmproj-ZoomGain-4B-Q8_0.gguf \
  --image /path/to/image.jpg \
  -p "Describe this image." \
  --temp 0 -n 2048

Web Chat (`llama-server`)

llama-server \
  -m ZoomGain-4B-Q8_0.gguf \
  --mmproj mmproj-ZoomGain-4B-Q8_0.gguf \
  --host 127.0.0.1 --port 8080

Replace Q8_0 with F16 or Q4_K_M to use another precision. Use a llama.cpp build with Qwen3.5 multimodal support. Quantization can affect accuracy.

注意转载授权 · 阅读原文

来源：蚂蚁 inclusionAI：HuggingFace 新模型 · huggingface.co

引用原文

蚂蚁 inclusionAI：HuggingFace 新模型. inclusionAI/ZoomGain-4B-GGUF[EB/OL]. (2026-11-11)[访问日期]. https://huggingface.co/inclusionAI/ZoomGain-4B-GGUF.