---
library_name: transformers
pipeline_tag: text-generation
tags:
- glm4_moe
- GPTQ
- Int4-Int8Mix
- 量化修复
- vLLM
base_model:
- ZhipuAI/GLM-4.5-Air
base_model_relation: quantized
---
# GLM-4.5-Air-GPTQ-Int4-Int8Mix
基础型 [ZhipuAI/GLM-4.5-Air](https://www.modelscope.cn/models/ZhipuAI/GLM-4.5-Air)
### 【Vllm 单机8卡启动命令】
注: 启动该模型一定要跟`--enable-expert-parallel` ，否则其专家张量TP整除除不尽；即使是2卡也需要。
```
$CONTEXT_LENGTH=32768
vllm serve \
tclf90/GLM-4.5-Air-GPTQ-Int4-Int8Mix \
--served-model-name GLM-4.5-Air-GPTQ-Int4-Int8Mix \
--enable-expert-parallel \
--swap-space 16 \
--max-num-seqs 512 \
--max-model-len $CONTEXT_LENGTH \
--max-seq-len-to-capture $CONTEXT_LENGTH \
--gpu-memory-utilization 0.9 \
--tensor-parallel-size 8 \
--trust-remote-code \
--disable-log-requests \
--host 0.0.0.0 \
--port 8000
```
### 【依赖】
```
vllm==0.10.0
```
### 【模型更新日期】
```
2025-07-30
1. 首次commit
```
### 【模型列表】
| 文件大小 | 最近更新时间 |
|--------|--------------|
| `67GB` | `2025-07-30` |
### 【模型下载】
```python
from modelscope import snapshot_download
snapshot_download('tclf90/GLM-4.5-Air-GPTQ-Int4-Int8Mix', cache_dir="本地路径")
```
### 【介绍】
# GLM-4.5
👋 加入我们的 微信群 。
📖 查看GLM-4.5 技术博客 。
📍 在 智谱AI开放平台 上使用GLM-4.5 API服务。
👉 一键体验 GLM-4.5 。
## 模型介绍
**GLM-4.5** 系列模型是专为智能体设计的基础模型。GLM-4.5拥有 **3550** 亿总参数量，其中 **320** 亿活跃参数；GLM-4.5-Air采用更紧凑的设计，拥有
**1060** 亿总参数量，其中 **120** 亿活跃参数。GLM-4.5模型统一了推理、编码和智能体能力，以满足智能体应用的复杂需求。
GLM-4.5 和 GLM-4.5-Air 都是混合推理模型，提供两种模式：用于复杂推理和工具使用的思考模式，以及用于即时响应的非思考模式。
我们已开源了 GLM-4.5 和 GLM-4.5-Air 的基础模型、混合推理模型以及混合推理模型的FP8版本。它们采用MIT开源许可证发布，可用于商业用途和二次开发。
在我们对12项行业标准基准的全面评估中，GLM-4.5表现卓越，得分 **63.2**，在所有专有和开源模型中排名**第3**
。值得注意的是，GLM-4.5-Air在保持优异效率的同时，仍取得了 **59.8** 的竞争性成绩。
如需了解更多评估结果、展示案例和技术细节，请访问我们的 [技术博客](https://z.ai/blog/glm-4.5)。技术报告将很快发布。
模型代码、工具解析器和推理解析器可在 [transformers](https://github.com/huggingface/transformers/tree/main/src/transformers/models/glm4_moe)、 [vLLM](https://github.com/vllm-project/vllm/blob/main/vllm/model_executor/models/glm4_moe_mtp.py)
和 [SGLang](https://github.com/sgl-project/sglang/blob/main/python/sglang/srt/models/glm4_moe.py) 的实现中找到。
## 快速开始
请参考我们的[github](https://github.com/zai-org/GLM-4.5)项目。
