Hugging Face's logo

Seikaijyu
/
RWKV-x060-World-3B-v2.1-zh-cn-abnormal-text-review-v0

Chinese
Model card Files Community
1
Seikaijyu commited on
Commit
d4bec79
·
verified ·
1 Parent(s): 32b1b64

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +10 -1
README.md CHANGED
@@ -5,9 +5,18 @@ license: mit
5
  #### 基于RWKV6-v2.1-3B 基模微调的超小审查模型，模型基于基于GLM4的自制语料进行pissa微调，并微调了embedding层
6
  #### 此模型用于审查文本中是否存在色情，涉政，不安全和辱骂内容
7
  #### fp16精度下推理此模型需要8G显存
 
 
 
8
  #### int8精度下推理此模型需要5G显存
 
 
 
9
  #### nf4精度下推理此模型需要4G显存
10
- #### 在有足够显存资源的情况下建议使用更高精度推理
 
 
 
11
  #### 因此模型参数量较少，非常适合进行本地文本审查，推荐使用[ai00](https://github.com/Ai00-X/ai00_server)对此模型进行转换后推理并使用Python调用此模型api进行内容审查（ai00项目的README.md有调用模型例子）
12
  #### 另外，如果嫌ai00部署麻烦，也可以使用[RWKV-Runner](https://github.com/josStorer/RWKV-Runner)，启动推理后直接关闭前端即可，RWKV-Runner也提供了openai api调用，并且支持各种后端
13
  #### 效果如下：
 
5
  #### 基于RWKV6-v2.1-3B 基模微调的超小审查模型，模型基于基于GLM4的自制语料进行pissa微调，并微调了embedding层
6
  #### 此模型用于审查文本中是否存在色情，涉政，不安全和辱骂内容
7
  #### fp16精度下推理此模型需要8G显存
8
+ ##### 此精度下的预测效果图
9
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/OgVXxX1Riw_HXsS7eHI2p.png)
10
+
11
  #### int8精度下推理此模型需要5G显存
12
+ ##### 此精度下的预测效果图
13
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/fGKoLYKNGzrDwkere-QrZ.png)
14
+
15
  #### nf4精度下推理此模型需要4G显存
16
+ ##### 此精度下的预测效果图
17
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/f2_3S9NNv07fc8VoPIaco.png)
18
+
19
+ #### 可以看到，nf4精度的预测要不准确一些，所以我建议在有足够显存资源的情况下建议使用更高精度推理
20
  #### 因此模型参数量较少，非常适合进行本地文本审查，推荐使用[ai00](https://github.com/Ai00-X/ai00_server)对此模型进行转换后推理并使用Python调用此模型api进行内容审查（ai00项目的README.md有调用模型例子）
21
  #### 另外，如果嫌ai00部署麻烦，也可以使用[RWKV-Runner](https://github.com/josStorer/RWKV-Runner)，启动推理后直接关闭前端即可，RWKV-Runner也提供了openai api调用，并且支持各种后端
22
  #### 效果如下：