|
--- |
|
license: mit |
|
language: |
|
- zh |
|
datasets: |
|
- Moemu/Muice-Dataset |
|
--- |
|
### 模型说明 |
|
#### 基于RWKV6-v2.1-1B6 基模微调的超小模型,模型基于[此语料](https://modelscope.cn/datasets/Moemuu/Muice-Dataset/summary)进行pissa微调,并微调了embedding层 |
|
#### 另外,此模型是非NSFW模型,没有涩涩能力 |
|
#### 非常感谢<b style="color:red">Moemuu</b>提供的开源语料支持 |
|
#### 此模型因参数较少,应该可以在安卓系统中使用进行推理,在拥有6G运行内存的安卓手机中进行部署聊天 |
|
#### 效果如下: |
|
|
|
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/OKx-5n3vIzfn27YUslzEx.png) |
|
|
|
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/9PGE0iQcwl3zvVf0GAEY3.png) |
|
|
|
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/uU_dgKpYlCz6nlA1HjtH0.png) |
|
|
|
![image/png](https://cdn-uploads.huggingface.co/production/uploads/6417b108b03817ada6444bb8/bjr1edAXN5cE7qu3gJCs1.png) |
|
|
|
### 补充说明 |
|
#### 因此模型参数量较少,逻辑不够清晰是很正常的 |
|
#### 对话使用默认角色对话即可,即: |
|
``` |
|
System: |
|
User: |
|
Assistant: |
|
``` |
|
### 推荐参数如下: |
|
#### Temperature=2 |
|
#### Top_P=0.55 |
|
#### Presence Penalty=0.4-0之间 |
|
#### Frequency Penalty=0.8-1.2之间 |