|
|
--- |
|
|
license: apache-2.0 |
|
|
tags: |
|
|
- unsloth |
|
|
- trl |
|
|
- sft |
|
|
datasets: |
|
|
- Congliu/Chinese-DeepSeek-R1-Distill-data-110k |
|
|
- Kedreamix/psychology-10k-Deepseek-R1-zh |
|
|
--- |
|
|
|
|
|
# Model Card for DeepSeek-R1-Psychology-COT |
|
|
|
|
|
## Model Description |
|
|
Xinjing-LM 是一个专注于心理健康领域的智能助手，基于 Qwen 模型进行微调和优化，旨在理解复杂的心理学知识、生成高质量文本并支持多轮对话。通过数据蒸馏、指令微调和多轮对话构建等技术，Xinjing-LM 在心理健康场景中表现出色，能够为用户提供准确、流畅且逻辑严谨的心理学相关建议。 |
|
|
|
|
|
## 项目亮点 |
|
|
|
|
|
- **多源数据融合**：结合开源数据集与 AI 合成数据，确保模型在多样性和专业性上的平衡。 |
|
|
- **多轮对话构建**：通过情感类型和生活场景的组合生成对话数据，提升模型在实际应用中的交互能力。 |
|
|
- **高效微调策略**：采用全参数微调与 LoRA 技术相结合的方式，在保证性能的同时降低计算资源消耗。 |
|
|
- **数据蒸馏优化**：利用 DeepSeek R1 生成的高质量数据，进一步提升模型的推理效率和准确性。 |
|
|
|
|
|
## 数据集 |
|
|
|
|
|
我们使用了以下数据集进行模型训练和优化： |
|
|
|
|
|
- **Chinese-Data-Distill-From-R1**：开源中文蒸馏数据集，涵盖数学、考试、STEM 和通用类型数据。 |
|
|
- **psychology-10k-sft**：包含 10,000 条心理学相关指令微调数据。 |
|
|
- **psychology-10k-sft-zh**：将 psychology-10k-sft 的英文数据翻译为中文。 |
|
|
- **心理健康-R1蒸馏中文数据集-10k**：利用 DeepSeek R1 生成的心理健康相关推理数据。 |
|
|
- **多轮对话数据集**：通过情感类型和生活场景组合生成的多轮对话数据。 |
|
|
|
|
|
## 模型选择与微调 |
|
|
|
|
|
1. 先用**Congliu/Chinese-DeepSeek-R1-Distill-data-110k**对 **Qwen2.5-7B-Instruct** 进行SFT，全量微调，使得模型具备强大的中文推理能力，**Mingsmilet/Qwen2.5-7B-R1-SFT**已经训练好模型。 |
|
|
2. 再对SFT后的模型使用**LoRA** 技术进行优化。微调后的模型在心理健康领域的表现显著提升，能够处理复杂的心理学场景和多轮对话。 |
|
|
|
|
|
## Usage |
|
|
|
|
|
### Fine-tuning Code Example |
|
|
|
|
|
Below is the code to fine-tune the model using the `unsloth` and `trl` libraries: |
|
|
|
|
|
```python |
|
|
# Modules for inference |
|
|
import unsloth |
|
|
from unsloth import FastLanguageModel |
|
|
import torch # Import PyTorch |
|
|
from trl import SFTTrainer # Trainer for supervised fine-tuning (SFT) |
|
|
from unsloth import is_bfloat16_supported # Checks if the hardware supports bfloat16 precision |
|
|
# Hugging Face modules |
|
|
from transformers import TrainingArguments # Defines training hyperparameters |
|
|
from datasets import load_dataset # Lets you load fine-tuning datasets |
|
|
|
|
|
model_id = "cvGod/DeepSeek-R1-Psychology-COT" |
|
|
model, tokenizer = FastLanguageModel.from_pretrained( |
|
|
model_name=model_id, |
|
|
max_seq_length=4096, |
|
|
dtype=None, |
|
|
load_in_4bit=True, |
|
|
|
|
|
) |
|
|
|
|
|
prompt_style = """以下是一项任务说明，并附带了更详细的背景信息。 |
|
|
请撰写一个满足完成请求的回复。 |
|
|
在回答之前，请仔细考虑问题，并创建一个逐步的思考链，以确保逻辑和准确的回答。 |
|
|
|
|
|
### Instruction: |
|
|
你是一个专业的心里专家专家,请你根据以下问题回答。 |
|
|
### Question: |
|
|
{} |
|
|
### Response: |
|
|
{}""" |
|
|
EOS_TOKEN = tokenizer.eos_token |
|
|
|
|
|
question = """我晚上难以入睡，我认为这是因为我对工作感到压力""" |
|
|
|
|
|
# Load the inference model using FastLanguageModel (Unsloth optimizes for speed) |
|
|
FastLanguageModel.for_inference(model) # Unsloth has 2x faster inference! |
|
|
|
|
|
# Tokenize the input question with a specific prompt format and move it to the GPU |
|
|
inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt").to("cuda") |
|
|
|
|
|
# Generate a response using LoRA fine-tuned model with specific parameters |
|
|
outputs = model.generate( |
|
|
input_ids=inputs.input_ids, # Tokenized input IDs |
|
|
attention_mask=inputs.attention_mask, # Attention mask for padding handling |
|
|
max_new_tokens=4096, # Maximum length for generated response |
|
|
use_cache=True, # Enable cache for efficient generation |
|
|
) |
|
|
|
|
|
# Decode the generated response from tokenized format to readable text |
|
|
response = tokenizer.batch_decode(outputs) |
|
|
|
|
|
# Extract and print only the model's response part after "### Response:" |
|
|
print(response[0].split("### Response:")[1]) |
