Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,56 @@
|
|
1 |
-
---
|
2 |
-
license: mit
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
license: mit
|
3 |
+
language:
|
4 |
+
- zh
|
5 |
+
tags:
|
6 |
+
- qwen
|
7 |
+
- qwen3
|
8 |
+
- lora
|
9 |
+
- qlora
|
10 |
+
- mining-engineering
|
11 |
+
- sft
|
12 |
+
- safety-engineering
|
13 |
+
- chain-of-thought
|
14 |
+
- cot
|
15 |
+
pipeline_tag: text-generation
|
16 |
+
---
|
17 |
+
|
18 |
+
# Mining-Engineering-Expert-LoRA for Qwen3-14B
|
19 |
+
|
20 |
+
这是一个基于 **[Qwen3-14B](https://huggingface.co/Qwen/Qwen3-14B)** 模型,使用的矿建工程与安全事故分析领域数据集进行监督微调(SFT)的LoRA适配器。
|
21 |
+
|
22 |
+
该项目是**合肥工业大学**大一学生的大学生创新创业训练计划(大创)项目成果之一。
|
23 |
+
|
24 |
+
本微调的核心目标是验证我们构建的数据集的有效性,并提供一个**概念验证(Proof-of-Concept)**的微调模型。
|
25 |
+
|
26 |
+
**重要提示:** 受限于算力条件,本LoRA适配器的训练可能未达到更好的效果。我们更鼓励社区用户利用我们精心构建的、开放的[**思维链增强训练集 (CoT-Enhanced SFT Dataset)**](https://huggingface.co/datasets/acnul/Mining-Engineering-SFT-CoT)来进行自己的、更深入的微调工作。**而不是直接采用本适配器进行工作,本适配器主要目的用于验证**
|
27 |
+
|
28 |
+
## 📈 性能提升验证 (Performance Validation)
|
29 |
+
|
30 |
+
为了量化微调带来的效果,我们在一个包含301个问题的专业评估集 [**Mining-Engineering-Eval**](https://huggingface.co/datasets/acnul/Mining-Engineering-Eval) 上进行了测试。我们采用**余弦相似度**作为评估标准,当模型回答与标准答案的相似度得分**高于90%**时,记为“通过”。
|
31 |
+
|
32 |
+
评估结果表明,经过我们的数据集微调后,模型的性能得到了显著提升。
|
33 |
+
|
34 |
+

|
35 |
+
|
36 |
+
* **基座模型 (Qwen3-14B)**: 通过率 **20.93%**
|
37 |
+
* **微调后模型 (Qwen3-14B-mining-finetune)**: 通过率 **23.26%**
|
38 |
+
|
39 |
+
使用我们的数据集进行微调,模型的通过率相对基座模型提升了 11.11%。
|
40 |
+
|
41 |
+
|
42 |
+
## 📊 训练细节 (Training Details)
|
43 |
+
|
44 |
+
* **硬件**: 1x NVIDIA A100 40G
|
45 |
+
* **LoRA配置**:
|
46 |
+
* `lora_r`: 64
|
47 |
+
* `lora_alpha`: 128
|
48 |
+
* `lora_dropout`: 0.05
|
49 |
+
* `target_modules`: `["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]`
|
50 |
+
* **训练超参数**:
|
51 |
+
* `learning_rate`: 2.0e-5
|
52 |
+
* `num_train_epochs`: 2
|
53 |
+
* `per_device_train_batch_size`: 1
|
54 |
+
* `gradient_accumulation_steps`: 8
|
55 |
+
* `lr_scheduler_type`: "cosine"
|
56 |
+
* `optimizer`: "paged_adamw_8bit"
|