|
|
--- |
|
|
license: mit |
|
|
language: |
|
|
- zh |
|
|
tags: |
|
|
- qwen |
|
|
- qwen3 |
|
|
- lora |
|
|
- qlora |
|
|
- mining-engineering |
|
|
- sft |
|
|
- safety-engineering |
|
|
- chain-of-thought |
|
|
- cot |
|
|
pipeline_tag: text-generation |
|
|
--- |
|
|
|
|
|
# Mining-Engineering-Expert-LoRA for Qwen3-14B |
|
|
|
|
|
这是一个基于 **[Qwen3-14B](https://huggingface.co/Qwen/Qwen3-14B)** 模型，使用的矿建工程与安全事故分析领域数据集进行监督微调（SFT）的**LoRA适配器**。 |
|
|
|
|
|
该项目是**合肥工业大学**大一学生的大学生创新创业训练计划（大创）项目成果之一。 |
|
|
|
|
|
本微调的核心目标是验证我们构建的数据集的有效性，并提供一个**概念验证（Proof-of-Concept）**的微调模型。 |
|
|
|
|
|
**重要提示：** 受限于算力条件，本LoRA适配器的训练可能未达到更好的效果。我们更鼓励社区用户利用我们精心构建的、开放的[**思维链增强训练集 (CoT-Enhanced SFT Dataset)**](https://huggingface.co/datasets/acnul/Mining-Engineering-SFT-CoT)来进行自己的、更深入的微调工作。**而不是直接采用本适配器进行工作，本适配器主要目的用于验证** |
|
|
|
|
|
## 📈 性能提升验证 (Performance Validation) |
|
|
|
|
|
为了量化微调带来的效果，我们在一个包含301个问题的专业评估集 [**Mining-Engineering-Eval**](https://huggingface.co/datasets/acnul/Mining-Engineering-Eval) 上进行了测试。我们采用**余弦相似度**作为评估标准，当模型回答与标准答案的相似度得分**高于90%**时，记为“通过”。 |
|
|
|
|
|
评估结果如图所示。 |
|
|
|
|
|
 |
|
|
|
|
|
* **基座模型 (Qwen3-14B)**: 通过率 **20.93%** |
|
|
* **微调后模型 (Qwen3-14B-mining-finetune)**: 通过率 **23.26%** |
|
|
|
|
|
使用我们的数据集进行微调，模型的通过率相对基座模型提升了 11.11%。 |
|
|
|
|
|
|
|
|
## 📊 训练细节 (Training Details) |
|
|
|
|
|
* **硬件**: 1x NVIDIA A100 40G |
|
|
* **LoRA配置**: |
|
|
* `lora_r`: 64 |
|
|
* `lora_alpha`: 128 |
|
|
* `lora_dropout`: 0.05 |
|
|
* `target_modules`: `["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]` |
|
|
* **训练超参数**: |
|
|
* `learning_rate`: 2.0e-5 |
|
|
* `num_train_epochs`: 2 |
|
|
* `per_device_train_batch_size`: 1 |
|
|
* `gradient_accumulation_steps`: 8 |
|
|
* `lr_scheduler_type`: "cosine" |
|
|
* `optimizer`: "paged_adamw_8bit" |
