Mining-Engineering-Expert-LoRA for Qwen3-14B

这是一个基于 Qwen3-14B 模型,使用的矿建工程与安全事故分析领域数据集进行监督微调(SFT)的LoRA适配器

该项目是合肥工业大学大一学生的大学生创新创业训练计划(大创)项目成果之一。

本微调的核心目标是验证我们构建的数据集的有效性,并提供一个概念验证(Proof-of-Concept)的微调模型。

重要提示: 受限于算力条件,本LoRA适配器的训练可能未达到更好的效果。我们更鼓励社区用户利用我们精心构建的、开放的思维链增强训练集 (CoT-Enhanced SFT Dataset)来进行自己的、更深入的微调工作。而不是直接采用本适配器进行工作,本适配器主要目的用于验证

📈 性能提升验证 (Performance Validation)

为了量化微调带来的效果,我们在一个包含301个问题的专业评估集 Mining-Engineering-Eval 上进行了测试。我们采用余弦相似度作为评估标准,当模型回答与标准答案的相似度得分**高于90%**时,记为“通过”。

评估结果如图所示。

性能提升对比图

  • 基座模型 (Qwen3-14B): 通过率 20.93%
  • 微调后模型 (Qwen3-14B-mining-finetune): 通过率 23.26%

使用我们的数据集进行微调,模型的通过率相对基座模型提升了 11.11%。

📊 训练细节 (Training Details)

  • 硬件: 1x NVIDIA A100 40G
  • LoRA配置:
    • lora_r: 64
    • lora_alpha: 128
    • lora_dropout: 0.05
    • target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
  • 训练超参数:
    • learning_rate: 2.0e-5
    • num_train_epochs: 2
    • per_device_train_batch_size: 1
    • gradient_accumulation_steps: 8
    • lr_scheduler_type: "cosine"
    • optimizer: "paged_adamw_8bit"
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support