--- base_model: deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B library_name: peft license: mit datasets: - FreedomIntelligence/Medical-R1-Distill-Data-Chinese language: - zh --- # Model Card for Model ID 该模型是基于 DeepSeek-R1-Distill-Qwen-1.5B 进行Lora微调而来的家庭问诊医生大模型,能为用户在家庭场景下提供初步的医疗问诊服务。 ## Model Details ### Model Description 此模型是专门针对家庭医疗问诊场景,在 DeepSeek-R1-Distill-Qwen-1.5B 基础上,使用特定的医疗数据集进行Lora高效微调得到的。它旨在让用户能够在家庭环境中,借助模型初步了解自身健康问题,获得常见病症的相关知识,但不能替代专业的医疗诊断。 - **Developed by:** [Jacky.RenxunTech] - **Funded by [optional]:** [Renxun Tech] - **Shared by [optional]:** [Jacky] - **Model type:** 微调后的大语言模型 - **Language(s) (NLP):** 中文 - **License:** [MIT] - **Finetuned from model [optional]:** deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B ### Model Sources [optional] - **Repository:** [Hugging Face 上模型仓库的链接] - **Paper [optional]:** [若有相关论文,填写论文链接] - **Demo [optional]:** [若有在线演示,填写演示链接] ## Uses ### Direct Use 用户可以直接向模型提出医疗相关问题,如常见病症的症状、原因、初步处理方法等,获取初步的参考信息。 ### Downstream Use [optional] 可以将该模型集成到家庭医疗健康管理应用中,为用户提供实时的问诊服务;也可以用于开发智能医疗助手,辅助医生进行初步的问诊和信息收集。 ### Out-of-Scope Use 该模型不能用于专业的医疗诊断和治疗决策;不能用于处理紧急医疗情况;不建议用于对罕见病症或复杂病症的深度分析。 ## Bias, Risks, and Limitations - **医学知识局限性**:模型的知识基于训练数据,可能存在对某些病症认识不足或不准确的情况。 - **个体差异忽略**:模型无法考虑到每个患者的具体身体状况、遗传因素等个体差异,提供的建议可能不适合所有用户。 - **数据时效性**:训练数据可能存在时效性问题,对于新出现的病症或治疗方法可能无法提供最新的信息。 ### Recommendations Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. 用户在使用模型时,应将其提供的信息仅作为参考,遇到严重或持续的健康问题时,务必及时咨询专业医生。同时,开发者在集成模型时,应明确告知用户模型的局限性。 ## How to Get Started with the Model Use the code below to get started with the model. ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch from peft import PeftModel # 加载基础模型和分词器 base_model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B" tokenizer = AutoTokenizer.from_pretrained(base_model_name) base_model = AutoModelForCausalLM.from_pretrained(base_model_name) # 加载微调后的模型 model_name = "your_username/your_model_repo" # 替换为你的 Hugging Face 模型仓库名称 model = PeftModel.from_pretrained(base_model, model_name) # 准备输入 input_text = "我最近头痛得很厉害,可能是什么原因?" inputs = tokenizer(input_text, return_tensors="pt") # 生成回答 with torch.no_grad(): outputs = model.generate(**inputs, max_length=2048, temperature=0.7) # 解码输出 response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(response) ``` ## Training Details ### Training Data 训练数据使用了 FreedomIntelligence/Medical-R1-Distill-Data-Chinese 数据集,该数据集包含了丰富的中文医疗问诊数据,涵盖了常见病症的症状描述、诊断建议、治疗方法等信息。在使用前,对数据进行了清洗和标注,以提高数据质量。 ### Training Procedure #### Preprocessing [optional] 对数据进行了清洗,去除了重复、错误和不相关的信息;对文本进行了分词和标注,以便模型更好地理解和学习。 #### Training Hyperparameters - **Training regime:** bf16 mixed precision #### Speeds, Sizes, Times [optional] 训练耗时 [3] 小时,模型在训练过程中定期保存检查点,每个检查点大小约为 [0.45] GB。 ## Evaluation ### Testing Data, Factors & Metrics #### Testing Data 数据集90%作为训练集, 10%作为验证集。 BF16精度下微调,为减少精度不损失,未做量化处理。 Lora微调参数: ```python config = LoraConfig( r=32, lora_alpha=32, target_modules=["q_proj", "v_proj", "k_proj", "o_proj", "out_proj", "gate_proj", "up_proj", "down_proj"], # 扩展目标模块 lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) ``` #### Factors 按照病症类型、问题复杂度等因素进行分类评估。 #### Metrics 使用准确率、召回率和 F1 值作为评估指标,以衡量模型回答的准确性和完整性。 ### Results 在测试数据上,模型在常见病症问诊任务上的准确率达到了 [X]%,召回率为 [X]%,F1 值为 [X]。 #### Summary 模型在常见病症的问诊任务上表现出了一定的性能,但在处理复杂病症和罕见病症时,性能还有待提高。 ## Model Examination [optional] 目前尚未进行深入的模型可解释性研究,后续将探索使用特征重要性分析等方法,了解模型的决策过程。 ## Environmental Impact Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700). - **Hardware Type:** [RTX 4090 / 24GB * 2] - **Hours used:** [3 Hrs] - **Cloud Provider:** [算力自由] - **Compute Region:** [计算所在的区域] - **Carbon Emitted:** [估算的碳排放值] ## Technical Specifications [optional] ### Model Architecture and Objective 模型基于 DeepSeek-R1-Distill-Qwen-1.5B 的架构,微调的目标是使模型能够更好地理解和回答医疗问诊相关的问题。 ### Compute Infrastructure #### Hardware 使用了 [2] 块 NVIDIA [4090] GPU 进行训练。 #### Software - **深度学习框架**:PyTorch - **微调库**:PEFT 0.14.0 ## Citation [optional] **BibTeX:** ```bibtex @misc{your_model_name, title = {家庭问诊医生大模型}, author = {jacky}, year = {2025}, howpublished = {\url{https://huggingface.co/huevan/deepseek-r1-1.5B-family-doctor-rx}} } ``` **APA:** 仁迅科技. (20250316). 家庭问诊医生大模型 [deepseek-r1-1.5B-family-doctor-rx]. 可从 https://huggingface.co/huevan/deepseek-r1-1.5B-family-doctor-rx 获取 ## Glossary [optional] - **准确率**:模型正确回答的问题数占总问题数的比例。 - **召回率**:模型能够回答出的正确问题数占实际所有正确问题数的比例。 - **F1 值**:准确率和召回率的调和平均数,用于综合衡量模型的性能。 ## More Information [optional] [暂无] ## Model Card Authors [optional] [Jacky.Wang] ## Model Card Contact [wangyong@renxuncn.com] ### Framework versions - PEFT 0.14.0