readme: # [medbert](https://github.com/trueto/medbert)
  本项目开源硕士毕业论文“BERT模型在中文临床自然语言处理中的应用探索与研究”相关模型
  
  ## 评估基准
  构建了中文电子病历命名实体识别数据集（CEMRNER）、中文医学文本命名实体识别数据集（CMTNER）、
  
  中文医学问句-问句识别数据集（CMedQQ）和中文临床文本分类数据集（CCTC）。
  
  |  **数据集**   | **训练集**	| **验证集**	| **测试集**	| **任务类型**	| **语料来源**  |
  |  ----    | ----   | ----  |----  |----  |:----:|
  | CEMRNER	| 965	| 138	| 276	| 命名实体识别 | 医渡云 |
  | CMTNER	| 14000	| 2000	| 4000	| 命名实体识别 |	CHIP2020 |
  | CMedQQ	| 14000	| 2000	| 4000	| 句对识别 |	平安医疗 |
  | CCTC	| 26837	| 3834 |	7669	| 句子分类 |	CHIP2019 |
  
  ## 开源模型
  在6.5亿字符中文临床自然语言文本语料上基于BERT模型和Albert模型预训练获得了MedBERT和MedAlbert模型。
  
  ## 性能表现
  在同等实验环境，相同训练参数和脚本下，各模型的性能表现
  
  |  **模型**   | **CEMRNER**	| **CMTNER**	| **CMedQQ**	| **CCTC**	|
  |  :----    | :----:   | :----:  |  :----:  |   :----:  |
  |   [BERT](https://huggingface.co/bert-base-chinese)    |   81.17%  |   65.67%  |   87.77%  |   81.62%  |
  | [MC-BERT](https://github.com/alibaba-research/ChineseBLUE)   |   80.93%  |   66.15%  |   89.04%  |   80.65%  |
  | [PCL-BERT](https://code.ihub.org.cn/projects/1775)  |   81.58%  |   67.02%  |   88.81%  |   80.27%  |
  | MedBERT   |   82.29%  |   66.49%  |   88.32%  |   **81.77%**  |
  |MedBERT-wwm|   **82.60%**  |   67.11%  |   88.02%  |   81.72%  |
  |MedBERT-kd |   82.58%  |   **67.27%**  |   **89.34%**  |   80.73%  |
  |- |   -  |   -  |  -  |   -  |
  |   [Albert](https://huggingface.co/voidful/albert_chinese_base)  |   79.98%  |   62.42%  |   86.81%  |   79.83%  |
  | MedAlbert |   81.03%  |   63.81%  |   87.56%  |   80.05%  |
  |MedAlbert-wwm|   **81.28%**  |   **64.12%**  |   **87.71%**  |   **80.46%**  |
  
  ## 引用格式
  ```
  杨飞洪,王序文,李姣.BERT模型在中文临床自然语言处理中的应用探索与研究[EB/OL].https://github.com/trueto/medbert, 2021-03.
  ```