readme: # 使用
  
  这个模型是在uer/bart-chinese-6-960-cluecorpussmall基础上训练的，数据量不是很大，但是修改了默认分词。
  
  使用pkuseg分词，禁用BertTokenizer的do_basic_tokenize分词，不禁用do_basic_tokenize的话会把正常词汇按照逐字分词，禁用后可以导入自己的分词方案。
  
  pip install git+https://github.com/napoler/tkit-AutoTokenizerPosition
  ```python
  import pkuseg
  from tkitAutoTokenizerPosition.AutoPos import AutoPos
  seg = pkuseg.pkuseg(model_name='medicine')  # 程序会自动下载所对应的细领域模型
  tokenizer = BertTokenizer.from_pretrained("uer/chinese_roberta_L-2_H-128",do_basic_tokenize=False)
  
  ATP=AutoPos(seg,tokenizer)
  # 清理文本中的问题
  ATP.getTokenize(text)
  
  
  ```
  分词结果如下
  ```
  ['他', '##们', '的', '伤', '##害', ',', '以', '##及', '陷', '##阱', '能', '##力', '的', '组', '##合', ',', '猎', '##人', '对', '##于', '任', '##何', '团', '##队', '都', '是', '最', '##好', '的', '拉', '##怪', '##者', '.'], 'cut': ['他们', '的', '伤害', ',', '以及', '陷阱', '能力', '的', '组合', ',', '猎人', '对于', '任何', '团队', '都', '是', '最好', '的', '拉怪者', '.']
  ```
  
  https://www.kaggle.com/terrychanorg/napolerbartchinese6960wordspkuseg
  
  
  
  https://www.kaggle.com/terrychanorg/buliddataforbert-7803feff2
  
  https://www.kaggle.com/terrychanorg/bart-notebook8wewew6eeb0f8af
  https://www.kaggle.com/terrychanorg/fork-of-bart-notebook8wewew6eeb0f8af/data?scriptVersionId=77962540
  