readme: ---
  language: 
    - bo
  tags:
  - tibetan
  - pretrained language model
  - roberta
  widget:
  - text: "རྫོགས་པའི་ <mask>"
  - text: "ཆོས་ཀྱི་<mask>་བ"
  - text: "གངས་རིའི་ <mask>"
  - text: "བོད་ཀྱི་སྨན་<mask>"
  license: "mit"
  ---
  
  # Demo in a `fill-mask` task
  
  ```
  from transformers import AutoTokenizer, AutoModelForMaskedLM, pipeline
  
  model_name = 'sangjeedondrub/tibetan-roberta-base'
  model = AutoModelForMaskedLM.from_pretrained(model_name)
  tokenizer = AutoTokenizer.from_pretrained(model_name)
  
  fill_mask_pipe = pipeline(
      "fill-mask",
      model=model,
      tokenizer=tokenizer
  )
  
  samples = """རིན་ <mask>
  ཆོས་ཀྱི་ <mask>
  རྫོགས་པའི་ <mask>
  གངས་རིའི་ <mask>
  མེ་ལོང་ <mask>
  བདེན་པའི་ <mask>
  'འབྱུང་ <mask>""".splitlines()
  
  for idx, sample in enumerate(samples, start=1):
    outputs = fill_mask_pipe(sample)
    print(idx, sample)
    for output in outputs:
      print(output)
  ```
  
  
  # Output
  
  ```
  1 རིན་ <mask>
  {'score': 0.943362832069397, 'token': 459, 'token_str': 'ཐང', 'sequence': 'རིན་ཐང'}
  {'score': 0.025716140866279602, 'token': 282, 'token_str': 'པ', 'sequence': 'རིན་པ'}
  {'score': 0.004410382825881243, 'token': 596, 'token_str': 'འཕར', 'sequence': 'རིན་འཕར'}
  {'score': 0.003161463886499405, 'token': 561, 'token_str': 'ཅང', 'sequence': 'རིན་ཅང'}
  {'score': 0.0025683969724923372, 'token': 360, 'token_str': 'གནས', 'sequence': 'རིན་གནས'}
  2 ཆོས་ཀྱི་ <mask>
  {'score': 0.08558642119169235, 'token': 476, 'token_str': 'དཔལ', 'sequence': 'ཆོས་ཀྱི་དཔལ'}
  {'score': 0.0616581067442894, 'token': 323, 'token_str': 'ལས', 'sequence': 'ཆོས་ཀྱི་ལས'}
  {'score': 0.04617622494697571, 'token': 568, 'token_str': 'ཉམས', 'sequence': 'ཆོས་ཀྱི་ཉམས'}
  {'score': 0.042447883635759354, 'token': 467, 'token_str': 'དབང', 'sequence': 'ཆོས་ཀྱི་དབང'}
  {'score': 0.0358237698674202, 'token': 768, 'token_str': 'དད', 'sequence': 'ཆོས་ཀྱི་དད'}
  3 རྫོགས་པའི་ <mask>
  {'score': 0.06635843217372894, 'token': 323, 'token_str': 'ལས', 'sequence': 'རྫོགས་པའི་ལས'}
  {'score': 0.06410858780145645, 'token': 360, 'token_str': 'གནས', 'sequence': 'རྫོགས་པའི་གནས'}
  {'score': 0.0570441335439682, 'token': 573, 'token_str': 'གཏམ', 'sequence': 'རྫོགས་པའི་གཏམ'}
  {'score': 0.05679900944232941, 'token': 397, 'token_str': 'ལམ', 'sequence': 'རྫོགས་པའི་ལམ'}
  {'score': 0.05157950520515442, 'token': 543, 'token_str': 'མཚན', 'sequence': 'རྫོགས་པའི་མཚན'}
  4 གངས་རིའི་ <mask>
  {'score': 0.21429458260536194, 'token': 971, 'token_str': 'འདབས', 'sequence': 'གངས་རིའི་འདབས'}
  {'score': 0.05296638607978821, 'token': 360, 'token_str': 'གནས', 'sequence': 'གངས་རིའི་གནས'}
  {'score': 0.04839177057147026, 'token': 712, 'token_str': 'གངས', 'sequence': 'གངས་རིའི་གངས'}
  {'score': 0.04389436915516853, 'token': 984, 'token_str': 'འདབ', 'sequence': 'གངས་རིའི་འདབ'}
  {'score': 0.04158150777220726, 'token': 274, 'token_str': 'ན', 'sequence': 'གངས་རིའི་ན'}
  5 མེ་ལོང་ <mask>
  {'score': 0.19395706057548523, 'token': 323, 'token_str': 'ལས', 'sequence': 'མེ་ལོང་ལས'}
  {'score': 0.12707622349262238, 'token': 293, 'token_str': 'དང', 'sequence': 'མེ་ལོང་དང'}
  {'score': 0.08089829981327057, 'token': 280, 'token_str': 'མ', 'sequence': 'མེ་ལོང་མ'}
  {'score': 0.06481984257698059, 'token': 279, 'token_str': 'ལ', 'sequence': 'མེ་ལོང་ལ'}
  {'score': 0.0577043853700161, 'token': 362, 'token_str': 'ནང', 'sequence': 'མེ་ལོང་ནང'}
  6 བདེན་པའི་ <mask>
  {'score': 0.12633271515369415, 'token': 573, 'token_str': 'གཏམ', 'sequence': 'བདེན་པའི་གཏམ'}
  {'score': 0.0909079909324646, 'token': 360, 'token_str': 'གནས', 'sequence': 'བདེན་པའི་གནས'}
  {'score': 0.08624855428934097, 'token': 397, 'token_str': 'ལམ', 'sequence': 'བདེན་པའི་ལམ'}
  {'score': 0.07476165890693665, 'token': 362, 'token_str': 'ནང', 'sequence': 'བདེན་པའི་ནང'}
  {'score': 0.06319335103034973, 'token': 323, 'token_str': 'ལས', 'sequence': 'བདེན་པའི་ལས'}
  7 'འབྱུང་ <mask>
  {'score': 0.8271735906600952, 'token': 360, 'token_str': 'གནས', 'sequence': "'འབྱུང་གནས"}
  {'score': 0.10802919417619705, 'token': 270, 'token_str': 'བ', 'sequence': "'འབྱུང་བ"}
  {'score': 0.021947095170617104, 'token': 503, 'token_str': 'ཁམས', 'sequence': "'འབྱུང་ཁམས"}
  {'score': 0.006081813480705023, 'token': 484, 'token_str': 'རབས', 'sequence': "'འབྱུང་རབས"}
  {'score': 0.002384472405537963, 'token': 293, 'token_str': 'དང', 'sequence': "'འབྱུང་དང"}
  ```
  
  # About
  
  This model is trained and released by Sangjee Dondrub [sangjeedondrub at live dot com], the mere purpose of conducting these experiments is to improve my familiarity with Transformers APIs.