Arabic_mistral_7b / special_tokens_map.json
HeshamHaroon's picture
Upload tokenizer
f329478 verified
{
"additional_special_tokens": [
"<|im_start|>",
"<|im_end|>",
"<|extra_0|>",
"<|extra_1|>",
"<|extra_2|>",
"<|extra_3|>",
"<|extra_4|>",
"<|extra_5|>",
"<|extra_6|>",
"<|extra_7|>",
"<|extra_8|>",
"<|extra_9|>",
"<|extra_10|>",
"<|extra_11|>",
"<|extra_12|>",
"<|extra_13|>",
"<|extra_14|>",
"<|extra_15|>",
"<|extra_16|>",
"<|extra_17|>",
"<|extra_18|>",
"<|extra_19|>",
"<|extra_20|>",
"<|extra_21|>",
"<|extra_22|>",
"<|extra_23|>",
"<|extra_24|>",
"<|extra_25|>",
"<|extra_26|>",
"<|extra_27|>",
"<|extra_28|>",
"<|extra_29|>",
"<|extra_30|>",
"<|extra_31|>",
"<|extra_32|>",
"<|extra_33|>",
"<|extra_34|>",
"<|extra_35|>",
"<|extra_36|>",
"<|extra_37|>",
"<|extra_38|>",
"<|extra_39|>",
"<|extra_40|>",
"<|extra_41|>",
"<|extra_42|>",
"<|extra_43|>",
"<|extra_44|>",
"<|extra_45|>",
"<|extra_46|>",
"<|extra_47|>",
"<|extra_48|>",
"<|extra_49|>",
"<|extra_50|>",
"<|extra_51|>",
"<|extra_52|>",
"<|extra_53|>",
"<|extra_54|>",
"<|extra_55|>",
"<|extra_56|>",
"<|extra_57|>",
"<|extra_58|>",
"<|extra_59|>",
"<|extra_60|>",
"<|extra_61|>",
"<|extra_62|>",
"<|extra_63|>",
"<|extra_64|>",
"<|extra_65|>",
"<|extra_66|>",
"<|extra_67|>",
"<|extra_68|>",
"<|extra_69|>",
"<|extra_70|>",
"<|extra_71|>",
"<|extra_72|>",
"<|extra_73|>",
"<|extra_74|>",
"<|extra_75|>",
"<|extra_76|>",
"<|extra_77|>",
"<|extra_78|>",
"<|extra_79|>",
"<|extra_80|>",
"<|extra_81|>",
"<|extra_82|>",
"<|extra_83|>",
"<|extra_84|>",
"<|extra_85|>",
"<|extra_86|>",
"<|extra_87|>",
"<|extra_88|>",
"<|extra_89|>",
"<|extra_90|>",
"<|extra_91|>",
"<|extra_92|>",
"<|extra_93|>",
"<|extra_94|>",
"<|extra_95|>",
"<|extra_96|>",
"<|extra_97|>",
"<|extra_98|>",
"<|extra_99|>",
"<|extra_100|>",
"<|extra_101|>",
"<|extra_102|>",
"<|extra_103|>",
"<|extra_104|>",
"<|extra_105|>",
"<|extra_106|>",
"<|extra_107|>",
"<|extra_108|>",
"<|extra_109|>",
"<|extra_110|>",
"<|extra_111|>",
"<|extra_112|>",
"<|extra_113|>",
"<|extra_114|>",
"<|extra_115|>",
"<|extra_116|>",
"<|extra_117|>",
"<|extra_118|>",
"<|extra_119|>",
"<|extra_120|>",
"<|extra_121|>",
"<|extra_122|>",
"<|extra_123|>",
"<|extra_124|>",
"<|extra_125|>",
"<|extra_126|>",
"<|extra_127|>",
"<|extra_128|>",
"<|extra_129|>",
"<|extra_130|>",
"<|extra_131|>",
"<|extra_132|>",
"<|extra_133|>",
"<|extra_134|>",
"<|extra_135|>",
"<|extra_136|>",
"<|extra_137|>",
"<|extra_138|>",
"<|extra_139|>",
"<|extra_140|>",
"<|extra_141|>",
"<|extra_142|>",
"<|extra_143|>",
"<|extra_144|>",
"<|extra_145|>",
"<|extra_146|>",
"<|extra_147|>",
"<|extra_148|>",
"<|extra_149|>",
"<|extra_150|>",
"<|extra_151|>",
"<|extra_152|>",
"<|extra_153|>",
"<|extra_154|>",
"<|extra_155|>",
"<|extra_156|>",
"<|extra_157|>",
"<|extra_158|>",
"<|extra_159|>",
"<|extra_160|>",
"<|extra_161|>",
"<|extra_162|>",
"<|extra_163|>",
"<|extra_164|>",
"<|extra_165|>",
"<|extra_166|>",
"<|extra_167|>",
"<|extra_168|>",
"<|extra_169|>",
"<|extra_170|>",
"<|extra_171|>",
"<|extra_172|>",
"<|extra_173|>",
"<|extra_174|>",
"<|extra_175|>",
"<|extra_176|>",
"<|extra_177|>",
"<|extra_178|>",
"<|extra_179|>",
"<|extra_180|>",
"<|extra_181|>",
"<|extra_182|>",
"<|extra_183|>",
"<|extra_184|>",
"<|extra_185|>",
"<|extra_186|>",
"<|extra_187|>",
"<|extra_188|>",
"<|extra_189|>",
"<|extra_190|>",
"<|extra_191|>",
"<|extra_192|>",
"<|extra_193|>",
"<|extra_194|>",
"<|extra_195|>",
"<|extra_196|>",
"<|extra_197|>",
"<|extra_198|>",
"<|extra_199|>",
"<|extra_200|>",
"<|extra_201|>",
"<|extra_202|>",
"<|extra_203|>",
"<|extra_204|>"
],
"bos_token": {
"content": "<|endoftext|>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"eos_token": {
"content": "<|endoftext|>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"pad_token": {
"content": "<|endoftext|>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"unk_token": {
"content": "<|endoftext|>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
}
}