| { | |
| "additional_special_tokens": [ | |
| "[unused0]", | |
| "[unused1]", | |
| "[unused2]", | |
| "[unused3]", | |
| "[unused4]", | |
| "[unused5]", | |
| "[unused6]", | |
| "[unused7]", | |
| "[unused8]", | |
| "[unused9]", | |
| "[unused10]", | |
| "[unused11]", | |
| "[unused12]", | |
| "[unused13]", | |
| "[unused14]", | |
| "[unused15]", | |
| "[unused16]", | |
| "[unused17]", | |
| "[unused18]", | |
| "[unused19]", | |
| "[unused20]", | |
| "[unused21]", | |
| "[unused22]", | |
| "[unused23]", | |
| "[unused24]", | |
| "[unused25]", | |
| "[unused26]", | |
| "[unused27]", | |
| "[unused28]", | |
| "[unused29]", | |
| "[unused30]", | |
| "[unused31]", | |
| "[unused32]", | |
| "[unused33]", | |
| "[unused34]", | |
| "[unused35]", | |
| "[unused36]", | |
| "[unused37]", | |
| "[unused38]", | |
| "[unused39]", | |
| "[unused40]", | |
| "[unused41]", | |
| "[unused42]", | |
| "[unused43]", | |
| "[unused44]", | |
| "[unused45]", | |
| "[unused46]", | |
| "[unused47]", | |
| "[unused48]", | |
| "[unused49]", | |
| "[unused50]", | |
| "[unused51]", | |
| "[unused52]", | |
| "[unused53]", | |
| "[unused54]", | |
| "[unused55]", | |
| "[unused56]", | |
| "[unused57]", | |
| "[unused58]", | |
| "[unused59]", | |
| "[unused60]", | |
| "[unused61]", | |
| "[unused62]", | |
| "[unused63]", | |
| "[unused64]", | |
| "[unused65]", | |
| "[unused66]", | |
| "[unused67]", | |
| "[unused68]", | |
| "[unused69]", | |
| "[unused70]", | |
| "[unused71]", | |
| "[unused72]", | |
| "[unused73]", | |
| "[unused74]", | |
| "[unused75]", | |
| "[unused76]", | |
| "[unused77]", | |
| "[unused78]", | |
| "[unused79]", | |
| "[unused80]", | |
| "[unused81]", | |
| "[unused82]", | |
| "[unused83]", | |
| "[unused84]", | |
| "[unused85]", | |
| "[unused86]", | |
| "[unused87]", | |
| "[unused88]", | |
| "[unused89]", | |
| "[unused90]", | |
| "[unused91]", | |
| "[unused92]", | |
| "[unused93]", | |
| "[unused94]", | |
| "[unused95]", | |
| "[unused96]", | |
| "[unused97]", | |
| "[unused98]", | |
| "[unused99]", | |
| "[extra_id_0]", | |
| "[extra_id_1]", | |
| "[extra_id_2]", | |
| "[extra_id_3]", | |
| "[extra_id_4]", | |
| "[extra_id_5]", | |
| "[extra_id_6]", | |
| "[extra_id_7]", | |
| "[extra_id_8]", | |
| "[extra_id_9]", | |
| "[extra_id_10]", | |
| "[extra_id_11]", | |
| "[extra_id_12]", | |
| "[extra_id_13]", | |
| "[extra_id_14]", | |
| "[extra_id_15]", | |
| "[extra_id_16]", | |
| "[extra_id_17]", | |
| "[extra_id_18]", | |
| "[extra_id_19]", | |
| "[extra_id_20]", | |
| "[extra_id_21]", | |
| "[extra_id_22]", | |
| "[extra_id_23]", | |
| "[extra_id_24]", | |
| "[extra_id_25]", | |
| "[extra_id_26]", | |
| "[extra_id_27]", | |
| "[extra_id_28]", | |
| "[extra_id_29]", | |
| "[extra_id_30]", | |
| "[extra_id_31]", | |
| "[extra_id_32]", | |
| "[extra_id_33]", | |
| "[extra_id_34]", | |
| "[extra_id_35]", | |
| "[extra_id_36]", | |
| "[extra_id_37]", | |
| "[extra_id_38]", | |
| "[extra_id_39]", | |
| "[extra_id_40]", | |
| "[extra_id_41]", | |
| "[extra_id_42]", | |
| "[extra_id_43]", | |
| "[extra_id_44]", | |
| "[extra_id_45]", | |
| "[extra_id_46]", | |
| "[extra_id_47]", | |
| "[extra_id_48]", | |
| "[extra_id_49]", | |
| "[extra_id_50]", | |
| "[extra_id_51]", | |
| "[extra_id_52]", | |
| "[extra_id_53]", | |
| "[extra_id_54]", | |
| "[extra_id_55]", | |
| "[extra_id_56]", | |
| "[extra_id_57]", | |
| "[extra_id_58]", | |
| "[extra_id_59]", | |
| "[extra_id_60]", | |
| "[extra_id_61]", | |
| "[extra_id_62]", | |
| "[extra_id_63]", | |
| "[extra_id_64]", | |
| "[extra_id_65]", | |
| "[extra_id_66]", | |
| "[extra_id_67]", | |
| "[extra_id_68]", | |
| "[extra_id_69]", | |
| "[extra_id_70]", | |
| "[extra_id_71]", | |
| "[extra_id_72]", | |
| "[extra_id_73]", | |
| "[extra_id_74]", | |
| "[extra_id_75]", | |
| "[extra_id_76]", | |
| "[extra_id_77]", | |
| "[extra_id_78]", | |
| "[extra_id_79]", | |
| "[extra_id_80]", | |
| "[extra_id_81]", | |
| "[extra_id_82]", | |
| "[extra_id_83]", | |
| "[extra_id_84]", | |
| "[extra_id_85]", | |
| "[extra_id_86]", | |
| "[extra_id_87]", | |
| "[extra_id_88]", | |
| "[extra_id_89]", | |
| "[extra_id_90]", | |
| "[extra_id_91]", | |
| "[extra_id_92]", | |
| "[extra_id_93]", | |
| "[extra_id_94]", | |
| "[extra_id_95]", | |
| "[extra_id_96]", | |
| "[extra_id_97]", | |
| "[extra_id_98]", | |
| "[extra_id_99]", | |
| "[extra_id_100]", | |
| "[extra_id_101]", | |
| "[extra_id_102]", | |
| "[extra_id_103]", | |
| "[extra_id_104]", | |
| "[extra_id_105]", | |
| "[extra_id_106]", | |
| "[extra_id_107]", | |
| "[extra_id_108]", | |
| "[extra_id_109]", | |
| "[extra_id_110]", | |
| "[extra_id_111]", | |
| "[extra_id_112]", | |
| "[extra_id_113]", | |
| "[extra_id_114]", | |
| "[extra_id_115]", | |
| "[extra_id_116]", | |
| "[extra_id_117]", | |
| "[extra_id_118]", | |
| "[extra_id_119]", | |
| "[extra_id_120]", | |
| "[extra_id_121]", | |
| "[extra_id_122]", | |
| "[extra_id_123]", | |
| "[extra_id_124]", | |
| "[extra_id_125]", | |
| "[extra_id_126]", | |
| "[extra_id_127]", | |
| "[extra_id_128]", | |
| "[extra_id_129]", | |
| "[extra_id_130]", | |
| "[extra_id_131]", | |
| "[extra_id_132]", | |
| "[extra_id_133]", | |
| "[extra_id_134]", | |
| "[extra_id_135]", | |
| "[extra_id_136]", | |
| "[extra_id_137]", | |
| "[extra_id_138]", | |
| "[extra_id_139]", | |
| "[extra_id_140]", | |
| "[extra_id_141]", | |
| "[extra_id_142]", | |
| "[extra_id_143]", | |
| "[extra_id_144]", | |
| "[extra_id_145]", | |
| "[extra_id_146]", | |
| "[extra_id_147]", | |
| "[extra_id_148]", | |
| "[extra_id_149]", | |
| "[extra_id_150]", | |
| "[extra_id_151]", | |
| "[extra_id_152]", | |
| "[extra_id_153]", | |
| "[extra_id_154]", | |
| "[extra_id_155]", | |
| "[extra_id_156]", | |
| "[extra_id_157]", | |
| "[extra_id_158]", | |
| "[extra_id_159]", | |
| "[extra_id_160]", | |
| "[extra_id_161]", | |
| "[extra_id_162]", | |
| "[extra_id_163]", | |
| "[extra_id_164]", | |
| "[extra_id_165]", | |
| "[extra_id_166]", | |
| "[extra_id_167]", | |
| "[extra_id_168]", | |
| "[extra_id_169]", | |
| "[extra_id_170]", | |
| "[extra_id_171]", | |
| "[extra_id_172]", | |
| "[extra_id_173]", | |
| "[extra_id_174]", | |
| "[extra_id_175]", | |
| "[extra_id_176]", | |
| "[extra_id_177]", | |
| "[extra_id_178]", | |
| "[extra_id_179]", | |
| "[extra_id_180]", | |
| "[extra_id_181]", | |
| "[extra_id_182]", | |
| "[extra_id_183]", | |
| "[extra_id_184]", | |
| "[extra_id_185]", | |
| "[extra_id_186]", | |
| "[extra_id_187]", | |
| "[extra_id_188]", | |
| "[|system|]", | |
| "[|tool|]", | |
| "[|assistant|]", | |
| "[|user|]", | |
| "[|endofturn|]", | |
| "PI:URL", | |
| "PI:EMAIL", | |
| "PI:ACCOUNT_NUM", | |
| "PI:PHONE_NUM", | |
| "PI:BUSINESS_NUM", | |
| "PI:ANNON", | |
| "PI:KEY", | |
| "PI:ID", | |
| "PI:IP_ADDRESS", | |
| "PI:USER" | |
| ], | |
| "bos_token": { | |
| "content": "[BOS]", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "eos_token": { | |
| "content": "[|endofturn|]", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "pad_token": { | |
| "content": "[PAD]", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "unk_token": { | |
| "content": "[UNK]", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| } | |
| } | |