સરળ ગુજરાતી બી પી ઇ ટોકનાઇઝર (Basic Gujarati BPE Tokenizer) (૫૦૦૦શબ્દો)
5000 Vocabulary Size
Encode Text
Encode
Encoded Tokens:
Original Sentence:
Decode Tokens
Decode
Decoded Text:
Original Tokens Inputted:
Reset All