BERT modeli yordamida niqobli so'zni bashorat qilish uchun siz o'zingizning kirishingizni tokenlashtirilgan butun sonlar ketma-ketligi sifatida tayyorlashingiz va keyin model orqali kirishingizni ishga tushirishingiz kerak. BERT modelida niqobli so'zni qanday bashorat qilishning misoli: # Aytaylik, sizda quyidagi jumla bor: "Skinny rangli [MASK] dangasa itning ustiga sakraydi". # Birinchidan, siz so'zni tokenlashtirishingiz kerak input_ids = tokenizer.encode "Skinny rangli [MASK] dangasa itning ustiga sakraydi. ", return_tensors='pt') # Kirishni model orqali torch.no_grad: model outputs = model outputs = model outputs) # Modelning oxirgi qatlami so'nggi so'zni bashorat qiladi
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence