# Rezerv qilingan tokenlar to'plamidan ro'yxat yaratish # bu yerda tokenlar o'z ichiga oladi, # minimal chastota ko'p yoki teng bo'lgan tokenlar, va  self.idx_to_token = list(sorted(set( # Tokenlar to'plamiga  qo'shish [' '] + # Rezerv qilingan tokenlarni reserved_tokenslar to'plamiga qo'shish + # Har bir token va chastota faqat tokenlarga # chastota minimal chastota ko'p yoki teng bo'lgan # lambda tokenlarni xaritalash, _: token, # Chastota minimal chastota filtridan katta yoki teng bo'lgan token va chastota juftlarini filtrlash (( lambda _,q: freq= min_freq, self.token_freqs))
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence