Kod belgilar ro'yxati va ularning chastotasi bo'yicha alifbo tartibida saralab olingan noyob belgilar ro'yxatini yaratadi. Belgilangan minimal chastotadan ko'proq yoki teng bo'lgan belgilarni o'z ichiga olish uchun belgilar ro'yxati filtrlanadi.'' belgisi va saqlangan belgilar ro'yxati ro'yxatiga qo'shiladi. Bu erda kodning tushunishsiz versiyasi: unique_tokens = set['] + reserved_tokens) token uchun, freq in self.token_freqs: if freq >= min_freq:_unique_tokens.add(token) self.idx_to_token = sorted(unique_tokens_list))
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence