NLP sohasida tadqiqotlar Bert va GPT modellari paydo bo'lishidan oldin chuqur o'rganish modellariga qaratilgan edi, unda chuqur o'rganish LSTM modelini katta darajada yaxshilash va CNN modelini kichik darajada yaxshilash bilan birgalikda odatiy xususiyatlarni olish texnologiyasi sifatida ishlatilgan. Bundan tashqari, Sequence to Sequence (ya'ni kodlovchi-dekoder) bilan birgalikda Attention turli xil aniq vazifalar uchun odatiy umumiy texnologik ramkadir. NLP sohasida yuqoridagi asosiy texnologiyani qo'llab-quvvatlash, oxirgi maqsad model qatlamlarini yoki model parametrlari hajmini qanday samarali oshirishdir.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence