Te recomiendo que mires muchas de las herramientas que ya se han o se están creando en base a los Transformers, tales como los modelos GPT de OpenAI o BERT de Google.

¿Sabías que GPT-2, el modelo antecesor de GPT-3, en el cual se basa ChatGPT, es de libre acceso?
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence