Metodi comuni per ripulire i dati di testo sono la sostituzione di stringhe, la tokenizzazione, lo stemming e la lemmatizzazione e le espressioni regolari. La sostituzione di stringhe comporta la sostituzione di determinate parole o frasi con altre, come le abbreviazioni con parole intere. La tokenizzazione è il processo di suddivisione di una lunga stringa di testo in singole parole, frasi e simboli. Stemming e lemmatizzazione sono tecniche utilizzate per ridurre le parole alla loro forma base. Infine, le espressioni regolari possono essere utilizzate per identificare modelli nel testo e sostituirli con gli output desiderati.
Descrivi due metodi comunemente usati per ripulire i dati di testo