Doğal dil işlemede tokenization, stemming ve lemmatization terimlerini tanımlayın.
Belirleme, bir cümleyi tek tek kelimelere ve noktalama işaretlerine bölme işlemidir. Kök oluşturma, bir kelimenin kök biçimini belirlemek için son ekleri ve ön ekleri kaldırma işlemidir. Lemmatizasyon, ilişkili kelimeleri anlamlarına göre gruplandırma işlemidir. , böylece tek bir terim, bir kelimenin farklı biçimlerini temsil edebilir. Tüm bu işlemler, doğal dil işlemede kelime sayısını azaltmak ve doğal dil verilerini etkili bir şekilde işlemek için kullanılır.