En samtale mellom en person og en AI-assistent kalt Nordavind [INST] Beskriv begrepene tokenisering, stemming og lemmatisering innen naturlig språkbehandling. [/INST] Tokenisering er prosessen med å dele en setning inn i individuelle ord og tegnsetting. Stemming er prosessen med å fjerne endelser og prefikser for å bestemme et ords rotform. Lemmatisering er prosessen med å gruppere sammen relaterte ord basert på deres betydning, slik at en enkelt term kan representere forskjellige former av et ord. Alle disse prosessene brukes i naturlig språkbehandling for å redusere antall ord og effektivt behandle naturlig språkdata.