Lähenemine: Tokenid on sageli defineeritud regulaarsete väljendite abil, mida mõistab leksikaline analüüsija generaator nagu lex. Leksikaline analüüsija (loodud automaatselt tööriista nagu lex või käsitsi valmistatud) loeb tähemärkide voogust, identifitseerib voogus olevaid leksemeid ja liigitab need tokenideks. Seda nimetatakse tokenimiseks. Kui leksikaator leiab kehtimatu märgi, teatab ta veast. Küsimus: Mida ta leiab, kui ta teatab veast?
kehtetu tunnus