התייחסו לקטע הבא ואז ענו על השאלה שאחריו באותה שפה כמו הקטע:  מעבר: טוקנים מוגדרים לעיתים קרובות על ידי ביטויים רגילים, אשר מובנים על ידי גנרטור אנליזאר מילולי כגון lex. הניתוח המילולי (הנוצר באופן אוטומטי על ידי כלי כמו lex, או מעוצב ביד) קורא זרם של תווים, מזהה את lexemes בזרם, ומסווג אותם לתוך טוקנים. זה נקרא טוקניזציה. אם הלקסר ימצא טוקן לא תקף, הוא ידווח על טעות.  שאלה: מה היא תמצא אם היא מדווחת על טעות?
טוקן לא תקף