התייחסו לקטע הבא ולאחר מכן ענו על השאלה באותה שפה כמו הקטע: קטע: טוקנים מוגדרים לעתים קרובות על ידי ביטויים קבועים, אשר מובנים על ידי גנרטור אנליזאר מילולי כגון לקס. אנליזאר המילולי (הנוצר באופן אוטומטי על ידי כלי כמו לקס, או מעוצב ביד) קורא בזרם של תווים, מזהה את lexemes בזרם, ומסווג אותם לתוך טוקנים. זה נקרא tokenizing. אם lexer מוצא טוקן לא תקף, הוא ידווח על טעות. שאלה: מה הוא ימצא אם הוא מדווח על טעות?
טוקן לא תקף