توكن
{{لا صندوق معلومات}}
{{لا مصدر|تاريخ=فبراير 2016}}
{{يتيمة|تاريخ=فبراير 2015}}

لفظ توكن '''Token''' يصف سلسلة من الرموز لها معنى (نوع) محدد في [[لغة شكلية|نحو شكلي]]. تشكل التوكن [[مفردات|حجر البناء]] في الثروة [[لغة|اللغوية]] التي يعتد عليها الـ [[تجزئة (لغة)|تجزئة]].

في أبسط الأحوال يمكن اعتبار كل [[حرف]] منفصل توكن: فمثلا الحرف أ يكون من النوع أ. ولكن لكي يكتمل المنفعة من وراء النحو يتم تعريف أنواع رئيسية ويتم تقسيم الكلمات إليها. فمثلا في [[اللغة العربية]] يمكن اعتبار عملية تقسيم [[جملة فعلية|الجملة الفعلية]] إلى فعل وفاعل ومفعول به كـ tokenization.
{| class="wikitable"
|+
!colspan="2"|توكن
|-
![[مفردة متمكنة|لكسيم]]!!نوعه
|-
|123||[[عدد]]
|-
|foobar||[[اسم]]
|-
|begin|||[[كلمة مفتاحية]]
|-
|}

{{منطق}}

{{لغة ونحو صوريين}}

{{علم الحاسوب}}
{{شريط بوابات|علم الحاسوب}}

{{بذرة حوسبة}}

[[تصنيف:لغات شكلية|*]]
[[تصنيف:تحليل المفردات]]
[[تصنيف:علم الحاسوب]]
لفظ توكن Token يصف سلسلة من الرموز لها معنى (نوع) محدد في نحو شكلي. تشكل التوكن حجر البناء في الثروة اللغوية التي يعتد عليها الـ تجزئة.

في أبسط الأحوال يمكن اعتبار كل حرف منفصل توكن: فمثلا الحرف أ يكون من النوع أ. ولكن لكي يكتمل المنفعة من وراء النحو يتم تعريف أنواع رئيسية ويتم تقسيم الكلمات إليها. فمثلا في اللغة العربية يمكن اعتبار عملية تقسيم الجملة الفعلية إلى فعل وفاعل ومفعول به كـ tokenization.
+توكنلكسيمنوعه123عددfoobarاسمbeginكلمة مفتاحية

*
تصنيف:تحليل المفردات
تصنيف:علم الحاسوب