جاسازی کلمه
پس از پیشرفت‌هایی که در سال ۲۰۱۰ در زمینه کاری نظری در مورد کیفیت بردارها انجام شد و سرعت آموزش مدل و پیشرفت‌های سخت‌افزاری امکان کاوش در فضای پارامتر وسیع‌تری را فراهم کرد این رویکرد توسط بسیاری از گروه‌های تحقیقاتی مورد استفاده قرار گرفت. در سال ۲۰۱۳، تیمی در گوگل به رهبری توماس میکولوف روش word2vec را ایجاد کردند که ابزاری است که جاسازی کلمه در مدل‌های فضای برداری را سریعتر از رویکردهای قبلی امکان‌پذیر می‌کند. رویکرد word2vec به‌طور گسترده‌ای استفاده شده‌است و باعث افزایش علاقه به استفاده از تکنیک جاسازی کلمات و در نهایت هموار کردن راه برای کاربرد عملی شده‌است.
صرف
برطبق نظریهٔ لغت، دو نوع قانون تکواژشناسی وجود دارد. بعضی از این قوانین به اَشکال مختلف یک کلمهٔ یکسان ارتباط دارد درحالی‌که قوانین دیگر با لغات مختلف دیگر در ارتباط است. قوانین نوع اول دستوری و نوع دوم ساختار کلمه است. به‌عنوان مثال در جمع انگلیسی کلمهٔ سگ (Dog) و سگ‌ها (Dogs) قانونی دستوری‌ست و کلمات مرکبی همچون شکارچی سگ (dog catcher) یا ظرف‌شو (dish washer) مثالی از ساختار کلمه می‌باشد. به‌طور غیررسمی قوانین ساختار کلمه «شکل کلمات جدید» (یا همان لغات جدید) است، درحالی‌که قوانین دستوری نتیجهٔ اَشکال مختلف (لغت) یا کلمه‌ای یکسان است. تمایزی مشخص میان دو نوع ساختار کلمه وجود دارد: مشتق و مرکب.