جاسازی کلمه
پس از پیشرفت‌هایی که در سال ۲۰۱۰ در زمینه کاری نظری در مورد کیفیت بردارها انجام شد و سرعت آموزش مدل و پیشرفت‌های سخت‌افزاری امکان کاوش در فضای پارامتر وسیع‌تری را فراهم کرد این رویکرد توسط بسیاری از گروه‌های تحقیقاتی مورد استفاده قرار گرفت. در سال ۲۰۱۳، تیمی در گوگل به رهبری توماس میکولوف روش word2vec را ایجاد کردند که ابزاری است که جاسازی کلمه در مدل‌های فضای برداری را سریعتر از رویکردهای قبلی امکان‌پذیر می‌کند. رویکرد word2vec به‌طور گسترده‌ای استفاده شده‌است و باعث افزایش علاقه به استفاده از تکنیک جاسازی کلمات و در نهایت هموار کردن راه برای کاربرد عملی شده‌است.
واژگان
یکی از استفاده‌های واژگان در سامانه‌های رایانه‌ای و پردازش خودکار زبان طبیعی است. در هر گام از پردازش زبان طبیعی، دانشی تولید می‌شود که مبنا و زیربنای اطلاعاتی را برای پردازش بعدی فراهم می‌آورد. واژگان ارائه‌کنندهٔ دانش پایه‌ای است، که در مراحل پردازش بعدی استفاده می‌شود. تقریباً برای اکثر زبان‌های دنیا، واژگان با هدف استفاده در کاربردهای خاص یا عمومی وجود دارد. شاید شناخته‌شده‌ترین واژگان در این میان وردنت باشد که در آن هدف بیشتر بیان روابط معنایی میان واژه‌های ذخیره شده در واژگان است. نوع دانش ذخیره شده در واژگان به کاربردی که برای آن منظور فراهم شده‌است، وابسته است. به عنوان مثال در سیستم ترجمه ماشینی نیازی به داشتن رشته‌های آوانگاری کلمات زبان نیست اما در صورتی‌که هدف استفاده از واژگان در سیستم تبدیل متن به گفتار باشد، به چنین داده‌هایی نیاز است.