جاسازی کلمه
پس از پیشرفت‌هایی که در سال ۲۰۱۰ در زمینه کاری نظری در مورد کیفیت بردارها انجام شد و سرعت آموزش مدل و پیشرفت‌های سخت‌افزاری امکان کاوش در فضای پارامتر وسیع‌تری را فراهم کرد این رویکرد توسط بسیاری از گروه‌های تحقیقاتی مورد استفاده قرار گرفت. در سال ۲۰۱۳، تیمی در گوگل به رهبری توماس میکولوف روش word2vec را ایجاد کردند که ابزاری است که جاسازی کلمه در مدل‌های فضای برداری را سریعتر از رویکردهای قبلی امکان‌پذیر می‌کند. رویکرد word2vec به‌طور گسترده‌ای استفاده شده‌است و باعث افزایش علاقه به استفاده از تکنیک جاسازی کلمات و در نهایت هموار کردن راه برای کاربرد عملی شده‌است.
مدل زبانی
پراکندگی داده‌ها یک مشکل اساسی در ساخت مدل‌های زبان است. بیشتر توالی‌های ممکن کلمات در آموزش مشاهده نمی‌شوند. یک راه حل این است که فرض کنیم احتمال کلمه فقط به "n" کلمه قبلی بستگی دارد. این مدل به عنوان مدل ان-گرام شناخته می‌شود و زمانی که n برابر با ۱ باشد مدل به عنوان یونیگرام شناخته می‌شود. مدل یونیگرام به عنوان مدل مدل بسته کلمات نیز شناخته می شود.