جاسازی کلمه
پس از پیشرفت‌هایی که در سال ۲۰۱۰ در زمینه کاری نظری در مورد کیفیت بردارها انجام شد و سرعت آموزش مدل و پیشرفت‌های سخت‌افزاری امکان کاوش در فضای پارامتر وسیع‌تری را فراهم کرد این رویکرد توسط بسیاری از گروه‌های تحقیقاتی مورد استفاده قرار گرفت. در سال ۲۰۱۳، تیمی در گوگل به رهبری توماس میکولوف روش word2vec را ایجاد کردند که ابزاری است که جاسازی کلمه در مدل‌های فضای برداری را سریعتر از رویکردهای قبلی امکان‌پذیر می‌کند. رویکرد word2vec به‌طور گسترده‌ای استفاده شده‌است و باعث افزایش علاقه به استفاده از تکنیک جاسازی کلمات و در نهایت هموار کردن راه برای کاربرد عملی شده‌است.
برچسب‌گذاری نقش معنایی
برچسب‌گذاری نقش معنایی در پردازش زبان طبیعی، فرایندی است که برچسبی را به واژه‌ها یا عبارات در یک جمله منتسب می‌کند، که این برچسب نشان‌دهندهٔ نقش معنایی آن‌ها در آن جمله است، چند مثال از این برچسب‌ها کنشگر، هدف، یا نتیجه است. به برچسب‌گذاری نقش معنایی، تجزیه معنایی کم ژرفا ، یا پرکردن شیار هم می‌گویند. برچسب‌گذاری نقش معنایی شامل تشخیص شناسه‌های معنایی مرتبط با گزاره یا فعل یک جمله و رده‌بندی آنها به نقش‌های خاص‌شان است. برای مثال، اگر این جمله داده شود: «مریم کتاب را به بیژن فروخت» وظیفهٔ برچسب‌گذاری معنایی تشخیص فعل «فروختن» به عنوان نمایش‌دهنده گزاره، «مریم» به عنوان نمایش‌دهنده فروشنده (کنشگر)، «کتاب» به عنوان نمایش‌دهنده کالا (نقش) و «بیژن» به عنوان نمایش‌دهنده گیرنده (دریافت‌کننده) است. (مقاله نقش معنایی را ببینید). این یک گام مهم به سمت فهم معنای یک جمله است. یک تحلیل معنایی از این گونه، در سطح انتزاع پایین‌تری نسبت به درخت نحوی است، یعنی طبقه‌های بیشتری دارد، و بنابراین عبارت‌های کمتری را در هر طبقه گروه‌بندی می‌کند. برای مثال «کتاب به من تعلق دارد» به دو برچسب نیاز دارد «ملک» و «مالک» در حالیکه «کتاب به بیژن فروخته شد» به دو برچسب دیگر هم نیاز دارد مثل «هدف» (یا نقش) و «گیرنده» (یا «دریافت کننده»)، اگر چه این دو عبارت، مادامیکه توابع «فاعل» و «مفعول» درنظر گرفته شوند، بسیار مشابه‌اند.