جاسازی کلمه
برای بازنمایی معنایی کلمه، اکثر رویکردهایی که تعبیه‌های چند معنایی تولید می‌کنند را می‌توان به دو دسته اصلی بدون نظارت و مبتنی بر دانش تقسیم کرد. یک روش مبتنی بر word2vec skip-gram یعنی Multi-Sense Skip-Gram (MSSG) که تمایز معنی کلمه و جاسازی را به‌طور همزمان انجام می‌دهد، زمان آموزش را نیز بهبود بخشیده و تعداد معانی خاصی را برای هر کلمه در نظر می‌گیرد. در این روش تعداد معانی در نظر گرفته شده می‌تواند بسته به هر کلمه متفاوت باشد. همچنین این روش با ترکیب دانش قبلی بدست آمده از پایگاه داده‌های لغوی (به عنوان مثال، وردنت، ConceptNet و بابلنت) و جاسازی کلمه و ابهام زدایی معنی کلمه و روش مناسب‌ترین حاشیه نویسی حسی (MSSA) و با در نظر گرفتن بافت کلمه در یک پنجره از پیش تعریف شده، مفاهیم کلمه را از طریق یک رویکرد بدون نظارت و مبتنی بر دانش برچسب گذاری می‌کند. هنگامی که کلمات ابهام زدایی می‌شوند، می‌توان آنها را در یک تکنیک استاندارد جاسازی کلمه استفاده کرد، در نتیجه جاسازی‌های چند معنایی تولید می‌شوند. معماری MSSA این امکان را می‌دهد تا فرایند ابهام زدایی و حاشیه نویسی به‌طور مکرر و به شیوه ای خود-بهبود انجام شود.
واژگان
یکی از استفاده‌های واژگان در سامانه‌های رایانه‌ای و پردازش خودکار زبان طبیعی است. در هر گام از پردازش زبان طبیعی، دانشی تولید می‌شود که مبنا و زیربنای اطلاعاتی را برای پردازش بعدی فراهم می‌آورد. واژگان ارائه‌کنندهٔ دانش پایه‌ای است، که در مراحل پردازش بعدی استفاده می‌شود. تقریباً برای اکثر زبان‌های دنیا، واژگان با هدف استفاده در کاربردهای خاص یا عمومی وجود دارد. شاید شناخته‌شده‌ترین واژگان در این میان وردنت باشد که در آن هدف بیشتر بیان روابط معنایی میان واژه‌های ذخیره شده در واژگان است. نوع دانش ذخیره شده در واژگان به کاربردی که برای آن منظور فراهم شده‌است، وابسته است. به عنوان مثال در سیستم ترجمه ماشینی نیازی به داشتن رشته‌های آوانگاری کلمات زبان نیست اما در صورتی‌که هدف استفاده از واژگان در سیستم تبدیل متن به گفتار باشد، به چنین داده‌هایی نیاز است.