مقاله‌ی زیر به همراه خلاصه آن در وب‌سایت ویکیپدیا آمده است. موضوع آن را مشخص کنید

مقاله: word ۲ vec از هر دو ساختار مدل برای تولید یک نمایش توزیع‌شده از کلمات استفاده می‌کند: مدل بسته کلمات (cbow) یا ان-گرم. در بسته کلمات پیوسته، مدل، کلمه فعلی را از یک پنجره از کلمات متنی اطراف پیش‌بینی می‌کند. ترتیب کلمات متن بر پیش‌بینی تأثیر نمی‌گذارد. در معماری اسکیپ پیوسته، این مدل از کلمه فعلی برای پیش‌بینی پنجره اطراف کلمات متن استفاده می‌کند. در این معماری وزن این کلمات به مراتب بیشتر از کلمه متن فاصله است. طبق تحقیقاتی، cbow سریعتر است، در حالی که skip-gram کندتر است، اما کارهای بهتر برای کلمات نادرست انجام می‌دهد. نتایج آموزش word ۲ vec می‌تواند به پارامتریزاسیون حساس باشد. در زیر برخی از پارامترهای مهم در آموزش word ۲ vec آورده شده‌است. یک مدل word ۲ vec می‌تواند با نمونه‌برداری بیشینه هموار و / یا نمونه‌برداری منفی آموزش داده شود. برای تخمین تقریبی لگاریتم درست‌نمایی-احتمال یک مدل به دنبال حداکثر سازی است و روش بیشینه هموار از کدگذاری هافمن برای کاهش محاسبه استفاده می‌کند. روش نمونه‌گیری منفی، از سوی دیگر، با به حداقل رساندن تابع درست‌نمایی احتمال ورود به نمونه‌های منفی، به حداکثر سازی می‌رسد. به گفته نویسندگان، بیشینه هموار سلسله مراتبی برای کلمات نادر بهتر عمل می‌کند در حالی که نمونه‌گیری منفی برای کلمات مکرر بهتر عمل می‌کند و با بردارهای تک‌بعدی بهتر کار می‌کند. همان‌طور که دوره‌های آموزشی افزایش می‌یابد، بیشینه هموار سلسله مراتبی می‌تواند مفید باشد. کلمات با فرکانس بالا اغلب اطلاعات کمی را ارائه می‌دهند. کلمات با فرکانس بالای یک آستانه خاص ممکن است به منظور افزایش سرعت آموزش مورد استفاده قرارگیرد. کیفیت نصب کلمه با ابعاد بالاتر افزایش می‌یابد. اما بعد از رسیدن به نقطه‌ای، سود نهایی کم می‌شود. به‌طور معمول، ابعاد بردارها قرار است بین ۱۰۰ تا ۱۰۰۰ باشد. اندازه پنجره متن مشخص می‌کند که چند کلمه قبل و بعد از یک کلمه معین، به عنوان کلمات متن کلمه معین در نظر گرفته می‌شود. با توجه به نوشتار نویسندگان، ارزش پیشنهادی ۱۰ برای هر اسکیپ گرام و ۵ برای cbow است. یک فرمت word ۲ vec برای ساختن جاسازی از کل اسناد (به جای کلمات فردی) پیشنهاد شده‌است. این تمدید به نام paragraph ۲ vec یا doc ۲ vec خوانده می‌شود و در ابزارهای c، پیتون و جاوا / scala اجراشده‌است (متن زیر را ببینید)، با …
خلاصه: الگوریتم word ۲ vec یک گروه از مدل‌های مرتبط با پردازش متن است که برای تولید کلمه جاسازی استفاده می‌شود. این مدل‌ها شبکه‌های عصبی هستند که برای آموزش بازسازی مفاهیم زبانی کلمات به کار می‌روند. الگوریتم word ۲ vec به عنوان ورودی، یک قسمت بزرگ متن را می‌گیرد و یک فضای برداری، نوعا چندصد بعد، با کلمه منحصربه‌فرد در پیکره متنی که به یک بردار متناظر در فضا اختصاص داده می‌شود، تولید می‌کند. بردارهای کلمه در فضای بردار قرار می‌گیرند به طوری که کلماتی که زمینه‌های متفاوتی را در زبان‌شناسی پیکره‌ای به صورت مشترک دارند در نزدیکی یکدیگر در فضا قرار دارند. الگوریتم word ۲ vec توسط تیمی از محققان به رهبری توماس میکولوف در گوگل ایجاد شد. 
موضوع:
الگوریتم Word2vec