Deep learning speech synthesis
গভীর শিক্ষার বক্তৃতা সংশ্লেষণ পাঠ্য (টেক্সট-টু-স্পিচ) বা বর্ণালী (ভোকোডার) থেকে কৃত্রিম বক্তৃতা তৈরি করতে ডিপ নিউরাল নেটওয়ার্ক (ডিএনএন) ব্যবহার করে। গভীর নিউরাল নেটওয়ার্কগুলি প্রচুর পরিমাণে রেকর্ড করা বক্তৃতা এবং একটি টেক্সট-টু-স্পিচ সিস্টেমের ক্ষেত্রে, সম্পর্কিত লেবেল এবং/অথবা ইনপুট পাঠ্য ব্যবহার করে প্রশিক্ষিত হয়। কিছু ডি. এন. এন-ভিত্তিক বক্তৃতা সংশ্লেষক মানুষের কণ্ঠস্বরের স্বাভাবিকতার দিকে এগিয়ে চলেছে। সূত্র একটি ইনপুট পাঠ্য বা ভাষাগত ইউনিটের কিছু ক্রম দেওয়া, লক্ষ্য বক্তৃতা মডেল পরামিতি কোথায় দ্বারা উদ্ভূত করা যেতে পারে। সাধারণত, ইনপুট পাঠ্যটি প্রথমে একটি অ্যাকোস্টিক ফিচার জেনারেটরে পাঠানো হবে, তারপরে অ্যাকোস্টিক বৈশিষ্ট্যগুলি নিউরাল ভোকোডারে পাঠানো হবে। অ্যাকোস্টিক ফিচার জেনারেটরের জন্য, লস ফাংশন সাধারণত এল1 বা এল2 লস হয়। এই ক্ষতি ফাংশনগুলি একটি সীমাবদ্ধতা আরোপ করে যে আউটপুট অ্যাকোস্টিক বৈশিষ্ট্য বিতরণ অবশ্যই গাউসিয়ান বা ল্যাপলেসিয়ান হতে হবে। বাস্তবে, যেহেতু হিউম্যান ভয়েস ব্যান্ডটি প্রায় 300 থেকে 4000 হার্জ পর্যন্ত হয়, তাই লস ফাংশনটি এই পরিসরে আরও বেশি পেনাল্টি দেওয়ার জন্য ডিজাইন করা হবেঃ যেখানে হিউম্যান ভয়েস ব্যান্ড থেকে ক্ষতি হয় এবং সাধারণত প্রায় 0.5 স্কেলার হয়। ধ্বনিগত বৈশিষ্ট্যটি সাধারণত মেল স্কেলে স্পেকট্রোগ্রাম বা স্পেকট্রোগ্রাম। এই বৈশিষ্ট্যগুলি স্পিচ সিগন্যালের সময়-ফ্রিকোয়েন্সি সম্পর্ককে ধারণ করে এবং এইভাবে, এই অ্যাকোস্টিক বৈশিষ্ট্যগুলির সাথে বুদ্ধিমান আউটপুট তৈরি করার জন্য এটি যথেষ্ট। বক্তৃতা শনাক্তকরণ কাজে ব্যবহৃত মেল-ফ্রিকোয়েন্সি সেপস্ট্রাম বৈশিষ্ট্যটি বক্তৃতা সংশ্লেষণের জন্য উপযুক্ত নয় কারণ এটি খুব বেশি তথ্য হ্রাস করে। সংক্ষিপ্ত ইতিহাস 2016 সালের সেপ্টেম্বরে, ডিপমাইন্ড ওয়েভনেটের প্রস্তাব দেয়, যা কাঁচা অডিও তরঙ্গের একটি গভীর উৎপাদক মডেল, যা দেখায় যে গভীর শিক্ষা-ভিত্তিক মডেলগুলি কাঁচা তরঙ্গের মডেলিং করতে এবং স্পেকট্রোগ্রাম বা মেল-স্পেকট্রোগ্রামের মতো অ্যাকোস্টিক বৈশিষ্ট্য থেকে বক্তৃতা তৈরি করতে সক্ষম। যদিও ওয়েভনেটকে প্রাথমিকভাবে গণনামূলকভাবে ব্যয়বহুল এবং সেই সময়ে ভোক্তা পণ্যগুলিতে ব্যবহার করার জন্য ধীর বলে মনে করা হয়েছিল, এটি প্রকাশের এক বছর পরে, ডিপমাইন্ড ওয়েভনেটের একটি পরিবর্তিত সংস্করণ উন্মোচন করেছিল যা "প্যারালাল ওয়েভনেট" নামে পরিচিত, যা মূলটির চেয়ে 1,000 দ্রুত উৎপাদন মডেল। 2017 সালের গোড়ার দিকে, মিলা একটি এন্ড-টু-এন্ড পদ্ধতিতে কাঁচা তরঙ্গ তৈরি করার জন্য একটি মডেল চার2ওয়াভ প্রস্তাব করেছিলেন। একই বছরে, গুগল এবং ফেসবুক যথাক্রমে ইনপুট টেক্সট থেকে সরাসরি অ্যাকোস্টিক বৈশিষ্ট্য তৈরি করার জন্য ট্যাকোট্রন এবং ভয়েসলুপের প্রস্তাব দেয়; কয়েক মাস পরে, গুগল ট্যাকোট্রন 2-এর প্রস্তাব দেয়, যা ওয়েভনেট ভোকোডারকে সংশোধিত ট্যাকোট্রন স্থাপত্যের সাথে একত্রিত করে এন্ড-টু-এন্ড স্পিচ সংশ্লেষণ সম্পাদন করে। ট্যাকোট্রন 2 মানুষের কণ্ঠে উচ্চমানের বক্তৃতা তৈরি করতে পারে। তারপর থেকে, এন্ড-টু-এন্ড পদ্ধতিগুলি সবচেয়ে জনপ্রিয় গবেষণার বিষয় হয়ে উঠেছে কারণ বিশ্বজুড়ে অনেক গবেষক এন্ড-টু-এন্ড স্পিচ সিন্থেসাইজারের শক্তি লক্ষ্য করতে শুরু করেছেন। বর্তমানে, স্ব-তত্ত্বাবধানমূলক শিক্ষা লেবেলবিহীন তথ্যের আরও ভাল ব্যবহারের মাধ্যমে অনেক মনোযোগ অর্জন করেছে। গবেষণায় দেখা গেছে যে, স্ব-তত্ত্বাবধানে ক্ষতির সাহায্যে, জোড়া ডেটার প্রয়োজনীয়তা হ্রাস পায়। জিরো-শট স্পিকার অভিযোজন জিরো-শট স্পিকার অভিযোজন আশাব্যঞ্জক কারণ একটি একক মডেল বিভিন্ন স্পিকার শৈলী এবং বৈশিষ্ট্য সহ বক্তৃতা তৈরি করতে পারে। 2018 সালের জুন মাসে, গুগল স্পিকার এম্বেডিং বের করার জন্য স্পিকার এনকোডার হিসাবে প্রাক-প্রশিক্ষিত স্পিকার ভেরিফিকেশন মডেল ব্যবহার করার প্রস্তাব দেয়। স্পিকার এনকোডারগুলি তখন নিউরাল টেক্সট-টু-স্পিচ মডেলের অংশ হয়ে ওঠে, যাতে এটি আউটপুট বক্তৃতার শৈলী এবং বৈশিষ্ট্যগুলি নির্ধারণ করতে পারে। এই পদ্ধতিটি সম্প্রদায়কে দেখিয়েছে যে একাধিক শৈলীর সাথে বক্তৃতা তৈরি করতে শুধুমাত্র একটি মডেল ব্যবহার করা সম্ভব। নিউরাল ভোকোডার গভীর শিক্ষা-ভিত্তিক বক্তৃতা সংশ্লেষণে, নিউরাল ভোকোডারগুলি অ্যাকোস্টিক বৈশিষ্ট্যগুলি থেকে উচ্চমানের বক্তৃতা তৈরিতে গুরুত্বপূর্ণ ভূমিকা পালন করে। 2016 সালে প্রস্তাবিত ওয়েভনেট মডেল বক্তৃতার মানের ক্ষেত্রে দুর্দান্ত পারফরম্যান্স অর্জন করেছে। ওয়েভেনেট শর্তাধীন সম্ভাবনার গুণফল হিসাবে একটি তরঙ্গের যৌথ সম্ভাব্যতাকে নিম্নরূপ ফ্যাক্টরাইজ করেছে যেখানে অনেক প্রসারিত কনভোলিউশন স্তর সহ মডেল প্যারামিটার রয়েছে। এইভাবে, প্রতিটি অডিও নমুনা পূর্ববর্তী সমস্ত সময়ে নমুনার উপর শর্তযুক্ত করা হয়। যাইহোক, ওয়েভনেটের স্বয়ংক্রিয়-পশ্চাদমুখী প্রকৃতি অনুমান প্রক্রিয়াটিকে নাটকীয়ভাবে ধীর করে তোলে। এই সমস্যা সমাধানের জন্য, সমান্তরাল ওয়েভনেট প্রস্তাব করা হয়েছিল। সমান্তরাল ওয়েভনেট একটি বিপরীত স্বয়ংক্রিয় প্রবাহ-ভিত্তিক মডেল যা একটি প্রাক-প্রশিক্ষিত শিক্ষক ওয়েভনেট মডেলের সাথে জ্ঞান পাতন দ্বারা প্রশিক্ষিত। যেহেতু এই ধরনের বিপরীত স্বয়ংক্রিয় প্রবাহ-ভিত্তিক মডেলগুলি অনুমান সম্পাদন করার সময় অ-স্বয়ংক্রিয়-প্রতিগামী হয়, তাই অনুমানের গতি বাস্তব সময়ের চেয়ে দ্রুত হয়। এদিকে, এনভিডিয়া একটি প্রবাহ-ভিত্তিক ওয়েভগ্লো মডেলের প্রস্তাব দিয়েছে, যা বাস্তব সময়ের চেয়ে দ্রুত বক্তৃতা তৈরি করতে পারে। তবে, উচ্চ অনুমানের গতি থাকা সত্ত্বেও, সমান্তরাল ওয়েভনেটের একটি প্রাক-প্রশিক্ষিত ওয়েভনেট মডেলের প্রয়োজনীয়তার সীমাবদ্ধতা রয়েছে, যাতে ওয়েভগ্লো সীমিত কম্পিউটিং ডিভাইসের সাথে একত্রিত হতে অনেক সপ্তাহ সময় নেয়। এই সমস্যাটি সমান্তরাল ওয়েভগ্যান দ্বারা সমাধান করা হয়েছে, যা বহু-রেজোলিউশন বর্ণালী ক্ষতি এবং জিএএন শেখার কৌশলগুলির মাধ্যমে বক্তৃতা তৈরি করতে শেখে। তথ্যসূত্র বক্তৃতা সংশ্লেষণ কৃত্রিম বুদ্ধিমত্তার প্রয়োগ সহায়ক প্রযুক্তি অডিটরি গণনামূলক ভাষাবিজ্ঞান প্রদর্শন করে মানব-কম্পিউটার মিথস্ক্রিয়ার ইতিহাস