Deep learning speech synthesis
डीप लर्निंग स्पीच सिंथेसिस टेक्स्ट (टेक्स्ट-टू-स्पीच) या स्पेक्ट्रम (वोकोडर) से कृत्रिम भाषण का उत्पादन करने के लिए डीप न्यूरल नेटवर्क (डीएनएन) का उपयोग करता है। डीप न्यूरल नेटवर्क को बड़ी मात्रा में रिकॉर्ड किए गए भाषण और टेक्स्ट-टू-स्पीच सिस्टम के मामले में, संबंधित लेबल और/या इनपुट टेक्स्ट का उपयोग करके प्रशिक्षित किया जाता है। कुछ डी. एन. एन.-आधारित भाषण संश्लेषक मानव आवाज की स्वाभाविकता की ओर बढ़ रहे हैं। एक इनपुट पाठ या भाषाई इकाई के कुछ अनुक्रम को देखते हुए, लक्ष्य भाषण को मॉडल पैरामीटर से प्राप्त किया जा सकता है। आमतौर पर, इनपुट पाठ को पहले एक ध्वनिक विशेषता जनरेटर को पारित किया जाएगा, फिर ध्वनिक विशेषताओं को तंत्रिका वोकोडर को पारित किया जाएगा। ध्वनिक विशेषता जनरेटर के लिए, हानि कार्य आमतौर पर एल1 या एल2 हानि होता है। ये हानि कार्य एक बाधा डालते हैं कि आउटपुट ध्वनिक विशेषता वितरण गौसियन या लाप्लेशियन होना चाहिए। व्यवहार में, चूंकि मानव वॉयस बैंड लगभग 300 से 4000 हर्ट्ज तक होता है, इसलिए लॉस फंक्शन को इस सीमा पर अधिक दंड के लिए डिज़ाइन किया जाएगाः जहां मानव वॉयस बैंड से नुकसान होता है और आमतौर पर लगभग 0.5 स्केलर होता है। ध्वनिक विशेषता आमतौर पर मेल पैमाने में स्पेक्ट्रोग्राम या स्पेक्ट्रोग्राम होती है। ये विशेषताएं भाषण संकेत के समय-आवृत्ति संबंध को पकड़ती हैं और इस प्रकार, इन ध्वनिक विशेषताओं के साथ बुद्धिमान आउटपुट उत्पन्न करने के लिए पर्याप्त हैं। भाषण पहचान कार्य में उपयोग की जाने वाली मेल-आवृत्ति सेप्स्ट्रम विशेषता भाषण संश्लेषण के लिए उपयुक्त नहीं है क्योंकि यह बहुत अधिक जानकारी को कम कर देती है। सितंबर 2016 में, डीपमाइंड ने वेवनेट का प्रस्ताव रखा, जो कच्चे ऑडियो तरंगों का एक गहरा उत्पादक मॉडल है, जो दर्शाता है कि गहन शिक्षण-आधारित मॉडल कच्चे तरंगों का प्रतिरूपण करने और स्पेक्ट्रोग्राम या मेल-स्पेक्ट्रोग्राम जैसी ध्वनिक विशेषताओं से भाषण उत्पन्न करने में सक्षम हैं। हालांकि वेवनेट को शुरू में कम्प्यूटेशनल रूप से महंगा और उपभोक्ता उत्पादों में उपयोग करने के लिए धीमा माना जाता था, इसके जारी होने के एक साल बाद, डीपमाइंड ने वेवनेट के एक संशोधित संस्करण का अनावरण किया जिसे "पैरलल वेवनेट" के रूप में जाना जाता है, जो मूल की तुलना में 1,000 तेज उत्पादन मॉडल है। 2017 की शुरुआत में, मिला ने चार2वेव का प्रस्ताव रखा, जो एक एंड-टू-एंड विधि में कच्चे तरंग का उत्पादन करने के लिए एक मॉडल है। उसी वर्ष, गूगल और फेसबुक ने इनपुट टेक्स्ट से सीधे ध्वनिक सुविधाओं को उत्पन्न करने के लिए क्रमशः टैकोट्रॉन और वॉयस लूप का प्रस्ताव रखा; महीनों बाद, गूगल ने टैकोट्रॉन 2 का प्रस्ताव रखा, जिसने वेवनेट वोकोडर को संशोधित टैकोट्रॉन वास्तुकला के साथ जोड़कर एंड-टू-एंड स्पीच संश्लेषण किया। टैकोट्रॉन2 मानव आवाज तक पहुँचते हुए उच्च गुणवत्ता वाला भाषण उत्पन्न कर सकता है। तब से, एंड-टू-एंड तरीके सबसे गर्म शोध विषय बन गए हैं क्योंकि दुनिया भर के कई शोधकर्ताओं ने एंड-टू-एंड स्पीच सिंथेसाइज़र की शक्ति को नोटिस करना शुरू कर दिया है। अर्ध-पर्यवेक्षित शिक्षा वर्तमान में, स्व-पर्यवेक्षित शिक्षा ने बिना लेबल वाले डेटा के बेहतर उपयोग के माध्यम से बहुत ध्यान आकर्षित किया है। शोध से पता चला है कि आत्म-पर्यवेक्षित हानि की सहायता से युग्मित डेटा की आवश्यकता कम हो जाती है। शून्य-शॉट स्पीकर अनुकूलन शून्य-शॉट स्पीकर अनुकूलन आशाजनक है क्योंकि एक एकल मॉडल विभिन्न वक्ता शैलियों और विशेषताओं के साथ भाषण उत्पन्न कर सकता है। जून 2018 में, गूगल ने स्पीकर एम्बेडिंग निकालने के लिए स्पीकर एनकोडर के रूप में पूर्व-प्रशिक्षित स्पीकर सत्यापन मॉडल का उपयोग करने का प्रस्ताव रखा। स्पीकर एनकोडर तब न्यूरल टेक्स्ट-टू-स्पीच मॉडल का हिस्सा बन जाता है, ताकि यह आउटपुट स्पीच की शैली और विशेषताओं को निर्धारित कर सके। इस प्रक्रिया ने समुदाय को दिखाया है कि कई शैलियों के साथ भाषण उत्पन्न करने के लिए केवल एक ही मॉडल का उपयोग करना संभव है। तंत्रिका वोकोडर गहन शिक्षण-आधारित भाषण संश्लेषण में, तंत्रिका वोकोडर ध्वनिक विशेषताओं से उच्च गुणवत्ता वाले भाषण उत्पन्न करने में महत्वपूर्ण भूमिका निभाते हैं। 2016 में प्रस्तावित वेवनेट मॉडल भाषण की गुणवत्ता पर उत्कृष्ट प्रदर्शन प्राप्त करता है। वैवेनेट ने सशर्त संभावनाओं के उत्पाद के रूप में एक तरंग रूप की संयुक्त संभावना को इस प्रकार फैक्टराइज़ किया कि कई विस्तृत कन्वोलुशन परतों सहित मॉडल पैरामीटर कहाँ है। इस प्रकार, प्रत्येक ऑडियो नमूने को पिछले सभी समय चरणों में नमूनों पर अनुकूलित किया जाता है। हालांकि, वेवनेट की स्वतः-प्रतिगामी प्रकृति अनुमान प्रक्रिया को नाटकीय रूप से धीमा बनाती है। इस समस्या को हल करने के लिए, समानांतर वेवनेट का प्रस्ताव रखा गया था। पैरेलल वेवनेट एक व्युत्क्रम स्वचालित प्रवाह-आधारित मॉडल है जिसे पूर्व-प्रशिक्षित शिक्षक वेवनेट मॉडल के साथ ज्ञान आसवन द्वारा प्रशिक्षित किया जाता है। चूंकि इस तरह के व्युत्क्रम स्व-प्रतिगामी प्रवाह-आधारित मॉडल अनुमान लगाते समय गैर-स्व-प्रतिगामी होते हैं, इसलिए अनुमान की गति वास्तविक समय की तुलना में तेज होती है। इस बीच, एनवीडिया ने एक प्रवाह-आधारित वेवग्लो मॉडल का प्रस्ताव रखा, जो वास्तविक समय की तुलना में तेजी से भाषण भी उत्पन्न कर सकता है। हालांकि, उच्च अनुमान गति के बावजूद, समानांतर वेवनेट में एक पूर्व-प्रशिक्षित वेवनेट मॉडल की आवश्यकता की सीमा है, ताकि वेवग्लो को सीमित कंप्यूटिंग उपकरणों के साथ अभिसरण करने में कई सप्ताह लगें। इस मुद्दे को समानांतर वेवगेन द्वारा हल किया गया है, जो बहु-रिज़ॉल्यूशन वर्णक्रमीय हानि और जी. ए. एन. सीखने की रणनीतियों के माध्यम से भाषण का उत्पादन करना सीखता है। संदर्भ भाषण संश्लेषण कृत्रिम बुद्धिमत्ता सहायक प्रौद्योगिकी के अनुप्रयोग ऑडिटरी कम्प्यूटेशनल भाषाविज्ञान प्रदर्शित करता है मानव-कंप्यूटर अंतःक्रिया का इतिहास