Text-to-image model
உரை-க்கு-படம் மாதிரி என்பது ஒரு இயந்திர கற்றல் மாதிரியாகும், இது ஒரு உள்ளீட்டு இயற்கையான மொழி விளக்கத்தை எடுத்து அந்த விளக்கத்துடன் பொருந்தக்கூடிய ஒரு படத்தை உருவாக்குகிறது. ஆழமான நரம்பியல் நெட்வொர்க்குகளின் முன்னேற்றங்களின் விளைவாக, இத்தகைய மாதிரிகள் 2010 களின் நடுப்பகுதியில் உருவாக்கத் தொடங்கின. 2022 ஆம் ஆண்டில், ஓபன்ஏஐயின் டிஏஎல்எல்-இ 3, கூகிள் பிரைனின் இமேஜென், ஸ்டெபிலிட்டிஏஐயின் ஸ்டேபிள் டிஃப்யூஷன் மற்றும் மிட்ஜோர்னி போன்ற அதிநவீன உரை-க்கு-பட மாதிரிகளின் வெளியீடு உண்மையான புகைப்படங்கள் மற்றும் மனிதனால் வரையப்பட்ட கலையின் தரத்தை அணுகத் தொடங்கியது. உரை-க்கு-படம் மாதிரிகள் பொதுவாக ஒரு மொழி மாதிரியை இணைக்கின்றன, இது உள்ளீட்டு உரையை ஒரு மறைந்த பிரதிநிதித்துவமாக மாற்றுகிறது, மேலும் ஒரு ஜெனரேட்டிவ் இமேஜ் மாடல், அந்த பிரதிநிதித்துவத்தில் நிபந்தனைக்குட்பட்ட ஒரு படத்தை உருவாக்குகிறது. மிகவும் பயனுள்ள மாதிரிகள் பொதுவாக வலையில் இருந்து ஸ்கிராப் செய்யப்பட்ட பெரிய அளவிலான படம் மற்றும் உரை தரவுகளில் பயிற்சி பெற்றுள்ளன. ஆழமான கற்றல் எழுச்சிக்கு முன்பு, உரை-க்கு-படம் மாதிரிகளை உருவாக்குவதற்கான முயற்சிகள் கிளிப் ஆர்ட்டின் தரவுத்தளத்திலிருந்து ஏற்கனவே உள்ள கூறு படங்களை ஏற்பாடு செய்வதன் மூலம் படத்தொகுப்புகளுக்கு மட்டுப்படுத்தப்பட்டன. தலைகீழ் பணி, படத் தலைப்பு, மிகவும் கையாளக்கூடியதாக இருந்தது மற்றும் பல படத் தலைப்பு ஆழமான கற்றல் மாதிரிகள் முதல் உரை-க்கு-படம் மாதிரிகளுக்கு முன்பு வந்தன. முதல் நவீன உரை-க்கு-படம் மாதிரி, சீரமைக்கப்பட்ட DRAW, 2015 இல் டொராண்டோ பல்கலைக்கழக ஆராய்ச்சியாளர்களால் அறிமுகப்படுத்தப்பட்டது. வரிசைப்படுத்தப்பட்ட டி. ஆர். ஏ. டபிள்யூ முன்பு அறிமுகப்படுத்தப்பட்ட டி. ஆர். ஏ. டபிள்யூ கட்டமைப்பை (இது ஒரு கவனம் பொறிமுறையுடன் தொடர்ச்சியான மாறுபாட்டு தன்னியக்க குறியீட்டைப் பயன்படுத்தியது) உரை வரிசைகளில் நிபந்தனை செய்ய நீட்டித்தது. சீரமைக்கப்பட்ட டி. ஆர். ஏ. டபிள்யூ மூலம் உருவாக்கப்பட்ட படங்கள் மங்கலானவை மற்றும் ஃபோட்டோரியலிஸ்டிக் அல்ல, ஆனால் மாதிரியால் பயிற்சி தரவுகளில் குறிப்பிடப்படாத பொருள்களுக்கு (சிவப்பு பள்ளி பஸ் போன்றவை) பொதுமைப்படுத்த முடிந்தது, மேலும் "ஒரு நிறுத்த அடையாளம் நீல வானத்தில் பறக்கிறது" போன்ற புதுமையான அறிவுறுத்தல்களை சரியான முறையில் கையாள முடிந்தது, இது பயிற்சி தொகுப்பிலிருந்து தரவை வெறுமனே "மனப்பாடம்" செய்யவில்லை என்பதைக் காட்டுகிறது. 2016 ஆம் ஆண்டில், ரீட், அகாடா, யான் மற்றும் பலர். உரை-க்கு-படம் பணிக்கு ஜெனரேட்டிவ் எதிர்மறை நெட்வொர்க்குகளைப் பயன்படுத்திய முதல் நபர் ஆனார். குறுகிய, கள-குறிப்பிட்ட தரவுத்தொகுப்புகளில் பயிற்சி பெற்ற மாதிரிகள் மூலம், "ஒரு தனித்துவமான தடிமனான, வட்டமான பில் கொண்ட அனைத்து கருப்பு பறவை" போன்ற உரை தலைப்புகளிலிருந்து பறவைகள் மற்றும் பூக்களின் "பார்வைக்கு நம்பத்தகுந்த" படங்களை உருவாக்க முடிந்தது. மிகவும் மாறுபட்ட சிஓசிஓ தரவுத்தொகுப்பில் பயிற்சி பெற்ற ஒரு மாதிரி "தூரத்திலிருந்து. ஊக்கமளிக்கும்" படங்களை உருவாக்கியது, ஆனால் அவற்றின் விவரங்களில் ஒத்திசைவு இல்லை. பிற்கால அமைப்புகளில் VQGAN + CLIP, XMC-GAN மற்றும் Gaugan2 ஆகியவை அடங்கும். பரவலான பொதுமக்களின் கவனத்தை ஈர்த்த முதல் உரை-க்கு-படம் மாதிரிகளில் ஒன்று ஓபன்ஏஐயின் டிஏஎல்எல்-இ, ஜனவரி 2021 இல் அறிவிக்கப்பட்ட மின்மாற்றி அமைப்பு. மிகவும் சிக்கலான மற்றும் யதார்த்தமான படங்களை உருவாக்கும் திறன் கொண்ட ஒரு வாரிசான DALL-E 2, ஏப்ரல் 2022 இல் வெளியிடப்பட்டது, அதைத் தொடர்ந்து ஆகஸ்ட் 2022 இல் ஸ்டேபிள் டிஃப்யூஷன் பகிரங்கமாக வெளியிடப்பட்டது. பிற உரை-க்கு-படம் மாதிரிகளைப் பின்பற்றி, மொழி மாதிரியால் இயக்கப்படும் உரை-க்கு-வீடியோ தளங்களான ரன்வே, மேக்-ஏ-வீடியோ, இமாஜன் வீடியோ, மிட்ஜோர்னி மற்றும் ஃபெனாக்கி ஆகியவை உரை மற்றும்/அல்லது உரை/பட அறிவுறுத்தல்களிலிருந்து வீடியோவை உருவாக்க முடியும். ஆகஸ்ட் 2022 இல், ஒரு பெரிய உரை-க்கு-படம் அடித்தள மாதிரிகளை எவ்வாறு "தனிப்பயனாக்கலாம்" என்பது மேலும் காட்டப்பட்டது. உரை-க்கு-படம் தனிப்பயனாக்கம் உரை-க்கு-படம் அடித்தள மாதிரியின் பயிற்சி தொகுப்பில் சேர்க்கப்படாத ஒரு புதிய பொருளின் படங்களின் சிறிய தொகுப்பைப் பயன்படுத்தி மாதிரியை ஒரு புதிய கலவையை கற்பிக்க அனுமதிக்கிறது. இது உரை தலைகீழ் மூலம் அடையப்படுகிறது, அதாவது, இந்த படங்களுடன் ஒத்த ஒரு புதிய உரைச் சொல்லைக் கண்டறிதல். கட்டிடக்கலை மற்றும் பயிற்சி உரை-க்கு-படம் மாதிரிகள் பல்வேறு கட்டமைப்புகளைப் பயன்படுத்தி கட்டப்பட்டுள்ளன. உரை குறியீட்டு படி நீண்ட குறுகிய கால நினைவகம் (எல்எஸ்டிஎம்) நெட்வொர்க் போன்ற தொடர்ச்சியான நரம்பியல் நெட்வொர்க்குடன் செய்யப்படலாம், இருப்பினும் மின்மாற்றி மாதிரிகள் மிகவும் பிரபலமான விருப்பமாக மாறிவிட்டன. படத் தயாரிப்பு படிக்கு, நிபந்தனைக்குட்பட்ட உற்பத்தி எதிர் நெட்வொர்க்குகள் பொதுவாகப் பயன்படுத்தப்படுகின்றன, பரவல் மாதிரிகளும் சமீபத்திய ஆண்டுகளில் ஒரு பிரபலமான விருப்பமாக மாறி வருகின்றன. உரை உட்பொதிப்பில் நிபந்தனைக்குட்பட்ட உயர் தெளிவுத்திறன் கொண்ட படத்தை வெளியிட ஒரு மாதிரியை நேரடியாகப் பயிற்றுவிப்பதற்குப் பதிலாக, குறைந்த தெளிவுத்திறன் கொண்ட படங்களை உருவாக்க ஒரு மாதிரியைப் பயிற்றுவிப்பதும், அதை மேம்படுத்த ஒன்று அல்லது அதற்கு மேற்பட்ட துணை ஆழமான கற்றல் மாதிரிகளைப் பயன்படுத்துவதும் ஒரு பிரபலமான நுட்பமாகும். உரை முதல் படம் வரையிலான மாதிரிகள் (உரை, படம்) ஜோடிகளின் பெரிய தரவுத்தொகுப்புகளில் பயிற்றுவிக்கப்படுகின்றன, அவை பெரும்பாலும் வலையில் இருந்து அகற்றப்படுகின்றன. அவர்களின் 2022 இமாஜன் மாதிரியுடன், கூகிள் பிரைன் உரை மட்டுமே கார்பஸில் (அதன் எடைகள் பின்னர் உறைந்த நிலையில்) தனித்தனியாக பயிற்சி பெற்ற ஒரு பெரிய மொழி மாதிரியைப் பயன்படுத்துவதன் மூலம் நேர்மறையான முடிவுகளைப் பதிவு செய்தது, இது அதுவரை நிலையான அணுகுமுறையிலிருந்து விலகியது. ஒரு உரை-க்கு-படம் மாதிரியை பயிற்றுவிக்கும் தரவுத்தொகுப்புகளுக்கு உரை தலைப்புகளுடன் இணைக்கப்பட்ட படங்களின் தரவுத்தொகுப்பு தேவைப்படுகிறது. இந்த நோக்கத்திற்காக பொதுவாகப் பயன்படுத்தப்படும் ஒரு தரவுத்தொகுப்பு கோகோ (சூழலில் பொதுவான பொருள்கள்) ஆகும். 2014 ஆம் ஆண்டில் மைக்ரோசாப்ட் வெளியிட்ட, சிஓசிஓ மனித சிறுகுறிப்புகளால் உருவாக்கப்பட்ட ஒரு படத்திற்கு ஐந்து தலைப்புகளுடன், பொருட்களின் பன்முகத்தன்மையை சித்தரிக்கும் சுமார் 123,000 படங்களைக் கொண்டுள்ளது. ஆக்ஸ்போர்டு-120 மலர்கள் மற்றும் CUB-200 பறவைகள் முறையே பூக்கள் மற்றும் பறவைகளுக்கு மட்டுப்படுத்தப்பட்ட சுமார் 10,000 படங்களின் சிறிய தரவுத்தொகுப்புகள் ஆகும். இந்த தரவுத்தொகுப்புகளுடன் உயர்தர உரை-க்கு-படம் மாதிரியைப் பயிற்றுவிப்பது குறைவான கடினமாக கருதப்படுகிறது, ஏனெனில் அவற்றின் குறுகிய அளவிலான பொருள். மதிப்பீடு உரை-க்கு-படம் மாதிரிகளின் தரத்தை மதிப்பீடு செய்து ஒப்பிடுவது ஒரு சவாலான சிக்கலாகும், மேலும் பல விரும்பத்தக்க பண்புகளை மதிப்பிடுவதை உள்ளடக்கியது. எந்தவொரு ஜெனரேட்டிவ் பட மாதிரியையும் போலவே, உருவாக்கப்பட்ட படங்களும் யதார்த்தமாக இருப்பது விரும்பத்தக்கது (அவை பயிற்சி தொகுப்பிலிருந்து வந்திருக்கலாம் என்று தோன்றுகிறது), மேலும் அவற்றின் பாணியில் மாறுபட்டவை. உரை-க்கு-படம் மாதிரிகளுக்கு குறிப்பிட்ட ஒரு ஆசை என்னவென்றால், உருவாக்கப்பட்ட படங்கள் அவற்றை உருவாக்கப் பயன்படுத்தப்படும் உரை தலைப்புகளுடன் சொற்பொருள் ரீதியாக சீரமைக்கப்படுகின்றன. இந்த குணங்களை மதிப்பிடுவதற்கு பல திட்டங்கள் வகுக்கப்பட்டுள்ளன, சில தானியங்கி மற்றும் பிற மனித தீர்ப்பின் அடிப்படையில் வடிவமைக்கப்பட்டுள்ளன. படத்தின் தரம் மற்றும் பன்முகத்தன்மையை மதிப்பிடுவதற்கான ஒரு பொதுவான வழிமுறை அளவீடு இன்செப்ஷன் ஸ்கோர் (ஐ. எஸ்) ஆகும், இது உரை-க்கு-படம் மாதிரியால் உருவாக்கப்பட்ட படங்களின் மாதிரியைப் பயன்படுத்தும்போது முன் பயிற்சி பெற்ற இன்செப்ஷன் வி 3 பட வகைப்பாடு மாதிரியால் கணிக்கப்பட்ட லேபிள்களின் விநியோகத்தை அடிப்படையாகக் கொண்டது. பட வகைப்பாடு மாதிரி அதிக நிகழ்தகவுடன் ஒரு ஒற்றை லேபிளை கணிக்கும் போது மதிப்பெண் அதிகரிக்கிறது, இது "தனித்துவமான" உருவாக்கப்பட்ட படங்களுக்கு சாதகமாக இருக்கும் ஒரு திட்டமாகும். மற்றொரு பிரபலமான மெட்ரிக் என்பது தொடர்புடைய ஃப்ரெச்செட் தொடக்க தூரமாகும், இது உருவாக்கப்பட்ட படங்கள் மற்றும் உண்மையான பயிற்சி படங்களின் விநியோகத்தை ஒப்பிடுகிறது, இது ஒரு முன் பயிற்சி பெற்ற பட வகைப்பாட்டு மாதிரியின் இறுதி அடுக்குகளில் ஒன்றால் பிரித்தெடுக்கப்பட்ட அம்சங்களின்படி. தாக்கம் மற்றும் பயன்பாடுகள் மேலும் காண்க செயற்கை நுண்ணறிவு கலை குறிப்புகள்