Text-to-image model
একটি টেক্সট-টু-ইমেজ মডেল হল একটি মেশিন লার্নিং মডেল যা একটি ইনপুট প্রাকৃতিক ভাষার বিবরণ নেয় এবং সেই বর্ণনার সাথে মিলে যাওয়া একটি চিত্র তৈরি করে। গভীর স্নায়ুতন্ত্রের অগ্রগতির ফলে 2010-এর দশকের মাঝামাঝি সময়ে এই ধরনের মডেলগুলি তৈরি করা শুরু হয়। 2022 সালে, অত্যাধুনিক টেক্সট-টু-ইমেজ মডেলের আউটপুট, যেমন ওপেনএআই-এর ডিএএলএল-ই 3, গুগল ব্রেইনের ইমেজেন, স্ট্যাবিলিটিএআই-এর স্টেবল ডিফিউশন এবং মিডজার্নি প্রকৃত ফটোগ্রাফ এবং মানব-অঙ্কিত শিল্পের মানের দিকে এগিয়ে যেতে শুরু করে। টেক্সট-টু-ইমেজ মডেলগুলি সাধারণত একটি ভাষা মডেলকে একত্রিত করে, যা ইনপুট পাঠ্যকে একটি সুপ্ত উপস্থাপনায় রূপান্তরিত করে এবং একটি উৎপাদক চিত্র মডেল, যা সেই উপস্থাপনার উপর শর্তযুক্ত একটি চিত্র তৈরি করে। সবচেয়ে কার্যকর মডেলগুলিকে সাধারণত ওয়েব থেকে স্ক্র্যাপ করা প্রচুর পরিমাণে চিত্র এবং পাঠ্য তথ্যের উপর প্রশিক্ষণ দেওয়া হয়েছে। গভীর শিক্ষার উত্থানের আগে, ক্লিপ আর্টের একটি ডাটাবেস থেকে বিদ্যমান উপাদান চিত্রগুলি সাজিয়ে টেক্সট-টু-ইমেজ মডেল তৈরির প্রচেষ্টা কোলাজের মধ্যে সীমাবদ্ধ ছিল। বিপরীত কাজ, ইমেজ ক্যাপশনিং, আরও ট্র্যাক্টেবল ছিল এবং প্রথম টেক্সট-টু-ইমেজ মডেলের আগে বেশ কয়েকটি ইমেজ ক্যাপশন গভীর শিক্ষার মডেল এসেছিল। প্রথম আধুনিক টেক্সট-টু-ইমেজ মডেল, অ্যালাইনড্রা, 2015 সালে টরন্টো বিশ্ববিদ্যালয়ের গবেষকদের দ্বারা চালু করা হয়েছিল। অ্যালাইনডিআরএডব্লিউ পূর্বে প্রবর্তিত ডিআরএডব্লিউ স্থাপত্যকে (যা একটি মনোযোগ প্রক্রিয়া সহ একটি পুনরাবৃত্ত বৈচিত্র্যময় অটোএনকোডার ব্যবহার করে) টেক্সট সিকোয়েন্সের উপর শর্তযুক্ত করার জন্য প্রসারিত করে। সারিবদ্ধ ডি. আর. এ. ডাব্লু দ্বারা উত্পন্ন চিত্রগুলি অস্পষ্ট ছিল এবং ফটোরিয়ালিস্টিক ছিল না, তবে মডেলটি প্রশিক্ষণ ডেটাতে প্রতিনিধিত্ব করা বস্তুগুলিতে (যেমন একটি লাল স্কুল বাস) সাধারণীকরণ করতে সক্ষম হয়েছিল এবং যথাযথভাবে পরিচালিত অভিনব প্রম্পটগুলি যেমন "একটি স্টপ সাইন নীল আকাশে উড়ছে", যা দেখায় যে এটি কেবল প্রশিক্ষণ সেট থেকে ডেটা "মুখস্থ" করছিল না। 2016 সালে, রিড, আকাটা, ইয়ান এবং অন্যান্যরা। টেক্সট-টু-ইমেজ কাজের জন্য উৎপাদক প্রতিকূল নেটওয়ার্কগুলি ব্যবহার করা প্রথম ব্যক্তি হয়ে ওঠে। সংকীর্ণ, ডোমেন-নির্দিষ্ট ডেটাসেটের উপর প্রশিক্ষিত মডেলগুলির সাথে, তারা "একটি স্বতন্ত্র পুরু, গোলাকার নোট সহ একটি সম্পূর্ণ কালো পাখি" এর মতো পাঠ্য ক্যাপশন থেকে পাখি এবং ফুলের "দৃশ্যত প্রশংসনীয়" চিত্র তৈরি করতে সক্ষম হয়েছিল। আরও বৈচিত্র্যময় সি. ও. সি. ও ডেটাসেটের উপর প্রশিক্ষিত একটি মডেল এমন চিত্র তৈরি করেছিল যা "দূর থেকে. উত্সাহজনক" ছিল, তবে তাদের বিবরণে সঙ্গতির অভাব ছিল। পরবর্তী ব্যবস্থাগুলির মধ্যে রয়েছে ভিকিউজিএএন + ক্লিপ, এক্সএমসি-জিএএন এবং গৌগান2। ব্যাপক জনসাধারণের দৃষ্টি আকর্ষণ করার জন্য প্রথম টেক্সট-টু-ইমেজ মডেলগুলির মধ্যে একটি ছিল ওপেনএআই-এর ডিএএলএল-ই, যা 2021 সালের জানুয়ারিতে ঘোষিত একটি ট্রান্সফরমার সিস্টেম। আরও জটিল এবং বাস্তবসম্মত চিত্র তৈরি করতে সক্ষম একটি উত্তরসূরি, DALL-E 2,2022 সালের এপ্রিলে উন্মোচন করা হয়েছিল, তারপরে 2022 সালের আগস্টে স্থিতিশীল বিচ্ছুরণ প্রকাশ্যে প্রকাশিত হয়েছিল। অন্যান্য টেক্সট-টু-ইমেজ মডেল অনুসরণ করে, ভাষা মডেল-চালিত টেক্সট-টু-ভিডিও প্ল্যাটফর্ম যেমন রানওয়ে, মেক-এ-ভিডিও, ইমেজেন ভিডিও, মিডজার্নি এবং ফেনাকি টেক্সট এবং/অথবা টেক্সট/ইমেজ প্রম্পট থেকে ভিডিও তৈরি করতে পারে। 2022 সালের আগস্টে, এটি আরও দেখানো হয়েছিল যে কীভাবে একটি বড় টেক্সট-টু-ইমেজ ভিত্তি মডেলকে "ব্যক্তিগতকৃত" করা যেতে পারে। টেক্সট-টু-ইমেজ ব্যক্তিগতকরণ একটি নতুন বস্তুর চিত্রগুলির একটি ছোট সেট ব্যবহার করে মডেলটিকে একটি নতুন কনসেপ্ট শেখানোর অনুমতি দেয় যা টেক্সট-টু-ইমেজ ফাউন্ডেশন মডেলের প্রশিক্ষণ সেটে অন্তর্ভুক্ত ছিল না। এটি পাঠ্য বিপরীতকরণ দ্বারা অর্জন করা হয়, যথা, এই চিত্রগুলির সাথে সামঞ্জস্যপূর্ণ একটি নতুন পাঠ্য শব্দ খুঁজে পাওয়া। স্থাপত্য এবং প্রশিক্ষণ টেক্সট-টু-ইমেজ মডেলগুলি বিভিন্ন স্থাপত্য ব্যবহার করে তৈরি করা হয়েছে। টেক্সট এনকোডিং ধাপটি একটি দীর্ঘ স্বল্পমেয়াদী মেমরি (এল. এস. টি. এম) নেটওয়ার্কের মতো পুনরাবৃত্ত নিউরাল নেটওয়ার্কের সাথে সঞ্চালিত হতে পারে, যদিও ট্রান্সফরমার মডেলগুলি তখন থেকে আরও জনপ্রিয় বিকল্প হয়ে উঠেছে। ইমেজ জেনারেশন ধাপের জন্য, শর্তাধীন উৎপাদক প্রতিকূল নেটওয়ার্কগুলি সাধারণত ব্যবহার করা হয়েছে, সাম্প্রতিক বছরগুলিতে বিচ্ছুরণ মডেলগুলিও একটি জনপ্রিয় বিকল্প হয়ে উঠেছে। একটি টেক্সট এম্বেডিং-এ কন্ডিশন্ড উচ্চ-রেজোলিউশন ইমেজ আউটপুট করার জন্য একটি মডেলকে সরাসরি প্রশিক্ষণ দেওয়ার পরিবর্তে, একটি জনপ্রিয় কৌশল হল কম-রেজোলিউশন ইমেজ তৈরি করার জন্য একটি মডেলকে প্রশিক্ষণ দেওয়া, এবং এটিকে উন্নত করার জন্য এক বা একাধিক সহায়ক গভীর শিক্ষার মডেল ব্যবহার করা, সূক্ষ্ম বিবরণ পূরণ করা। টেক্সট-টু-ইমেজ মডেলগুলি (টেক্সট, ইমেজ) জোড়ার বড় ডেটাসেটগুলিতে প্রশিক্ষিত হয়, যা প্রায়শই ওয়েব থেকে স্ক্র্যাপ করা হয়। তাদের 2022 ইমাজেন মডেলের সাথে, গুগল ব্রেইন শুধুমাত্র পাঠ্য-কর্পাসের উপর আলাদাভাবে প্রশিক্ষিত একটি বড় ভাষার মডেল ব্যবহার করে ইতিবাচক ফলাফলের কথা জানিয়েছে (এর ওজন পরবর্তীকালে হিমায়িত করা হয়েছে), যা এর আগের মানক পদ্ধতি থেকে একটি প্রস্থান। একটি টেক্সট-টু-ইমেজ মডেলের প্রশিক্ষণের জন্য টেক্সট ক্যাপশনের সাথে যুক্ত চিত্রগুলির একটি ডেটাসেট প্রয়োজন। এই উদ্দেশ্যে সাধারণত ব্যবহৃত একটি ডেটাসেট হল সি. ও. সি. ও (প্রসঙ্গে সাধারণ বস্তু)। 2014 সালে মাইক্রোসফ্ট দ্বারা প্রকাশিত, সি. ও. সি. ও-তে মানব টীকাকারদের দ্বারা তৈরি প্রতি ছবিতে পাঁচটি ক্যাপশন সহ বস্তুর বৈচিত্র্য চিত্রিত করে প্রায় 123,000 চিত্র রয়েছে। অক্সফোর্ড-120 ফুল এবং সিইউবি-200 পাখি যথাক্রমে ফুল এবং পাখির মধ্যে সীমাবদ্ধ প্রায় 10,000 চিত্রের ছোট ডেটাসেট। বিষয়ের সংকীর্ণ পরিসরের কারণে এই ডেটাসেটগুলির সাথে একটি উচ্চমানের টেক্সট-টু-ইমেজ মডেলকে প্রশিক্ষণ দেওয়া কম কঠিন বলে মনে করা হয়। মূল্যায়ন টেক্সট-টু-ইমেজ মডেলের গুণমান মূল্যায়ন এবং তুলনা করা একটি চ্যালেঞ্জিং সমস্যা, এবং এতে একাধিক কাঙ্ক্ষিত বৈশিষ্ট্য মূল্যায়ন করা জড়িত। যে কোনও জেনারেটিভ ইমেজ মডেলের মতো, উৎপাদিত চিত্রগুলি বাস্তবসম্মত হওয়া বাঞ্ছনীয় (এমনভাবে প্রদর্শিত হওয়া যে সেগুলি সম্ভবত প্রশিক্ষণ সেট থেকে আসতে পারে) এবং তাদের শৈলীতে বৈচিত্র্যময়। টেক্সট-টু-ইমেজ মডেলগুলির জন্য একটি নির্দিষ্ট ইচ্ছা হল যে উত্পন্ন চিত্রগুলি সেগুলি তৈরি করতে ব্যবহৃত পাঠ্য ক্যাপশনের সাথে শব্দার্থগতভাবে সারিবদ্ধ হয়। এই গুণাবলীর মূল্যায়নের জন্য বেশ কয়েকটি প্রকল্প তৈরি করা হয়েছে, কিছু স্বয়ংক্রিয় এবং অন্যান্যগুলি মানুষের বিচারের উপর ভিত্তি করে। চিত্রের গুণমান এবং বৈচিত্র্য মূল্যায়নের জন্য একটি সাধারণ অ্যালগরিদমিক মেট্রিক হল ইনসেপশন স্কোর (আইএস), যা টেক্সট-টু-ইমেজ মডেল দ্বারা উত্পন্ন চিত্রের নমুনায় প্রয়োগ করার সময় একটি পূর্ব প্রশিক্ষিত ইনসেপশনভি3 চিত্র শ্রেণিবিন্যাস মডেল দ্বারা পূর্বাভাস দেওয়া লেবেলগুলির বিতরণের উপর ভিত্তি করে। যখন চিত্রের শ্রেণিবিন্যাস মডেলটি উচ্চ সম্ভাব্যতা সহ একটি একক লেবেলের পূর্বাভাস দেয়, তখন স্কোর বৃদ্ধি পায়, যা "স্বতন্ত্র" উত্পন্ন চিত্রগুলিকে সমর্থন করার উদ্দেশ্যে একটি স্কিম। আরেকটি জনপ্রিয় মেট্রিক হল সম্পর্কিত ফ্রেচেট সূচনা দূরত্ব, যা একটি পূর্ব প্রশিক্ষিত চিত্র শ্রেণিবিন্যাস মডেলের চূড়ান্ত স্তরগুলির একটি দ্বারা নিষ্কাশিত বৈশিষ্ট্য অনুসারে উত্পন্ন চিত্র এবং প্রকৃত প্রশিক্ষণ চিত্রগুলির বিতরণের তুলনা করে। প্রভাব এবং প্রয়োগ আরও দেখুন কৃত্রিম বুদ্ধিমত্তা শিল্প রেফারেন্স