 என்க்ரிப்ஷனுக்கான பைட் ஜோடி குறியாக்கத்தைப் பற்றிய சுருக்கம் இங்கே உள்ளது, சுருக்கத்தைத் தவிர இந்தக் கருத்து என்ன நன்மைகளைக் கொண்டுள்ளது?
பைட் ஜோடி குறியாக்கம் (BPE) அல்லது டிக்ராம் கோடிங் என்பது தரவு சுருக்கத்தின் ஒரு எளிய மற்றும் வலுவான வடிவமாகும், இதில் ஒரு வரிசையில் உள்ள மிகவும் பொதுவான ஜோடி தொடர்ச்சியான பைட்டுகள் வரிசைக்குள் நிகழாத பைட்டால் மாற்றப்படுகின்றன. அசல் தரவை மீண்டும் உருவாக்க, மாற்றீடுகளின் தேடல் அட்டவணை தேவை. சி யூசர்ஸ் ஜர்னலில் பிப்ரவரி 1994 இல் "தரவு சுருக்கத்திற்கான ஒரு புதிய அல்காரிதம்" கட்டுரையில் பிலிப் கேஜ் என்பவரால் இந்த வழிமுறை முதலில் பகிரங்கமாக விவரிக்கப்பட்டது. கூகிளின் SentencePiece மற்றும் OpenAI இன் GPT-3 இல் காணப்படுவது போல, டோக்கனைசேஷன் போன்ற பயன்பாடுகளுக்கு, பல இயற்கை மொழி செயலாக்க (NLP) டொமைன்களில் நுட்பத்தின் மாறுபாடு பயனுள்ளதாக இருப்பதாகக் காட்டப்பட்டுள்ளது. இங்கே, இலக்கு தரவு சுருக்கம் அல்ல, ஆனால் டோக்கன்களின் நிலையான அளவிலான சொற்களஞ்சியத்திலிருந்து சொற்களின் மாறி வரிசையை உருவாக்க கொடுக்கப்பட்ட மொழியில் உரையின் டோக்கனைசேஷன் ஆகும். பொதுவாக, பெரும்பாலான சொற்கள் ஒற்றை டோக்கனாக குறியிடப்படும், அதே சமயம் அரிதான சொற்கள் ஒரு சில டோக்கன்களின் வரிசையாக குறியாக்கம் செய்யப்படும், இந்த டோக்கன்கள் அர்த்தமுள்ள வார்த்தைப் பகுதிகளைக் குறிக்கும். இந்த உரையை டோக்கன்களாக மொழிபெயர்ப்பது சப்வேர்ட் யூனிட்கள் போன்ற பைட் ஜோடி குறியாக்கத்தின் மாறுபாடுகளால் கண்டறியப்படலாம். பைட் ஜோடி குறியாக்கம் அதன் எளிமை மற்றும் வேகம் காரணமாக NLP பணிகளுக்கு தன்னைக் கொடுக்கிறது; விதிமுறைகளின் டோக்கனைசேஷனுக்கு BPE பொருத்தமானது, பெரிய கணக்கீட்டு மேல்நிலைகள் தேவையில்லை, மேலும் சீராக உள்ளது, இது நம்பகமானதாக இருக்கும்.
சுருக்கத்தை தவிர பைட் ஜோடி குறியாக்கத்திற்கான மாற்று பயன்பாடு டோக்கனைசேஷன் ஆகும். NLP பணிகளில் எளிமை மற்றும் வேகத்திற்கான வார்த்தைகளின் டோக்கன்களை குறியாக்க இயற்கை மொழி செயலாக்கத்தில் டோக்கனைசேஷன் பயன்படுத்தப்படலாம்.