Proto-value function
લાગુ ગણિતમાં, પ્રોટો-વેલ્યુ ફંક્શન્સ (પી. વી. એફ.) એ આપમેળે શીખેલા બેઝિસ ફંક્શન્સ છે જે કાર્ય-વિશિષ્ટ મૂલ્ય કાર્યોને અંદાજવામાં ઉપયોગી છે, જે સંક્રમણ મેટ્રિસીસની શક્તિઓનું સઘન પ્રતિનિધિત્વ પ્રદાન કરે છે. તેઓ ક્રેડિટ સોંપણીની સમસ્યાને ઉકેલવા માટે એક નવીન માળખું પ્રદાન કરે છે. આ માળખું મલ્ટીસ્કેલ સ્પેક્ટ્રલ અને મેનીફોલ્ડ લર્નિંગ પદ્ધતિઓનો ઉપયોગ કરીને માર્કોવ નિર્ણય પ્રક્રિયાઓ (એમડીપી) અને મજબૂતીકરણ શીખવાની સમસ્યાઓને ઉકેલવા માટે એક નવીન અભિગમ રજૂ કરે છે. પ્રોટો-વેલ્યુ ફંક્શન્સ ગ્રાફના સ્પેક્ટ્રલ વિશ્લેષણ દ્વારા પેદા થાય છે, ગ્રાફ લેપલેસિયનનો ઉપયોગ કરીને. પ્રોટો-વેલ્યુ ફંક્શન્સ સૌપ્રથમ શ્રીધર મહાદેવન દ્વારા તેમના પેપર, પ્રોટો-વેલ્યુ ફંક્શન્સઃ ડેવલપમેન્ટલ રિઇન્ફોર્સમેન્ટ લર્નિંગ એટ ICML 2005 માં રિઇન્ફોર્સમેન્ટ લર્નિંગના સંદર્ભમાં રજૂ કરવામાં આવ્યા હતા. પ્રેરણા મૂલ્ય કાર્ય અંદાજ એ સતત સ્થિતિ જગ્યા પર વ્યાખ્યાયિત માર્કોવ નિર્ણય પ્રક્રિયાઓ (એમ. ડી. પી.) ને ઉકેલવા માટે એક મહત્વપૂર્ણ ઘટક છે. એક સારું કાર્ય અંદાજક મજબૂતીકરણ શિક્ષણ (આર. એલ.) એજન્ટને તેના મૂલ્યને સ્પષ્ટપણે સંગ્રહિત કર્યા વિના, તેણે અનુભવેલી કોઈપણ સ્થિતિનું મૂલ્ય સચોટ રીતે રજૂ કરવાની મંજૂરી આપે છે. બેસિસ ફંક્શનનો ઉપયોગ કરીને લીનિયર ફંક્શન એપ્રોક્સીમેશન એ મૂલ્ય ફંક્શન એપ્રોક્સીમેશન બનાવવાની એક સામાન્ય રીત છે, જેમ કે રેડિયલ બેસિસ ફંક્શન, પોલીનોમિયલ સ્ટેટ એન્કોડિંગ અને CMAC. જો કે, આ પાયાના કાર્યો સાથે સંકળાયેલા પરિમાણોને ઘણીવાર નોંધપાત્ર ક્ષેત્ર-વિશિષ્ટ હાથ-ઇજનેરીની જરૂર પડે છે. પ્રોટો-વેલ્યુ ફંક્શન્સ સમસ્યા ક્ષેત્રની અંતર્ગત મેનીફોલ્ડ સ્ટ્રક્ચર માટે હિસાબ કરીને આ જરૂરી હેન્ડ-એન્જિનિયરિંગને હલ કરવાનો પ્રયાસ કરે છે. પ્રોટો-વેલ્યુ ફંક્શન્સ એ કાર્ય-સ્વતંત્ર વૈશ્વિક પાયાના કાર્યો છે જે આપેલ સ્ટેટ સ્પેસ માટે સંભવિત મૂલ્ય કાર્યોની સમગ્ર જગ્યાને સામૂહિક રીતે વિસ્તરે છે. તેઓ પર્યાવરણ માટે આંતરિક ભૌમિતિક અવરોધોનો સમાવેશ કરે છે. ઉદાહરણ તરીકે, યુક્લિડિયન અંતરની નજીકની સ્થિતિઓ (જેમ કે દિવાલની વિરુદ્ધ બાજુની સ્થિતિઓ) બહુવિધ જગ્યામાં ઘણી દૂર હોઈ શકે છે. આ બિનરેખીય સમસ્યાના અગાઉના અભિગમોમાં વ્યાપક સૈદ્ધાંતિક માળખાનો અભાવ હતો, અને પરિણામે માત્ર સ્વતંત્ર એમ. ડી. પી. ના સંદર્ભમાં જ સંશોધન કરવામાં આવ્યું છે. ગ્રાફ અથવા મેનીફોલ્ડ પર વાસ્તવિક-મૂલ્યવાન વિધેય અંદાજ તરીકે મૂલ્ય વિધેય અંદાજની સમસ્યાને સુધારવાથી પ્રોટો-વેલ્યુ કાર્યો ઉદ્ભવે છે. આ શીખ્યા પાયાના વ્યાપક ઉપયોગીતામાં પરિણમે છે અને શીખવાના અલ્ગોરિધમ્સના નવા વર્ગને સક્ષમ કરે છે, જે એક જ સમયે રજૂઆતો અને નીતિઓ શીખે છે. ગ્રાફ લાપ્લેસીયનમાંથી પાયાના કાર્યો આ અભિગમ ગ્રાફ લેપ્લેસીયનના વર્ણપટ વિશ્લેષણ દ્વારા પાયાના કાર્યોનું નિર્માણ કરે છે, જે ગ્રાફ પરના કાર્યોની જગ્યા પર સ્વ-સંલગ્ન (અથવા સપ્રમાણ) સંચાલક છે, જે રેન્ડમ વોક સંચાલક સાથે નજીકથી સંબંધિત છે. સરળતા માટે, ધારો કે અંતર્ગત સ્થિતિ જગ્યાને દિશાહીન ભારિત આલેખ તરીકે રજૂ કરી શકાય છે. સંયુક્ત લેપલેસિયનને સંચાલક તરીકે વ્યાખ્યાયિત કરવામાં આવે છે, જ્યાં ડિગ્રી મેટ્રિક્સ તરીકે ઓળખાતો કર્ણ મેટ્રિક્સ છે અને તે સંલગ્ન મેટ્રિક્સ છે. ગ્રાફ પર લાપ્લાસ ઓપરેટરના વર્ણપટ વિશ્લેષણમાં આઈગન વેલ્યુઓ અને આઈગનફંક્શન્સ શોધવાનો સમાવેશ થાય છે જે સમીકરણને હલ કરે છે જ્યાં સંયુક્ત લેપલેસિયન, આઈગનવેલ્યુ સાથે સંકળાયેલ આઈગનફંક્શન છે. અહીં "આઈગનફંક્શન" શબ્દનો ઉપયોગ રેખીય બીજગણિતમાં પરંપરાગત રીતે આઈગનવેક્ટર તરીકે ઓળખવામાં આવે છે તે દર્શાવવા માટે થાય છે, કારણ કે લેપલેસિયન આઈગનવેક્ટર્સને કુદરતી રીતે એવા કાર્યો તરીકે જોઈ શકાય છે જે દરેક શિરોબિંદુને વાસ્તવિક સંખ્યા સાથે મેપ કરે છે. ગ્રાફ પર પસંદ કરવા માટે સંયુક્ત લેપલેસિયન એકમાત્ર ઓપરેટર નથી. અન્ય સંભવિત આલેખ સંચાલકોમાં નીચેનાનો સમાવેશ થાય છેઃ સ્વતંત્ર સ્થિતિ જગ્યા પર સામાન્યીકૃત લેપલેસિયન રેન્ડમ વોક ગ્રાફ બાંધકામ મર્યાદિત સ્થિતિ જગ્યા માટે ઉપર ઉલ્લેખિત આલેખ સરળતાથી સ્થિતિઓ વચ્ચેના જોડાણોની તપાસ કરીને બનાવી શકાય છે. કોઈપણ બે રાજ્યો બનવા દો. પછી એ નોંધવું અગત્યનું છે કે આ ત્યારે જ કરી શકાય છે જ્યારે સ્ટેટ સ્પેસ મર્યાદિત અને વાજબી કદની હોય. સતત અથવા મોટી સ્થિતિ જગ્યા પર આલેખ નિર્માણ સતત સ્થિતિ જગ્યા અથવા ફક્ત ખૂબ મોટી સ્વતંત્ર સ્થિતિ જગ્યા માટે, સ્થિતિ જગ્યામાં મેનીફોલ્ડમાંથી નમૂના લેવા જરૂરી છે. પછી નમૂનાઓના આધારે આલેખ બનાવો. અહીં ધ્યાનમાં લેવાના કેટલાક મુદ્દાઓ છેઃ મેનીફોલ્ડ રેન્ડમ વોક અથવા માર્ગદર્શિત સંશોધનનો નમૂનો કેવી રીતે લેવો તે કેવી રીતે નક્કી કરવું કે બે નમૂનાઓ જોડાયેલા હોવા જોઈએ. આવી જ એક પદ્ધતિ લઘુત્તમ-ચોરસ અંદાજ છે. પ્રોટો-વેલ્યુ ફંક્શન્સનો ઉપયોગ કરીને લઘુતમ-વર્ગ અંદાજ ચાલો પીવીએફનો આધાર સમૂહ બનીએ, જ્યાં દરેક ગ્રાફમાં તમામ સ્થિતિઓ પર વ્યાખ્યાયિત આઈગનફંક્શન છે. ચાલો લક્ષ્ય મૂલ્ય કાર્ય હોઈએ જે ફક્ત સ્થિતિઓના સબસેટ માટે જાણીતું છે. ગ્રામ મેટ્રિક્સને વ્યાખ્યાયિત કરો અહીં રાજ્યો પર પી. વી. એફ. નું ઘટક મુજબનું પ્રક્ષેપણ છે. તેથી, ગ્રામ મેટ્રિક્સની દરેક એન્ટ્રી એ છે કે ગુણાંક કે જે લઘુત્તમ વર્ગ ભૂલને ઘટાડે છે તે પછી સમીકરણ દ્વારા વર્ણવવામાં આવે છે એક બિનરેખીય લઘુત્તમ-વર્ગ અભિગમ અંદાજની ગણતરી કરવા માટે સૌથી મોટા નિરપેક્ષ ગુણાંક સાથે k PVF નો ઉપયોગ કરીને શક્ય છે. રિઇન્ફોર્સમેન્ટ લર્નિંગ માર્કોવ નિર્ણય પ્રક્રિયા બેઝિસ ફંક્શન આઇગનફંક્શન લેપલેસિયન મેટ્રિક્સ સંદર્ભો સ્પેક્ટ્રલ થિયરી કાર્યોના પ્રકારો પણ જુઓ.