Stein's method
સ્ટેઇનની પદ્ધતિ એ સંભાવના સિદ્ધાંતમાં સંભાવના મેટ્રિકના સંદર્ભમાં બે સંભાવના વિતરણ વચ્ચેના અંતર પર મર્યાદા મેળવવા માટેની એક સામાન્ય પદ્ધતિ છે. તે ચાર્લ્સ સ્ટેઇન દ્વારા રજૂ કરવામાં આવ્યું હતું, જેમણે તેને સૌપ્રથમ 1972 માં પ્રકાશિત કર્યું હતું, જેથી રેન્ડમ વેરિયેબલ્સના-આશ્રિત ક્રમના સરવાળા અને કોલ્મોગોરોવ (યુનિફોર્મ) મેટ્રિકમાં પ્રમાણભૂત સામાન્ય વિતરણ વચ્ચેની મર્યાદા મેળવી શકાય અને તેથી માત્ર કેન્દ્રીય મર્યાદા પ્રમેય જ નહીં, પરંતુ આપેલ મેટ્રિક માટે કન્વર્જન્સના દર પર પણ મર્યાદા સાબિત કરી શકાય. 1960 ના દાયકાના અંતમાં, ચોક્કસ કેન્દ્રીય મર્યાદા પ્રમેયના તે સમયના જાણીતા પુરાવાઓથી અસંતુષ્ટ, ચાર્લ્સ સ્ટેઇને તેમના આંકડાકીય વ્યાખ્યાન માટે પ્રમેયને સાબિત કરવાની નવી રીત વિકસાવી. તેમનું નિર્ણાયક પેપર 1970માં છઠ્ઠા બર્કલે સિમ્પોસિયમમાં રજૂ કરવામાં આવ્યું હતું અને અનુરૂપ કાર્યવાહીમાં પ્રકાશિત થયું હતું. પાછળથી, તેમના પીએચ. ડી. વિદ્યાર્થી લુઇસ ચેન સિયાઓ યુને પદ્ધતિમાં ફેરફાર કર્યો જેથી પોઈસન વિતરણ માટે અંદાજ પરિણામો મેળવી શકાય; તેથી પોઈસન અંદાજની સમસ્યા પર લાગુ કરવામાં આવેલી સ્ટેઇન પદ્ધતિને ઘણીવાર સ્ટેઇન-ચેન પદ્ધતિ તરીકે ઓળખવામાં આવે છે. સંભવતઃ સૌથી મહત્વપૂર્ણ યોગદાન સ્ટેઇન (1986) નું મોનોગ્રાફ છે, જેમાં તેઓ પદ્ધતિ અને સહાયક રેન્ડમાઇઝેશનની વિભાવના, ખાસ કરીને વિનિમયક્ષમ જોડીનો ઉપયોગ કરીને, અને બાર્બર (1988) અને ગોત્ઝે (1991) ના લેખો રજૂ કરે છે, જેમણે કહેવાતા જનરેટર અર્થઘટનની રજૂઆત કરી હતી, જેણે પદ્ધતિને અન્ય ઘણા સંભાવના વિતરણમાં સરળતાથી સ્વીકારવાનું શક્ય બનાવ્યું હતું. એક મહત્વપૂર્ણ યોગદાન બોલ્થૌસેન (1984) નો કહેવાતા સંયુક્ત કેન્દ્રીય મર્યાદા પ્રમેય પરનો એક લેખ પણ હતો. 1990ના દાયકામાં આ પદ્ધતિને વિવિધ વિતરણોમાં સ્વીકારવામાં આવી હતી, જેમ કે બાર્બર દ્વારા ગૌસીયન પ્રક્રિયાઓ (1990), એહમ દ્વારા દ્વિપદી વિતરણ (1991), બાર્બર અને બ્રાઉન દ્વારા પોઈસન પ્રક્રિયાઓ (1992), લુક દ્વારા ગામા વિતરણ (1994), અને અન્ય ઘણા લોકો. કોમ્પ્યુટેબલ સ્ટેઇન વિસંગતતાઓ અને તેમના પર આધારિત વિવિધ એપ્લિકેશનો અને અલ્ગોરિધમ્સના વિકાસને પગલે 2010ના દાયકાના મધ્યમાં મશીન લર્નિંગ સમુદાયમાં આ પદ્ધતિએ વધુ લોકપ્રિયતા મેળવી હતી. મૂળભૂત અભિગમ સંભાવના મેટ્રિક્સ સ્ટેઇનની પદ્ધતિ એ ચોક્કસ સંભાવના મેટ્રિકનો ઉપયોગ કરીને બે સંભાવના વિતરણ વચ્ચેના અંતરને બાંધવાનો એક માર્ગ છે. મેટ્રિકને અહીં સ્વરૂપમાં આપવામાં આવે છે, અને તે માપી શકાય તેવી જગ્યા પર સંભાવના માપ છે, અને વિતરણ સાથે રેન્ડમ વેરિયેબલ્સ છે અને અનુક્રમે, સામાન્ય અપેક્ષા ઓપરેટર છે અને તે વાસ્તવિક સંખ્યાઓના સમૂહ સુધીના કાર્યોનો સમૂહ છે. સમૂહ પૂરતો મોટો હોવો જોઈએ, જેથી ઉપરની વ્યાખ્યા ખરેખર મેટ્રિક આપે. મહત્વના ઉદાહરણો કુલ ભિન્નતા મેટ્રિક છે, જ્યાં આપણે માપી શકાય તેવા સમૂહોના તમામ સૂચક કાર્યોનો સમાવેશ કરીએ છીએ, વાસ્તવિક સંખ્યાઓ પર સંભાવના પગલાં માટે કોલ્મોગોરોવ (સમાન) મેટ્રિક, જ્યાં આપણે તમામ અર્ધ-રેખા સૂચક કાર્યોને ધ્યાનમાં લઈએ છીએ, અને લિપ્સિટ્ઝ (પ્રથમ ક્રમ વેસરસ્ટીન; કેન્ટોરોવિચ) મેટ્રિક, જ્યાં અંતર્ગત જગ્યા પોતે એક મેટ્રિક જગ્યા છે અને આપણે સમૂહને લિપ્સિટ્ઝ-કોન્સ્ટન્ટ 1 સાથે તમામ લિપ્સિટ્ઝ-સતત કાર્યો તરીકે લઈએ છીએ. જો કે, નોંધ લો કે દરેક મેટ્રિકને (1.1) સ્વરૂપમાં રજૂ કરી શકાતું નથી. નીચે આપેલું એક જટિલ વિતરણ છે (દા. ત., આશ્રિત અનિયમિત ચલોના સરવાળાનું વિતરણ), જેને આપણે વધુ સરળ અને વ્યવહારુ વિતરણ (દા. ત. પ્રમાણભૂત સામાન્ય વિતરણ) દ્વારા અંદાજિત કરવા માંગીએ છીએ. સ્ટેઇન ઓપરેટર આપણે હવે ધારીએ છીએ કે વિતરણ એક નિશ્ચિત વિતરણ છે; જે નીચે મુજબ છે તેમાં આપણે ખાસ કરીને તે કેસને ધ્યાનમાં લઈશું કે જ્યાં પ્રમાણભૂત સામાન્ય વિતરણ છે, જે શાસ્ત્રીય ઉદાહરણ તરીકે કામ કરે છે. સૌ પ્રથમ, આપણને એક ઓપરેટરની જરૂર છે, જે વાસ્તવિક સંખ્યાઓના સમૂહ સુધીના કાર્યો પર કાર્ય કરે છે અને નીચેની સમાનતા ધરાવે છે તે અર્થમાં વિતરણને 'લાક્ષણિકતા' આપે છેઃ આપણે આવા ઓપરેટરને સ્ટેઇન ઓપરેટર કહીએ છીએ. પ્રમાણભૂત સામાન્ય વિતરણ માટે, સ્ટેઇન્સ લેમ્મા આવા ઓપરેટરને ઉત્પન્ન કરે છેઃ આમ, આપણે લઈ શકીએ છીએ સામાન્ય રીતે આવા અનંત ઓપરેટરો છે અને તે હજુ પણ એક ખુલ્લો પ્રશ્ન છે, જેને પસંદ કરવો. જો કે, એવું લાગે છે કે ઘણા વિતરણો માટે એક ચોક્કસ સારું છે, જેમ કે સામાન્ય વિતરણ માટે (2.3). સ્ટેઇન ઓપરેટરોને શોધવાની વિવિધ રીતો છે. જો (1.1) માં અપેક્ષાઓનો તફાવત 0 ની નજીક હોય તો તેના સંદર્ભમાં સ્ટેઇન સમીકરણ નજીક છે. અમે હવે આશા રાખીએ છીએ કે ઓપરેટર સમાન વર્તન દર્શાવે છેઃ જો પછી, અને આશા છે કે જો આપણી પાસે હોય. સામાન્ય રીતે કાર્યને એવી રીતે વ્યાખ્યાયિત કરવું શક્ય છે કે જેને આપણે (3.1) સ્ટેઇન સમીકરણ કહીએ. હવે બધા પ્રયત્નો ત્યારે જ સાર્થક થાય છે જ્યારે (3.2) ની ડાબી બાજુ જમણી બાજુ કરતાં બાંધવામાં સરળ હોય. આશ્ચર્યજનક રીતે, આ ઘણીવાર કેસ છે. જો પ્રમાણભૂત સામાન્ય વિતરણ હોય અને આપણે (2.3) નો ઉપયોગ કરીએ, તો અનુરૂપ સ્ટેઇન સમીકરણ એ છે કે જો સંભાવના વિતરણ Q સંપૂર્ણપણે સતત (લેબસ્ગ્યુ માપના સંદર્ભમાં) ઘનતા q ધરાવે છે, તો સ્ટેઇન સમીકરણ વિશ્લેષણાત્મક પદ્ધતિઓને ઉકેલવું. સમીકરણ (3.3) સરળતાથી સ્પષ્ટ રીતે ઉકેલી શકાય છેઃ જનરેટર પદ્ધતિ. જો માર્કોવ પ્રક્રિયાનું જનરેટર હોય (જુઓ બાર્બર (1988), ગોત્ઝે (1991)), તો પછી (3.2) નો ઉકેલ એ છે કે જ્યાં પ્રક્રિયા શરૂ થઈ રહી છે તેના સંદર્ભમાં અપેક્ષા સૂચવે છે. જો કે, વ્યક્તિએ હજુ પણ સાબિત કરવું પડશે કે ઉકેલ (4.2) તમામ ઇચ્છિત કાર્યો માટે અસ્તિત્વમાં છે. સ્ટેઇન સમીકરણના ઉકેલના ગુણધર્મો સામાન્ય રીતે, કોઈ વ્યક્તિ તેના ડેરિવેટિવ્ઝ (અથવા તફાવતો) અને તેના ડેરિવેટિવ્ઝ (અથવા તફાવતો) ની દ્રષ્ટિએ સીમાઓ આપવાનો પ્રયાસ કરે છે, એટલે કે, અમુક ચોક્કસ (સામાન્ય રીતે અથવા, અનુક્રમે, સ્ટેઇન ઓપરેટરના સ્વરૂપને આધારે) સ્વરૂપની અસમાનતાઓ, જ્યાં ઘણીવાર સર્વોચ્ચ ધોરણ હોય છે. અહીં, વિભેદક ઓપરેટરને સૂચવે છે, પરંતુ સ્વતંત્ર સેટિંગ્સમાં તે સામાન્ય રીતે વિભેદક ઓપરેટરનો સંદર્ભ આપે છે. સ્થિરાંકોમાં વિતરણના પરિમાણો હોઈ શકે છે. જો કોઈ હોય તો, તેમને ઘણીવાર સ્ટેઇન પરિબળો તરીકે ઓળખવામાં આવે છે. (4.1) ના કિસ્સામાં કોઈ સર્વોચ્ચ ધોરણ માટે સાબિત કરી શકે છે કે જ્યાં છેલ્લી બાઉન્ડ અલબત્ત ત્યારે જ લાગુ પડે છે જ્યારે તે ડિફરન્શીયેબલ હોય (અથવા ઓછામાં ઓછું લિપ્સિટ્ઝ-કન્ટિન્યુઅસ, જે, ઉદાહરણ તરીકે, જો આપણે કુલ ભિન્નતા મેટ્રિક અથવા કોલ્મોગોરોવ મેટ્રિકને ધ્યાનમાં લઈએ તો તે કેસ નથી!). પ્રમાણભૂત સામાન્ય વિતરણમાં કોઈ વધારાના પરિમાણો ન હોવાથી, આ ચોક્કસ કિસ્સામાં સ્થિરાંકો વધારાના પરિમાણોથી મુક્ત હોય છે. જો આપણી પાસે સામાન્ય સ્વરૂપ (5.1) માં સીમાઓ હોય, તો આપણે સામાન્ય રીતે ઘણા સંભાવના મેટ્રિક્સને એકસાથે સારવાર કરવામાં સક્ષમ હોઈએ છીએ. જો ફોર્મની સીમાઓ (5.1) પહેલેથી જ ઉપલબ્ધ હોય (જે ઘણા વિતરણો માટે છે) તો ઘણીવાર નીચે આપેલા આગલા પગલાથી શરૂઆત કરી શકાય છે. એક અમૂર્ત અંદાજ પ્રમેય આપણે હવે (3.1) ની ડાબી બાજુને બાંધવાની સ્થિતિમાં છીએ. કારણ કે આ પગલું સ્ટેઇન ઓપરેટરના સ્વરૂપ પર ભારે આધાર રાખે છે, અમે સીધા પ્રમાણભૂત સામાન્ય વિતરણના કેસને ધ્યાનમાં લઈએ છીએ. આ બિંદુએ આપણે સીધા જ રેન્ડમ વેરિયેબલને પ્લગ કરી શકીએ છીએ, જેને આપણે અંદાજિત કરવા માંગીએ છીએ, અને ઉપરની સીમા શોધવાનો પ્રયાસ કરીએ છીએ. જો કે, વધુ સામાન્ય પ્રમેય ઘડવું ઘણીવાર ફળદાયી હોય છે. અહીં સ્થાનિક નિર્ભરતાના કેસનો વિચાર કરો. ધારો કે તે રેન્ડમ ચલોનો સરવાળો છે જેમ કે અને ભિન્નતા. ધારો કે, દરેક માટે, એક સમૂહ છે, જેમ કે સાથે તમામ રેન્ડમ ચલોથી સ્વતંત્ર છે. આપણે આ સમૂહને 'પડોશી' કહીએ છીએ. તેવી જ રીતે ચાલો એક એવો સમૂહ બનીએ કે જેની સાથે બધા બધાથી સ્વતંત્ર હોય. આપણે બીજા ક્રમના પડોશના પડોશીઓ તરીકે વિચારી શકીએ છીએ. સમૂહ માટે હવે સરવાળો વ્યાખ્યાયિત કરો. ટેલર વિસ્તરણનો ઉપયોગ કરીને, તે સાબિત કરવું શક્ય છે કે નોંધ લો કે, જો આપણે દલીલની આ રેખાને અનુસરીએ, તો આપણે ફક્ત (1.1) એવા કાર્યો માટે જ બંધાવી શકીએ છીએ જ્યાં (5.2) ની ત્રીજી અસમાનતાને કારણે બંધાયેલ હોય (અને હકીકતમાં, જો તેમાં વિસંગતતાઓ હોય, તો તે થશે). (6.1) જેવી જ મર્યાદા મેળવવા માટે જેમાં માત્ર અભિવ્યક્તિઓ હોય અને દલીલ વધુ સંકળાયેલી હોય અને પરિણામ (6.1) જેટલું સરળ ન હોય; જો કે, તે કરી શકાય છે. પ્રમેય A. જો ઉપર વર્ણવ્યા મુજબ હોય, તો આપણી પાસે લિપશિટ્ઝ મેટ્રિક માટે તે પુરાવો છે. યાદ કરો કે લિપ્સિટ્ઝ મેટ્રિક (1.1) સ્વરૂપનું છે જ્યાં વિધેયો લિપ્સિટ્ઝ-સતત 1 સાથે સુસંગત છે, આમ. આને (6.1) અને (5.2) માં છેલ્લી બાઉન્ડ સાથે જોડીને આ પ્રમેય સાબિત થાય છે. આમ, આશરે કહીએ તો, આપણે સાબિત કર્યું છે કે, સ્થાનિક અવલંબન માળખા અને પ્રમાણભૂત સામાન્ય વિતરણ વચ્ચેના Lipschitz-અંતરની ગણતરી કરવા માટે, આપણે માત્ર ત્રીજી ક્ષણો અને પડોશના કદને જાણવાની જરૂર છે. પ્રમેયનો ઉપયોગ આપણે પ્રમેય A સાથે સ્વતંત્ર અને સમાન રીતે વિતરિત રેન્ડમ ચલોના સરવાળાના કેસની સારવાર કરી શકીએ છીએ. ધારો કે, અને. આપણે લઇ શકીએ છીએ. પ્રમેય A પરથી આપણે મેળવીએ છીએ કે રેન્ડમ વેરિયેબલ્સના સરવાળા માટે સ્ટેઇન્સ પદ્ધતિ સાથે સંબંધિત અન્ય અભિગમને શૂન્ય બાયસ ટ્રાન્સફોર્મ તરીકે ઓળખવામાં આવે છે. અન્ય પદ્ધતિઓ સાથે જોડાણ લિન્ડબર્ગનું ઉપકરણ. લિન્ડબર્ગે (1922) એક ઉપકરણ રજૂ કર્યું હતું, જેમાં તફાવતને તબક્કાવાર તફાવતોના સરવાળા તરીકે રજૂ કરવામાં આવે છે. તિખોમિરોવની પદ્ધતિ. સ્પષ્ટપણે (1.1) અને (3.1) દ્વારા અભિગમમાં લાક્ષણિક કાર્યોનો સમાવેશ થતો નથી. જો કે, તિખોમિરોવ (1980) એ લાક્ષણિક કાર્યો અને (2.3) સમાન વિભેદક સંચાલક પર આધારિત કેન્દ્રીય મર્યાદા પ્રમેયનો પુરાવો રજૂ કર્યો હતો. મૂળભૂત અવલોકન એ છે કે પ્રમાણભૂત સામાન્ય વિતરણનું લાક્ષણિક કાર્ય બધા માટે વિભેદક સમીકરણને સંતોષે છે. આમ, જો લાક્ષણિકતા કાર્ય એવું હોય કે આપણે તેની અપેક્ષા રાખીએ અને તેથી તે સામાન્ય વિતરણની નજીક છે. તિખોમિરોવ તેમના પેપરમાં જણાવે છે કે તેઓ સ્ટેઇનના મૂળ પેપરથી પ્રેરિત હતા. નીચેનું લખાણ અદ્યતન છે, અને સામાન્ય કેસની વ્યાપક ઝાંખી આપે છે અન્ય અદ્યતન પુસ્તક, પરંતુ કેટલાક પ્રારંભિક પાત્ર ધરાવતું, એ પ્રમાણભૂત સંદર્ભ સ્ટેઇનનું પુસ્તક છે, જેમાં ઘણી બધી રસપ્રદ સામગ્રી છે, પરંતુ પ્રથમ વાંચનમાં તેને સમજવું થોડું મુશ્કેલ હોઈ શકે છે. તેની ઉંમર હોવા છતાં, સ્ટેઇનની પદ્ધતિ વિશે થોડા પ્રમાણભૂત પ્રારંભિક પુસ્તકો ઉપલબ્ધ છે. નીચેના તાજેતરના પાઠ્યપુસ્તકમાં એક પ્રકરણ (પ્રકરણ 2) છે જે સ્ટેઇનની પદ્ધતિ રજૂ કરવા માટે સમર્પિત છેઃ જો કે આ પુસ્તક મોટા ભાગે પોઈસન અંદાજ વિશે છે, તેમ છતાં તેમાં જનરેટર અભિગમ વિશે ઘણી માહિતી છે, ખાસ કરીને પોઈસન પ્રક્રિયા અંદાજના સંદર્ભમાં. નીચેના પાઠ્યપુસ્તકમાં એક પ્રકરણ (પ્રકરણ 10) છે જે સ્ટેઇનની પોઈસન અંદાજની પદ્ધતિ રજૂ કરવા માટે સમર્પિત છેઃ સંભાવના વિતરણનો આંકડાકીય અંતર સિદ્ધાંત