Hierarchical Dirichlet process
આંકડાશાસ્ત્ર અને મશીન લર્નિંગમાં, અધિક્રમિક ડિરીક્લેટ પ્રક્રિયા (એચ. ડી. પી.) એ જૂથબદ્ધ ડેટાના સમૂહ માટે બિન-પેરામેટ્રિક બાયેસિયન અભિગમ છે. તે ડેટાના દરેક જૂથ માટે ડિરીક્લેટ પ્રક્રિયાનો ઉપયોગ કરે છે, જેમાં તમામ જૂથો માટે ડિરીક્લેટ પ્રક્રિયાઓ આધાર વિતરણને વહેંચે છે જે પોતે ડિરીક્લેટ પ્રક્રિયામાંથી લેવામાં આવે છે. આ પદ્ધતિ જૂથોને જૂથોમાં ક્લસ્ટરોની વહેંચણી દ્વારા આંકડાકીય શક્તિ વહેંચવાની મંજૂરી આપે છે. ડિરીક્લેટ પ્રક્રિયામાંથી મેળવવામાં આવતું પાયાનું વિતરણ મહત્વપૂર્ણ છે, કારણ કે ડિરીક્લેટ પ્રક્રિયામાંથી મેળવવામાં આવતા પ્રવાહો અણુ સંભાવના માપ છે, અને અણુઓ તમામ જૂથ-સ્તરની ડિરીક્લેટ પ્રક્રિયાઓમાં દેખાશે. દરેક અણુ સમૂહને અનુરૂપ હોવાથી, સમૂહ તમામ જૂથોમાં વહેંચાયેલા હોય છે. તે યી વ્હાય તેહ, માઈકલ આઈ. જોર્ડન, મેથ્યુ જે. બીલ અને ડેવિડ બ્લી દ્વારા વિકસાવવામાં આવ્યું હતું અને 2002 માં પ્રકાશિત અનંત છુપાયેલા માર્કોવ મોડેલના ઔપચારિકરણ અને સામાન્યીકરણ તરીકે 2006 માં જર્નલ ઓફ ધ અમેરિકન સ્ટેટિસ્ટિકલ એસોસિએશનમાં પ્રકાશિત થયું હતું. આ મોડેલનું વર્ણન અહીંથી મેળવવામાં આવ્યું છે. એચ. ડી. પી. એ જૂથબદ્ધ માહિતી માટેનું એક મોડેલ છે. આનો અર્થ એ છે કે ડેટા વસ્તુઓ બહુવિધ અલગ જૂથોમાં આવે છે. ઉદાહરણ તરીકે, વિષયના નમૂનામાં શબ્દોને દસ્તાવેજોમાં ગોઠવવામાં આવે છે, જેમાં દરેક દસ્તાવેજ શબ્દો (ડેટા આઇટમ્સ) ની થેલી (જૂથ) દ્વારા રચાય છે. અનુક્રમણિકા જૂથો, ધારો કે દરેક જૂથમાં ડેટા આઇટમ્સનો સમાવેશ થાય છે. એચ. ડી. પી. ને આધાર વિતરણ દ્વારા પરિમાણિત કરવામાં આવે છે જે ડેટા આઇટમ્સ પર પ્રાથમિક વિતરણને નિયંત્રિત કરે છે, અને સંખ્યાબંધ સાંદ્રતા પરિમાણો કે જે ક્લસ્ટરોની પ્રાથમિક સંખ્યા અને જૂથોમાં વહેંચણીની માત્રાને નિયંત્રિત કરે છે. છઠ્ઠું જૂથ અવ્યવસ્થિત સંભાવના માપ સાથે સંકળાયેલું છે જેનું વિતરણ ડિરીક્લેટ પ્રક્રિયા દ્વારા આપવામાં આવ્યું છેઃ જ્યાં જૂથ સાથે સંકળાયેલ સાંદ્રતા પરિમાણ છે, અને તે તમામ જૂથોમાં વહેંચાયેલ આધાર વિતરણ છે. બદલામાં, સામાન્ય આધાર વિતરણ ડિરીક્લેટ પ્રક્રિયા વિતરણ છેઃ એકાગ્રતા પરિમાણ અને આધાર વિતરણ સાથે. છેવટે, ડિરીક્લેટ પ્રક્રિયાઓને અવલોકન કરેલા ડેટા સાથે સંબંધિત કરવા માટે, દરેક ડેટા આઇટમ સુપ્ત પરિમાણ સાથે સંકળાયેલી છેઃ પ્રથમ પંક્તિ જણાવે છે કે દરેક પરિમાણ દ્વારા પૂર્વ વિતરણ આપવામાં આવ્યું છે, જ્યારે બીજી પંક્તિ જણાવે છે કે દરેક ડેટા આઇટમ તેના સંકળાયેલ પરિમાણ દ્વારા વિતરણ પરિમાણ ધરાવે છે. ઉપરના પરિણામી મોડેલને એચ. ડી. પી. મિશ્રણ મોડેલ કહેવામાં આવે છે, જેમાં એચ. ડી. પી. ડિરીક્લેટ પ્રક્રિયાઓના અધિક્રમિક રીતે જોડાયેલા સમૂહનો ઉલ્લેખ કરે છે, અને મિશ્રણ મોડેલ જે રીતે ડિરીક્લેટ પ્રક્રિયાઓ ડેટા આઇટમ્સ સાથે સંબંધિત છે તેનો ઉલ્લેખ કરે છે. એચ. ડી. પી. ક્લસ્ટરિંગ મોડેલને કેવી રીતે અમલમાં મૂકે છે, અને જૂથોમાં ક્લસ્ટરો કેવી રીતે વહેંચાય છે તે સમજવા માટે, યાદ રાખો કે ડિરીક્લેટ પ્રક્રિયામાંથી ખેંચાય છે તે સંભાવના એક સાથે અણુ સંભાવના પગલાં છે. આનો અર્થ એ છે કે સામાન્ય આધાર વિતરણનું એક સ્વરૂપ હોય છે જેને આ રીતે લખી શકાય છેઃ જ્યાં અનંત સંખ્યામાં અણુઓ હોય છે, એમ ધારીને કે એકંદર આધાર વિતરણને અનંત આધાર છે. દરેક અણુ સમૂહ સાથે સંકળાયેલ છે. દળનો સરવાળો એક સાથે કરવો પડે છે કારણ કે તે સંભાવના માપ છે. કારણ કે તે પોતે જૂથ વિશિષ્ટ ડિરીક્લેટ પ્રક્રિયાઓ માટેનું આધાર વિતરણ છે, દરેકમાં અણુઓ દ્વારા આપવામાં આવેલા અણુઓ હશે, અને તે પોતે આ સ્વરૂપમાં લખી શકાય છેઃ આમ અણુઓનો સમૂહ તમામ જૂથોમાં વહેંચાયેલો હોય છે, જેમાં દરેક જૂથ તેના પોતાના જૂથ-વિશિષ્ટ અણુ સમૂહ ધરાવે છે. આ રજૂઆતને અવલોકન કરેલ માહિતી સાથે સંબંધિત કરતા, આપણે જોઈએ છીએ કે દરેક માહિતી વસ્તુને મિશ્રણ મોડેલ દ્વારા વર્ણવવામાં આવે છેઃ જ્યાં અણુઓ મિશ્રણ ઘટક પરિમાણોની ભૂમિકા ભજવે છે, જ્યારે દળો મિશ્રણ પ્રમાણની ભૂમિકા ભજવે છે. નિષ્કર્ષમાં, માહિતીના દરેક જૂથને મિશ્રણ મોડેલનો ઉપયોગ કરીને તૈયાર કરવામાં આવે છે, જેમાં મિશ્રણ ઘટકો તમામ જૂથોમાં વહેંચાયેલા હોય છે પરંતુ મિશ્રણ પ્રમાણ જૂથ-વિશિષ્ટ હોય છે. ક્લસ્ટરિંગની દ્રષ્ટિએ, આપણે દરેક મિશ્રણ ઘટકને ડેટા વસ્તુઓના સમૂહના મોડેલિંગ તરીકે અર્થઘટન કરી શકીએ છીએ, જેમાં તમામ જૂથોમાં વહેંચાયેલા ક્લસ્ટરો અને દરેક જૂથ, તેના પોતાના મિશ્રણ પ્રમાણ ધરાવે છે, જે ક્લસ્ટરોના વિવિધ સંયોજનોથી બનેલું હોય છે. એચ. ડી. પી. મિશ્રણ મોડેલ એ સુપ્ત ડિરીક્લેટ ફાળવણીનું કુદરતી બિનપરામેટ્રિક સામાન્યીકરણ છે, જ્યાં વિષયોની સંખ્યા અમર્યાદિત હોઈ શકે છે અને માહિતીમાંથી શીખી શકાય છે. અહીં દરેક જૂથ શબ્દોની થેલી ધરાવતો દસ્તાવેજ છે, દરેક સમૂહ એક વિષય છે, અને દરેક દસ્તાવેજ વિષયોનું મિશ્રણ છે. એચ. ડી. પી. એ અનંત છુપાયેલા માર્કોવ મોડેલનો મુખ્ય ઘટક પણ છે, જે છુપાયેલા માર્કોવ મોડેલનું બિન-પેરામેટ્રિક સામાન્યીકરણ છે, જે સ્થિતિઓની સંખ્યાને અમર્યાદિત રાખવાની અને માહિતીમાંથી શીખવાની મંજૂરી આપે છે. સામાન્યીકરણ એચ. ડી. પી. ને સંખ્યાબંધ દિશાઓમાં સામાન્યીકૃત કરી શકાય છે. ડિરીક્લેટ પ્રક્રિયાઓને પિટમેન-યોર પ્રક્રિયાઓ અને ગામા પ્રક્રિયાઓ દ્વારા બદલી શકાય છે, જેના પરિણામે શ્રેણીબદ્ધ પિટમેન-યોર પ્રક્રિયા અને શ્રેણીબદ્ધ ગામા પ્રક્રિયા થાય છે. પદાનુક્રમમાં ગોઠવાયેલા જૂથોના બહુવિધ સ્તરો સાથે પદાનુક્રમ વધુ ઊંડો હોઈ શકે છે. આવી વ્યવસ્થાનો ઉપયોગ અનુક્રમ મેમોઇઝરમાં કરવામાં આવ્યો છે, જે અનુક્રમ માટે બાયેસિયન નોનપેરામેટ્રિક મોડેલ છે જેમાં પિટમેન-યોર પ્રક્રિયાઓનો બહુ-સ્તરનો પદાનુક્રમ છે. વધુમાં, બાયેસિયન મલ્ટી-ડોમેન લર્નિંગ (બીએમડીએલ) મોડેલ ચોક્કસ કેન્સરના પ્રકાર માટે નમૂનાઓની સંખ્યા ઓછી હોય તો પણ ચોક્કસ કેન્સર સબટાઇપિંગ માટે અધિક્રમિક નકારાત્મક દ્વિપદી પરિબળકરણના આધારે વધુ પડતી ફેલાયેલી ગણતરી ડેટાની ડોમેન-આધારિત સુપ્ત રજૂઆતો મેળવે છે. ચાઇનીઝ રેસ્ટોરન્ટ પ્રક્રિયા સંદર્ભો પણ જુઓ સ્ટોકેસ્ટિક પ્રક્રિયાઓ નોનપેરામેટ્રિક બાયેસિયન આંકડા