Continuous testing
સતત પરીક્ષણ એ સોફ્ટવેર પ્રકાશન ઉમેદવાર સાથે સંકળાયેલા વ્યવસાયિક જોખમો પર તાત્કાલિક પ્રતિસાદ મેળવવા માટે સોફ્ટવેર વિતરણ પાઇપલાઇનના ભાગ રૂપે સ્વચાલિત પરીક્ષણો ચલાવવાની પ્રક્રિયા છે. વિકાસ પર્યાવરણ-પ્રેરિત પરીક્ષણો તેમજ વધુ પરંપરાગત વિકાસકર્તા/પરીક્ષક-પ્રેરિત પરીક્ષણો રજૂ કરીને વિકાસકર્તાઓને પ્રતિસાદ માટે રાહ જોવાનો સમય ઘટાડવાના માર્ગ તરીકે સતત પરીક્ષણની મૂળ દરખાસ્ત કરવામાં આવી હતી. સતત પરીક્ષણ માટે, પરીક્ષણનો અવકાશ બોટમ-અપ આવશ્યકતાઓ અથવા વપરાશકર્તા વાર્તાઓને માન્ય કરવાથી લઈને વ્યાપક વ્યવસાયિક લક્ષ્યો સાથે સંકળાયેલી સિસ્ટમ આવશ્યકતાઓનું મૂલ્યાંકન કરવા સુધી વિસ્તરે છે. દત્તક ડ્રાઇવરો 2010 ના દાયકામાં, સોફ્ટવેર એક મુખ્ય વ્યવસાયિક તફાવતકાર બની ગયું છે. પરિણામે, સંસ્થાઓ હવે અપેક્ષા રાખે છે કે સોફ્ટવેર વિકાસ ટીમો ટૂંકા વિતરણ ચક્રમાં વધુ, અને વધુ નવીન, સોફ્ટવેર પહોંચાડશે. આ માંગને પહોંચી વળવા માટે, ટીમોએ સિસ્ટમ વિકાસ જીવન ચક્ર (એસ. ડી. એલ. સી.) ને ઝડપી બનાવવાનો પ્રયાસ કરવા માટે ચપળ, દેવઓપ્સ અને સતત વિતરણ જેવા નબળા અભિગમો તરફ વળ્યા છે. વિતરણ પાઇપલાઇનના અન્ય પાસાઓને વેગ આપ્યા પછી, ટીમો સામાન્ય રીતે શોધી કાઢે છે કે તેમની પરીક્ષણ પ્રક્રિયા તેમને તેમની એસ. ડી. એલ. સી. પ્રવેગક પહેલના અપેક્ષિત લાભો પ્રાપ્ત કરવાથી અટકાવી રહી છે. પરીક્ષણ અને એકંદર ગુણવત્તા પ્રક્રિયા ઘણા મુખ્ય કારણોસર સમસ્યારૂપ રહે છે. પરંપરાગત પરીક્ષણ પ્રક્રિયાઓ ખૂબ ધીમી હોય છે. ચપળ, દેવઓપ્સ અને સતત વિતરણની વધતી લોકપ્રિયતા સાથે પુનરાવર્તનની લંબાઈ મહિનાઓથી અઠવાડિયા અથવા દિવસોમાં બદલાઈ છે. પરીક્ષણની પરંપરાગત પદ્ધતિઓ, જે મેન્યુઅલ પરીક્ષણ અને સ્વચાલિત GUI પરીક્ષણો પર ભારે આધાર રાખે છે જેને વારંવાર અપડેટ કરવાની જરૂર હોય છે, તે ગતિ જાળવી શકતી નથી. આ તબક્કે, સંસ્થાઓ તેમના પરીક્ષણ ઓટોમેશન પ્રયાસોને વિસ્તૃત કરવાની જરૂરિયાતને માન્યતા આપે છે. હાલની પરીક્ષણ પ્રક્રિયામાં વધુ ઓટોમેશન ઉમેર્યા પછી પણ, મેનેજરો હજુ પણ કોઈપણ સમયે એપ્લિકેશન સાથે સંકળાયેલા જોખમના સ્તરમાં પૂરતી સમજનો અભાવ ધરાવે છે. આ જોખમોને સમજવું એ સતત વિતરણ પ્રક્રિયાઓમાં સામેલ ઝડપી જાઓ/ન જાઓ નિર્ણયો લેવા માટે મહત્વપૂર્ણ છે. જો વ્યવસાય જે જોખમને સ્વીકાર્ય સ્તર માને છે તેની સમજણ વિના પરીક્ષણો વિકસાવવામાં આવે, તો પ્રકાશન ઉમેદવાર હોવું શક્ય છે જે તમામ ઉપલબ્ધ પરીક્ષણો પાસ કરે, પરંતુ જેને વ્યવસાયના નેતાઓ પ્રકાશન માટે તૈયાર હોવાનું માનશે નહીં. પરીક્ષણના પરિણામો ચોક્કસપણે સૂચવે છે કે દરેક પ્રકાશન ઉમેદવાર વ્યવસાયિક અપેક્ષાઓને પૂર્ણ કરે છે કે કેમ, પરીક્ષણોની રચના કરવાનો અભિગમ સુરક્ષા, કામગીરી, વિશ્વસનીયતા અને પાલન સંબંધિત જોખમો માટે વ્યવસાયની સહનશીલતા પર આધારિત હોવો જોઈએ. ખૂબ જ બારીક તળિયાના સ્તરે કોડની તપાસ કરતા એકમ પરીક્ષણો ઉપરાંત, પ્રકાશન ઉમેદવારના વ્યવસાયિક જોખમનું ટોપ-ડાઉન મૂલ્યાંકન પ્રદાન કરવા માટે પરીક્ષણોના વ્યાપક સમૂહની જરૂર છે. જો પરીક્ષણ સ્વચાલિત હોય અને પરીક્ષણો અસરકારક રીતે વ્યવસાયિક જોખમના સ્તરને માપે તો પણ, સંકલિત એન્ડ-ટુ-એન્ડ ગુણવત્તા પ્રક્રિયા વિનાની ટીમોને આજના સંકુચિત વિતરણ ચક્રમાં વ્યવસાયિક અપેક્ષાઓને સંતોષવામાં મુશ્કેલી પડે છે. દરેક પુનરાવર્તનના અંતે જોખમોને દૂર કરવાનો પ્રયાસ વિકાસ પરીક્ષણ જેવી ખામી નિવારણ વ્યૂહરચનાઓ દ્વારા ઉત્પાદનમાં ગુણવત્તા નિર્માણ કરતાં નોંધપાત્ર રીતે ધીમું અને વધુ સંસાધન-સઘન હોવાનું દર્શાવવામાં આવ્યું છે. સંસ્થાઓ સતત પરીક્ષણ અપનાવે છે કારણ કે તેઓ જાણે છે કે આ સમસ્યાઓ તેમને ઇચ્છિત ઝડપે ગુણવત્તાયુક્ત સોફ્ટવેર પહોંચાડવાથી અટકાવી રહી છે. તેઓ સોફ્ટવેરના વધતા મહત્વ તેમજ સોફ્ટવેર નિષ્ફળતાના વધતા ખર્ચને ઓળખે છે, અને તેઓ હવે સમય, અવકાશ અને ગુણવત્તા વચ્ચે સમાધાન કરવા તૈયાર નથી. લક્ષ્યાંકો અને લાભો સતત પરીક્ષણનો ધ્યેય નવીનતમ બિલ્ડ અથવા રિલીઝ ઉમેદવારમાં વ્યવસાયિક જોખમના સ્તર અંગે ઝડપી અને સતત પ્રતિસાદ પ્રદાન કરવાનો છે. આ માહિતીનો ઉપયોગ તે નક્કી કરવા માટે થઈ શકે છે કે સોફ્ટવેર કોઈપણ સમયે વિતરણ પાઇપલાઇન દ્વારા પ્રગતિ માટે તૈયાર છે કે નહીં. પરીક્ષણ વહેલું શરૂ થાય છે અને સતત ચલાવવામાં આવે છે, તેથી એપ્લિકેશનના જોખમો રજૂ થયા પછી તરત જ ખુલ્લા પડે છે. વિકાસ ટીમો પછી તે સમસ્યાઓને એસ. ડી. એલ. સી. ના આગલા તબક્કામાં આગળ વધતા અટકાવી શકે છે. આ ખામીઓ શોધવા અને તેને સુધારવામાં ખર્ચવામાં આવતા સમય અને પ્રયત્નને ઘટાડે છે. પરિણામે, ઝડપ અને આવર્તનમાં વધારો કરવો શક્ય છે કે જેના પર ગુણવત્તાયુક્ત સોફ્ટવેર (સોફ્ટવેર કે જે જોખમના સ્વીકાર્ય સ્તરની અપેક્ષાઓને પૂર્ણ કરે છે) વિતરિત કરવામાં આવે છે, તેમજ તકનીકી દેવું ઘટાડે છે. તદુપરાંત, જ્યારે સોફ્ટવેર ગુણવત્તાના પ્રયાસો અને પરીક્ષણ વ્યવસાયિક અપેક્ષાઓ સાથે સંરેખિત થાય છે, ત્યારે પરીક્ષણ અમલીકરણ કાર્યવાહી કરી શકાય તેવા કાર્યોની પ્રાથમિકતાની સૂચિ બનાવે છે (સંભવિત રીતે મોટી સંખ્યામાં તારણો કે જેને જાતે સમીક્ષાની જરૂર હોય તેના બદલે). આ ટીમોને ગુણવત્તાયુક્ત કાર્યો પર તેમના પ્રયત્નો પર ધ્યાન કેન્દ્રિત કરવામાં મદદ કરે છે જે તેમની સંસ્થાના લક્ષ્યો અને પ્રાથમિકતાઓના આધારે સૌથી વધુ અસર કરશે. વધુમાં, જ્યારે ટીમો સતત સમગ્ર એસ. ડી. એલ. સી. માં સતત પરીક્ષણોના વ્યાપક સમૂહને અમલમાં મૂકે છે, ત્યારે તેઓ પ્રક્રિયાની ગુણવત્તા તેમજ સોફ્ટવેરની સ્થિતિ સંબંધિત મેટ્રિક્સ એકત્રિત કરે છે. પરિણામી મેટ્રિક્સનો ઉપયોગ તે પરીક્ષણોની અસરકારકતા સહિત પ્રક્રિયાને ફરીથી તપાસવા અને શ્રેષ્ઠ બનાવવા માટે થઈ શકે છે. આ માહિતીનો ઉપયોગ પ્રતિક્રિયા લૂપ સ્થાપિત કરવા માટે થઈ શકે છે જે ટીમોને પ્રક્રિયામાં વધારો કરવામાં મદદ કરે છે. વારંવાર માપન, ચુસ્ત પ્રતિસાદ લૂપ્સ અને સતત સુધારણા એ દેવઓપ્સના મુખ્ય સિદ્ધાંતો છે. સતત પરીક્ષણમાં કાર્યાત્મક જરૂરિયાતો અને બિન-કાર્યાત્મક જરૂરિયાતો બંનેની માન્યતાનો સમાવેશ થાય છે. કાર્યાત્મક જરૂરિયાતો (કાર્યાત્મક પરીક્ષણ) ના પરીક્ષણ માટે, સતત પરીક્ષણમાં ઘણીવાર એકમ પરીક્ષણો, API પરીક્ષણ, એકીકરણ પરીક્ષણ અને પ્રણાલી પરીક્ષણનો સમાવેશ થાય છે. બિન-કાર્યાત્મક આવશ્યકતાઓનું પરીક્ષણ કરવા માટે (બિન-કાર્યાત્મક પરીક્ષણ-એ નક્કી કરવા માટે કે એપ્લિકેશન કામગીરી, સુરક્ષા, પાલન વગેરેની આસપાસની અપેક્ષાઓને પૂર્ણ કરે છે કે નહીં. ), તેમાં સ્થિર કોડ વિશ્લેષણ, સુરક્ષા પરીક્ષણ, પ્રદર્શન પરીક્ષણ વગેરે જેવી પ્રથાઓનો સમાવેશ થાય છે. સોફ્ટવેર બહાર પાડતા વ્યવસાય અથવા સંસ્થા માટે સૌથી મહત્વપૂર્ણ જોખમોની શક્ય તેટલી વહેલી તકે શોધ (અથવા નિવારણ) પ્રદાન કરવા માટે પરીક્ષણોની રચના કરવી જોઈએ. ટીમો ઘણીવાર શોધી કાઢે છે કે ટેસ્ટ સ્યુટ સતત ચાલી શકે છે અને જોખમના સ્તરનું અસરકારક રીતે મૂલ્યાંકન કરી શકે છે તેની ખાતરી કરવા માટે, GUI પરીક્ષણથી API પરીક્ષણ તરફ ધ્યાન કેન્દ્રિત કરવું જરૂરી છે કારણ કે 1) API ("વ્યવહાર સ્તર") ને પરીક્ષણ હેઠળની સિસ્ટમ માટે સૌથી સ્થિર ઇન્ટરફેસ માનવામાં આવે છે, અને 2) GUI પરીક્ષણોને ઝડપી પ્રકાશન પ્રક્રિયાઓના લાક્ષણિક ફેરફારો સાથે ગતિ જાળવવા માટે નોંધપાત્ર પુનઃકાર્યની જરૂર પડે છે; API સ્તર પરના પરીક્ષણો ઓછા બરડ અને જાળવવા માટે સરળ હોય છે. પરીક્ષણો સતત એકીકરણ દરમિયાન અથવા તેની સાથે ચલાવવામાં આવે છે-ઓછામાં ઓછા દૈનિક. સતત વિતરણની પ્રેક્ટિસ કરતી ટીમો માટે, પરીક્ષણો સામાન્ય રીતે દિવસમાં ઘણી વખત ચલાવવામાં આવે છે, દર વખતે જ્યારે એપ્લિકેશનને સંસ્કરણ નિયંત્રણ પ્રણાલીમાં અપડેટ કરવામાં આવે છે. આદર્શ રીતે, તમામ પરીક્ષણો તમામ બિન-ઉત્પાદન પરીક્ષણ વાતાવરણમાં ચલાવવામાં આવે છે. ચોકસાઈ અને સુસંગતતા સુનિશ્ચિત કરવા માટે, પરીક્ષણ શક્ય તેટલા સંપૂર્ણ, ઉત્પાદન જેવા વાતાવરણમાં થવું જોઈએ. પરીક્ષણ પર્યાવરણની સ્થિરતા વધારવા માટેની વ્યૂહરચનાઓમાં વર્ચ્યુઅલાઈઝેશન સોફ્ટવેર (તમારી સંસ્થા નિયંત્રિત અને છબી કરી શકે તેવી નિર્ભરતા માટે) સેવા વર્ચ્યુઅલાઈઝેશન (તમારા નિયંત્રણના અવકાશની બહાર અથવા ઇમેજિંગ માટે અયોગ્ય નિર્ભરતા માટે) અને પરીક્ષણ ડેટા મેનેજમેન્ટનો સમાવેશ થાય છે. સામાન્ય પદ્ધતિઓ પરીક્ષણ એ વિકાસ, ક્યુએ અને કામગીરીનું સહયોગ હોવું જોઈએ-વ્યવસાયની લાઇનની પ્રાથમિકતાઓ સાથે સંરેખિત-સંકલિત, એન્ડ-ટુ-એન્ડ ગુણવત્તા પ્રક્રિયામાં. પરીક્ષણો તાર્કિક રીતે-ઘટક, વૃદ્ધિશીલ અને પુનરાવર્તિત હોવા જોઈએ; પરિણામો નિર્ણાયક અને અર્થપૂર્ણ હોવા જોઈએ. તમામ પરીક્ષણો બિલ્ડ પાઇપલાઇનના અમુક તબક્કે ચલાવવાની જરૂર છે, પરંતુ તમામ પરીક્ષણો હંમેશાં ચલાવવાની જરૂર નથી કારણ કે કેટલાક પરીક્ષણો અન્ય (એકમ પરીક્ષણો) કરતા વધુ સંસાધન ખર્ચાળ (એકીકરણ પરીક્ષણો) હોય છે. પરીક્ષણની માહિતી અને પર્યાવરણીય અવરોધો દૂર કરો જેથી પરીક્ષણો ઉત્પાદન જેવા વાતાવરણમાં સતત અને સતત ચાલી શકે. ખોટા પોઝિટિવને ઘટાડવા માટે, પરીક્ષણની જાળવણીને ઘટાડવા માટે, અને બહુવિધ આર્કિટેક્ચર સાથે આધુનિક સિસ્ટમોમાં ઉપયોગના કેસોને વધુ અસરકારક રીતે માન્ય કરવા માટે, ટીમોએ GUI પરીક્ષણ પર API પરીક્ષણ પર ભાર મૂકવો જોઈએ. પડકારો/અવરોધો આધુનિક એપ્લિકેશનો ખૂબ વહેંચાયેલા હોવાથી, ટેસ્ટ સ્યુટ કે જે તેનો ઉપયોગ કરે છે તેમાં સામાન્ય રીતે એવી નિર્ભરતાઓની પહોંચ જરૂરી હોય છે જે પરીક્ષણ માટે સહેલાઈથી ઉપલબ્ધ નથી (દા. ત., તૃતીય-પક્ષ સેવાઓ, મુખ્ય ફ્રેમ કે જે માત્ર મર્યાદિત ક્ષમતામાં અથવા અસુવિધાજનક સમયે પરીક્ષણ માટે ઉપલબ્ધ હોય છે, વગેરે) તદુપરાંત, ચપળ અને સમાંતર વિકાસ પ્રક્રિયાઓના વધતા સ્વીકાર સાથે, એન્ડ-ટુ-એન્ડ કાર્યાત્મક પરીક્ષણો માટે તે અવલંબનની પહોંચની જરૂર પડે છે જે હજુ પણ વિકસિત થઈ રહી છે અથવા હજુ સુધી અમલમાં નથી. ગુમ થયેલ અથવા અનુપલબ્ધ નિર્ભરતાઓ સાથે પરીક્ષણ (એ. યુ. ટી.) ની ક્રિયાપ્રતિક્રિયાઓ હેઠળ એપ્લિકેશનનું અનુકરણ કરવા માટે સેવા વર્ચ્યુઅલાઈઝેશનનો ઉપયોગ કરીને આ સમસ્યાનું સમાધાન કરી શકાય છે. તેનો ઉપયોગ એ સુનિશ્ચિત કરવા માટે પણ થઈ શકે છે કે વિવિધ ટેસ્ટ રનમાં ડેટા, પ્રદર્શન અને વર્તન સુસંગત છે. ટીમો સતત પરીક્ષણ ટાળવાનું એક કારણ એ છે કે તેમનું માળખું સતત પરીક્ષણ સ્યુટને અમલમાં મૂકવા માટે પૂરતું માપનીય નથી. આ સમસ્યાનું સમાધાન વ્યવસાયની પ્રાથમિકતાઓ પર પરીક્ષણો પર ધ્યાન કેન્દ્રિત કરીને, પરીક્ષણના આધારને વિભાજિત કરીને અને એપ્લિકેશન રિલીઝ ઓટોમેશન ટૂલ્સ સાથે પરીક્ષણને સમાંતર કરીને કરી શકાય છે. સતત પરીક્ષણ વિરુદ્ધ સ્વચાલિત પરીક્ષણ સતત પરીક્ષણનો ધ્યેય સ્થિર, ઉત્પાદન જેવા પરીક્ષણ વાતાવરણમાં "આત્યંતિક સ્વચાલન" લાગુ કરવાનો છે. સતત પરીક્ષણ માટે ઓટોમેશન આવશ્યક છે. પરંતુ સ્વચાલિત પરીક્ષણ સતત પરીક્ષણ જેવું નથી. સ્વચાલિત પરીક્ષણમાં ટીમે જે પણ પરીક્ષણો એકત્રિત કર્યા છે તેના સ્વચાલિત, CI-સંચાલિત અમલીકરણનો સમાવેશ થાય છે. સ્વચાલિત પરીક્ષણથી સતત પરીક્ષણ તરફ આગળ વધવામાં પરીક્ષણોના સમૂહને અમલમાં મૂકવાનો સમાવેશ થાય છે જે ખાસ કરીને પ્રકાશન ઉમેદવાર સાથે સંકળાયેલા વ્યવસાયિક જોખમોનું મૂલ્યાંકન કરવા અને સ્થિર, ઉત્પાદન જેવા પરીક્ષણ વાતાવરણના સંદર્ભમાં આ પરીક્ષણોને નિયમિતપણે અમલમાં મૂકવા માટે રચાયેલ છે. સ્વચાલિત અને સતત પરીક્ષણ વચ્ચે કેટલાક તફાવતોઃ સ્વચાલિત પરીક્ષણ સાથે, પરીક્ષણની નિષ્ફળતા નિર્ણાયક મુદ્દાથી લઈને તુચ્છ નામકરણ ધોરણના ઉલ્લંઘન સુધી કંઈપણ સૂચવી શકે છે. સતત પરીક્ષણ સાથે, પરીક્ષણની નિષ્ફળતા હંમેશા નિર્ણાયક વ્યવસાયિક જોખમ સૂચવે છે. સતત પરીક્ષણ સાથે, ખામી વિરુદ્ધ વ્યવસાયિક જોખમોને પ્રાથમિકતા આપવા અને સૌથી નિર્ણાયક જોખમોને પ્રથમ સંબોધવા માટે પરીક્ષણની નિષ્ફળતાને સ્પષ્ટ કાર્યપ્રવાહ દ્વારા સંબોધવામાં આવે છે. સતત પરીક્ષણ સાથે, દરેક વખતે જોખમ ઓળખવામાં આવે ત્યારે, પહેલેથી જ રજૂ કરવામાં આવેલી તમામ સમાન ખામીઓને ખુલ્લી પાડવાની પ્રક્રિયા હોય છે, તેમજ ભવિષ્યમાં આ જ સમસ્યાને પુનરાવર્તિત થવાથી અટકાવવામાં આવે છે. 1990 ના દાયકાથી, સતત પરીક્ષણ-સંચાલિત વિકાસનો ઉપયોગ પ્રોગ્રામરોને ઝડપી પ્રતિસાદ આપવા માટે કરવામાં આવે છે કે શું તેઓએ ઉમેરેલા કોડ a) યોગ્ય રીતે કાર્ય કરે છે અને b) અજાણતાં બદલાયેલ અથવા હાલની કાર્યક્ષમતાને તોડી નાખે છે. આ પરીક્ષણ, જે એક્સ્ટ્રીમ પ્રોગ્રામિંગનો મુખ્ય ઘટક હતો, તેમાં ઓટોમેટેડ બિલ્ડના ભાગ રૂપે આપમેળે એકમ પરીક્ષણો (અને કેટલીકવાર સ્વીકૃતિ પરીક્ષણો અથવા ધુમાડો પરીક્ષણો) અમલમાં મૂકવાનો સમાવેશ થાય છે, ઘણીવાર દિવસમાં ઘણી વખત. આ પરીક્ષણો અમલીકરણ પહેલાં લખવામાં આવે છે; પાસ પરીક્ષણો સૂચવે છે કે અમલીકરણ સફળ છે. સતત પરીક્ષણ સાધનો સંશોધન કંપનીઓ ફોરેસ્ટર રિસર્ચ અને ગાર્ટનરે પરીક્ષણ ઓટોમેશન સાધનોના તેમના વાર્ષિક મૂલ્યાંકનમાં સતત પરીક્ષણને પ્રાથમિક વિચારણા કરી હતી. ગાર્ટનરે 2019માં સંશોધનનું અદ્યતન સંસ્કરણ પ્રકાશિત કર્યું હતું. ગાર્ટનરે 10 સાધનોનું મૂલ્યાંકન કર્યું હતું જે એન્ટરપ્રાઇઝ-ગ્રેડ ટેસ્ટ ઓટોમેશન ટૂલ્સ માટેના તેમના માપદંડોને પૂર્ણ કરે છે. મૂલ્યાંકનમાં ગાર્ટનર ક્લાયન્ટ્સ સાથેની પૂછપરછ, ટૂલ વપરાશકર્તાઓનું સર્વેક્ષણ, ગાર્ટનરના પ્રશ્નોના વિક્રેતા પ્રતિસાદો, વિક્રેતા ઉત્પાદન પ્રદર્શન સામેલ હતા. ગાર્ટનરે મૂળ વિન્ડોઝ ડેસ્કટોપ એપ્લિકેશન પરીક્ષણ અને એન્ડ્રોઇડ અથવા આઇઓએસ પરીક્ષણ સમર્થનને ટેકો આપવા માટે સાધનોની જરૂર હતી તેમજ નીચેનામાંથી 3 ને ટેકો આપ્યો હતોઃ પ્રતિભાવશીલ વેબ એપ્લિકેશન્સ, મોબાઇલ એપ્લિકેશન્સ, પેકેજ એપ્લિકેશન્સ, API/વેબ સેવાઓ. 2019 મેજિક ક્વાડ્રન્ટ સંશોધનનાં પરિણામો આ પ્રમાણે છેઃ લીડર્સઃ એગપ્લાન્ટ, સ્માર્ટબીયર સોફ્ટવેર, ટ્રીસેન્ટિસ ચેલેન્જર્સઃ આઇબીએમ, માઇક્રો ફોકસ વિઝનરીઝઃ બ્રોડકોમ, પેરાસોફ્ટ નિચ પ્લેયર્સઃ ફ્રોગલોજિક, રેનોરેક્સ, વર્કસોફ્ટ 2020માં, ફોરેસ્ટર રિસર્ચે 15 સાધનોનું મૂલ્યાંકન કર્યું હતું જે એન્ટરપ્રાઇઝ-ગ્રેડ ટેસ્ટ ફંક્શનલ ઓટોમેશન ટૂલ્સ માટેના તેમના માપદંડોને પૂર્ણ કરે છે. ફોરેસ્ટરે ભૂતકાળના સંશોધન, વપરાશકર્તાની જરૂરિયાતો અને નિષ્ણાતના ઇન્ટરવ્યુના આધારે 26 માપદંડ નક્કી કર્યા, પછી ફોરેસ્ટરના પ્રશ્નો, વિક્રેતા ઉત્પાદન પ્રદર્શન અને ગ્રાહકના ઇન્ટરવ્યુના વિક્રેતા પ્રતિસાદોના આધારે તે માપદંડ વિરુદ્ધ ઉત્પાદનોનું મૂલ્યાંકન કર્યું. ફોરેસ્ટરને ક્રોસ-બ્રાઉઝર, મોબાઇલ, UI અને API પરીક્ષણ ક્ષમતાઓ ધરાવતા સાધનોની જરૂર છે. 2020 ફોરેસ્ટર તરંગના પરિણામો આ પ્રમાણે છેઃ અગ્રણીઓઃ ACCELQ, એગપ્લાન્ટ, પેરાસોફ્ટ, ટ્રીસેન્ટિસ સ્ટ્રોંગ પર્ફોર્મર્સઃ બ્રોડકૉમ, IBM, મેબલ, માઇક્રો ફોકસ, પરફોર્સ, સોસ લેબ્સ, સ્માર્ટબીયર સોફ્ટવેર કન્ટેન્ડર્સઃ સાયરા, એક્સપાયરટેસ્ટ, વર્કસોફ્ટ ચેલેન્જર્સઃ રેનોરેક્સ સતત વિતરણ સંકલન જુઓ DevOps પ્રકાશન વ્યવસ્થાપન વર્ચ્યુઅલાઈઝેશન સોફ્ટવેર પરીક્ષણ પરીક્ષણ ઓટોમેશન વધુ વાંચન સંદર્ભો સોફ્ટવેર પરીક્ષણ