Continuous testing
ধারাবাহিক পরীক্ষা হ 'ল সফ্টওয়্যার বিতরণ পাইপলাইনের অংশ হিসাবে স্বয়ংক্রিয় পরীক্ষাগুলি কার্যকর করার প্রক্রিয়া যা কোনও সফ্টওয়্যার রিলিজ প্রার্থীর সাথে সম্পর্কিত ব্যবসায়িক ঝুঁকি সম্পর্কে অবিলম্বে প্রতিক্রিয়া পেতে পারে। ক্রমাগত পরীক্ষার প্রস্তাব মূলত ডেভেলপারদের প্রতিক্রিয়ার জন্য অপেক্ষার সময় হ্রাস করার একটি উপায় হিসাবে দেওয়া হয়েছিল যা ডেভেলপমেন্ট এনভায়রনমেন্ট-ট্রিগারড টেস্টের পাশাপাশি আরও ঐতিহ্যবাহী ডেভেলপার/পরীক্ষক-ট্রিগারড টেস্ট প্রবর্তন করে। ক্রমাগত পরীক্ষার জন্য, পরীক্ষার পরিধি বটম-আপ প্রয়োজনীয়তা বা ব্যবহারকারীর গল্পগুলি যাচাই করা থেকে শুরু করে বিস্তৃত ব্যবসায়িক লক্ষ্যগুলির সাথে সম্পর্কিত সিস্টেমের প্রয়োজনীয়তাগুলি মূল্যায়ন করা পর্যন্ত প্রসারিত। দত্তক নেওয়ার চালিকাশক্তি 2010-এর দশকে, সফ্টওয়্যার একটি প্রধান ব্যবসায়িক পার্থক্যকারী হয়ে উঠেছে। ফলস্বরূপ, সংস্থাগুলি এখন আশা করে যে সফ্টওয়্যার উন্নয়ন দলগুলি স্বল্প বিতরণ চক্রের মধ্যে আরও বেশি এবং আরও উদ্ভাবনী সফ্টওয়্যার সরবরাহ করবে। এই দাবিগুলি পূরণ করার জন্য, দলগুলি সিস্টেম ডেভেলপমেন্ট লাইফ সাইকেল (এসডিএলসি)-কে ত্বরান্বিত করার চেষ্টা করার জন্য অ্যাজাইল, ডিভোপস এবং কন্টিনিউয়াস ডেলিভারির মতো দুর্বল পদ্ধতির দিকে ঝুঁকেছে। ডেলিভারি পাইপলাইনের অন্যান্য দিকগুলিকে ত্বরান্বিত করার পরে, দলগুলি সাধারণত দেখতে পায় যে তাদের পরীক্ষা প্রক্রিয়া তাদের এসডিএলসি ত্বরণ উদ্যোগের প্রত্যাশিত সুবিধা অর্জন করতে বাধা দিচ্ছে। বেশ কয়েকটি মূল কারণে পরীক্ষা এবং সামগ্রিক মান প্রক্রিয়া সমস্যাযুক্ত রয়ে গেছে। গতানুগতিক পরীক্ষার প্রক্রিয়া খুব ধীর। অ্যাজিল, ডিভোপস এবং কন্টিনিউয়াস ডেলিভারির ক্রমবর্ধমান জনপ্রিয়তার সাথে পুনরাবৃত্তির দৈর্ঘ্য মাস থেকে সপ্তাহ বা দিনে পরিবর্তিত হয়েছে। পরীক্ষার ঐতিহ্যবাহী পদ্ধতি, যা ম্যানুয়াল টেস্টিং এবং স্বয়ংক্রিয় জিইউআই পরীক্ষার উপর ব্যাপকভাবে নির্ভর করে যার জন্য ঘন ঘন আপডেটের প্রয়োজন হয়, তা গতি বজায় রাখতে পারে না। এই মুহুর্তে, সংস্থাগুলি তাদের পরীক্ষা অটোমেশন প্রচেষ্টা প্রসারিত করার প্রয়োজনীয়তা স্বীকার করে। এমনকি বিদ্যমান পরীক্ষা প্রক্রিয়ায় আরও অটোমেশন যুক্ত হওয়ার পরেও, যে কোনও নির্দিষ্ট সময়ে কোনও অ্যাপ্লিকেশনের সাথে যুক্ত ঝুঁকির মাত্রা সম্পর্কে পরিচালকদের এখনও পর্যাপ্ত অন্তর্দৃষ্টির অভাব রয়েছে। এই ঝুঁকিগুলি বোঝা অবিচ্ছিন্ন ডেলিভারি প্রক্রিয়াগুলির সাথে জড়িত দ্রুত গো/নো গো সিদ্ধান্ত নেওয়ার জন্য গুরুত্বপূর্ণ। ব্যবসাটি কোনটিকে ঝুঁকির গ্রহণযোগ্য স্তর হিসাবে বিবেচনা করে তা না বুঝে যদি পরীক্ষাগুলি তৈরি করা হয়, তবে এমন একজন রিলিজ প্রার্থী থাকা সম্ভব যে সমস্ত উপলব্ধ পরীক্ষায় উত্তীর্ণ হয়, তবে ব্যবসায়ী নেতারা যা মুক্তির জন্য প্রস্তুত বলে বিবেচনা করবেন না। পরীক্ষার ফলাফলগুলি প্রতিটি রিলিজ প্রার্থী ব্যবসায়িক প্রত্যাশা পূরণ করে কিনা তা সঠিকভাবে নির্দেশ করার জন্য, পরীক্ষার নকশা করার পদ্ধতিটি অবশ্যই নিরাপত্তা, কর্মক্ষমতা, নির্ভরযোগ্যতা এবং সম্মতি সম্পর্কিত ঝুঁকির জন্য ব্যবসায়ের সহনশীলতার উপর ভিত্তি করে হতে হবে। খুব সূক্ষ্ম নীচে-উপরে স্তরে কোড পরীক্ষা করে এমন ইউনিট পরীক্ষা ছাড়াও, রিলিজ প্রার্থীর ব্যবসায়িক ঝুঁকির শীর্ষ-ডাউন মূল্যায়ন প্রদানের জন্য পরীক্ষার একটি বিস্তৃত স্যুট প্রয়োজন। এমনকি যদি পরীক্ষা স্বয়ংক্রিয় হয় এবং পরীক্ষাগুলি কার্যকরভাবে ব্যবসায়িক ঝুঁকির মাত্রা পরিমাপ করে, তবে সমন্বিত শেষ থেকে শেষ মানের প্রক্রিয়া ছাড়া দলগুলির আজকের সংকুচিত বিতরণ চক্রের মধ্যে ব্যবসায়িক প্রত্যাশাগুলি সন্তুষ্ট করতে সমস্যা হয়। প্রতিটি পুনরাবৃত্তির শেষে ঝুঁকি অপসারণের চেষ্টা উন্নয়ন পরীক্ষার মতো ত্রুটি প্রতিরোধের কৌশলগুলির মাধ্যমে পণ্যের গুণমান তৈরির তুলনায় উল্লেখযোগ্যভাবে ধীর এবং আরও সম্পদ-নিবিড় বলে প্রমাণিত হয়েছে। সংস্থাগুলি কন্টিনিউয়াস টেস্টিং গ্রহণ করে কারণ তারা স্বীকার করে যে এই সমস্যাগুলি তাদের কাঙ্ক্ষিত গতিতে মানসম্পন্ন সফ্টওয়্যার সরবরাহ করতে বাধা দিচ্ছে। তারা সফ্টওয়্যারের ক্রমবর্ধমান গুরুত্বের পাশাপাশি সফ্টওয়্যার ব্যর্থতার ক্রমবর্ধমান ব্যয়কে স্বীকার করে এবং তারা আর সময়, সুযোগ এবং মানের মধ্যে একটি বিনিময় করতে ইচ্ছুক নয়। লক্ষ্য এবং সুবিধাগুলি ক্রমাগত পরীক্ষার লক্ষ্য হল সর্বশেষ বিল্ড বা রিলিজ প্রার্থীতে ব্যবসায়িক ঝুঁকির মাত্রা সম্পর্কে দ্রুত এবং অবিচ্ছিন্ন প্রতিক্রিয়া প্রদান করা। সফ্টওয়্যারটি যে কোনও নির্দিষ্ট সময়ে ডেলিভারি পাইপলাইনের মাধ্যমে অগ্রগতির জন্য প্রস্তুত কিনা তা নির্ধারণ করতে এই তথ্যটি ব্যবহার করা যেতে পারে। যেহেতু পরীক্ষা তাড়াতাড়ি শুরু হয় এবং ক্রমাগত কার্যকর করা হয়, তাই প্রয়োগের ঝুঁকিগুলি চালু হওয়ার পরপরই উন্মোচিত হয়। উন্নয়ন দলগুলি তখন সেই সমস্যাগুলিকে এসডিএলসি-র পরবর্তী পর্যায়ে অগ্রসর হওয়া থেকে বিরত রাখতে পারে। এটি ত্রুটিগুলি খুঁজে বের করতে এবং ঠিক করতে ব্যয় করা প্রয়োজন এমন সময় এবং প্রচেষ্টা হ্রাস করে। ফলস্বরূপ, মানসম্মত সফ্টওয়্যার (সফ্টওয়্যার যা গ্রহণযোগ্য স্তরের ঝুঁকির প্রত্যাশা পূরণ করে) সরবরাহের গতি এবং ফ্রিকোয়েন্সি বৃদ্ধি করা সম্ভব, পাশাপাশি প্রযুক্তিগত ঋণ হ্রাস করা সম্ভব। উপরন্তু, যখন সফ্টওয়্যার মানের প্রচেষ্টা এবং পরীক্ষা ব্যবসায়িক প্রত্যাশার সাথে সামঞ্জস্যপূর্ণ হয়, তখন পরীক্ষার বাস্তবায়ন কার্যকর কাজের একটি অগ্রাধিকার তালিকা তৈরি করে (সম্ভাব্য অপ্রতিরোধ্য সংখ্যক ফলাফলের পরিবর্তে যার জন্য ম্যানুয়াল পর্যালোচনার প্রয়োজন হয়)। এটি দলগুলিকে তাদের প্রতিষ্ঠানের লক্ষ্য এবং অগ্রাধিকারের উপর ভিত্তি করে সবচেয়ে বেশি প্রভাব ফেলবে এমন মানের কাজগুলিতে তাদের প্রচেষ্টাকে কেন্দ্রীভূত করতে সহায়তা করে। উপরন্তু, যখন দলগুলি ক্রমাগত এসডিএলসি জুড়ে অবিচ্ছিন্ন পরীক্ষার একটি বিস্তৃত সেট সম্পাদন করে, তখন তারা প্রক্রিয়াটির গুণমান এবং সফ্টওয়্যারের অবস্থা সম্পর্কিত মেট্রিক সংগ্রহ করে। ফলস্বরূপ মেট্রিক্সগুলি সেই পরীক্ষাগুলির কার্যকারিতা সহ প্রক্রিয়াটি পুনরায় পরীক্ষা এবং অনুকূল করতে ব্যবহার করা যেতে পারে। এই তথ্যটি একটি ফিডব্যাক লুপ স্থাপন করতে ব্যবহার করা যেতে পারে যা দলগুলিকে ক্রমবর্ধমানভাবে প্রক্রিয়াটি উন্নত করতে সহায়তা করে। ঘন ঘন পরিমাপ, শক্ত প্রতিক্রিয়া লুপ এবং অবিচ্ছিন্ন উন্নতি হল ডিভোপসের মূল নীতি। পরীক্ষার ক্ষেত্র ক্রমাগত পরীক্ষার মধ্যে কার্যকরী প্রয়োজনীয়তা এবং অ-কার্যকরী প্রয়োজনীয়তা উভয়ের বৈধতা অন্তর্ভুক্ত রয়েছে। কার্যকরী প্রয়োজনীয়তা (কার্যকরী পরীক্ষা) পরীক্ষার জন্য, অবিচ্ছিন্ন পরীক্ষায় প্রায়শই ইউনিট পরীক্ষা, এপিআই পরীক্ষা, ইন্টিগ্রেশন পরীক্ষা এবং সিস্টেম পরীক্ষা জড়িত থাকে। অ-কার্যকরী প্রয়োজনীয়তা পরীক্ষার জন্য (অ-কার্যকরী পরীক্ষা-কর্মক্ষমতা, নিরাপত্তা, সম্মতি ইত্যাদির আশেপাশের প্রত্যাশা অ্যাপ্লিকেশনটি পূরণ করে কিনা তা নির্ধারণ করতে। ), এতে স্ট্যাটিক কোড বিশ্লেষণ, নিরাপত্তা পরীক্ষা, কর্মক্ষমতা পরীক্ষা ইত্যাদির মতো অনুশীলন জড়িত। সফ্টওয়্যার প্রকাশকারী ব্যবসা বা সংস্থার জন্য সবচেয়ে গুরুত্বপূর্ণ ঝুঁকিগুলি যত তাড়াতাড়ি সম্ভব সনাক্তকরণ (বা প্রতিরোধ) প্রদানের জন্য পরীক্ষাগুলি তৈরি করা উচিত। দলগুলি প্রায়শই দেখতে পায় যে টেস্ট স্যুট ক্রমাগত চলতে পারে এবং কার্যকরভাবে ঝুঁকির মাত্রা মূল্যায়ন করে তা নিশ্চিত করার জন্য, জিইউআই পরীক্ষা থেকে এপিআই পরীক্ষার দিকে মনোনিবেশ করা প্রয়োজন কারণ 1) এপিআই ("লেনদেনের স্তর") পরীক্ষার অধীনে সিস্টেমের সবচেয়ে স্থিতিশীল ইন্টারফেস হিসাবে বিবেচিত হয় এবং 2) জিইউআই পরীক্ষার জন্য ত্বরান্বিত রিলিজ প্রক্রিয়াগুলির সাধারণ ঘন ঘন পরিবর্তনের সাথে তাল মিলিয়ে চলার জন্য যথেষ্ট পুনর্বিবেচনার প্রয়োজন হয়; এপিআই স্তরে পরীক্ষাগুলি কম ভঙ্গুর এবং বজায় রাখা সহজ। পরীক্ষাগুলি অবিচ্ছিন্ন সংহতকরণের সময় বা তার পাশাপাশি কার্যকর করা হয়-অন্তত প্রতিদিন। অবিচ্ছিন্ন বিতরণ অনুশীলনকারী দলগুলির জন্য, পরীক্ষাগুলি সাধারণত দিনে অনেকবার কার্যকর করা হয়, প্রতিবার যখন অ্যাপ্লিকেশনটি সংস্করণ নিয়ন্ত্রণ ব্যবস্থায় আপডেট করা হয়। আদর্শভাবে, সমস্ত পরীক্ষাগুলি সমস্ত অ-উৎপাদন পরীক্ষার পরিবেশে কার্যকর করা হয়। নির্ভুলতা এবং ধারাবাহিকতা নিশ্চিত করার জন্য, সবচেয়ে সম্পূর্ণ, উৎপাদনের মতো পরিবেশে পরীক্ষা করা উচিত। পরীক্ষার পরিবেশের স্থিতিশীলতা বাড়ানোর কৌশলগুলির মধ্যে রয়েছে ভার্চ্যুয়ালাইজেশন সফ্টওয়্যার (নির্ভরশীলতার জন্য আপনার সংস্থা নিয়ন্ত্রণ এবং চিত্র করতে পারে) পরিষেবা ভার্চ্যুয়ালাইজেশন (আপনার নিয়ন্ত্রণের আওতার বাইরে বা ইমেজিংয়ের জন্য অনুপযুক্ত নির্ভরশীলতার জন্য) এবং পরীক্ষার ডেটা ম্যানেজমেন্ট। একটি সমন্বিত, শেষ-থেকে-শেষ মানের প্রক্রিয়ার মধ্যে-ব্যবসায়িক লাইনের অগ্রাধিকারের সাথে সামঞ্জস্যপূর্ণ-উন্নয়ন, কিউএ এবং ক্রিয়াকলাপের একটি সহযোগিতা হওয়া উচিত। পরীক্ষাগুলি যৌক্তিকভাবে-উপাদানযুক্ত, ক্রমবর্ধমান এবং পুনরাবৃত্তিযোগ্য হওয়া উচিত; ফলাফলগুলি অবশ্যই নির্ধারক এবং অর্থপূর্ণ হতে হবে। সমস্ত পরীক্ষা বিল্ড পাইপলাইনের কোনও না কোনও সময়ে চালানো দরকার, তবে সমস্ত পরীক্ষা সব সময় চালানোর দরকার নেই কারণ কিছু পরীক্ষা অন্যান্য (ইউনিট পরীক্ষা) এর তুলনায় বেশি ব্যয়বহুল (ইন্টিগ্রেশন পরীক্ষা)। পরীক্ষার তথ্য এবং পরিবেশগত সীমাবদ্ধতা দূর করুন যাতে পরীক্ষাগুলি ক্রমাগত এবং ধারাবাহিকভাবে উৎপাদনের মতো পরিবেশে চলতে পারে। মিথ্যা ইতিবাচকতা হ্রাস করতে, পরীক্ষার রক্ষণাবেক্ষণ হ্রাস করতে এবং বহুমুখী স্থাপত্যের সাথে আধুনিক সিস্টেমগুলিতে ব্যবহারের ক্ষেত্রে আরও কার্যকরভাবে বৈধতা দিতে, দলগুলিকে জিইউআই পরীক্ষার চেয়ে এপিআই পরীক্ষার উপর জোর দেওয়া উচিত। চ্যালেঞ্জ/বাধা যেহেতু আধুনিক অ্যাপ্লিকেশনগুলি অত্যন্ত বিতরণ করা হয়, তাই যে টেস্ট স্যুটগুলি তাদের অনুশীলন করে তাদের সাধারণত নির্ভরশীলতাগুলিতে অ্যাক্সেসের প্রয়োজন হয় যা পরীক্ষার জন্য সহজেই উপলব্ধ নয় (যেমন, তৃতীয় পক্ষের পরিষেবা, মেইনফ্রেম যা কেবল সীমিত ক্ষমতায় বা অসুবিধাজনক সময়ে পরীক্ষার জন্য উপলব্ধ ইত্যাদি) উপরন্তু, চটপটে এবং সমান্তরাল উন্নয়ন প্রক্রিয়াগুলির ক্রমবর্ধমান গ্রহণের সাথে সাথে, শেষ থেকে শেষ পর্যন্ত কার্যকরী পরীক্ষাগুলির জন্য নির্ভরশীলতাগুলিতে অ্যাক্সেসের প্রয়োজন হয় যা এখনও বিকশিত হচ্ছে বা এখনও বাস্তবায়িত হয়নি। অনুপস্থিত বা অনুপলব্ধ নির্ভরতাগুলির সাথে পরীক্ষার (এ. ইউ. টি) মিথস্ক্রিয়ার অধীনে অ্যাপ্লিকেশনটি অনুকরণ করতে পরিষেবা ভার্চুয়ালাইজেশন ব্যবহার করে এই সমস্যার সমাধান করা যেতে পারে। এটি বিভিন্ন পরীক্ষা চলাকালীন তথ্য, কর্মক্ষমতা এবং আচরণের সামঞ্জস্য নিশ্চিত করতেও ব্যবহার করা যেতে পারে। দলগুলি ক্রমাগত পরীক্ষা এড়িয়ে চলার একটি কারণ হল যে তাদের পরিকাঠামো ক্রমাগত টেস্ট স্যুটটি কার্যকর করার জন্য যথেষ্ট পরিমাপযোগ্য নয়। এই সমস্যাটি ব্যবসার অগ্রাধিকারগুলির উপর পরীক্ষাগুলিকে কেন্দ্রীভূত করে, পরীক্ষার ভিত্তি ভাগ করে এবং অ্যাপ্লিকেশন রিলিজ অটোমেশন সরঞ্জামগুলির সাথে পরীক্ষার সমান্তরাল করে সমাধান করা যেতে পারে। ক্রমাগত পরীক্ষা বনাম স্বয়ংক্রিয় পরীক্ষা ধারাবাহিক পরীক্ষার লক্ষ্য হল স্থিতিশীল, উৎপাদনের মতো পরীক্ষার পরিবেশে "চরম স্বয়ংক্রিয়তা" প্রয়োগ করা। ক্রমাগত পরীক্ষার জন্য স্বয়ংক্রিয়তা অপরিহার্য। কিন্তু স্বয়ংক্রিয় পরীক্ষা ক্রমাগত পরীক্ষার মতো নয়। স্বয়ংক্রিয় পরীক্ষায় স্বয়ংক্রিয়, সি. আই-চালিত দল যে সমস্ত পরীক্ষা সংগ্রহ করেছে তার সম্পাদন জড়িত। স্বয়ংক্রিয় পরীক্ষা থেকে ক্রমাগত পরীক্ষার দিকে অগ্রসর হওয়ার মধ্যে রয়েছে পরীক্ষার একটি সেট কার্যকর করা যা বিশেষভাবে একটি রিলিজ প্রার্থী সম্পর্কিত ব্যবসায়িক ঝুঁকিগুলি মূল্যায়ন করার জন্য ডিজাইন করা হয়েছে এবং স্থিতিশীল, উৎপাদনের মতো পরীক্ষার পরিবেশের প্রেক্ষাপটে নিয়মিতভাবে এই পরীক্ষাগুলি সম্পাদন করা হয়। স্বয়ংক্রিয় এবং ক্রমাগত পরীক্ষার মধ্যে কিছু পার্থক্যঃ স্বয়ংক্রিয় পরীক্ষার ক্ষেত্রে, একটি পরীক্ষার ব্যর্থতা একটি গুরুত্বপূর্ণ সমস্যা থেকে শুরু করে একটি তুচ্ছ নামকরণের মান লঙ্ঘন পর্যন্ত যে কোনও কিছুর ইঙ্গিত দিতে পারে। ক্রমাগত পরীক্ষার ক্ষেত্রে, একটি পরীক্ষার ব্যর্থতা সর্বদা একটি গুরুত্বপূর্ণ ব্যবসায়িক ঝুঁকির ইঙ্গিত দেয়। ক্রমাগত পরীক্ষার মাধ্যমে, ত্রুটি বনাম ব্যবসায়িক ঝুঁকিগুলিকে অগ্রাধিকার দেওয়ার জন্য এবং সবচেয়ে গুরুত্বপূর্ণ বিষয়গুলিকে প্রথমে সমাধান করার জন্য একটি স্পষ্ট কর্মপ্রবাহের মাধ্যমে একটি পরীক্ষার ব্যর্থতার সমাধান করা হয়। ক্রমাগত পরীক্ষার মাধ্যমে, প্রতিবার কোনও ঝুঁকি চিহ্নিত করার সময়, ইতিমধ্যে প্রবর্তিত হতে পারে এমন সমস্ত অনুরূপ ত্রুটিগুলি প্রকাশ করার পাশাপাশি ভবিষ্যতে এই একই সমস্যার পুনরাবৃত্তি রোধ করার একটি প্রক্রিয়া রয়েছে। 1990-এর দশক থেকে, ক্রমাগত পরীক্ষা-চালিত উন্নয়ন প্রোগ্রামারদের দ্রুত প্রতিক্রিয়া প্রদানের জন্য ব্যবহার করা হয়েছে যে তারা যে কোডটি যোগ করেছে তা ক) সঠিকভাবে কাজ করেছে এবং খ) অনিচ্ছাকৃতভাবে বিদ্যমান কার্যকারিতা পরিবর্তন করেছে বা ভেঙে দিয়েছে। এই পরীক্ষা, যা এক্সট্রিম প্রোগ্রামিংয়ের একটি মূল উপাদান ছিল, স্বয়ংক্রিয় নির্মাণের অংশ হিসাবে স্বয়ংক্রিয়ভাবে একক পরীক্ষা (এবং কখনও কখনও গ্রহণযোগ্যতা পরীক্ষা বা ধোঁয়া পরীক্ষা) সম্পাদন করে, প্রায়শই দিনে অনেকবার। এই পরীক্ষাগুলি বাস্তবায়নের আগে লেখা হয়; উত্তীর্ণ পরীক্ষাগুলি নির্দেশ করে যে বাস্তবায়ন সফল। গবেষণা প্রতিষ্ঠান ফরেস্টার রিসার্চ এবং গার্টনার টেস্ট অটোমেশন সরঞ্জামগুলির বার্ষিক মূল্যায়নে কন্টিনিউয়াস টেস্টিংকে প্রাথমিক বিবেচনার বিষয় করে তুলেছে। গার্টনার 2019 সালে গবেষণার একটি হালনাগাদ সংস্করণ প্রকাশ করেন। গার্টনার 10টি সরঞ্জাম মূল্যায়ন করেছেন যা এন্টারপ্রাইজ-গ্রেড টেস্ট অটোমেশন সরঞ্জামগুলির জন্য তাদের মানদণ্ড পূরণ করেছে। মূল্যায়নের মধ্যে গার্টনার ক্লায়েন্টদের সাথে অনুসন্ধান, সরঞ্জাম ব্যবহারকারীদের সমীক্ষা, গার্টনার প্রশ্নের বিক্রেতার প্রতিক্রিয়া, বিক্রেতার পণ্য প্রদর্শন অন্তর্ভুক্ত ছিল। নেটিভ উইন্ডোজ ডেস্কটপ অ্যাপ্লিকেশন টেস্টিং এবং অ্যান্ড্রয়েড বা আইওএস টেস্টিং সাপোর্টের পাশাপাশি নিম্নলিখিত 3টি সমর্থন করার জন্য গার্টনারের সরঞ্জামের প্রয়োজন ছিলঃ প্রতিক্রিয়াশীল ওয়েব অ্যাপ্লিকেশন, মোবাইল অ্যাপ্লিকেশন, প্যাকেজ অ্যাপ্লিকেশন, এপিআই/ওয়েব পরিষেবা। 2019 ম্যাজিক কোয়াড্রেন্ট গবেষণার ফলাফলগুলি হলঃ লিডারসঃ বেগুন, স্মার্টবিয়ার সফ্টওয়্যার, ট্রাইসেন্টিস চ্যালেঞ্জার্সঃ আইবিএম, মাইক্রো ফোকাস ভিশনারিজঃ ব্রডকম, প্যারাসফ্ট নিচ প্লেয়ারঃ ফ্রগলজিক, রানোরেক্স, ওয়ার্কসফ্ট 2020 সালে, ফরেস্টার রিসার্চ 15 টি সরঞ্জামের মূল্যায়ন করেছে যা এন্টারপ্রাইজ-গ্রেড পরীক্ষার কার্যকরী অটোমেশন সরঞ্জামগুলির জন্য তাদের মানদণ্ড পূরণ করেছে। ফরেস্টার অতীতের গবেষণা, ব্যবহারকারীর চাহিদা এবং বিশেষজ্ঞের সাক্ষাৎকারের উপর ভিত্তি করে 26টি মানদণ্ড নির্ধারণ করে, তারপর ফরেস্টার প্রশ্নের বিক্রেতার প্রতিক্রিয়া, বিক্রেতার পণ্য প্রদর্শন এবং গ্রাহকের সাক্ষাৎকারের উপর ভিত্তি করে পণ্য বনাম সেই মানদণ্ডের মূল্যায়ন করে। ফরেস্টারের ক্রস-ব্রাউজার, মোবাইল, ইউআই এবং এপিআই পরীক্ষার ক্ষমতা থাকার জন্য সরঞ্জামের প্রয়োজন ছিল। 2020 সালের ফরেস্টার তরঙ্গের ফলাফলগুলি হলঃ শীর্ষস্থানীয়ঃ এসিসিইএলকিউ, বেগুন, প্যারাসফ্ট, ট্রাইসেন্টিস স্ট্রং পারফর্মারঃ ব্রডকম, আইবিএম, ম্যাবল, মাইক্রো ফোকাস, পারফোর্স, সস ল্যাবস, স্মার্টবিয়ার সফ্টওয়্যার প্রতিযোগীঃ সায়ারা, এক্সপায়ারটেস্ট, ওয়ার্কসফ্ট চ্যালেঞ্জার্সঃ রানোরেক্স আরও দেখুন কন্টিনিউয়াস ডেলিভারি কন্টিনিউয়াস ইন্টিগ্রেশন ডিভোপস রিলিজ ম্যানেজমেন্ট সার্ভিস ভার্চ্যুয়ালাইজেশন সফ্টওয়্যার টেস্টিং টেস্ট অটোমেশন আরও পড়ুন রেফারেন্স সফ্টওয়্যার টেস্টিং আরও পড়ুন