A/B টেস্টিং ও এক্সপেরিমেন্টেশন একটি QA টেকনিক হিসেবে

১ · A/B টেস্টিং কী, এবং এটি কেন একটি QA টেকনিক

এই কোর্সের বাকি সব টেকনিক — ইউনিট টেস্টিং থেকে এক্সপ্লোরেটরি টেস্টিং পর্যন্ত — একটি সাধারণ ভিত্তির উপর দাঁড়িয়ে: একটি প্রত্যাশিত আচরণ আছে (স্পেসিফিকেশন, নিয়ম, বা টেস্টারের অভিজ্ঞতা-ভিত্তিক বিচার), এবং টেস্টিং যাচাই করে কোড সেই প্রত্যাশা পূরণ করছে কি না। কিন্তু একটি গুরুত্বপূর্ণ প্রশ্ন এই কাঠামোর বাইরে — কোড নিখুঁতভাবে স্পেসিফিকেশন অনুযায়ী কাজ করলেও, স্পেসিফিকেশনটি নিজেই কি সঠিক সিদ্ধান্ত ছিল? "নতুন চেকআউট বাটন ডিজাইন কনভার্সন বাড়াবে" — এটি কোড বাগমুক্ত হলেও সত্যি নাও হতে পারে।

A/B টেস্টিংA/B Testingসত্যিকারের ব্যবহারকারীদের দুটো দলে ভাগ করে একদলকে পুরনো সংস্করণ, অন্য দলকে নতুন সংস্করণ দেখিয়ে একটি মেট্রিকে ফলাফল তুলনা করে পরিবর্তনটি প্রকৃত উন্নতি কি না তা নিয়ন্ত্রিতভাবে যাচাই করা। এই প্রশ্নের উত্তর দেয় — সত্যিকারের ব্যবহারকারীদের এলোমেলোভাবে দুটো দলে ভাগ করে (একদল A/control, অন্য দল B/variant দেখে), তারপর প্রি-নির্ধারিত একটি মেট্রিকে (কনভার্সন রেট, ক্লিক-থ্রু রেট, গড় সময়, ইত্যাদি) দুই দলের প্রকৃত আচরণ পরিমাপ করে তুলনা করা হয়। এটিকে একটি QA টেকনিক হিসেবে ধরার কারণ — এটি "পরিবর্তনটি ভেঙে পড়েনি" এই প্রশ্নের চেয়ে গভীরে গিয়ে "পরিবর্তনটি সত্যিই ভালো কি না" যাচাই করে, ল্যাব পরিবেশের বদলে সত্যিকারের ব্যবহারকারীর আচরণের উপর ভিত্তি করে।

২ · বাস্তবায়ন: দুই গ্রুপের কনভার্সন রেট তুলনা

ধরা যাক একটি ই-কমার্স সাইটের চেকআউট বাটনের একটি নতুন ডিজাইন (B) পুরনো ডিজাইনের (A) বিরুদ্ধে টেস্ট করা হচ্ছে। প্রতিটি গ্রুপকে সমান সংখ্যক ব্যবহারকারী (৫০০০ জন করে) দেখানো হয়েছে, এবং কতজন আসলে চেকআউট সম্পন্ন করেছেন (conversions) তা রেকর্ড করা হয়েছে। নিচের কোড এই raw কাউন্ট থেকে কনভার্সন রেট, পরম পার্থক্য, এবং রিলেটিভ লিফট শতাংশ সত্যিকারভাবে গণনা করে।

# synthetic এক্সপেরিমেন্ট ডেটা — বাস্তব প্রোডাকশন লগ থেকে সংগৃহীত হতে পারত
group_a_conversions, group_a_trials = 150, 5000   # A = পুরনো চেকআউট বাটন ডিজাইন (control)
group_b_conversions, group_b_trials = 180, 5000   # B = নতুন চেকআউট বাটন ডিজাইন (variant)

rate_a = group_a_conversions / group_a_trials
rate_b = group_b_conversions / group_b_trials

absolute_diff = rate_b - rate_a
relative_lift_pct = (rate_b - rate_a) / rate_a * 100

print(f"Group A (control): {group_a_conversions}/{group_a_trials} conversions -> rate = {rate_a:.2%}")
print(f"Group B (variant): {group_b_conversions}/{group_b_trials} conversions -> rate = {rate_b:.2%}")
print(f"Absolute difference (B - A): {absolute_diff:.2%}")
print(f"Relative lift: {relative_lift_pct:.2f}%")

৩ · একটি পার্থক্য দেখা যথেষ্ট নয় — significance-এর প্রশ্ন

উপরের গণনা সম্পূর্ণ সত্যি ও সঠিক — B গ্রুপে এই নির্দিষ্ট ৫০০০ জনের নমুনায় সত্যিই বেশি কনভার্সন হয়েছে। কিন্তু এই থেকে সরাসরি "নতুন ডিজাইন ভালো" সিদ্ধান্তে পৌঁছানো তাড়াহুড়া হবে। প্রশ্নটা হলো — এই ০.৬ শতাংশ পয়েন্ট পার্থক্য কি সত্যিই ডিজাইন পরিবর্তনের কারণে, নাকি এটি নিছক দৈবক্রমে (random chance) ঘটতে পারত, এমনকি দুটো ডিজাইন আসলে সমানভাবে কার্যকর হলেও?

এই প্রশ্নের সঠিক উত্তর একটি প্রকৃত পরিসংখ্যানগত তাৎপর্য পরীক্ষা (statistical significance test) দাবি করে — যেমন একটি two-proportion z-test বা chi-square test, যা নমুনার আকার ও পর্যবেক্ষিত পার্থক্য বিবেচনা করে একটি p-value গণনা করে (কত সম্ভাবনা আছে যে এই পার্থক্য নিছক দৈবক্রমে ঘটেছে)। এই পাঠের কোড ইচ্ছাকৃতভাবে সেই সম্পূর্ণ টেস্ট বাস্তবায়ন করেনি — এটি শুধু পর্যবেক্ষিত রেট ও পার্থক্য সততার সাথে গণনা করে দেখিয়েছে। বাস্তব-জগতে A/B টেস্টিং প্ল্যাটফর্ম (Optimizely, Google Optimize-এর উত্তরসূরি টুল, বা ইন-হাউস পরিসংখ্যান ইঞ্জিন) এই তাৎপর্য গণনা স্বয়ংক্রিয়ভাবে করে, এবং প্রায়ই একটি ন্যূনতম নমুনা সাইজ পৌঁছানোর আগে সিদ্ধান্ত না নেওয়ার পরামর্শ দেয়।