A/B টেস্টিং ও অ্যানালিটিক্স-ভিত্তিক ইভালুয়েশন

১ · A/B টেস্টিং ও অ্যানালিটিক্স-ভিত্তিক ইভালুয়েশন কী

A/B টেস্টিংA/B Testingএকটি এক্সপেরিমেন্টাল মেথড যেখানে ব্যবহারকারীদের র‍্যান্ডমলি দুটো (বা তার বেশি) ডিজাইন ভ্যারিয়েন্টের একটিতে ভাগ করে দিয়ে, তাদের আচরণগত ডেটা (কনভার্সন, কমপ্লিশন রেট, ক্লিক) তুলনা করে কোন ভ্যারিয়েন্ট বেশি কার্যকর তা নির্ধারণ করা হয়। L30–L31-এর ইউজেবিলিটি টেস্টিং সাধারণত অল্প কয়েকজন (৫–১০ জন) পার্টিসিপ্যান্ট নিয়ে গভীর, কোয়ালিটেটিভ ইনসাইট দেয় — কেন কোনো সমস্যা হচ্ছে। A/B টেস্টিং এর বিপরীত দিক — অনেক (শত থেকে হাজার) ব্যবহারকারীর প্রকৃত আচরণ থেকে কোনটা ভালো কাজ করছে তার সংখ্যাগত প্রমাণ দেয়, কিন্তু কেন তা সরাসরি বলে না। দুটো মেথড একসাথে ব্যবহার করাই সবচেয়ে শক্তিশালী — একটি A/B টেস্টে B ভ্যারিয়েন্ট জিতলে, কেন জিতলো তা বুঝতে একটি ছোট থিংক-অ্যালাউড স্টাডি (L31) চালানো যায়।

অ্যানালিটিক্স-ভিত্তিক ইভালুয়েশন আরও বিস্তৃত — শুধু A/B টেস্ট নয়, বরং সাধারণভাবে প্রোডাকশন সিস্টেমের ব্যবহারের ডেটা (ফানেল-ড্রপঅফ, পেজ-ভিউ, ক্লিক-হিটম্যাপ, সেশন রেকর্ডিং) বিশ্লেষণ করে ইউজেবিলিটি সমস্যা খুঁজে বের করা। যেমন একটি চেকআউট ফানেলে যদি ৪০% ব্যবহারকারী একটি নির্দিষ্ট ধাপে ছেড়ে চলে যান, সেটি একটি স্পষ্ট সংকেত যে সেখানে কিছু একটা ভুল আছে — যদিও কেন তা জানতে গুণগত রিসার্চ লাগবে।

২ · দুটো প্রোপরশন তুলনা করা — টু-প্রোপরশন z-টেস্ট

ধরুন একটি চেকআউট বাটনের দুটো ডিজাইন টেস্ট করা হচ্ছে — ভ্যারিয়েন্ট A (পুরনো ডিজাইন) ও ভ্যারিয়েন্ট B (নতুন ডিজাইন)। প্রতিটি ভ্যারিয়েন্টে $n$ জন ভিজিটর দেখানো হয়েছে, এবং কতজন সফলভাবে কনভার্ট করেছে (কনভার্সন কাউন্ট) রেকর্ড করা হয়েছে। প্রশ্ন হলো — কনভার্সন রেটের পার্থক্য কি সত্যিকারের, নাকি নিছক দৈবক্রমে হয়েছে?

এর জন্য প্রথমে দুটো গ্রুপ মিলিয়ে একটি পুলড প্রোপরশন বের করতে হয় —

$$\hat{p} = \frac{x_A + x_B}{n_A + n_B}$$

তারপর এই পুলড প্রোপরশন থেকে স্ট্যান্ডার্ড এরর গণনা করা হয় —

$$SE = \sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_A}+\frac{1}{n_B}\right)}$$

এবং শেষে z-স্কোর —

$$z = \frac{p_B - p_A}{SE}$$

সাধারণ ৯৫% কনফিডেন্স লেভেলে, যদি $|z| > 1.96$ হয় তাহলে পার্থক্যটিকে পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ ধরা হয় — অর্থাৎ এই পার্থক্য নিছক দৈবক্রমে হওয়ার সম্ভাবনা কম। নিচের কোড সেলে এই সূত্রগুলো সরাসরি বাস্তবায়ন করা হয়েছে — কোনো স্ট্যাটিসটিক্স লাইব্রেরি ব্যবহার না করে, শুধু math মডিউল দিয়ে।

import math

def norm_cdf(x):
    """স্ট্যান্ডার্ড নরমাল ডিস্ট্রিবিউশনের কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন --
    math.erf ব্যবহার করে সরাসরি, কোনো statistics/scipy শর্টকাট ছাড়া।"""
    return 0.5 * (1 + math.erf(x / math.sqrt(2)))

def two_proportion_ztest(n_A, x_A, n_B, x_B):
    p_A = x_A / n_A
    p_B = x_B / n_B

    p_pool = (x_A + x_B) / (n_A + n_B)
    se = math.sqrt(p_pool * (1 - p_pool) * (1 / n_A + 1 / n_B))

    z = (p_B - p_A) / se
    p_value = 2 * (1 - norm_cdf(abs(z)))   # two-tailed
    significant = abs(z) > 1.96             # 95% confidence level

    return p_A, p_B, p_pool, se, z, p_value, significant

# --- টেস্ট ১: পাইলট স্টাডি -- ছোট স্যাম্পল ---
n_A1, x_A1 = 400, 92     # ভ্যারিয়েন্ট A: পুরনো "Buy Now" বাটন
n_B1, x_B1 = 380, 106    # ভ্যারিয়েন্ট B: নতুন, বেশি কনট্রাস্টের বাটন

p_A1, p_B1, pool1, se1, z1, pv1, sig1 = two_proportion_ztest(n_A1, x_A1, n_B1, x_B1)
print("--- টেস্ট ১: পাইলট (n_A=400, n_B=380) ---")
print(f"p_A = {p_A1:.4f}   p_B = {p_B1:.4f}   পার্থক্য = {p_B1 - p_A1:+.4f}")
print(f"pooled p = {pool1:.4f}   SE = {se1:.5f}")
print(f"z = {z1:.3f}   p-value = {pv1:.4f}   তাৎপর্যপূর্ণ (95%)? {sig1}")

print()

# --- টেস্ট ২: একই কনভার্সন রেট, কিন্তু ৪ গুণ বড় স্যাম্পল ---
n_A2, x_A2 = 1600, 368   # p_A এখনও 0.2300
n_B2, x_B2 = 1520, 424   # p_B এখনও 0.2789

p_A2, p_B2, pool2, se2, z2, pv2, sig2 = two_proportion_ztest(n_A2, x_A2, n_B2, x_B2)
print("--- টেস্ট ২: একই রেট, বড় রোলআউট (n_A=1600, n_B=1520) ---")
print(f"p_A = {p_A2:.4f}   p_B = {p_B2:.4f}   পার্থক্য = {p_B2 - p_A2:+.4f}")
print(f"pooled p = {pool2:.4f}   SE = {se2:.5f}")
print(f"z = {z2:.3f}   p-value = {pv2:.4f}   তাৎপর্যপূর্ণ (95%)? {sig2}")

৩ · অ্যানালিটিক্সের সীমাবদ্ধতা

A/B টেস্ট ও অ্যানালিটিক্স ডেটা শক্তিশালী কিন্তু অন্ধ — এটি বলতে পারে ভ্যারিয়েন্ট B-এর কনভার্সন রেট বেশি, কিন্তু কেন তা বলে না। হয়তো নতুন বাটনের রং বেশি কনট্রাস্ট করেছে (M8/L35-এ ভিজ্যুয়াল ডিজাইনে বিস্তারিত), অথবা হয়তো টেক্সট বদলে যাওয়ায় প্রত্যাশা বদলেছে — অ্যানালিটিক্স শুধু ফলাফল দেখায়, কার্যকারণ নয়। এই কারণেই L31-এর থিংক-অ্যালাউড ও অবজারভেশনাল মেথডের সাথে A/B টেস্টিং মিলিয়ে ব্যবহার করা সবচেয়ে ভালো — সংখ্যা দিয়ে "কী" এবং কোয়ালিটেটিভ পর্যবেক্ষণ দিয়ে "কেন" উত্তর দেওয়া।