A/B test-এর বিশ্লেষণ — t-test, chi-square, CUPED আর ভুল ব্যাখ্যা

AI-এর ভিত্তি কোর্সের পর্ব ৩৭-এ confidence interval, t-test, p-value আর effect size-এর প্রথম পরিচয় পেয়েছেন। এই কোর্সের পর্ব ২১-এ bootstrap আর পর্ব ২২-এ Holm ও BH সংশোধন দেখেছেন। পর্ব ৬২ (A/B test-এর পরিকল্পনা — power, sample size আর peeking-এর ফাঁদ) পরীক্ষা চালানোর আগের কাজ দেখায়। এই পর্ব শুরু হয় পরীক্ষা শেষ হওয়ার পর: ডেটা হাতে, এবার কোন test, কোন interval, আর ফলাফলের কোন বাক্যটি সৎ। চালানো যায় এমন চারটি ব্লক পাতাতেই চলে (ব্রাউজারের Python-এ NumPy, SciPy, pandas, statsmodels আর matplotlib); প্রথমবার প্যাকেজ নামতে কয়েক সেকেন্ড লাগে।

১ · পরীক্ষা শেষ — বাজারঘরের checkout test আর বিশ্লেষণের আগের যাচাই

বাজারঘর (কাল্পনিক অনলাইন দোকান) তাদের checkout পাতার নতুন নকশা B পুরোনো নকশা A-র বিপরীতে একটি A/B test-এ যাচাই করেছে। প্রতিটি দর্শক এলোমেলোভাবে A বা B পেয়েছেন; অর্থাৎ randomisation-এর একক হলো দর্শক। পরীক্ষাটি পর্ব ৬২-এর নিয়ম মেনে আগে থেকে ঠিক করা সময় পর্যন্ত চলেছে। পরিকল্পনায় লেখা ছিল: প্রধান metric হলো conversion (দর্শকের কত ভাগ কিনেছেন); দ্বিতীয় metric হলো revenue per visitor আর revenue per order. এগুলোর পাশে guardrail metric, যেমন পাতা খোলার সময় আর ফেরতের হার, যেগুলো খারাপ হলে জয় বাতিল।

বিশ্লেষণের আগে দুটি যাচাই, যা পর্ব ৬২-এ বিস্তারিত আছে: sample ratio mismatch (৫০:৫০ ভাগ হওয়ার কথা থাকলে দুই দলের সংখ্যা কি chi-square-এ মেলে?) আর ডেটার পাইপলাইন ঠিক আছে কি না (A/A test, লগ হারানো)। এই দুটি না মিললে নিচের কোনো p-value-এর অর্থ থাকে না। আমাদের ডেটায় A পেয়েছে ৮,০০৩ জন, B ৭,৯৯৭ জন; সমান ভাগে এটি খুবই স্বাভাবিক।

ডেটা seed দিয়ে বানানো, যাতে সবাই একই সংখ্যা পান। প্রতিটি সারি একজন দর্শক: দল, device, জেলা, পরীক্ষার আগের আট সপ্তাহের খরচ (pre), কিনেছেন কি না, অর্ডারের সংখ্যা আর মোট আয়। নকশা B-তে কেনার সম্ভাবনা আসলে ১২% (আপেক্ষিক) বেশি রাখা হয়েছে; বাস্তবে এই সত্যটি কেউ জানে না, simulation-এ জানি বলে পদ্ধতিগুলো যাচাই করা যায়। ফাইলটি পাতায় লুকানো আছে, প্রতিটি ব্লক একে import করে:

# bazar_ab.py — বাজারঘরের কাল্পনিক checkout A/B test (seed দিয়ে বানানো)
import numpy as np
import pandas as pd

def make_ab(n=16000, seed=63, lift=0.12):
    rng = np.random.default_rng(seed)
    grp = np.where(rng.random(n) < 0.5, "A", "B")    # A = পুরোনো, B = নতুন checkout
    dev = np.where(rng.random(n) < 0.7, "mobile", "desktop")
    dist = rng.choice(["Dhaka", "Ctg", "Khulna", "Sylhet"], n, p=[.45, .25, .15, .15])
    taste = rng.gamma(0.4, 2.5, n)                   # কেনার ঝোঁক (চোখে দেখা যায় না)
    size = rng.lognormal(6.6, 0.8, n)                # গ্রাহকের সাধারণ অর্ডারের দাম
    pre = np.round(rng.poisson(3 * taste) * size)    # আগের ৮ সপ্তাহের খরচ, টাকা
    p = (0.01 + 0.05 * taste) * np.where(dev == "mobile", 0.8, 1.3)
    conv = rng.random(n) < np.clip(p * np.where(grp == "B", 1 + lift, 1), 0, 1)
    orders = conv * (1 + rng.poisson(0.3 * taste))   # কিনলে এক বা একাধিক অর্ডার
    rev = np.round(orders * size * rng.lognormal(0, 0.5, n))
    return pd.DataFrame({"grp": grp, "dev": dev, "dist": dist, "pre": pre,
                         "conv": conv.astype(int), "orders": orders, "rev": rev})

লক্ষ করুন taste (কেনার ঝোঁক) চোখে দেখা যায় না, কিন্তু সেটিই আগের খরচ আর এখনকার কেনাকাটা দুটিকে চালায়। অংশ ৫-এ CUPED ঠিক এই যোগসূত্রটি কাজে লাগাবে।

২ · Conversion — দুই অনুপাতের z-test, Wald CI আর chi-square

দল A-তে n_A জন দর্শকের x_A জন কিনেছেন, দল B-তে n_B-এর x_B জন। অনুপাত p̂_A = x_A/n_A, p̂_B = x_B/n_B, আর পার্থক্য d̂ = p̂_B − p̂_A. প্রতিটি দর্শকের ফল ০ বা ১, তাই একটি অনুপাতের variance p(1 − p)/n. Null hypothesis H0: দুই দলের আসল হার সমান। H0 সত্য ধরলে দুই দলের একটিই হার, তাই তাকে একসঙ্গে অনুমান করা হয়: p̂ = (x_A + x_B)/(n_A + n_B), যাকে বলে pooled হার।

z = d̂ / √[ p̂(1 − p̂)(1/n_A + 1/n_B) ]    Wald CI: d̂ ± 1.96 · √[ p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B ]

দুটি SE আলাদা কেন? Test-এর SE হিসাব হয় “H0 সত্য” জগতে, তাই pooled হার। CI-এর লক্ষ্য আসল পার্থক্য কোথায় থাকতে পারে বলা, সেখানে H0 ধরে নেওয়ার কারণ নেই, তাই প্রতিটি দলের নিজের হার। বড় নমুনায় দুটি প্রায় সমান। আর 2×2 টেবিলে (সারি = দল, কলাম = কিনেছেন/কেনেনি) Pearson-এর chi-square test continuity correction ছাড়া চালালে χ² = z² হুবহু, ১ df: একই test, দুটি পোশাক।

এবার বাজারঘরের আসল (কাল্পনিক) ডেটায় একই হিসাব। statsmodels-এর proportions_ztest pooled z দেয়, SciPy-র chi2_contingency chi-square, আর শেষ তিন লাইন একটি ছোট Bayesian দৃষ্টি যোগ করে, যা নিচে ব্যাখ্যা করা আছে।

import numpy as np
from scipy import stats
from statsmodels.stats.proportion import proportions_ztest
from bazar_ab import make_ab

df = make_ab()                                   # ১৬,০০০ দর্শক, seed 63
t = df.groupby("grp")["conv"].agg(["sum", "count"])
print(t.rename(columns={"sum": "buyers", "count": "visitors"}))
x, n = t["sum"].to_numpy(), t["count"].to_numpy()
p = x / n
d = p[1] - p[0]                                  # B − A
print(f"rate A {p[0]:.4f}  B {p[1]:.4f}  diff {d:+.4f}  ({d / p[0]:+.1%} relative)")

z, pz = proportions_ztest(x[::-1], n[::-1])      # B আগে, তাই z ধনাত্মক
se = np.sqrt(p[0] * (1 - p[0]) / n[0] + p[1] * (1 - p[1]) / n[1])
print(f"pooled z = {z:.3f}, two-sided p = {pz:.4f}")
print(f"Wald 95% CI for B - A: [{d - 1.96 * se:+.4f}, {d + 1.96 * se:+.4f}]")

table = np.column_stack([x, n - x])              # সারি A, B; কলাম কিনেছেন, কেনেনি
chi2, pc, dof, _ = stats.chi2_contingency(table, correction=False)
print(f"chi2 = {chi2:.3f} (z^2 = {z ** 2:.3f}), df = {dof}, p = {pc:.4f}")

rng = np.random.default_rng(0)                   # Beta(1, 1) prior থেকে posterior
ra = rng.beta(1 + x[0], 1 + n[0] - x[0], 200_000)
rb = rng.beta(1 + x[1], 1 + n[1] - x[1], 200_000)
print(f"Bayesian note: P(B > A) = {np.mean(rb > ra):.4f}")

     buyers  visitors
grp
A       412      8003
B       506      7997
rate A 0.0515  B 0.0633  diff +0.0118  (+22.9% relative)
pooled z = 3.207, two-sided p = 0.0013
Wald 95% CI for B - A: [+0.0046, +0.0190]
chi2 = 10.286 (z^2 = 10.286), df = 1, p = 0.0013
Bayesian note: P(B > A) = 0.9994

৩ · Revenue per visitor — heavy tail, Welch, bootstrap আর winsorising

Revenue per visitor (RPV) হলো দর্শকপ্রতি গড় আয়, যেখানে না-কেনা দর্শকের আয় ০. এই metric-এর বণ্টন অদ্ভুত: ৯৪%-এর বেশি সারি ০, আর বাকিদের মধ্যে অল্প কয়েকজনের অনেক বড় অর্ডার। একে বলে heavy-tailed distribution. গড় তখন কয়েকটি বড় সংখ্যার দয়ায় চলে। দুই দলের গড় তুলনায় তিনটি সাধারণ পথ:

Welch-এর SE = √(s_A²/n_A + s_B²/n_B), যেখানে s² প্রতিটি দলের নমুনা variance. Central limit theorem বলে n বড় হলে গড় প্রায় normal হয়, কিন্তু লেজ যত ভারী, “বড়” তত বড় হতে হয়। তাই এখানে bootstrap দিয়ে মিলিয়ে দেখা জরুরি। Log transform (log(১ + আয়)) আরেকটি প্রচলিত পথ, কিন্তু তখন test করা হয় log-এর গড়, যা মোট আয়ের দিক নির্দেশ করে না: B কিছু বড় ক্রেতাকে হারিয়ে অনেক ছোট ক্রেতা আনলে log-গড় বাড়তে পারে, অথচ আয় কমে।

import numpy as np
from scipy import stats
from bazar_ab import make_ab

df = make_ab()
a = df.loc[df.grp == "A", "rev"].to_numpy()
b = df.loc[df.grp == "B", "rev"].to_numpy()
top = np.sort(np.concatenate([a, b]))[::-1]
print(f"share of revenue from top 1% of visitors: {top[:160].sum() / top.sum():.1%}")
print(f"max {top[0]:.0f} Tk, 99.9th pct {np.percentile(top, 99.9):.0f} Tk")
d = b.mean() - a.mean()
print(f"revenue per visitor A {a.mean():.1f}  B {b.mean():.1f}  diff {d:+.1f} Tk")

w = stats.ttest_ind(b, a, equal_var=False)        # Welch: variance সমান ধরে না
ci = w.confidence_interval(0.95)
print(f"Welch t = {w.statistic:.3f}, p = {w.pvalue:.4f}, CI [{ci.low:+.1f}, {ci.high:+.1f}]")

rng = np.random.default_rng(1)                    # percentile bootstrap, দুই দল আলাদা
bd = [rng.choice(b, b.size).mean() - rng.choice(a, a.size).mean() for _ in range(1000)]
print(f"bootstrap 95% CI [{np.percentile(bd, 2.5):+.1f}, {np.percentile(bd, 97.5):+.1f}]")

cap = np.percentile(np.concatenate([a, b]), 99.5) # দুই দলে একই সীমা
wa, wb = np.minimum(a, cap), np.minimum(b, cap)
ww = stats.ttest_ind(wb, wa, equal_var=False)
print(f"winsorised at {cap:.0f} Tk: diff {wb.mean() - wa.mean():+.1f}, p = {ww.pvalue:.4f}")

share of revenue from top 1% of visitors: 56.2%
max 34779 Tk, 99.9th pct 13024 Tk
revenue per visitor A 113.3  B 139.2  diff +26.0 Tk
Welch t = 1.825, p = 0.0680, CI [-1.9, +53.8]
bootstrap 95% CI [-1.0, +55.4]
winsorised at 5249 Tk: diff +20.3, p = 0.0209

৪ · Ratio metric — revenue per order আর delta method

Revenue per order (RPO) = মোট আয় ÷ মোট অর্ডার। এটি একটি ratio metric: লব আর হর দুটিই দর্শক-স্তরের যোগফল। প্রলোভন হলো প্রতিটি অর্ডারকে একটি সারি ধরে সাধারণ গড়ের SE নেওয়া। ভুলটি এখানে: randomise হয়েছে দর্শক, অর্ডার নয়। একজন দর্শকের তিনটি অর্ডার পরস্পর স্বাধীন নয় (একই মানুষ, একই রুচি, একই পকেট), তাই অর্ডারকে একক ধরলে স্বাধীন তথ্যের পরিমাণ বাড়িয়ে গোনা হয় আর SE ছোট দেখায়। এটি পর্ব ২১-এর cluster bootstrap-এর একই শিক্ষা।

সঠিক পথ: প্রতিটি দর্শক i-এর Y_i = আয় আর X_i = অর্ডার। তাহলে R = Ȳ/X̄, যা দুটি গড়ের ভাগফল, আর দর্শকেরা স্বাধীন। Delta method একটি function-এর variance তার প্রথম ক্রমের Taylor বিস্তার দিয়ে অনুমান করে। μ_Y, μ_X-এর চারপাশে f(Ȳ, X̄) = Ȳ/X̄ বিস্তার করলে:

R − r ≈ (Ȳ − μ_Y)/μ_X − r(X̄ − μ_X)/μ_X  ⇒  Var(R) ≈ [ σ_Y² − 2r·σ_XY + r²·σ_X² ] / (n · μ_X²)

এখানে r = μ_Y/μ_X, σ_Y² আর σ_X² দর্শক-স্তরের variance, σ_XY তাদের covariance, আর n দর্শকের সংখ্যা। ছোট উদাহরণ: তিনজন দর্শকের (আয়, অর্ডার) = (২,০০০, ২), (১,০০০, ১), (০, ০)। R = ৩,০০০/৩ = ১,০০০ টাকা। প্রতিটি দর্শকের “R থেকে বিচ্যুতি” Y_i − R·X_i = ০, ০, ০: এই তিনজনের মধ্যে প্রতি অর্ডারের দাম একই, তাই R প্রায় নড়বে না। Delta method আসলে এই Y − R·X-এর variance-কেই μ_X² দিয়ে ভাগ করে। Alex Deng, Ulf Knoblich আর Jiannan Lu ২০১৮ সালে KDD-তে online পরীক্ষায় delta method-এর ব্যবহার নিয়ে একটি বহুল পঠিত প্রবন্ধ লেখেন। নিচের ব্লক তিনটি SE মেলায়: delta, naive (অর্ডার = সারি) আর দর্শক ধরে bootstrap.

import numpy as np
from bazar_ab import make_ab

def delta_ratio(y, x):                       # R = mean(y)/mean(x); একক = দর্শক
    r = y.mean() / x.mean()
    c = np.cov(y, x)                         # [[var y, cov], [cov, var x]]
    v = (c[0, 0] - 2 * r * c[0, 1] + r ** 2 * c[1, 1]) / (len(y) * x.mean() ** 2)
    return r, np.sqrt(v)

df = make_ab()
rng = np.random.default_rng(2)
res = {}
for g in ("A", "B"):
    s = df[df.grp == g]
    y, x = s.rev.to_numpy(), s.orders.to_numpy()
    r, se_d = delta_ratio(y, x)
    k = x > 0                                # naive: প্রতিটি অর্ডার আলাদা সারি
    per = np.repeat(y[k] / x[k], x[k].astype(np.intp))
    se_n = per.std(ddof=1) / np.sqrt(per.size)
    boot = []                                # দর্শক ধরে bootstrap
    for _ in range(500):
        i = rng.integers(0, len(y), len(y))
        boot.append(y[i].sum() / x[i].sum())
    res[g] = (r, se_d)
    print(f"{g}: {x.sum()} orders, revenue/order {r:.1f} Tk | SE delta {se_d:.1f}"
          f", naive {se_n:.1f}, bootstrap {np.std(boot, ddof=1):.1f}")
d = res["B"][0] - res["A"][0]
se = np.hypot(res["A"][1], res["B"][1])
print(f"B - A = {d:+.1f} Tk, 95% CI [{d - 1.96 * se:+.1f}, {d + 1.96 * se:+.1f}]")

A: 785 orders, revenue/order 1154.8 Tk | SE delta 69.3, naive 47.2, bootstrap 67.5
B: 944 orders, revenue/order 1179.5 Tk | SE delta 67.8, naive 42.6, bootstrap 64.1
B - A = +24.7 Tk, 95% CI [-165.3, +214.7]

৫ · CUPED — আগের খরচ দিয়ে variance কমানো

CUPED (Controlled-experiment Using Pre-Experiment Data) ঠিক এই কাজ করে। Alex Deng, Ya Xu, Ron Kohavi আর Toby Walker ২০১৩ সালে WSDM সম্মেলনে Microsoft Bing-এর পরীক্ষার অভিজ্ঞতা থেকে এটি প্রকাশ করেন; প্রবন্ধে কিছু metric-এ variance উল্লেখযোগ্যভাবে কমার কথা বলা হয়েছে, তবে কতটা কমবে তা metric আর covariate-এর ওপর নির্ভর করে। ধারণাটি পুরোনো: Monte Carlo-র control variate আর পরিসংখ্যানের ANCOVA বা regression adjustment-এর আত্মীয়।

Y = পরীক্ষার সময়ের আয়, X = পরীক্ষার আগের আট সপ্তাহের খরচ। নতুন metric Y_cv = Y − θ(X − X̄). যেকোনো θ-তে দুই দলের গড়ের পার্থক্যের প্রত্যাশা বদলায় না, কারণ randomisation-এর জন্য দুই দলে X-এর প্রত্যাশিত গড় এক: E[X̄_B − X̄_A] = ০. তাহলে θ এমনভাবে বাছি যাতে variance সবচেয়ে কম হয়:

Var(Y − θX) = σ_Y² − 2θ·σ_XY + θ²·σ_X²  →  d/dθ = 0  →  θ = σ_XY/σ_X²  →  Var(Y_cv) = σ_Y²(1 − ρ²)

θ হলো Y-কে X-এর ওপর regression করলে ঢাল, আর ρ হলো X আর Y-এর correlation. ঢালটি বসালে variance কমে ঠিক ρ² ভাগ। ρ = ০.৫ হলে ২৫% কম variance, যা একই নির্ভুলতার জন্য প্রায় ২৫% কম দর্শক। শর্ত একটিই, কিন্তু কঠোর: X-কে treatment প্রভাবিত করতে পারবে না। তাই পরীক্ষা শুরুর আগের মাপ নিন। পরীক্ষার সময়ের কোনো চলক (যেমন সেশনের সংখ্যা, যা নতুন checkout বদলাতে পারে) নিলে প্রভাবের একটি অংশ “সংশোধনে” মুছে যেতে পারে।

৬ · CUPED-এর ফল আর simulation — একই false positive, বেশি power

এবার পুরো ১৬,০০০ জনে। ব্লকের প্রথম অংশ θ, ρ² আর আসল variance কমা মেলায়, তারপর সাধারণ আর CUPED দুই পথে Welch চালায়। দ্বিতীয় অংশ একটি simulation: একই ১৬,০০০ জনকে ১,০০০ বার নতুন করে এলোমেলো দুই ভাগে ভাগ করা হয়। প্রথমে কোনো প্রভাব ছাড়া (A/A test), যেখানে p < ০.০৫-এর হার হলো false positive-এর হার, আর তা ৫%-এর কাছে থাকার কথা। তারপর B-ভাগের আয় কৃত্রিমভাবে ২৫% বাড়িয়ে, যেখানে সেই হারই power. দ্রুত চালাতে simulation-এ Welch-এর statistic সরাসরি ±১.৯৬-এর সঙ্গে মেলানো হয়েছে, কারণ এত বড় নমুনায় t আর normal প্রায় এক।

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
from bazar_ab import make_ab

df = make_ab()
y, x = df.rev.to_numpy(), df.pre.to_numpy()
b = (df.grp == "B").to_numpy()
theta = np.cov(x, y)[0, 1] / x.var(ddof=1)        # দুই দল মিলিয়ে একটিই θ
yc = y - theta * (x - x.mean())                   # CUPED-adjusted revenue
print(f"theta = {theta:.4f}, rho^2 = {np.corrcoef(x, y)[0, 1] ** 2:.3f}, "
      f"variance reduction = {1 - yc.var() / y.var():.3f}")
for name, v in (("raw  ", y), ("CUPED", yc)):
    w = stats.ttest_ind(v[b], v[~b], equal_var=False)
    print(f"{name} diff {v[b].mean() - v[~b].mean():+.1f} Tk, p = {w.pvalue:.4f}")
def z(v, g):                                      # Welch statistic, n বড় তাই ±1.96
    se = np.sqrt(v[g].var() / g.sum() + v[~g].var() / (~g).sum())
    return (v[g].mean() - v[~g].mean()) / se
rng = np.random.default_rng(3)                    # একই ১৬,০০০ জন, নতুন এলোমেলো ভাগ
rej = np.zeros((2, 2))
for i, lift in enumerate((0.0, 0.25)):            # A/A, তারপর B-তে +২৫% আয়
    for _ in range(1000):
        g = rng.random(y.size) < 0.5
        yy = np.where(g, y * (1 + lift), y)
        yyc = yy - np.cov(x, yy)[0, 1] / x.var(ddof=1) * (x - x.mean())
        rej[i] += [abs(z(yy, g)) > 1.96, abs(z(yyc, g)) > 1.96]
rej /= 1000
print("reject rate [raw, CUPED]  A/A:", rej[0], " +25%:", rej[1])
fig, ax = plt.subplots(figsize=(6, 3.2))
for j, lab in enumerate(["plain Welch", "CUPED + Welch"]):
    ax.bar(np.arange(2) + 0.36 * j - 0.18, rej[:, j], 0.36, label=lab)
ax.axhline(0.05, color="gray", ls="--", lw=1); ax.legend(frameon=False)
ax.set_xticks([0, 1], ["A/A (no effect)", "B revenue +25%"])
ax.set_ylabel("share of tests with p < 0.05")
fig.subplots_adjust(left=0.13, bottom=0.12, right=0.98, top=0.95)

theta = 0.0439, rho^2 = 0.155, variance reduction = 0.155
raw   diff +26.0 Tk, p = 0.0680
CUPED diff +29.2 Tk, p = 0.0257
reject rate [raw, CUPED]  A/A: [0.051 0.048]  +25%: [0.512 0.587]

৭ · অনেক metric, অনেক segment আর Simpson's paradox

প্রধান ফল দেখার পর প্রায় সবাই জিজ্ঞেস করেন: “কোন জেলায় বা কোন device-এ B সবচেয়ে ভালো?” প্রশ্নটি স্বাভাবিক, কিন্তু চারটি জেলা × দুটি device = আটটি segment মানে আটটি test. সব segment-এ প্রভাব সমান হলেও কোনো একটিতে ছোট p পাওয়ার সম্ভাবনা অনেক বেশি। পর্ব ২২-এর Holm (একটিও মিথ্যা দাবি নয়) আর BH (দাবিগুলোর মধ্যে মিথ্যার অনুপাত সীমিত) এখানেই কাজে লাগে। নিচের হিসাবটি চারটি ব্লকের সীমার কারণে পাতায় চালানো ব্লক নয়; একই bazar_ab.py দিয়ে ডেস্কটপে সত্যিকারের run (Python 3.14.4, NumPy 2.5.4, pandas 3.1.1, statsmodels 0.15.0, লেখার সময়ে):

import pandas as pd
from statsmodels.stats.proportion import proportions_ztest
from statsmodels.stats.multitest import multipletests
from bazar_ab import make_ab

df = make_ab()
rows = []
for (dist, dev), s in df.groupby(["dist", "dev"]):
    c = s.groupby("grp")["conv"].agg(["sum", "count"])
    z, p = proportions_ztest(c["sum"].to_numpy()[::-1], c["count"].to_numpy()[::-1])
    rate = c["sum"] / c["count"]
    rows.append([dist, dev, int(c["count"].sum()), rate["A"], rate["B"], p])
seg = pd.DataFrame(rows, columns=["district", "device", "n", "rate_A", "rate_B", "p"])
seg["p_holm"] = multipletests(seg["p"], method="holm")[1]
seg["p_bh"] = multipletests(seg["p"], method="fdr_bh")[1]
print(seg.round(4).to_string(index=False))

$ python segments.py
district  device    n  rate_A  rate_B      p  p_holm   p_bh
     Ctg desktop 1247  0.0649  0.0887 0.1148  0.5738 0.2295
     Ctg  mobile 2835  0.0427  0.0477 0.5250  1.0000 0.5250
   Dhaka desktop 2139  0.0657  0.0909 0.0304  0.2125 0.1214
   Dhaka  mobile 5055  0.0435  0.0475 0.5016  1.0000 0.5250
  Khulna desktop  711  0.0665  0.0849 0.3531  1.0000 0.4708
  Khulna  mobile 1696  0.0463  0.0577 0.2902  1.0000 0.4642
  Sylhet desktop  716  0.1000  0.0628 0.0685  0.4111 0.1827
  Sylhet  mobile 1601  0.0412  0.0777 0.0021  0.0169 0.0169

আমরা জানি, simulation-এ প্রতিটি segment-এ আসল প্রভাব একই (+১২% আপেক্ষিক)। তবু টেবিল দুটি “গল্প” বলছে। প্রথম, Sylhet mobile-এ B প্রায় দ্বিগুণ (৪.১% থেকে ৭.৮%, p = ০.০০২১), Holm-এর পরেও ০.০১৭. প্রভাবটি সম্ভবত শূন্য নয়, কিন্তু +৮৯% আকারটি winner's curse: আটটির মধ্যে সবচেয়ে বড়টিকে বাছলে আকার বাড়িয়ে দেখা প্রায় নিশ্চিত। দ্বিতীয়, Sylhet desktop-এ B যেন খারাপ (১০.০% থেকে ৬.৩%, p = ০.০৬৯), মাত্র ৭১৬ জনে শুধু দৈব। কেউ যদি লেখেন “Sylhet-এর desktop ব্যবহারকারীদের জন্য পুরোনো checkout রাখুন”, তিনি গোলমালকে নীতি বানাচ্ছেন। Dhaka desktop-এর p = ০.০৩০৪ সংশোধনের পর ০.২১. নিয়ম: আগে থেকে পরিকল্পনায় না থাকা segment বিশ্লেষণ অনুসন্ধান, সিদ্ধান্ত নয়; সংশোধিত p দিন আর সন্দেহজনক segment নতুন পরীক্ষায় যাচাই করুন।

Simpson's paradox — প্রতিটি দিনে জেতে, মোটে হারে

Randomise করা পরীক্ষায় device বা জেলার মিশ্রণ দুই দলে প্রায় এক, তাই Simpson's paradox সাধারণত আসে না। এটি আসে যখন ভাগের অনুপাত সময়ের সঙ্গে বদলায়, যেমন ramp-up: প্রথম দিনে নিরাপত্তার জন্য B পেয়েছে মাত্র ১০% দর্শক, দ্বিতীয় দিনে ৫০%. ধরুন প্রথম দিনটি বেতনের দিন, কেনার হার বেশি:

প্রতিটি দিনে B এগিয়ে, অথচ যোগফলে A অনেক এগিয়ে। কারণ A-র দর্শকদের বড় অংশ (৯,০০০/১৪,০০০) এসেছেন বেশি-কেনার দিনে, আর B-র বেশির ভাগ (৫,০০০/৬,০০০) কম-কেনার দিনে। দিন এখানে confounder: এটি দল পাওয়ার সম্ভাবনা আর কেনার হার দুটিকেই প্রভাবিত করেছে। প্রতিকার: দিনভিত্তিক (stratified) পার্থক্য নিয়ে ওজন দিয়ে মেলানো (যেমন দুই দিনের মোট দর্শক অনুযায়ী: (১০,০০০ × ০.৪ + ১০,০০০ × ০.২)/২০,০০০ = +০.৩ শতাংশ বিন্দু), বা বিশ্লেষণে শুধু সেই সময়ের ডেটা নেওয়া যখন ভাগের অনুপাত স্থির ছিল। কোন দিক “ঠিক”, তা ডেটা একা বলে না, কারণ-কাঠামো বলে; পর্ব ৬৪ (Causal inference-এর পরিচয় — DAG, matching আর difference-in-differences) এই প্রশ্নটি গুছিয়ে দেখাবে।

৮ · ভুল ব্যাখ্যা আর সিদ্ধান্তের memo

Test সঠিক হলেও বাক্য ভুল হতে পারে। American Statistical Association ২০১৬ সালের বিবৃতিতে (Ronald Wasserstein আর Nicole Lazar) ছয়টি নীতি দেয়, যার সারকথা: p-value H0 সত্য হওয়ার সম্ভাবনা নয়, প্রভাবের আকার বা গুরুত্ব মাপে না, আর শুধু একটি সীমা পার হওয়া দিয়ে সিদ্ধান্ত নেওয়া উচিত নয়। নিচের stepper একটি কাল্পনিক memo লাইন ধরে ধরে পড়ে।

একটি ভালো memo-র কাঠামো: (১) প্রশ্ন আর পরিকল্পনা (প্রধান metric, সময়কাল, ব্যবহারিক সীমা); (২) ডেটার যাচাই (SRM, A/A); (৩) প্রধান ফল: আকার, CI, p, আর যদি CUPED বা winsorising হয়ে থাকে, সেটি আগে থেকে ঠিক করা ছিল কি না; (৪) দ্বিতীয় metric আর guardrail; (৫) অনুসন্ধানমূলক segment, সংশোধিত p-সহ আর “অনুসন্ধান” লেবেলে; (৬) সিদ্ধান্ত আর ঝুঁকি। Ron Kohavi, Diane Tang আর Ya Xu তাঁদের ২০২০ সালের বই Trustworthy Online Controlled Experiments-এ Twyman's law-এর কথা বলেন: যে সংখ্যা খুব আকর্ষণীয় বা অস্বাভাবিক দেখায়, তা সাধারণত কোনো ভুলের ফল। বিস্ময়কর জয় পেলে আগে পাইপলাইন খুঁজুন, তারপর উদ্‌যাপন। পর্ব ৬৭ (Data storytelling — বিশ্লেষণ থেকে সিদ্ধান্ত আর report) এই memo-কে পাঠকের জন্য সাজানো দেখাবে।

৯ · AI-এর যুগে — A/B বিশ্লেষণে AI-এর কাজ যাচাই

AI assistant A/B বিশ্লেষণের কোড দ্রুত লেখে, আর প্রায় সবসময় একটি p-value দেয়। কিন্তু ভুল একক, ভুল test আর ভুল বাক্যও সমান আত্মবিশ্বাসে আসে। পরিচিত ভুলগুলো:

AI-এর দেওয়া A/B বিশ্লেষণ হাতে পেলে — যাচাইয়ের চেকলিস্ট

• SRM আর ডেটার পাইপলাইন আগে যাচাই হয়েছে
• বিশ্লেষণের একক আর randomisation-এর একক এক (দর্শক)
• প্রধান metric আর সময়কাল পরিকল্পনার সঙ্গে মেলে; significant হলেই থামানো হয়নি
• প্রভাবের আকার আর CI আছে, শুধু p নয়
• Heavy-tailed metric-এ bootstrap দিয়ে মেলানো হয়েছে, outlier নীরবে মোছা হয়নি
• CUPED-এর covariate পরীক্ষার আগের
• Segment-এর সংখ্যা গোনা আর p সংশোধিত; সেগুলো “অনুসন্ধান” হিসেবে লেখা
• কোনো আসল গ্রাহকের ডেটা AI-তে পেস্ট করা হয়নি