A/B test-এর পরিকল্পনা — power, sample size আর peeking-এর ফাঁদ

AI-এর ভিত্তি কোর্সের পর্ব ৩৭-এ standard error, confidence interval, p-value, effect size আর একটি সরল A/B test-এর প্রথম পরিচয় হয়েছে; এই কোর্সের পর্ব ২২-এ একাধিক তুলনা আর পর্ব ০৪-এ forking paths. সেগুলো আবার শেখানো হবে না। এই পর্বের প্রশ্ন একটাই: test চালুর আগে কী ঠিক করলে শেষের ফলটি বিশ্বাস করা যায়? শেষ হওয়া test-এর বিশ্লেষণ (Welch t-test, CUPED, delta method) আসবে পরের পর্বে, পর্ব ৬৩ (A/B test-এর বিশ্লেষণ — t-test, chi-square, CUPED আর ভুল ব্যাখ্যা)। চারটি ব্লক পাতাতেই চলে (ব্রাউজারের Python: NumPy, SciPy, pandas, statsmodels, matplotlib); প্রথমবার package নামতে কয়েক সেকেন্ড লাগে। সব ডেটা seed দেওয়া simulation, কোনো বাস্তব দোকানের নয়।

১ · Experiment-এর চক্র — hypothesis, metric আর randomisation-এর একক

একটি A/B test (অনলাইনে একে online controlled experiment-ও বলে) এলোমেলোভাবে ব্যবহারকারীদের দুই দলে ভাগ করে: control (A) পুরোনো ব্যবস্থা পায়, treatment (B) নতুন। ভাগ এলোমেলো বলে দলের মধ্যে বাকি সব পার্থক্য গড়ে সমান, তাই ফলের পার্থক্যকে নতুন ব্যবস্থার প্রভাব বলা যায়। কেন randomisation এটি নিশ্চিত করে, তার আনুষ্ঠানিক যুক্তি (potential outcomes) আসবে পর্ব ৬৪ (Causal inference-এর পরিচয়)-এ।

বাজারঘরের product দল checkout পাতায় একটি পরিবর্তন চায়: “ক্যাশ অন ডেলিভারি” বোতাম ওপরে তোলা আর মোট দামের নিচে delivery-র আনুমানিক দিন দেখানো। Test চালুর আগে চারটি জিনিস লিখে রাখতে হয়:

নিচের ছবি পুরো চক্রটি দেখায়। এই পর্ব ধাপ ১ থেকে ৫ নিয়ে, ধাপ ৬ পর্ব ৬৩-এর, আর ধাপ ৭-এর সিদ্ধান্ত লেখা পর্ব ৬৭ (Data storytelling)-এর বিষয়।

২ · Metric বাছাই — conversion, revenue per visitor আর ভারী লেজ

Primary metric-এর দুটি গুণ লাগে: ব্যবসার লক্ষ্যের সঙ্গে সম্পর্ক, আর সংবেদনশীলতা, অর্থাৎ ছোট আসল পরিবর্তনেও নড়ে। বাজারঘরের দুটি প্রার্থী:

• Conversion: প্রতিটি গ্রাহকের ফল ০ বা ১; variance p(1 − p), p = ০.০৫ হলে ০.০৪৭৫. সীমিত, স্থির, আর ছোট n-এও গড় প্রায় normal.
• Revenue per visitor (RPV): বেশিরভাগ গ্রাহকের আয় ০, কয়েকজন ৳৫০০, আর মাঝে মাঝে কেউ ৳২০,০০০-এর ফ্রিজ কেনেন। এই heavy-tailed বণ্টনে SD গড়ের অনেক গুণ।

গড়ের তুলনার জন্য প্রতি দলের n-এর সূত্র (দুই দলে সমান n, দুই দিকের test):

n = 2 (z_1−α/2 + z_1−β)² σ² ÷ δ²

এখানে σ একজন গ্রাহকের metric-এর standard deviation, δ যে পার্থক্য ধরতে চান, আর z-গুলো standard normal-এর quantile (পরের অংশে বিস্তারিত)। α = ০.০৫ আর power ৮০% হলে (z_1−α/2 + z_1−β)² = (১.৯৬০ + ০.৮৪২)² = ৭.৮৪৯. ধরুন RPV-এর গড় ৳৪০, SD ৳২৫০ (coefficient of variation σ/গড় = ৬.২৫), আর আপনি ৫% উন্নতি, মানে δ = ৳২, ধরতে চান: n = ২ × ৭.৮৪৯ × ২৫০² ÷ ২² ≈ ২,৪৫,২৭৭ জন প্রতি দলে। একই ৫% আপেক্ষিক উন্নতি conversion-এ (৫% থেকে ৫.২৫%) ধরতে লাগে প্রায় ১,২২,১২৪ (অংশ ৩-এর টেবিল): প্রায় অর্ধেক। কারণ n চলে coefficient of variation-এর বর্গের সঙ্গে, আর conversion-এর CV √০.০৪৭৫ ÷ ০.০৫ ≈ ৪.৩৬, RPV-র ৬.২৫-এর চেয়ে কম।

অনেক প্রতিষ্ঠান কয়েকটি metric-কে ওজন দিয়ে মিলিয়ে একটি overall evaluation criterion বানায়, যাতে দীর্ঘমেয়াদি মূল্য ধরা পড়ে; Kohavi, Tang আর Xu-র ২০২০ সালের বই Trustworthy Online Controlled Experiments এই ধারণা বিস্তারে আলোচনা করে। ছোট দলের জন্য সরল নিয়মই যথেষ্ট: একটি primary, দুই-তিনটি guardrail, বাকি সব “শুধু দেখার জন্য”, আর তালিকাটি চালুর আগে লেখা।

৩ · MDE, α আর power — sample size-এর সূত্র হাতে ও কোডে

একটি test দুই রকম ভুল করতে পারে। আসলে পার্থক্য নেই, তবু “আছে” বলা: Type I error, যার হার α. আসলে পার্থক্য আছে, তবু ধরতে না পারা: Type II error, যার হার β. আর 1 − β হলো power: আসল প্রভাব থাকলে test তা ধরবে, এমন সম্ভাবনা।

তৃতীয় সংখ্যাটি minimum detectable effect (MDE): সবচেয়ে ছোট যে পার্থক্য আপনার কাছে কাজের, আর যাকে ৮০% সম্ভাবনায় ধরতে চান। MDE ঠিক করে ব্যবসা, পরিসংখ্যান নয়: পরিবর্তনটি বানাতে আর রাখতে যে খরচ, তা উঠে আসতে কত উন্নতি লাগবে? “আমরা ২০% উন্নতি আশা করি” বলে বড় MDE বাছা একটি পরিচিত ফাঁদ; আশা বড় হলে n ছোট দেখায়, আর আসল ছোট প্রভাব ধরা পড়ে না।

দুটি অনুপাত p₁ (control) আর p₂ = p₁(1 + MDE)-এর তুলনায় normal approximation থেকে প্রতি দলের n:

n = [ z_1−α/2 √(2 p̄ (1 − p̄)) + z_1−β √(p₁(1 − p₁) + p₂(1 − p₂)) ]² ÷ (p₂ − p₁)²

p̄ দুই হারের গড়। যুক্তি সরল: H0-এর অধীনে পার্থক্যের standard error থেকে বাতিলের সীমা z_1−α/2 দূরে বসে; আর আসল পার্থক্য δ হলে পার্থক্যের বণ্টনের ৮০% সেই সীমার ওপারে চাই, তাই সীমা থেকে δ পর্যন্ত আরও z_1−β standard error. দুই দূরত্বের যোগ δ-এর সমান ধরলেই সূত্রটি আসে। একটি পরিচিত সংক্ষিপ্ত রূপ Lehr-এর নিয়ম: n ≈ ১৬σ²/δ², এখানে ১৬ × ০.০৫২৫ × ০.৯৪৭৫ ÷ ০.০০৫² ≈ ৩১,৮৩৬, প্রায় একই।

নিচের ব্লক একই হিসাব নিজে লেখা ফাংশনে করে, তারপর statsmodels-এর দুটি ফাংশনের সঙ্গে মেলায়। statsmodels অনুপাতকে সরাসরি নয়, Cohen's h নামের effect size দিয়ে দেখে: h = 2·arcsin√p₂ − 2·arcsin√p₁. Arcsine রূপান্তরে অনুপাতের variance প্রায় স্থির হয়, তাই উত্তর সামান্য আলাদা। শেষে চারটি baseline আর তিনটি MDE-র একটি টেবিল।

import numpy as np
import pandas as pd
from scipy.stats import norm
from statsmodels.stats.power import NormalIndPower, zt_ind_solve_power
from statsmodels.stats.proportion import proportion_effectsize

def n_per_arm(p1, rel_mde, alpha=0.05, power=0.80):
    p2 = p1 * (1 + rel_mde)                       # যে নতুন হার ধরতে চাই
    za, zb = norm.ppf(1 - alpha / 2), norm.ppf(power)
    pbar = (p1 + p2) / 2
    top = za * np.sqrt(2 * pbar * (1 - pbar)) + zb * np.sqrt(p1 * (1 - p1) + p2 * (1 - p2))
    return int(np.ceil(top**2 / (p2 - p1) ** 2))

p1, mde = 0.05, 0.10                               # বাজারঘর checkout: 5% → 5.5%
print("z(0.975) =", round(norm.ppf(0.975), 4), "| z(0.80) =", round(norm.ppf(0.80), 4))
print("নিজে লেখা সূত্র, প্রতি দলে n =", n_per_arm(p1, mde))

h = proportion_effectsize(p1 * (1 + mde), p1)     # Cohen's h = 2·asin√p2 − 2·asin√p1
n_sm = NormalIndPower().solve_power(effect_size=h, alpha=0.05, power=0.80, ratio=1)
n_zt = zt_ind_solve_power(effect_size=h, alpha=0.05, power=0.80)
print(f"Cohen's h = {h:.5f} | NormalIndPower n = {n_sm:.1f} | zt_ind_solve_power n = {n_zt:.1f}")

rows = {}
for base in [0.02, 0.05, 0.10, 0.20]:
    rows[f"p = {base:.0%}"] = [n_per_arm(base, m) for m in (0.05, 0.10, 0.20)]
tab = pd.DataFrame(rows, index=["MDE 5%", "MDE 10%", "MDE 20%"]).T
print("\nপ্রতি দলে প্রয়োজনীয় n (α = 0.05 দুই দিকে, power 80%):")
print(tab.to_string())
print("\nMDE অর্ধেক করলে n কত গুণ:", round(tab.iloc[1, 0] / tab.iloc[1, 1], 2))

z(0.975) = 1.96 | z(0.80) = 0.8416
নিজে লেখা সূত্র, প্রতি দলে n = 31234
Cohen's h = 0.02242 | NormalIndPower n = 31217.4 | zt_ind_solve_power n = 31217.4

প্রতি দলে প্রয়োজনীয় n (α = 0.05 দুই দিকে, power 80%):
         MDE 5%  MDE 10%  MDE 20%
p = 2%   315206    80682    21109
p = 5%   122124    31234     8158
p = 10%   57763    14751     3841
p = 20%   25583     6510     1683

MDE অর্ধেক করলে n কত গুণ: 3.91

৪ · Power curve — simulation দিয়ে সূত্র যাচাই

সূত্র একটি approximation. যাচাইয়ের সবচেয়ে সৎ পথ Monte Carlo simulation: একটি আসল উন্নতি ধরে হাজারটি কাল্পনিক test চালান, আর গুনুন কতগুলোতে |z| > ১.৯৬. সেই অনুপাতই power. নিচের ব্লক চারটি n আর ০% থেকে ২০% পর্যন্ত এগারোটি আসল উন্নতিতে ২,০০০টি করে test চালায়, বিন্দু আঁকে simulation-এর, রেখা আঁকে সূত্রের।

import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm

rng = np.random.default_rng(62)
p1, sims = 0.05, 2000
lifts = np.linspace(0, 0.20, 11)                  # আসল আপেক্ষিক উন্নতি 0%–20%
fig, ax = plt.subplots(figsize=(7, 4.2))
for n in [8000, 15000, 31234, 60000]:             # প্রতি দলে n
    power_sim, power_th = [], []
    for lift in lifts:
        p2 = p1 * (1 + lift)
        a = rng.binomial(n, p1, sims) / n          # 2000টি কাল্পনিক test একসঙ্গে
        b = rng.binomial(n, p2, sims) / n
        pool = (a + b) / 2
        z = (b - a) / np.sqrt(pool * (1 - pool) * 2 / n)
        power_sim.append(np.mean(np.abs(z) > 1.96))
        se = np.sqrt((p1 * (1 - p1) + p2 * (1 - p2)) / n)
        power_th.append(norm.cdf((p2 - p1) / se - 1.96) + norm.cdf(-(p2 - p1) / se - 1.96))
    ax.plot(lifts * 100, power_sim, "o", ms=4)
    ax.plot(lifts * 100, power_th, "-", color=ax.lines[-1].get_color(), label=f"n = {n:,}")
    i = 5                                          # lift 10%
    print(f"n={n:6d}: lift 0% → {power_sim[0]:.3f} | lift 10% → sim {power_sim[i]:.3f}, "
          f"সূত্র {power_th[i]:.3f}")
ax.axhline(0.8, ls="--", color="gray", lw=1)
ax.axhline(0.05, ls=":", color="gray", lw=1)
ax.set_xlabel("True relative lift (%)")
ax.set_ylabel("Power = P(reject H0)")
ax.set_title("Power curves, baseline 5%, two-sided alpha 0.05")
ax.legend(title="per arm", fontsize=8)
plt.show()

n=  8000: lift 0% → 0.047 | lift 10% → sim 0.284, সূত্র 0.294
n= 15000: lift 0% → 0.045 | lift 10% → sim 0.491, সূত্র 0.493
n= 31234: lift 0% → 0.052 | lift 10% → sim 0.786, সূত্র 0.800
n= 60000: lift 0% → 0.035 | lift 10% → sim 0.969, সূত্র 0.973

৫ · Peeking-এর ফাঁদ — রোজ দেখলে ভুল “জয়” বাড়ে

Test চলছে, dashboard রোজ নতুন p-value দেখায়। তৃতীয় দিনে p = ০.০৩: “জিতেছি, চালু করে দিই!” এই অভ্যাসের নাম peeking: ডেটা জমার মাঝে বারবার test করা আর প্রথম significant ফলে থামা। প্রতিটি দেখা আলাদাভাবে ৫%-এর test, কিন্তু অনেকবার দেখলে “কোনো একবার ৫% পার হওয়া”র সম্ভাবনা ৫%-এর চেয়ে অনেক বেশি।

নিচের ব্লক ৪,০০০টি A/A test-এর ১৪ দিনের z-পথ বানায়, দিনে প্রতি দলে ২,২৫০ জন (অংশ ৩-এর হিসাবের মতো দুই সপ্তাহে প্রতি দলে ৩১,৫০০)। প্রথমে দেখায় দেখার সংখ্যা বাড়লে ভুল কীভাবে বাড়ে। তারপর একই পথ থেকে Pocock আর O'Brien–Fleming ধাঁচের সীমা simulation দিয়েই বের করে, আর নতুন পথে তিন নিয়মের ভুল, power আর গড় থামার দিন মাপে; আসল ১০% উন্নতির পথও বানানো হয়।

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(7)
D, per_day, p, sims = 14, 2250, 0.05, 4000         # 14 দিন, দিনে প্রতি দলে 2250 জন
n = per_day * np.arange(1, D + 1)                  # প্রতিদিন শেষে জমা গ্রাহক
def z_paths(p_b):                                  # প্রতিদিন শেষে জমা ডেটায় |z|
    a = rng.binomial(per_day, p, (sims, D)).cumsum(1)
    b = rng.binomial(per_day, p_b, (sims, D)).cumsum(1)
    pool = (a + b) / (2 * n)
    return np.abs((b - a) / n / np.sqrt(pool * (1 - pool) * 2 / n))

Z = z_paths(p)                                     # A/A: কোনো আসল পার্থক্য নেই
fpr = [np.mean((Z[:, :k] > 1.96).any(1)) for k in range(1, D + 1)]
print("শুধু শেষ দিনে একবার দেখা:", round(float(np.mean(Z[:, -1] > 1.96)), 3))
print("রোজ দেখে p < 0.05 হলেই থামা, 2/5/8/11/14 বার:", [round(float(f), 3) for f in fpr[1::3]])
t = n / n[-1]                                      # কতটা ডেটা এসেছে (information fraction)
c_poc = np.quantile(Z.max(1), 0.95)                # Pocock: সব দিনে একই সীমা
c_obf = np.quantile((Z * np.sqrt(t)).max(1), 0.95) # O'Brien–Fleming ধাঁচ: সীমা c/√t
print(f"Pocock সীমা {c_poc:.2f} | OBF সীমা দিন 1: {c_obf / np.sqrt(t[0]):.2f}, "
      f"দিন 7: {c_obf / np.sqrt(t[6]):.2f}, দিন 14: {c_obf:.2f}")
Z2, Zb = z_paths(p), z_paths(p * 1.10)             # নতুন A/A, আর আসল 10% উন্নতি
for name, bound in [("fixed", np.r_[[np.inf] * (D - 1), 1.96]),
                    ("Pocock", np.full(D, c_poc)), ("OBF", c_obf / np.sqrt(t))]:
    hit = Zb > bound
    stop = np.where(hit.any(1), hit.argmax(1) + 1, D)
    print(f"{name:6s}: A/A ভুল {(Z2 > bound).any(1).mean():.3f} | power {hit.any(1).mean():.3f}"
          f" | গড়ে থামার দিন {stop.mean():.1f}")

fig, ax = plt.subplots(figsize=(7, 4))
ax.plot(range(1, D + 1), fpr, "o-", label="peek daily, stop at p < 0.05")
ax.axhline(0.05, ls="--", color="gray", label="nominal 5%")
ax.set_xlabel("Number of daily looks"); ax.set_ylabel("False-positive rate (A/A)")
ax.set_title("Peeking inflates false positives"); ax.legend()
plt.show()

শুধু শেষ দিনে একবার দেখা: 0.053
রোজ দেখে p < 0.05 হলেই থামা, 2/5/8/11/14 বার: [0.09, 0.145, 0.183, 0.206, 0.229]
Pocock সীমা 2.64 | OBF সীমা দিন 1: 7.91, দিন 7: 2.99, দিন 14: 2.11
fixed : A/A ভুল 0.053 | power 0.800 | গড়ে থামার দিন 14.0
Pocock: A/A ভুল 0.050 | power 0.663 | গড়ে থামার দিন 9.6
OBF   : A/A ভুল 0.050 | power 0.777 | গড়ে থামার দিন 10.6

৬ · সমাধান — fixed horizon, group-sequential সীমা আর alpha spending

প্রথম সমাধান সবচেয়ে সরল: fixed horizon. n আর দিন আগে ঠিক, শেষ দিনে একবার test. মাঝে dashboard দেখা যায় শুধু যন্ত্রের স্বাস্থ্য (SRM, error, guardrail-এর বড় ক্ষতি) দেখতে, সিদ্ধান্তের জন্য নয়। ওপরের আউটপুটে “fixed” সারি: A/A ভুল ০.০৫৩, power ০.৮০০, থামা সবসময় দিন ১৪.

দ্বিতীয় সমাধান group-sequential test: কয়েকটি আগে ঠিক করা দেখা, প্রতিটিতে উঁচু সীমা, যাতে মোট ভুল α থাকে। এই ধারা এসেছে ক্লিনিক্যাল ট্রায়াল থেকে, যেখানে ওষুধ স্পষ্ট উপকারী বা ক্ষতিকর হলে আগে থামা নৈতিক দায়িত্ব। Armitage, McPherson আর Rowe ১৯৬৯ সালে দেখান বারবার test-এ ভুল কতটা বাড়ে; Stuart Pocock ১৯৭৭ সালে সব দেখায় সমান সীমা প্রস্তাব করেন, আর Peter O'Brien ও Thomas Fleming ১৯৭৯ সালে এমন সীমা দেন যা শুরুতে খুব কড়া আর শেষে প্রায় সাধারণ।

• Pocock (Pocock boundary): ওপরের run-এ ১৪টি দেখায় প্রতিদিন |z| > ২.৬৪. মোট ভুল ০.০৫০, কিন্তু শেষ দিনেও ২.৬৪ লাগে বলে power ০.৮০০ থেকে ০.৬৬৩-এ নামে। আসল প্রভাব থাকলে গড়ে থামা ৯.৬ দিনে।
• O'Brien–Fleming (O'Brien–Fleming boundary): সীমা c/√t, t হলো এ পর্যন্ত আসা তথ্যের ভাগ। প্রথম দিনে ৭.৯১ (প্রায় অসম্ভব), সপ্তম দিনে ২.৯৯, শেষে ২.১১. মোট ভুল ০.০৫০, power ০.৭৭৭ (fixed-এর কাছাকাছি), আর আসল প্রভাব থাকলে গড়ে ১০.৬ দিনে থামে।

এখানে সীমাগুলো simulation-এর ৯৫তম percentile থেকে বের করা, যাতে ধারণাটি স্বচ্ছ থাকে; পাঠ্যবইয়ের টেবিল বা বিশেষ সফটওয়্যার সংখ্যাগুলো সংখ্যাগত সমাকলন দিয়ে আরও নিখুঁত দেয়, আর প্রকৃত ব্যবহারে সেগুলোই নিন। বাস্তবে আরেকটি সমস্যা: দেখার দিন আর সংখ্যা আগে জানা না-ও থাকতে পারে। Lan আর DeMets ১৯৮৩ সালে এর সমাধান দেন alpha spending দিয়ে: মোট α-কে একটি ফাংশন α(t) অনুযায়ী তথ্যের ভাগ t-এর সঙ্গে “খরচ” করা। দুটি পরিচিত ফাংশন, হাতে হিসাব করা মান:

Φ standard normal-এর cumulative distribution. টেবিলের মান মোট খরচ করা α, প্রতিটি দেখার সীমা নয়: OBF ধাঁচে অর্ধেক ডেটায় মাত্র ০.০০৫৬ খরচ হয়েছে, বাকি প্রায় সবটুকু শেষের জন্য জমা। প্রতিটি দেখার আসল সীমা আগের দেখাগুলোর correlation ধরে হিসাব করতে হয়, যা সফটওয়্যারের কাজ।

৭ · Randomisation-এর একক, interference আর design effect

সাধারণ z-test ধরে নেয়, প্রতিটি গ্রাহকের ফল স্বাধীন, আর একজনের দল আরেকজনের ফল বদলায় না। দ্বিতীয় শর্তের নাম Rubin-এর SUTVA (stable unit treatment value assumption); ভাঙলে বলে interference. বাজারঘরের মতো দোকানে এটি সহজেই ভাঙে: একই এলাকার courier, একই পণ্যের মজুত, একই ক্রেতার জন্য প্রতিযোগী বিক্রেতা। তখন randomisation-এর একককে বড় করতে হয়: এক zone বা এক পণ্য-শ্রেণির সবাই একসঙ্গে এক দলে। একে বলে cluster randomisation.

একই zone-এর গ্রাহকেরা একে অপরের মতো: একই courier, একই রাস্তা, কাছাকাছি আয়। এই মিলের মাপ intraclass correlation (ICC, ρ): একই cluster-এর দুজনের ফলের correlation. Leslie Kish-এর ১৯৬৫ সালের Survey Sampling বইয়ে প্রচলিত design effect:

DEFF = 1 + (m − 1) ρ

m প্রতিটি cluster-এর গড় আকার। Cluster randomisation-এ variance সাধারণ হিসাবের DEFF গুণ, তাই একই power-এর জন্য n-ও DEFF গুণ লাগে; উল্টো দিক থেকে, N জন গ্রাহক আসলে প্রায় N/DEFF জন স্বাধীন গ্রাহকের সমান তথ্য দেয়। ρ ছোট দেখালেও m বড় হলে DEFF বিশাল: ρ = ০.০১, m = ৪০০ হলে ১ + ৩৯৯ × ০.০১ = ৪.৯৯; ρ = ০.০০১ হলে ১.৪০. তাই cluster-এ ভাগ করলে সংখ্যা আর আকার দুটিই জরুরি: ৮০টি zone, প্রতিটিতে ৪০০ জনের চেয়ে ৪০০টি zone, প্রতিটিতে ৮০ জন অনেক বেশি তথ্য দেয়।

৮ · বিশ্বাসের পরীক্ষা — sample ratio mismatch আর A/A test

ফল দেখার আগে প্রশ্ন: যন্ত্রটি ঠিক চলেছে তো? দুটি পরীক্ষা প্রায় সব অভিজ্ঞ experiment দলই চালায়।

Sample ratio mismatch (SRM): পরিকল্পনা ৫০/৫০, কিন্তু দলের আকার এলোমেলোতার চেয়ে বেশি আলাদা। কারণ প্রায়ই প্রযুক্তিগত: treatment পাতা ধীরে খোলে বলে কিছু গ্রাহক log হওয়ার আগেই চলে যান, bot একটি দলে বেশি পড়ে, redirect-এ কিছু হারায়। যে কারণেই হোক, দুই দল তখন আর তুলনীয় নয়, আর বাকি সব বিশ্লেষণ অর্থহীন। যাচাই chi-square goodness-of-fit test দিয়ে: χ² = ∑ (দেখা − প্রত্যাশিত)² ÷ প্রত্যাশিত, ১ df. সাধারণ test-এর চেয়ে কড়া সীমা (যেমন p < ০.০০১) ব্যবহারের পরামর্শ দেওয়া হয়, কারণ SRM check অনেক test-এ বারবার চলে।

A/A test: দুই দলেই একই পুরোনো ব্যবস্থা। পুরো যন্ত্র (ভাগ করা, log, metric-এর হিসাব, test) সৎ হলে অনেক A/A test-এ p-value সমভাবে ০ থেকে ১-এ ছড়ায়, আর মাত্র প্রায় ৫% significant হয়। এর বেশি হলে কোথাও ভুল: SRM, ভুল variance, বা অংশ ৭-এর মতো একক আর বিশ্লেষণের অমিল।

নিচের ব্লক প্রথমে একটি SRM check করে। তারপর ৮০টি zone-এর ৪,০০০টি A/A test চালায়, যেখানে প্রতিটি zone-এর নিজস্ব conversion হার Beta বণ্টন থেকে আসে (গড় ০.০৫, ICC ০.০১): একবার গ্রাহক ধরে ভাগ, একবার zone ধরে ভাগ, আর দ্বিতীয়টি সাধারণ z-test দিয়ে ও design effect দিয়ে সংশোধন করে।

import numpy as np
from scipy.stats import chisquare, norm

obs = np.array([31512, 30612])                     # control, treatment: পরিকল্পনা 50/50
chi2, p_srm = chisquare(obs, f_exp=[obs.sum() / 2] * 2)
print(f"SRM: treatment-এর ভাগ {obs[1] / obs.sum():.4f}, chi2 = {chi2:.2f}, p = {p_srm:.1e}")

rng = np.random.default_rng(62)
Z, m, rho, sims = 80, 400, 0.01, 4000              # 80টি zone, প্রতিটিতে 400 গ্রাহক, ICC 0.01
a, b = 0.05 * (1 / rho - 1), 0.95 * (1 / rho - 1)  # Beta(a, b): গড় 0.05, ICC = 1/(a+b+1)
deff = 1 + (m - 1) * rho
print(f"design effect = 1 + ({m} − 1) × {rho} = {deff:.2f}; "
      f"{Z * m:,} জন ≈ {Z * m / deff:,.0f} জন স্বাধীন গ্রাহকের সমান তথ্য")

def ztest(x1, n1, x2, n2):
    pool = (x1 + x2) / (n1 + n2)
    return (x2 / n2 - x1 / n1) / np.sqrt(pool * (1 - pool) * (1 / n1 + 1 / n2))

pz = rng.beta(a, b, (sims, Z))                     # A/A: প্রতিটি zone-এর নিজস্ব হার
nt = rng.binomial(m, 0.5, (sims, Z))               # গ্রাহক ধরে: zone-এর ভেতরে অর্ধেক-অর্ধেক
xt, xc = rng.binomial(nt, pz), rng.binomial(m - nt, pz)
z_cust = ztest(xc.sum(1), (m - nt).sum(1), xt.sum(1), nt.sum(1))

conv = rng.binomial(m, pz)                         # zone ধরে: অর্ধেক zone পুরোটা treatment
tz = rng.random((sims, Z)).argsort(1) < Z // 2
z_zone = ztest((conv * ~tz).sum(1), m * Z // 2, (conv * tz).sum(1), m * Z // 2)

p_cust = 2 * norm.sf(np.abs(z_cust))
print("A/A, গ্রাহক ধরে: p < 0.05 হার", np.mean(p_cust < 0.05).round(3))
print("   p-value-এর দশ ভাগে সংখ্যা:", np.histogram(p_cust, bins=10, range=(0, 1))[0])
print("A/A, zone ধরে, সাধারণ z-test: p < 0.05 হার", np.mean(np.abs(z_zone) > 1.96).round(3))
print("A/A, zone ধরে, z ÷ √deff:     p < 0.05 হার",
      np.mean(np.abs(z_zone) / np.sqrt(deff) > 1.96).round(3))

SRM: treatment-এর ভাগ 0.4928, chi2 = 13.04, p = 3.1e-04
design effect = 1 + (400 − 1) × 0.01 = 4.99; 32,000 জন ≈ 6,413 জন স্বাধীন গ্রাহকের সমান তথ্য
A/A, গ্রাহক ধরে: p < 0.05 হার 0.042
   p-value-এর দশ ভাগে সংখ্যা: [367 419 422 411 417 370 396 372 420 406]
A/A, zone ধরে, সাধারণ z-test: p < 0.05 হার 0.382
A/A, zone ধরে, z ÷ √deff:     p < 0.05 হার 0.052

৯ · কত দিন চালাবেন — novelty, সাপ্তাহিক ছন্দ আর লিখিত test plan

n থেকে দিন বের হয়, কিন্তু দিনের সংখ্যায় আরও তিনটি বিষয় ঢোকে:

• সাপ্তাহিক ছন্দ: বাজারঘরে শুক্রবার আর মাসের শুরুতে (বেতনের পর) ক্রেতার মিশ্রণ আলাদা হতে পারে। তাই অন্তত এক পুরো সপ্তাহ, আর সম্ভব হলে পুরো সপ্তাহের গুণিতকে চালান, যাতে প্রতিটি বার সমান সংখ্যায় থাকে। ঈদের আগের সপ্তাহের মতো অস্বাভাবিক সময়ে চালানো test-এর ফল সারা বছরের জন্য না-ও খাটতে পারে।
• Novelty আর primacy: নতুন কিছু দেখে নিয়মিত ক্রেতারা কয়েক দিন বেশি ক্লিক করতে পারেন (novelty effect), যা পরে মিলিয়ে যায়। উল্টোটিও হয়: অভ্যাস ভাঙায় প্রথমে খারাপ, পরে ভালো (primacy effect). ধরার উপায়: প্রভাবকে দিন ধরে আঁকা, আর নতুন বনাম পুরোনো গ্রাহক আলাদা দেখা। সন্দেহ থাকলে একটি ছোট দলকে দীর্ঘদিন পুরোনো ব্যবস্থায় রাখা (holdout) সাহায্য করে।
• সর্বোচ্চ সময়: খুব লম্বা test-এ cookie মুছে যাওয়া, গ্রাহকের যন্ত্র বদল আর অন্য test-এর সঙ্গে সংঘর্ষ বাড়ে। n খুব বড় লাগলে MDE বা metric নতুন করে ভাবুন।

শেষ ধাপ সব সিদ্ধান্ত চালুর আগে লেখা, একটি pre-registration: যাতে ফল দেখে metric, segment বা থামার দিন বদলানোর সুযোগ না থাকে (পর্ব ০৪-এর forking paths). বাজারঘরের checkout test-এর জন্য একটি ছাঁচ:

বাজারঘর test plan · checkout-delivery-days · v1 (চালুর আগে লেখা)
Hypothesis   : delivery-র আনুমানিক দিন দেখালে checkout conversion বাড়বে
Primary      : checkout শুরু করা গ্রাহকের মধ্যে অর্ডার শেষের হার (baseline 5.0%)
Guardrails   : বাতিলের হার, ফেরতের হার, পাতা খোলার p95 সময়, অভিযোগ
Unit         : login করা গ্রাহক (ID hash), ভাগ 50/50; বিশ্লেষণও গ্রাহক ধরে
MDE, α, power: 10% আপেক্ষিক (5.0% → 5.5%), 0.05 দুই দিকে, 80%
Sample size  : প্রতি দলে 31,234; দিনে ~4,500 → 14 দিন (দুই পুরো সপ্তাহ)
Looks        : শুধু দিন 14-এ সিদ্ধান্ত; রোজ শুধু SRM আর guardrail
Checks       : SRM chi-square p < 0.001 হলে বিশ্লেষণ বন্ধ; আগের A/A test পাস
Analysis     : দুই অনুপাতের z-test আর 95% CI; segment শুধু নতুন/পুরোনো গ্রাহক
Decision     : CI পুরোটা 0-এর ওপরে আর guardrail ঠিক থাকলে চালু; নইলে চালু নয়

এই ছাঁচ একটি উদাহরণ, কোনো মানদণ্ড নয়। মূল কথা: প্রতিটি লাইন ফল দেখার আগে লেখা, তারিখসহ, আর বদলালে কেন বদলালেন তাও লেখা।

১০ · AI-এর যুগে — AI-এর বানানো test plan আর power হিসাব যাচাই

“আমার A/B test-এর sample size বলো” লিখলে AI assistant মুহূর্তে একটি সংখ্যা দেয়। সমস্যা হলো সংখ্যাটির পেছনের অনুমান প্রায়ই অদৃশ্য:

AI-এর দেওয়া test plan হাতে পেলে — যাচাইয়ের চেকলিস্ট

• p₁, p₂, α, power আর “প্রতি দলে” কথাটি স্পষ্ট লেখা, আর হাতে একবার মিলিয়েছি
• statsmodels বা অন্য লাইব্রেরির ফাংশন নিজের version-এর docs-এ খুঁজে পেয়েছি, আর জানা উত্তরে চালিয়েছি
• Simulation-এ A/A-র Type I error প্রায় ৫% আর পরিকল্পিত power পেয়েছি
• থামার নিয়ম, দেখার দিন আর SRM-এর সীমা চালুর আগে লিখেছি
• Randomisation আর বিশ্লেষণের একক মিলিয়েছি; cluster হলে design effect হিসাব করেছি
• কোনো আসল গ্রাহকের ডেটা বা গোপন ব্যবসার সংখ্যা AI-তে পেস্ট করিনি