লিখিত ও মৌখিক (ভাইভা) প্রশ্ন — Machine Learning-এর তত্ত্ব আর প্রয়োগ

অনুমান: y = f(x) + ε, যেখানে E[ε] = ০, Var(ε) = σ², আর ε training ডেটা থেকে স্বাধীন। f̂_D হলো training set D থেকে শেখা model. প্রত্যাশা দুটি এলোমেলোতার ওপর: কোন D এল, আর নতুন y-এর noise. লিখি f̄(x) = E_D[f̂_D(x)], অর্থাৎ অনেক training set-এর গড় অনুমান।

ধাপ: y − f̂ = (f − f̄) + (f̄ − f̂) + ε. বর্গ করে প্রত্যাশা নিলে তিনটি cross term শূন্য: ε-এর গড় শূন্য আর সে D থেকে স্বাধীন; আর E_D[f̄ − f̂] = ০, f̄-এর সংজ্ঞা থেকেই।

E[(y − f̂_D(x))²] = σ² + (f(x) − f̄(x))² + E_D[(f̂_D(x) − f̄(x))²]

প্রথম পদ irreducible error, কোনো model কমাতে পারে না। দ্বিতীয় পদ bias² (গড় অনুমান আসল থেকে কত দূরে), তৃতীয় পদ variance (training set বদলালে অনুমান কতটা নড়ে)। ক্রিকেটের একজন বোলারের কথা ভাবুন: সব বল এক কোণে পড়লে bias, এলোমেলো ছড়ালে variance.

import numpy as np
from numpy.polynomial import Polynomial

rng = np.random.default_rng(75)
f = lambda x: np.sin(2 * np.pi * x)     # true function
sigma, n, R = 0.3, 20, 500             # noise sd, train size, repeats
xs = np.linspace(0, 1, n)              # fixed training x
x0 = (xs[:-1] + xs[1:]) / 2            # test points between them

print("degree  bias^2  variance  noise  sum    test MSE")
for deg in (1, 3, 9):
    preds = np.empty((R, x0.size))
    for r in range(R):                 # R different training sets D
        y = f(xs) + sigma * rng.standard_normal(n)
        preds[r] = Polynomial.fit(xs, y, deg)(x0)
    avg = preds.mean(axis=0)           # f-bar(x)
    bias2 = np.mean((avg - f(x0)) ** 2)
    var = np.mean(preds.var(axis=0))
    y0 = f(x0) + sigma * rng.standard_normal((R, x0.size))
    mse = np.mean((y0 - preds) ** 2)   # fresh test labels
    print(f"{deg:>6}  {bias2:.4f}  {var:.4f}    {sigma**2:.2f}   "
          f"{bias2 + var + sigma**2:.4f} {mse:.4f}")

degree  bias^2  variance  noise  sum    test MSE
     1  0.1998  0.0087    0.09   0.2985 0.2974
     3  0.0050  0.0156    0.09   0.1106 0.1100
     9  0.0001  0.0429    0.09   0.1330 0.1335

সীমা: এই ভাঙন squared loss-এর; 0-1 loss-এ এমন পরিষ্কার যোগফল নেই। “জটিলতা বাড়লে variance বাড়ে” সবসময় সত্য নয়: অনেক parameter-এর model-এ double descent দেখা যায় (পর্ব ৩)। Bias–variance আর পর্ব ৩-এর approximation–estimation ভাঙন কাছাকাছি ধারণা, হুবহু এক নয়।

পরীক্ষক যা খোঁজেন: অনুমান আর প্রত্যাশা কিসের ওপর (২); cross term কেন শূন্য, কারণসহ (৩); তিন পদের নাম আর মানে (১); মাত্রা বাড়ার প্রভাব, সংখ্যা বা ছবিসহ (২); সীমা (২)। পর্ব ৩ · পর্ব ১৭ · পর্ব ২৩

যেখানে নম্বর কাটে: একটি training set-এ variance “মাপা”; noise পদ বাদ দেওয়া; cross term কেন যায় তা না বলে মুছে দেওয়া; bias² না লিখে bias লেখা।

অনুমান: y = Xw + ε, ε ~ N(০, σ²I); প্রতিটি w_j ~ N(০, τ²), স্বাধীন। MAP মানে posterior-এর সর্বোচ্চ বিন্দু, আর posterior ∝ likelihood × prior.

ধাপ: log নিয়ে চিহ্ন উল্টালে সর্বোচ্চ posterior মানে সর্বনিম্ন

−log p(w ∣ y) = ‖y − Xw‖²/(2σ²) + ‖w‖²/(2τ²) + ধ্রুবক

2σ² দিয়ে গুণ করলে ‖y − Xw‖² + (σ²/τ²)‖w‖², ঠিক ridge-এর লক্ষ্য, λ = σ²/τ². Prior যত সরু (τ ছোট) বা noise যত বেশি, λ তত বড়। Gradient শূন্য করলে বন্ধ সূত্র w = (XᵀX + λI)⁻¹Xᵀy. Laplace prior p(w_j) ∝ exp(−|w_j|/b) নিলে একই পথে ‖w‖₁ আসে, λ = 2σ²/b: lasso. Laplace-এর শূন্যে তীক্ষ্ণ চূড়াই অনেক w-কে ঠিক শূন্যে আটকায়।

import numpy as np
from scipy.optimize import minimize
from sklearn.linear_model import Ridge

rng = np.random.default_rng(75)
n, d, sigma, tau = 30, 4, 2.0, 0.5
X = rng.standard_normal((n, d))
y = X @ np.array([1.0, -0.5, 0.0, 0.3]) + sigma * rng.standard_normal(n)

lam = sigma**2 / tau**2                       # lambda = sigma^2 / tau^2
w_ridge = np.linalg.solve(X.T @ X + lam * np.eye(d), X.T @ y)

def neg_log_post(w):                          # -log likelihood - log prior
    return (np.sum((y - X @ w) ** 2) / (2 * sigma**2)
            + np.sum(w**2) / (2 * tau**2))
w_map = minimize(neg_log_post, np.zeros(d), method="BFGS").x
w_sk = Ridge(alpha=lam, fit_intercept=False).fit(X, y).coef_
w_ols = np.linalg.lstsq(X, y, rcond=None)[0]

np.set_printoptions(precision=4, suppress=True)
print("lambda =", lam)
print("closed-form ridge:", w_ridge)
print("numerical MAP    :", w_map)
print("sklearn Ridge    :", w_sk)
print("ridge == MAP (atol 1e-6):", np.allclose(w_ridge, w_map, atol=1e-6))
print("OLS (no prior)   :", w_ols)

lambda = 16.0
closed-form ridge: [ 0.4763 -0.4479 -0.331  -0.0644]
numerical MAP    : [ 0.4763 -0.4479 -0.331  -0.0644]
sklearn Ridge    : [ 0.4763 -0.4479 -0.331  -0.0644]
ridge == MAP (atol 1e-6): True
OLS (no prior)   : [ 0.8096 -0.958  -0.6481 -0.0789]

সীমা: MAP একটি বিন্দু। Laplace prior-এর পুরো posterior-এর গড় সাধারণত ঠিক শূন্য দেয় না, তাই “lasso শূন্য করেছে, তাই feature অকেজো” দাবিটি দুর্বল। সব w_j-এ একই prior যুক্তিসঙ্গত কেবল feature একই মাপে থাকলে: তাই আগে standardization, আর intercept-এ শাস্তি নয়।

পরীক্ষক যা খোঁজেন: দুই অনুমান (২); −log posterior আর 2σ² দিয়ে গুণ (৩); λ = σ²/τ² (১); Laplace → L1 (১); যাচাই বা বন্ধ সূত্র (১); সীমা (২)। পর্ব ১৭ · পর্ব ১৮ · পর্ব ৪৫

যেখানে নম্বর কাটে: λ = τ²/σ² উল্টো লেখা; “MAP = posterior mean” সব ক্ষেত্রে বলা (Gaussian-এ মেলে, Laplace-এ নয়); intercept-কেও শাস্তি দেওয়া।

দুই পথ: X centred (n × d). Covariance S = XᵀX/(n − ১) = VΛVᵀ; principal component হলো V-এর কলাম, eigenvalue λ_j সেই দিকের variance. আবার SVD X = UΣVᵀ বসালে XᵀX = VΣ²Vᵀ, তাই একই V, আর λ_j = σ_j²/(n − ১). Score XV = UΣ.

সীমা: Center না করলে প্রথম component প্রায়ই শুধু গড়ের দিক দেখায়; আর মাপ আলাদা হলে (টাকা বনাম দিন) আগে standardize. PCA শুধু রৈখিক দিক খোঁজে।

পরীক্ষক যা খোঁজেন: দুই সূত্র (২); λ = σ²/(n − ১) সম্পর্ক (১); কখন কোনটি (১); centering-এর সীমা (১)। পর্ব ৮ · পর্ব ৯

যেখানে নম্বর কাটে: eigenvalue = singular value লেখা; centering বাদ; U আর V গুলিয়ে ফেলা।

ধাপ: y_i ∈ {০, ১}, p_i = σ(x_i·w). Likelihood ∏ p_i^y_i(১ − p_i)^১−y_i. ঋণাত্মক log নিলে −∑[y_i log p_i + (১ − y_i) log(১ − p_i)], অর্থাৎ log loss বা binary cross-entropy. σ′(z) = σ(১ − σ) ব্যবহার করলে প্রতিটি সারির অবদান (p_i − y_i)x_i, তাই ∇ = Xᵀ(p − y). Hessian XᵀWX, W = diag(p(১ − p)) ⪰ ০, তাই loss convex.

GLM: তিন উপাদান: random অংশ Bernoulli (একটি exponential family), linear predictor η = x·w, আর link logit, log(p/(১ − p)) = η. Logit-ই Bernoulli-র canonical link, তাই gradient এত সরল। Poisson regression একই কাঠামো, log link.

সীমা: ডেটা পুরো আলাদা করা গেলে (perfect separation) MLE অসীমে যায়; তখন regularization লাগে।

পরীক্ষক যা খোঁজেন: likelihood আর −log (২); gradient (১); GLM-এর তিন অংশ (১); separation-এর সীমা (১)। পর্ব ১৮ · পর্ব ২০ · পর্ব ১১

যেখানে নম্বর কাটে: MSE দিয়ে শুরু করা; gradient-এর চিহ্ন উল্টো (y − p-কে loss-এর gradient ধরে gradient descent-এ বিয়োগ); “linear model, তাই output linear” বলা।

সংজ্ঞা: Model calibrated, যদি P(Y = ১ ∣ p̂ = p) = p: যেসব অর্ডারে model ০.৩ বলে, তাদের প্রায় ৩০% ফেরত আসে। Discrimination হলো ক্রম ঠিক রাখা: ফেরত-অর্ডারকে বেশি score. AUC = একটি এলোমেলো positive-এর score একটি এলোমেলো negative-এর চেয়ে বেশি হওয়ার সম্ভাবনা, তাই শুধু ক্রমের ওপর নির্ভর করে। g একঘেয়ে বাড়ন্ত হলে g(s₁) > g(s₂) ⇔ s₁ > s₂, তাই AUC অপরিবর্তিত। Brier = গড় (p̂ − y)² আর ECE = ∑_b(n_b/N)|ō_b − p̄_b| সংখ্যার মানের ওপর নির্ভর করে, তাই বদলায়।

import numpy as np
from sklearn.metrics import roc_auc_score, brier_score_loss

rng = np.random.default_rng(75)
p_true = rng.beta(2, 5, 20000)              # each order's real return risk
y = rng.binomial(1, p_true)

def ece(y, p, bins=10):                     # equal-width bins
    idx = np.minimum((p * bins).astype(int), bins - 1)
    return sum(np.mean(idx == b) * abs(y[idx == b].mean() - p[idx == b].mean())
               for b in range(bins) if np.any(idx == b))

scores = {
    "honest p        ": p_true,
    "p ** 3 (too low) ": p_true ** 3,
    "sqrt p (too high)": np.sqrt(p_true),
    "constant 0.286  ": np.full_like(p_true, y.mean()),
}
print("model              AUC     Brier   ECE")
for name, p in scores.items():
    print(f"{name}  {roc_auc_score(y, p):.4f}  "
          f"{brier_score_loss(y, p):.4f}  {ece(y, p):.4f}")
print("base rate:", round(y.mean(), 4))

model              AUC     Brier   ECE
honest p          0.7252  0.1777  0.0083
p ** 3 (too low)   0.7252  0.2459  0.2388
sqrt p (too high)  0.7252  0.2289  0.2242
constant 0.286    0.5000  0.2044  0.0000
base rate: 0.2864

প্রতিকার আর সীমা: আলাদা calibration ভাগে Platt scaling (দুই parameter-এর sigmoid) বা isotonic regression (বেশি ডেটা লাগে)। Train ডেটায় calibrate করলে overconfidence থেকে যায়। আর ১০টি bin-এর ECE bin-এর সংখ্যার ওপর নির্ভর করে; reliability diagram-এর পাশে দেখুন।

পরীক্ষক যা খোঁজেন: দুই সংজ্ঞা (২); AUC কেন অপরিবর্তিত, যুক্তিসহ (২); Brier/ECE কেন বদলায় (১.৫); সংখ্যায় উদাহরণ (১.৫); সিদ্ধান্তের ছক (১.৫); প্রতিকার ও সীমা (১.৫)। পর্ব ২৬ · পর্ব ৫০

যেখানে নম্বর কাটে: “AUC বেশি, তাই সম্ভাবনা ঠিক” লেখা; test ভাগে calibrator fit করা; resampling-এর পরে সম্ভাবনা সংশোধন না করা।

একই test set: দুটি accuracy স্বাধীন নয়, তাই দুই অনুপাতের সাধারণ z-test ভুল। McNemar test শুধু মতভেদের ঘর দেখে: b = A ঠিক, B ভুল; c = A ভুল, B ঠিক। χ² = (|b − c| − ১)²/(b + c), ১ df; b + c ছোট হলে exact binomial test. দুজনই ঠিক বা দুজনই ভুল সারি কিছু বলে না।

Cross-validation: fold-এর training set বেশিরভাগ সারি ভাগ করে, তাই fold-এর পার্থক্যের ওপর সাধারণ paired t-test অতি-আশাবাদী; Nadeau–Bengio-র corrected resampled t-test বা 5×2cv test.

অনেক তুলনা: দশটি test-এ প্রতিটি α = ০.০৫ হলে অন্তত একটি ভুয়া “জয়”-এর সম্ভাবনা অনেক বেশি (multiple comparisons). Holm বা Bonferroni পরিবারভিত্তিক ভুল রক্ষা করে; Benjamini–Hochberg আবিষ্কারের মধ্যে ভুলের অনুপাত।

পরীক্ষক যা খোঁজেন: স্বাধীন নয় কেন (১); McNemar-এর সূত্র আর b, c (২); CV-এর সমস্যা (১); multiple comparisons (১)। পর্ব ২২ · পর্ব ৪

যেখানে নম্বর কাটে: “০.০২ বেশি, তাই ভালো” লেখা; p-value-কে প্রভাবের আকার ভাবা; একটি seed-এর ফল দিয়ে সিদ্ধান্ত।

Primal: min ½‖w‖² + C∑ξ_i, শর্ত y_i(w·x_i + b) ≥ ১ − ξ_i, ξ_i ≥ ০. এখানে ξ_i margin ভাঙার পরিমাণ, C ভুলের দাম।

Lagrangian: α_i, μ_i ≥ ০ দিয়ে L = ½‖w‖² + C∑ξ_i − ∑α_i[y_i(w·x_i + b) − ১ + ξ_i] − ∑μ_iξ_i. ঢাল শূন্য করলে: ∂/∂w ⇒ w = ∑α_iy_ix_i; ∂/∂b ⇒ ∑α_iy_i = ০; ∂/∂ξ_i ⇒ C − α_i − μ_i = ০, তাই α_i ≤ C. ফেরত বসালে:

max_α ∑α_i − ½∑_i∑_j α_iα_jy_iy_j(x_i·x_j), শর্ত ০ ≤ α_i ≤ C, ∑α_iy_i = ০

KKT: Complementary slackness α_i[y_if(x_i) − ১ + ξ_i] = ০ আর (C − α_i)ξ_i = ০. তাই α = ০ ⇒ y·f ≥ ১ (বাইরে, ভূমিকা নেই); ০ < α < C ⇒ ξ = ০, y·f = ১ (ঠিক margin-এ, “মুক্ত” support vector; b এখান থেকে); α = C ⇒ y·f ≤ ১ (ভেতরে বা ভুল দিকে)।

import numpy as np
from sklearn.svm import SVC

rng = np.random.default_rng(75)
X = np.vstack([rng.normal([-1, -1], 1.0, (40, 2)),
               rng.normal([1.5, 1.5], 1.0, (40, 2))])
y = np.array([-1] * 40 + [1] * 40)
C = 1.0
svm = SVC(kernel="linear", C=C).fit(X, y)

ay = svm.dual_coef_.ravel()                  # alpha_i * y_i for SVs
alpha = np.abs(ay)
sv = svm.support_vectors_
w = ay @ sv                                  # w = sum alpha_i y_i x_i
margin = y[svm.support_] * svm.decision_function(sv)
free = alpha < C - 1e-8

print("support vectors:", len(alpha), "| free (0 < a < C):", free.sum(),
      "| at bound (a = C):", (~free).sum())
print("sum alpha*y is 0:", np.isclose(ay.sum(), 0))
print("w from alphas :", w.round(4))
print("svm.coef_     :", svm.coef_.ravel().round(4))
print("y*f(x) of free SVs    :", margin[free].round(3))
print("max y*f(x) of bound SVs:", margin[~free].max().round(3))

support vectors: 9 | free (0 < a < C): 3 | at bound (a = C): 6
sum alpha*y is 0: True
w from alphas : [1.1225 1.0613]
svm.coef_     : [1.1225 1.0613]
y*f(x) of free SVs    : [1. 1. 1.]
max y*f(x) of bound SVs: 0.467

Kernel-এর দরজা: Dual-এ ডেটা আসে শুধু x_i·x_j হিসেবে, আর অনুমান f(x) = ∑α_iy_i(x_i·x) + b. Dot product-কে K(x_i, x_j) দিয়ে বদলালে feature map না বানিয়েই উঁচু মাত্রার সীমারেখা (kernel trick). Primal convex আর শর্ত রৈখিক, তাই strong duality খাটে।

সীমা: Dual-এর Gram matrix n × n; লাখো সারিতে মেমরি আর সময় ভারী, তখন linear SVM, Nyström বা random features (পর্ব ৩১)। মুক্ত support vector না থাকলে b একটি পরিসর।

পরীক্ষক যা খোঁজেন: primal (১); Lagrangian আর তিন ঢাল (৩); dual-এর রূপ আর box constraint (২); KKT-র তিন দল (২); kernel আর সীমা (২)। পর্ব ২৮ · পর্ব ১৬ · পর্ব ২৯

যেখানে নম্বর কাটে: α ≤ C শর্ত বাদ (তাহলে hard-margin-এর dual); max আর min গুলিয়ে ফেলা; “সব support vector margin-এর ওপর” লেখা।

সূত্র: B টি অনুমানের প্রত্যেকের variance σ², জোড়ায় correlation ρ হলে গড়ের variance ρσ² + (১ − ρ)σ²/B. B বাড়ালে দ্বিতীয় পদ মিলিয়ে যায়, কিন্তু ρσ²-এর মেঝে থাকে। Random forest প্রতিটি split-এ এলোমেলো কিছু feature দেখে গাছগুলোর ρ কমায়, একক গাছ একটু খারাপ হলেও।

import numpy as np
from sklearn.datasets import make_moons
from sklearn.tree import DecisionTreeClassifier as Tree
from sklearn.ensemble import BaggingClassifier, AdaBoostClassifier

X, y = make_moons(1200, noise=0.3, random_state=75)
Xtr, ytr, Xte, yte = X[:600], y[:600], X[600:], y[600:]
models = {
    "stump (depth 1)      ": Tree(max_depth=1),
    "deep tree            ": Tree(random_state=0),
    "bagging, 100 deep    ": BaggingClassifier(Tree(), n_estimators=100,
                                               random_state=0),
    "AdaBoost, 200 stumps ": AdaBoostClassifier(Tree(max_depth=1),
                                                n_estimators=200, random_state=0),
}
rng = np.random.default_rng(75)
flip = rng.random(600) < 0.2                 # 20% wrong labels in training
print("model                  train   test | test, 20% label noise")
for name, m in models.items():
    m.fit(Xtr, ytr)
    tr, te = m.score(Xtr, ytr), m.score(Xte, yte)
    te_noisy = m.fit(Xtr, np.where(flip, 1 - ytr, ytr)).score(Xte, yte)
    print(f"{name}  {tr:.3f}  {te:.3f} | {te_noisy:.3f}")

model                  train   test | test, 20% label noise
stump (depth 1)        0.810  0.787 | 0.798
deep tree              1.000  0.870 | 0.738
bagging, 100 deep      1.000  0.878 | 0.822
AdaBoost, 200 stumps   0.922  0.897 | 0.872

সিদ্ধান্ত: কম tuning-এর শক্ত baseline চাইলে random forest; সর্বোচ্চ নির্ভুলতা আর tuning-এর সময় থাকলে gradient boosting (পর্ব ৩৬)। Bagging উচ্চ-bias model-এ (stump, linear regression) প্রায় লাভ দেয় না।

পরীক্ষক যা খোঁজেন: variance-সূত্র আর ρ-এর ভূমিকা (২); অন্তত পাঁচ সারির ছক (৪); সংখ্যা বা উদাহরণ (২); কখন কোনটি (২)। পর্ব ৩৩ · পর্ব ৩৪ · পর্ব ৩৫ · পর্ব ৩৮

যেখানে নম্বর কাটে: “boosting variance কমায়” মূল কথা হিসেবে লেখা; ρ-এর মেঝে বাদ; random forest-কে শুধু “অনেক গাছের bagging” বলা, feature subsampling ছাড়া।

ধাপ: EM-এর E-step: r_ik = π_kN(x_i; μ_k, Σ_k) ÷ ∑_jπ_jN(x_i; μ_j, Σ_j), পুরোনো θ দিয়ে (responsibility). M-step: N_k = ∑_ir_ik, π_k = N_k/n, μ_k = ∑r_ikx_i/N_k, Σ_k = ∑r_ik(x_i − μ_k)(x_i − μ_k)ᵀ/N_k, নতুন μ দিয়ে।

নিম্নসীমা: লুকানো z-এর ওপর যেকোনো q নিন। log concave, তাই Jensen:

log p(x ∣ θ) = log ∑_z q(z)·p(x, z ∣ θ)/q(z) ≥ ∑_z q(z) log[p(x, z ∣ θ)/q(z)] = ELBO(q, θ)

দুই দিকের ফাঁক ঠিক KL(q ‖ p(z ∣ x, θ)) ≥ ০. প্রমাণ: E-step-এ q = posterior, তাই KL = ০ আর ELBO(q, θ_{পুরোনো}) = ℓ(θ_{পুরোনো})। M-step-এ q স্থির রেখে θ বদলে ELBO বাড়ে। তাই ℓ(θ_নতুন) ≥ ELBO(q, θ_নতুন) ≥ ELBO(q, θ_{পুরোনো}) = ℓ(θ_{পুরোনো})।

import numpy as np
from scipy.stats import norm

x = np.array([1.0, 2.0, 4.0, 7.0])
pi, mu, sd = np.array([0.5, 0.5]), np.array([2.0, 6.0]), np.array([2.0, 2.0])

def joint(pi, mu, sd):                       # p(x_i, z_i = k), shape (4, 2)
    return pi * norm.pdf(x[:, None], mu, sd)

def loglik(pi, mu, sd):
    return np.log(joint(pi, mu, sd).sum(axis=1)).sum()

def elbo(q, pi, mu, sd):                     # sum q log(p(x, z) / q)
    return np.sum(q * (np.log(joint(pi, mu, sd)) - np.log(q)))

for it in range(1, 4):
    J = joint(pi, mu, sd)
    q = J / J.sum(axis=1, keepdims=True)     # E-step: q = posterior r_ik
    l_old, e_old = loglik(pi, mu, sd), elbo(q, pi, mu, sd)
    Nk = q.sum(axis=0)                       # M-step
    pi, mu = Nk / len(x), (q * x[:, None]).sum(axis=0) / Nk
    sd = np.sqrt((q * (x[:, None] - mu) ** 2).sum(axis=0) / Nk)
    e_new, l_new = elbo(q, pi, mu, sd), loglik(pi, mu, sd)
    print(f"it {it}: l {l_old:.4f} = ELBO {e_old:.4f} "
          f"<= ELBO' {e_new:.4f} <= l' {l_new:.4f}")
print("mu after 3 iterations:", mu.round(4))

it 1: l -9.0537 = ELBO -9.0537 <= ELBO' -8.6006 <= l' -8.4965
it 2: l -8.4965 = ELBO -8.4965 <= ELBO' -8.4285 <= l' -8.3991
it 3: l -8.3991 = ELBO -8.3991 <= ELBO' -8.3802 <= l' -8.3699
mu after 3 iterations: [1.9686 5.7797]

সীমা: (১) নিশ্চয়তা শুধু stationary বিন্দুর, প্রায়ই local maximum; তাই কয়েকটি শুরু থেকে চালিয়ে সেরা ℓ নিন। (২) একটি component একটি বিন্দুতে সংকুচিত হলে variance → ০, ℓ → ∞ (singularity); scikit-learn-এর reg_covar এটি আটকায়। শেষের দিকে গতি ধীর।

পরীক্ষক যা খোঁজেন: E আর M-step-এর সূত্র (২); Jensen দিয়ে ELBO (২); ফাঁক = KL (১); একঘেয়ে বৃদ্ধির শৃঙ্খল (৩); দুটি সীমা (২)। পর্ব ৩৯ · পর্ব ৪৮

যেখানে নম্বর কাটে: M-step-এ পুরোনো μ দিয়ে Σ; “EM global maximum দেয়” লেখা; Jensen-এর অসমতার দিক উল্টো।

সিদ্ধান্ত: সম্প্রদায়ে মতভেদ আছে: অনেক পরিসংখ্যানবিদ চূড়ান্ত বিশ্লেষণে MCMC (HMC/NUTS) চান, বড় মাপের ML-এ VI-ই সাধারণ। ছোট নমুনায় দুটি চালিয়ে মিলিয়ে দেখা একটি ভালো অভ্যাস।

পরীক্ষক যা খোঁজেন: optimization বনাম sampling (১); bias বনাম variance ধরনের ভুল (১); KL-এর দিক আর তার ফল (১); diagnostic (১); কখন কোনটি (১)। পর্ব ৪৭ · পর্ব ৪৮

যেখানে নম্বর কাটে: “VI সঠিক posterior দেয়” লেখা; KL-এর দিক উল্টো; MCMC-তে burn-in আর chain মেশার কথা বাদ।

পদ্ধতি: Train ভাগে model fit. আলাদা calibration ভাগের n টি উদাহরণে score s_i = |y_i − ŷ(x_i)|. সাজিয়ে k-তম ছোট মান q̂. নতুন x-এ পরিসর [ŷ(x) − q̂, ŷ(x) + q̂]।

প্রমাণ: অনুমান: calibration-এর n টি আর নতুন উদাহরণ মিলিয়ে n + ১টি score exchangeable (সমান মান নেই ধরি)। তাহলে নতুন score-টির ক্রম ১ থেকে n + ১-এর যেকোনোটি, প্রতিটি ১/(n + ১) সম্ভাবনায়। নতুন y পরিসরে থাকে ঠিক যখন তার score ≤ q̂, অর্থাৎ তার ক্রম ≤ k. তাই P(cover) ≥ k/(n + ১) ≥ ১ − α, কারণ k ≥ (n + ১)(১ − α)। k > n হলে পরিসর অসীম।

import numpy as np

rng = np.random.default_rng(75)
n, alpha, trials = 19, 0.1, 20000
k = int(np.ceil((n + 1) * (1 - alpha)))      # rank of the conformal quantile
print("n =", n, "| k =", k, "| promised coverage >=", 1 - alpha)

# scores |y - y_hat| of an imperfect model; any continuous law works
cal = np.abs(rng.standard_t(3, (trials, n)))
new = np.abs(rng.standard_t(3, trials))            # same distribution
shifted = 1.5 * np.abs(rng.standard_t(3, trials))  # noise grew after deploy

q_conf = np.sort(cal, axis=1)[:, k - 1]
q_naive = np.quantile(cal, 1 - alpha, axis=1)      # plain 90% quantile

print("conformal k-th score, coverage:", np.mean(new <= q_conf).round(4))
print("plain np.quantile,   coverage:", np.mean(new <= q_naive).round(4))
print("theory k/(n+1) =", k / (n + 1))
print("after shift, conformal coverage:", np.mean(shifted <= q_conf).round(4))

n = 19 | k = 18 | promised coverage >= 0.9
conformal k-th score, coverage: 0.8994
plain np.quantile,   coverage: 0.865
theory k/(n+1) = 0.9
after shift, conformal coverage: 0.7997

Marginal: ১ − α হলো সব x আর সব calibration ভাগের গড়; “এই নির্দিষ্ট অর্ডারের জন্য ৯০%” নয় (conditional coverage). দূরের এলাকার অর্ডারে coverage অনেক কম হয়েও গড় ৯০% থাকতে পারে। প্রতিকার: ঝুঁকির সঙ্গে চওড়া হয় এমন score (conformalized quantile regression), বা জানা দলে আলাদা calibration (Mondrian). Shift-এ নিয়মিত নতুন করে calibrate করুন, আর coverage নজরে রাখুন।

পরীক্ষক যা খোঁজেন: পদ্ধতির চার ধাপ (২); exchangeability অনুমান (১); ক্রমের যুক্তি আর k/(n + ১) (৩); marginal বনাম conditional (২); shift আর প্রতিকার (২)। পর্ব ৫৮ · পর্ব ৫৯

যেখানে নম্বর কাটে: train ভাগেই score মাপা; n দিয়ে quantile, n + ১ নয়; “প্রতিটি গ্রাহকের ৯০% নিশ্চয়তা” লেখা; i.i.d. না বলে “কোনো অনুমান নেই” দাবি।

প্রথম চেষ্টা threshold: সম্ভাবনা calibrated থাকলে খরচ থেকে সীমা: ভুয়া alarm-এর খরচ c_FP, ধরা না পড়ার খরচ c_FN হলে p > c_FP/(c_FP + c_FN) হলে আটকান। Model একই থাকে।

Class weight আর resampling: loss-এ বিরল শ্রেণিকে বেশি ওজন; এতে সম্ভাবনা ফুলে যায় (balanced ওজন odds-কে n₀/n₁ গুণ করে), তাই সম্ভাবনা লাগলে prior সংশোধন বা আবার calibrate. SMOTE দুটি বিরল প্রতিবেশীর মাঝে কৃত্রিম বিন্দু বানায়; কিছু পড়ে সাধারণ ভিড়ে।

Metric আর জায়গা: Accuracy নয়; PR AUC, নির্দিষ্ট precision-এ recall, প্রত্যাশিত খরচ। Resampling শুধু training fold-এর ভেতরে, pipeline দিয়ে; ভাগের আগে করলে test-এ কৃত্রিম বিন্দুর আত্মীয় ঢুকে score ফোলে।

পরীক্ষক যা খোঁজেন: খরচের threshold সূত্র (১.৫); weight-এর সম্ভাবনা-বিকৃতি (১); SMOTE আর তার দুর্বলতা (১); metric আর leakage-মুক্ত জায়গা (১.৫)। পর্ব ৫০ · পর্ব ২৬

যেখানে নম্বর কাটে: ৯৮% accuracy-কে সাফল্য বলা; পুরো ডেটায় SMOTE করে তারপর ভাগ; threshold ০.৫ অপরিবর্তিত রাখা।

পার্থক্য: Permutation importance global: একটি কলাম এলোমেলো করলে held-out score কত কমে। SHAP local: একটি অনুমানকে base value থেকে প্রতিটি feature-এর অবদানে ভাগ করে, Shapley value-এর axiom মেনে (অবদানগুলোর যোগফল = অনুমান − base value). গড় |SHAP| দিয়ে global ছবিও আঁকা যায়।

দাবির সমস্যা: SHAP model-এর হিসাবের ভাগ, পৃথিবীর কারণ নয়। দেরি হয়তো দূরের এলাকার প্রতিনিধি (confounding), আর সম্পর্কিত feature-এ অবদান ভাগাভাগি হয়। “দেরি কমালে কী হবে” একটি causal প্রশ্ন: A/B test বা causal নকশা লাগে (অংশ ৭)। দুই পদ্ধতিই সম্পর্কিত feature-এ অবাস্তব সারি বানাতে পারে (off-manifold).

পরীক্ষক যা খোঁজেন: দুই সংজ্ঞা, global বনাম local (২); additivity (১); causal-ভুল আর confounding (১.৫); সম্পর্কিত feature-এর সমস্যা (০.৫)। পর্ব ৫৬ · পর্ব ৫৭ · পর্ব ৬৪

যেখানে নম্বর কাটে: training ডেটায় permutation importance মাপা; impurity importance-কে নিরপেক্ষ ভাবা; SHAP-কে causal প্রভাব বলা।

DAG: L (আনুগত্য) → T, L → Y, T → Y, আর T → R ← Y, যেখানে R = review লেখা। L একটি confounder (fork), R একটি collider.

Backdoor criterion: সেট S বৈধ, যদি (ক) S-এর কোনো চলক T-এর বংশধর না হয়, আর (খ) T-তে ঢোকা তীর দিয়ে শুরু প্রতিটি পথ S বন্ধ করে। এখানে একমাত্র backdoor T ← L → Y; S = {L} বৈধ। R T-এর বংশধর, তাই নিষিদ্ধ: ধরলে বন্ধ collider-পথ খুলে যায়। Mediator ধরলেও প্রভাবের অংশ মুছে যায়।

import numpy as np

rng = np.random.default_rng(75)
n = 50_000
L = rng.standard_normal(n)                          # loyalty (confounder)
T = (L + rng.standard_normal(n) > 0).astype(float)  # loyal people get coupons
Y = 2.0 * T + 3.0 * L + rng.standard_normal(n)      # true effect of T = 2.0
R = (T + Y + rng.standard_normal(n) > 3).astype(float)  # wrote a review

def effect(*covs, rows=slice(None)):                # OLS coefficient of T
    A = np.column_stack([np.ones(n), T, *covs])[rows]
    return np.linalg.lstsq(A, Y[rows], rcond=None)[0][1]

print("true effect                  : 2.00")
print(f"naive difference in means    : {Y[T == 1].mean() - Y[T == 0].mean():.2f}")
print(f"adjust for L (backdoor shut) : {effect(L):.2f}")
print(f"adjust for L and collider R  : {effect(L, R):.2f}")
print(f"only reviewers (R = 1), adj L: {effect(L, rows=R == 1):.2f}")

true effect                  : 2.00
naive difference in means    : 5.43
adjust for L (backdoor shut) : 2.01
adjust for L and collider R  : 1.64
only reviewers (R = 1), adj L: 1.43

Randomization ছাড়া: Propensity score দিয়ে matching বা IPW (একই unconfoundedness অনুমান, সাথে overlap যাচাই); difference-in-differences (অনুমান parallel trends, placebo test দিয়ে আংশিক যাচাই); regression discontinuity; instrumental variable. প্রতিটির অনুমান লিখে sensitivity analysis দিন।

পরীক্ষক যা খোঁজেন: DAG, তিন ধরনের চলক চিহ্নিত (২); backdoor criterion-এর দুই শর্ত (২); বৈধ সেট আর collider-এর ব্যাখ্যা (২); সংখ্যায় বা যুক্তিতে যাচাই (২); বিকল্প নকশা আর অনুমান (২)। পর্ব ৬৪

যেখানে নম্বর কাটে: “সব চলক regression-এ দিলেই causal” লেখা; collider আর confounder গুলিয়ে ফেলা; DiD-এর অনুমান বাদ।

CUPED: X = পরীক্ষার আগের খরচ, Y = পরীক্ষার সময়ের আয়। Y_cv = Y − θ(X − X̄). Randomization-এর জন্য দুই দলে X-এর প্রত্যাশিত গড় সমান, তাই পার্থক্যের প্রত্যাশা বদলায় না। Var(Y − θX) = σ_Y² − 2θσ_XY + θ²σ_X², θ-তে derivative শূন্য করলে θ = σ_XY/σ_X², আর Var(Y_cv) = σ_Y²(১ − ρ²)। ρ = ০.৫ হলে variance ২৫% কম। শর্ত: X-কে treatment প্রভাবিত করতে পারবে না।

পরীক্ষক যা খোঁজেন: পাঁচটি ফাঁদ, কারণ আর প্রতিকারসহ (৫); CUPED-এর unbiased যুক্তি (১.৫); θ আর (১ − ρ²) derivation (২.৫); pre-period শর্ত (১)। পর্ব ৬২ · পর্ব ৬৩

যেখানে নম্বর কাটে: “p = ০.০৩, মানে treatment ভালো হওয়ার সম্ভাবনা ৯৭%”; পরীক্ষার সময়ের চলক দিয়ে CUPED; SRM থাকা সত্ত্বেও ফল রিপোর্ট।

লক্ষ্য: সমস্যা দ্রুত ধরা, কিন্তু ভুয়া alert-এ দল ক্লান্ত না করা। Label delay-এর জন্য দ্রুত কিন্তু পরোক্ষ সংকেত আর ধীর কিন্তু সরাসরি সংকেত, দুটিই লাগে।

Alert-এর সীমা: ৩০টি স্বাধীন metric-এ প্রতিটিতে ±2σ নিয়ম হলে কোনো সমস্যা ছাড়াই একদিনে একটিও না বাজার সম্ভাবনা ০.৯৫৪৫^৩০ ≈ ০.২৪৭, অর্থাৎ বেশিরভাগ দিনেই ভুয়া alert আর alert fatigue. তাই: সাপ্তাহিক ছন্দ মেনে একই বারের reference, কড়া সীমা (3σ বা Bonferroni), টানা দুই দিনের শর্ত, আর প্রতিটি alert-এর মালিক ও runbook. PSI-এর ০.১ আর ০.২৫ সীমা প্রচলিত হাতের নিয়ম, তত্ত্ব নয়।

Label-এর ফাঁক: প্রতিদিন এলোমেলো কিছু অর্ডার হাতে যাচাই; label এলে slice ধরে মান। Drift মানেই মান কমা নয়; মান কমার প্রমাণে retrain.

Retrain আর rollback: ডেটার মানের ভাঙনে (একটি কলাম হঠাৎ ৩০% ফাঁকা) retrain নয়, আগে pipeline ঠিক, দরকারে আগের version-এ rollback. মান কমলে নতুন ডেটায় retrain, পুরোনো model-এর সঙ্গে একই holdout-এ তুলনা, তারপর shadow বা canary. ঘটনার পরে লিখিত postmortem.

পরীক্ষক যা খোঁজেন: চার স্তর আর label delay (৩); অন্তত দুটি নির্দিষ্ট metric প্রতি স্তরে (২); alert-এর multiple-comparison যুক্তি আর প্রতিকার (২); retrain বনাম rollback-এর সিদ্ধান্ত (২); মালিক, runbook বা postmortem (১)। পর্ব ৬৯ · পর্ব ৫৯ · পর্ব ৭১

যেখানে নম্বর কাটে: শুধু accuracy নজরে রাখা (যা ১৪ দিন দেরিতে আসে); drift দেখলেই স্বয়ংক্রিয় retrain; ভাঙা ডেটায় retrain করে সমস্যাটি model-এ ঢুকিয়ে দেওয়া।

সংজ্ঞা: Training–serving skew মানে model শেখার সময় যে feature-মান দেখেছিল, চালু অবস্থায় তা অন্যভাবে হিসাব হয়ে আসে। দর্জি মাপ নিলেন ইঞ্চিতে, কারিগর কাটলেন সেন্টিমিটারে।

উদাহরণ: notebook-এ “গত ৩০ দিনের অর্ডার” আজকের দিনসহ গোনা, সার্ভিসে আজকের দিন বাদে; training-এ টাকা, সার্ভিসে পয়সা; অচেনা শ্রেণি training-এ “other”, সার্ভিসে NaN.

প্রতিরোধ: এক জায়গায় লেখা feature কোড (একই pipeline বা feature store); golden set: কয়েকটি সারির প্রত্যাশিত feature আর score, deploy-এর আগে মেলানো; চালুর পরে feature-এর বণ্টন training-এর সঙ্গে তুলনা।

Batch বনাম online: রাতে সব গ্রাহকের churn score, যেখানে সিদ্ধান্ত দেরিতে নিলেও চলে: batch (সস্তা, সহজ)। Checkout-এর মুহূর্তে জালিয়াতি আটকানো: online, latency বাজেটসহ।

পরীক্ষক যা খোঁজেন: সংজ্ঞা (১); দুটি উদাহরণ (১); তিনটি প্রতিরোধ (১.৫); batch বনাম online, শর্তসহ (১.৫)। পর্ব ৬৮ · পর্ব ৭১

যেখানে নম্বর কাটে: skew-কে data drift বলা (drift পৃথিবী বদলায়, skew আমাদের কোড); “সবসময় online ভালো” লেখা।

Gap = আসল ঝুঁকি − training ঝুঁকি। Hypothesis class যত সমৃদ্ধ (বড় VC dimension), একই n-এ gap-এর সীমা তত ঢিলা; n বাড়লে কমে। পর্ব ৩

পরের প্রশ্ন: বড় neural network তাহলে generalise করে কেন? — Worst-case সীমা সেখানে প্রায় অর্থহীন; implicit regularization আর double descent নিয়ে গবেষণা চলছে, পুরো ব্যাখ্যা এখনো বিতর্কিত।

XᵀX singular, সমাধান অনন্য নয়; অসীম সমাধানের মধ্যে pseudo-inverse সবচেয়ে ছোট norm-এরটি দেয়। পর্ব ৬ · পর্ব ৯

পরের প্রশ্ন: প্রায়-singular হলে? — Condition number বিশাল, coefficient অস্থির; ridge বা কলাম বাদ।

Momentum-এর মতো gradient-এর চলমান গড় আর প্রতিটি parameter-এর gradient²-এর চলমান গড় দিয়ে ধাপ মাপে, সাথে bias correction; ফলে খারাপ-scaled দিকেও যুক্তিসংগত ধাপ। পর্ব ১৪

পরের প্রশ্ন: L2 আর weight decay কি Adam-এ এক? — না; Adam-এ L2-এর gradient-ও ভাগ হয়ে যায়, তাই আলাদা weight decay (AdamW).

প্রতি ধাপে d × d Hessian বানানো আর সমাধান: মেমরি O(d²), সময় প্রায় O(d³)। তাই L-BFGS-এর মতো quasi-Newton. পর্ব ১৫

পরের প্রশ্ন: Non-convex loss-এ Newton-এর বিপদ? — Hessian indefinite হলে ধাপ saddle point বা ওপরের দিকে যেতে পারে; line search বা damping লাগে।

না। Normal-এর variance-এর MLE n দিয়ে ভাগ করে, প্রত্যাশা (n − ১)σ²/n. তবে সাধারণ শর্তে consistent. পর্ব ১৮

পরের প্রশ্ন: Bias থাকলে সমস্যা? — সবসময় নয়; মোট MSE = bias² + variance, সামান্য bias দিয়ে variance কমানো লাভজনক হতে পারে।

Covariance দিয়ে মাপ আর সম্পর্ক সংশোধন করে: (x − μ)ᵀΣ⁻¹(x − μ)। সম্পর্কিত feature-এ outlier খুঁজতে। পর্ব ১৯

পরের প্রশ্ন: Σ অনুমান খারাপ হলে? — অল্প ডেটায় Σ⁻¹ অস্থির; shrinkage (Ledoit–Wolf) বা robust অনুমান।

সারিগুলো স্বাধীন না হলে (সময়ের ডেটা, একই গ্রাহকের অনেক সারি), খুব ভারী লেজে, আর সর্বোচ্চ মানের মতো statistic-এ। পর্ব ২১

পরের প্রশ্ন: সময়ের ডেটায় কী করবেন? — Block bootstrap, বা গ্রাহক ধরে cluster bootstrap.

OvR K টি আলাদা binary model, তাদের সম্ভাবনার যোগফল আপনা-আপনি ১ নয় (আলাদা করে normalize করতে হয়); softmax একসঙ্গে K শ্রেণির সম্ভাবনা, যোগফল ১. পর্ব ২৫

পরের প্রশ্ন: Multilabel-এ softmax চলে? — না; একাধিক label একসঙ্গে সত্য হতে পারে, তাই প্রতিটির আলাদা sigmoid বা classifier chain.

ভুলের দাম বাড়ে: margin সরু, কম slack, training-এ কম ভুল, overfit-এর ঝুঁকি বেশি। পর্ব ২৮

পরের প্রশ্ন: RBF-এর γ? — বড় γ মানে প্রতিটি বিন্দুর প্রভাব কাছে সীমিত, আঁকাবাঁকা সীমারেখা; C আর γ একসঙ্গে grid-এ, scaling-এর পরে।

Mercer-এর শর্ত: যেকোনো বিন্দুর সেটে Gram matrix symmetric positive semidefinite. তখন কোনো feature space-এ dot product হিসেবে লেখা যায়। পর্ব ২৯

পরের প্রশ্ন: দুটি kernel যোগ বা গুণ করলে? — আবার বৈধ kernel; তাই kernel জোড়া দিয়ে নতুন kernel বানানো যায়।

Squared loss ½(y − F)²-এর F-এর সাপেক্ষে ঋণাত্মক gradient ঠিক y − F; প্রতিটি গাছ function space-এ একটি gradient ধাপ। অন্য loss-এ এর নাম pseudo-residual. পর্ব ৩৫

পরের প্রশ্ন: Learning rate ছোট কেন? — ছোট ধাপ আর বেশি গাছ সাধারণত ভালো generalise করে; early stopping দিয়ে গাছের সংখ্যা।

Training ডেটায় মাপা, আর অনেক মানের (high-cardinality) কলামকে বেশি split-সুযোগ দেয়, এমনকি এলোমেলো ID-কেও। পর্ব ৩৩

পরের প্রশ্ন: বিকল্প? — Held-out ডেটায় permutation importance; সম্পর্কিত কলামে grouped permutation.

প্রায়: সব component-এর একই গোল covariance σ²I, আর σ → ০ হলে responsibility ০ বা ১ হয়ে যায়, EM তখন k-means. পর্ব ৩৯

পরের প্রশ্ন: K কীভাবে বাছবেন? — GMM-এ BIC; সাথে ব্যবসার অর্থ আর stability.

সাধারণত না; t-SNE স্থানীয় প্রতিবেশ রাখে, দূরের cluster-এর মাঝের দূরত্ব আর cluster-এর আকার perplexity আর seed-এ বদলায়। পর্ব ৪২

পরের প্রশ্ন: তাহলে কী কাজে লাগে? — অনুসন্ধানের ছবি; সিদ্ধান্তের আগে মূল ডেটায় যাচাই, কয়েকটি perplexity আর seed-এ।

Training বিন্দু থেকে দূরে; সেখানে prior-এর variance-এ ফেরে। কাছে ডেটা থাকলে noise-এর কাছাকাছি নামে। পর্ব ৪৬

পরের প্রশ্ন: বড় n-এ সমস্যা? — n × n matrix-এর সমাধান O(n³); inducing points বা sparse GP.

প্রতিটি মূল্যায়ন দামি আর parameter কম হলে: surrogate model (প্রায়ই GP) আর acquisition function পরের চেষ্টা বাছে। পর্ব ৪৯

পরের প্রশ্ন: কখন random search-ই যথেষ্ট? — সস্তা মূল্যায়ন, অনেক মাত্রা, বা সমান্তরালে অনেক চেষ্টা চালানো গেলে।

ভবিষ্যতের সারি দিয়ে অতীত শেখা হয়, আর পাশাপাশি সারির মিল ফল ফোলায়। Rolling-origin backtesting লাগে। পর্ব ৫২

পরের প্রশ্ন: Lag feature-এ leakage কোথায় ঢোকে? — Rolling window-এ আজকের মান ঢুকলে; shift করে তারপর window.

যাঁরা এখনো আছেন তাঁরা বাদ পড়েন, তাই টিকে থাকার সময় কম দেখায়। Kaplan–Meier আর Cox censored তথ্য ঠিকভাবে ব্যবহার করে। পর্ব ৫৫

পরের প্রশ্ন: Cox-এর মূল অনুমান? — Proportional hazards: hazard ratio সময়ের সঙ্গে স্থির; Schoenfeld residual দিয়ে যাচাই।

Covariate shift: P(x) বদলায়, P(y ∣ x) একই। Concept drift: P(y ∣ x) বদলায়, input একই দেখালেও। পর্ব ৫৯

পরের প্রশ্ন: Label ছাড়া কোনটি ধরা যায়? — Covariate shift (PSI, KS, domain classifier); concept drift ধরতে সাধারণত label লাগে।

দলগুলোর base rate আলাদা হলে দুটি একসঙ্গে মেলে কেবল অকেজো model-এ (TPR = FPR); আর নিখুঁত নয় এমন model-এ equalized odds আর দলভিত্তিক calibration-ও একসঙ্গে মেলে না। কোনটি বেছে নিলেন, লিখে দায় নিতে হয়। পর্ব ৬০

পরের প্রশ্ন: সংবেদনশীল কলাম মুছলেই হয়? — না; proxy (এলাকা, নাম) একই তথ্য বহন করে; দল ধরে মাপতেই হয়।

Null hypothesis সত্য ধরলে এমন বা আরও চরম ফল পাওয়ার সম্ভাবনা ০.০৩. Treatment ভালো হওয়ার সম্ভাবনা নয়, প্রভাবের আকারও নয়। পর্ব ৬৩

পরের প্রশ্ন: তাহলে কী রিপোর্ট করবেন? — প্রভাবের অনুমান আর confidence interval, আগে ঠিক করা MDE-র পাশে।

Parallel trends: treatment না হলে দুই দলের গড় একই হারে বদলাত। পরিবর্তনের আগের সময়ে ধারা মেলানো আর placebo test. পর্ব ৬৪

পরের প্রশ্ন: Standard error-এ কী সাবধানতা? — একই জেলার সারিগুলো জড়িত; জেলা ধরে cluster-robust SE.

Shadow: নতুন model আসল অনুরোধ পায় কিন্তু সিদ্ধান্ত দেয় না, শুধু log. Canary: অল্প কিছু ব্যবহারকারীর সিদ্ধান্ত সত্যিই নতুন model দেয়। পর্ব ৬৮

পরের প্রশ্ন: Shadow কী ধরতে পারে না? — সিদ্ধান্তের প্রভাব: নতুন model আটকালে গ্রাহক কী করতেন, তা দেখা যায় না।

না। Drift মানে মান কমা নয়; আগে দেখুন ডেটা ভাঙা কি না (তাহলে pipeline ঠিক), তারপর মান সত্যিই কমেছে কি না। পর্ব ৬৯

পরের প্রশ্ন: Label দেরিতে এলে মান কীভাবে আন্দাজ করবেন? — প্রতিদিন এলোমেলো কিছু হাতে যাচাই, আর score-এর বণ্টন ও calibration-এর পরোক্ষ সংকেত।