Numerical সমস্যার অনুশীলন — ML-এর গণিত আর অ্যালগরিদম, পূর্ণ সমাধানসহ

(a) po = (45 + 30) / 100 = 0.75
(b) annotator 1 pos = (45 + 15)/100 = 0.60 ; annotator 2 pos = (45 + 10)/100 = 0.55
    pe = 0.60 x 0.55 + 0.40 x 0.45 = 0.33 + 0.18 = 0.51
(c) kappa = (0.75 - 0.51) / (1 - 0.51) = 0.24 / 0.49 = 0.4898

৭৫% মিল শুনতে ভালো, কিন্তু দুজন নিজের অভ্যাসমতো এলোমেলো দাগালেও ৫১% মিলত। κ ≈ ০.৪৯ মানে কাকতালীয়ের বাইরে সম্ভাব্য মিলের অর্ধেকের মতো পাওয়া গেছে। পরের কাজ: guideline স্পষ্ট করা আর মতভেদের ২৫টি রিভিউ আবার দেখা। κ-এর “মাঝারি”, “ভালো” সীমাগুলো হাতের নিয়ম, তত্ত্ব নয়।

(a) ln 1000 = 6.9078 ; ln(2/0.05) = ln 40 = 3.6889
    n >= (6.9078 + 3.6889) / (2 x 0.05^2) = 10.5967 / 0.005 = 2119.3 -> 2120
(b) eps = sqrt(10.5967 / (2 x 500)) = sqrt(0.010597) = 0.1029
(c) ln 10000 = 9.2103 -> n >= 12.8992 / 0.005 = 2579.8 -> 2580
(d) VC = d + 1 = 3 : some 3 points can be shattered, no 4 points can (XOR)

H দশ গুণ হলেও n বাড়ে মাত্র ৪৬০ (ln ১০ ÷ ২ε²), কারণ |H| ঢোকে log হয়ে; অথচ ε অর্ধেক করলে n চার গুণ। Bound সঠিক কিন্তু রক্ষণশীল: পর্ব ০৩-এর simulation-এ অনেক কম নমুনাতেই ব্যর্থতা ৫%-এর নিচে ছিল।

(a) row2 = 2 x row1 ; row1 and row3 independent -> rank 2
    nullity = 3 - 2 = 1
(b) x + 2y + 3z = 0 and x + z = 0 -> x = -z, y = -z
    basis (-1, -1, 1) ; check A(-1, -1, 1) = (0, 0, 0)
(c) 12 = 2 x 6, same relation as the rows -> consistent ; A(1, 1, 1) = (6, 12, 2)
    all solutions: (1, 1, 1) + t(-1, -1, 1)

Column-এর চোখে: col₃ = col₁ + col₂. এটি design matrix হলে XᵀX singular, coefficient অনন্য নয়: (১, ১, ১) আর (০, ০, ২) একই অনুমান দেয়। Multicollinearity-র এটিই চরম রূপ।

(a) det(S - l I) = (3 - l)^2 - 1 = 0 -> l = 4, 2
    l = 4: (1, 1)/sqrt2 ; l = 2: (1, -1)/sqrt2   (orthogonal)
(b) 4 / (4 + 2) = 0.6667
(c) minors 3 > 0, det = 9 - 1 = 8 > 0 -> positive definite
    or: both eigenvalues > 0 ; x = (1, -1): x^T S x = 3 - 2 + 3 = 4 > 0
(d) eigenvalues 3 and -1 ; det = -3 < 0 -> indefinite: not a covariance

যাচাই: trace ৬ = ৪ + ২, det ৮ = ৪ × ২. (ঘ)-তে (১, −১)/√২ দিকে “variance” −১ আসত, যা অসম্ভব; তাই covariance সবসময় positive semidefinite.

(a) A^T A = [[25, 20], [20, 25]] -> eigenvalues 45, 5
    sigma1 = sqrt45 = 6.7082 ; sigma2 = sqrt5 = 2.2361
    check: ||A||_F^2 = 9 + 16 + 25 = 50 = 45 + 5
(b) v1 = (1, 1)/sqrt2 ; A v1 = (3, 9)/sqrt2
    A1 = A v1 v1^T = [[1.5, 1.5], [4.5, 4.5]]
    A - A1 = [[1.5, -1.5], [-0.5, 0.5]] ; ||.||_F = sqrt(2.25+2.25+0.25+0.25) = sqrt5 = 2.2361
(c) cond = sigma1 / sigma2 = 3 ; det = 15, full rank -> pseudo-inverse = inverse
    A^+ = (1/15) [[5, 0], [-4, 3]]

(খ)-র ভুল ঠিক σ₂: Eckart–Young উপপাদ্যের কথা। Recommender-এর low-rank approximation এই নীতিতে চলে: ছোট singular value বাদ দিলে কতটা হারালেন, তা সংখ্যাতেই জানা।

grad = (2 w1, 8 w2) -> each coordinate times (1 - eta x lambda), lambda = 2, 8
(a) eta 0.1: factors 0.8, 0.2 -> w = (0.8, 0.2)
    loss 5 -> 0.5 (2 x 0.64 + 8 x 0.04) = 0.8 ; next steps 0.416, 0.2624
(b) stable if eta < 2/L = 2/8 = 0.25
    best eta = 2/(mu + L) = 2/10 = 0.2 -> factors 0.6, -0.6
    rate (kappa - 1)/(kappa + 1) = 3/5 = 0.6 with kappa = L/mu = 4
(c) eta 0.3: w2 factor 1 - 2.4 = -1.4, |.| > 1 -> diverges: 8.0, 15.392, 30.12
    Hessian diag(2, 8), both > 0 -> strongly convex

ফাঁদ: প্রথম ধাপে η = ০.১-এর loss (০.৮) η = ০.২-এর (১.৮) চেয়ে কম দেখায়, অথচ তিন ধাপ পরে ০.২ এগিয়ে (০.২৩৩ বনাম ০.২৬২), কারণ ধীর দিকের গুণক ০.৮-এর বদলে ০.৬. η = ০.২-তে w₂ প্রতি ধাপে চিহ্ন বদলায় (zig-zag), তবু ছোট হয়।

(a) g0 = 2 ; v1 = 0.9 x 0 - 0.1 x 2 = -0.2 ; x1 = 0.8
    g1 = 1.6 ; v2 = 0.9 x (-0.2) - 0.16 = -0.34 ; x2 = 0.46
(b) t=1: g = 2 ; m = 0.1 x 2 = 0.2 ; v = 0.001 x 4 = 0.004
         mhat = 0.2/0.1 = 2 ; vhat = 0.004/0.001 = 4 ; x1 = 1 - 0.1 x 2/2 = 0.9
    t=2: g = 1.8 ; m = 0.18 + 0.18 = 0.36 ; v = 0.003996 + 0.00324 = 0.007236
         mhat = 0.36/0.19 = 1.8947 ; vhat = 0.007236/0.001999 = 3.6198
         x2 = 0.9 - 0.1 x 1.8947/1.9026 = 0.8004
(c) 0.1 x 0.2 / sqrt(0.004) = 0.1 x 3.1623 = 0.3162  (three times too big)

Adam-এর প্রথম ধাপ প্রায় ঠিক α, gradient যত বড়ই হোক, কারণ m̂ ÷ √v̂ = g ÷ |g|. Momentum-এ দ্বিতীয় ধাপ প্রথমটির চেয়ে বড় (০.৩৪ বনাম ০.২০): বেগ জমছে। নিচু ঢালেও বড় পা, এটিই তার সুবিধা আর দোলার কারণ।

(a) f'(x) = e^x - 2 = 0 -> x* = ln 2 = 0.693147 ; f''(x) = e^x > 0 (convex)
(b) x1 = 0 - (1 - 2)/1 = 1
    x2 = 1 - (e - 2)/e = 1 - 0.718282/2.718282 = 0.735759
    x3 = 0.694042 ; x4 = 0.693148
(c) errors: 0.3069, 0.0426, 0.00090, 0.0000004 -> correct digits roughly double

এটিই quadratic convergence: সমাধানের কাছে ভুল প্রায় আগের ভুলের বর্গের সমানুপাতিক। দাম হলো f″ (বহু মাত্রায় Hessian) হিসাব আর তার সমাধান; তাই বড় model-এ L-BFGS-এর মতো আসন্ন পদ্ধতি।

(a) grad f = lambda grad h: 2x = 2 lambda, 2y = lambda -> x = lambda, y = lambda/2
    2 lambda + lambda/2 = 5 -> lambda = 2 -> (x, y) = (2, 1), f = 5
(b) unconstrained min (3, 2): 3 + 2 = 5 > 4 -> violates, so the constraint is active
    L = f + mu (x + y - 4): 2(x - 3) + mu = 0, 2(y - 2) + mu = 0
    -> x - 3 = y - 2 and x + y = 4 -> (2.5, 1.5), mu = 1, f = 0.5
    stationarity ok ; primal 4 <= 4 ok ; dual mu = 1 >= 0 ok ; mu x g = 1 x 0 = 0 ok
(c) (3, 2) is feasible -> inactive, mu = 0, f = 0

μ = ১ হলো shadow price: সীমা ৪ থেকে ৪ + δ করলে সর্বনিম্ন f = (১ − δ)²/২, তার ঢাল δ = ০-তে −১. SVM-এর dual-এ α_i এই একই ভূমিকা নেয়: শুধু “দেয়ালে ঠেকা” বিন্দুর α শূন্য নয়।

(a) S(z, 1) = sign(z) max(|z| - 1, 0)
    3 -> 2 ; -0.8 -> 0 ; 1.5 -> 0.5        => (2, 0, 0.5)
(b) z / 2 = (1.5, -0.4, 0.75)             (smaller, never exactly 0)
(c) lasso = MAP with a Laplace prior ; ridge = MAP with a Gaussian prior
    all lasso weights are 0 when lambda >= max|z| = 3

Lasso প্রতিটি coefficient থেকে একই পরিমাণ (λ) কাটে আর ছোটগুলো শূন্য করে; ridge সবাইকে একই অনুপাতে ছোট করে। তাই feature বাছাইয়ে lasso, সম্পর্কিত feature-এর মধ্যে ভার ভাগ করতে ridge.

(a) theta_MLE = k/n = 7/10 = 0.7
(b) MAP = (7 + 2 - 1)/(10 + 2 + 2 - 2) = 8/12 = 0.6667
    posterior Beta(9, 5): mean = 9/14 = 0.6429
(c) log L = (sum x) ln l - n l + const = 20 ln l - 5 l
    d/dl = 20/l - 5 = 0 -> l = 4 (the sample mean)

Prior-এর mode ০.৫, তাই MAP ০.৭ থেকে ০.৫-এর দিকে সরে: MAP = w(k/n) + (১ − w)(০.৫), w = ১০/১২. n = ১,০০০ হলে w প্রায় ১, prior-এর টান প্রায় নেই।

(a) det = 12 - 4 = 8 ; S^-1 = (1/8) [[3, -2], [-2, 4]]
(b) (2, 2) : (3x4 - 2x2x2x2 + 4x4)/8 = (12 - 16 + 16)/8 = 1.5 -> d = 1.2247
    (2, -2): (12 + 16 + 16)/8 = 44/8 = 5.5 -> d = 2.3452
    Euclidean both sqrt8 = 2.8284
(c) mean = 0 + (2/3)(3 - 0) = 2 ; var = 4 - 2^2/3 = 2.6667

দুটি বিন্দু কেন্দ্র থেকে সমান দূরে, কিন্তু (২, −২) ধনাত্মক correlation-এর উল্টো দিকে, তাই Mahalanobis-এ প্রায় দ্বিগুণ “অস্বাভাবিক”। (গ)-তে variance ৪ থেকে ২.৬৭: x₂ জানলে x₁-এর অনিশ্চয়তা কমে।

(a) eta = 0.5 + 0.6 - 0.2 = 0.9 ; mu = e^0.9 = 2.4596 per day
(b) e^0.3 = 1.3499 -> about 35% more (multiplied, not "+0.3")
    e^-0.2 = 0.8187 -> about 18% fewer
(c) mu = e^(0.9 + ln 10) = 10 x 2.4596 = 24.596

সবচেয়ে প্রচলিত ভুল: ০.৩-কে “০.৩টি বেশি অনুরোধ” পড়া। Log link-এ প্রভাব গুণে আসে, তাই একই coefficient বড় μ-তে বেশি সংখ্যা যোগ করে।

(a) (1 - 1/5)^5 = 0.8^5 = 0.3277 ; 0.99^100 = 0.3660 ; limit 1/e = 0.3679
(b) mean = 310/10 = 31 ; deviations 0,-2,3,-1,1,-3,2,-1,4,-3
    sum of squares = 54 ; SE = sqrt(54/9) = sqrt6 = 2.4495
(c) 2.5% and 97.5% -> about the 25th and 975th sorted values
    (libraries interpolate slightly differently)

(ক)-র ৩৬.৮% থেকেই random forest-এর out-of-bag ডেটা আসে (পর্ব ৩৩)। (খ)-তে ১০টি replicate শুধু হাতের অনুশীলনের জন্য; বাস্তবে হাজারখানেক লাগে, নইলে SE নিজেই অনিশ্চিত।

(a) only discordant cells: b = 22, c = 10
    chi2 = (|22 - 10| - 1)^2 / 32 = 121/32 = 3.7813, df 1 -> p = 0.0518
    exact: 2 P(X >= 22), X ~ Binomial(32, 0.5) -> p = 0.0501
(b) sorted: 0.004, 0.012, 0.030, 0.041, 0.20 (m = 5)
    Bonferroni: p <= 0.01 -> 1 rejected
    Holm: 0.004 <= 0.0100 yes ; 0.012 <= 0.0125 yes ; 0.030 <= 0.0167 no -> stop: 2
    BH: limits 0.01, 0.02, 0.03, 0.04, 0.05 ; largest k with p(k) <= limit is 3 -> 3

১৫০ আর ১৮ (দুজনেই ঠিক বা দুজনেই ভুল) কে ভালো তা বলে না, তাই হিসাবে নেই। p প্রায় ০.০৫-এর গায়ে: “A ভালো” বলার আগে বেশি ডেটা। Holm Bonferroni-র মতোই family-wise ভুল রক্ষা করে, কিন্তু বেশি ধরে; BH মিথ্যা আবিষ্কারের অনুপাত (FDR) রক্ষা করে, তাই আরও উদার।

(a) (9 + 0.25 + 0 + 1 + 16) / 5 = 26.25 / 5 = 5.25
(b) |r| <= 1 -> 0.5 r^2 ; else |r| - 0.5
    -3 -> 2.5 ; -0.5 -> 0.125 ; 0 -> 0 ; 1 -> 0.5 ; 4 -> 3.5 ; mean 1.325
(c) r >= 0 -> 0.9 r ; r < 0 -> -0.1 r
    -3 -> 0.3 ; -0.5 -> 0.05 ; 0 -> 0 ; 1 -> 0.9 ; 4 -> 3.6 ; mean 0.97

Squared loss-এ r = ৪ একাই ১৬, মোটের ৬১%; Huber-এ ৩.৫. তাই outlier থাকলে Huber model-কে কম টানে। Pinball τ = ০.৯-এ কম বলা (r > ০) বেশি বলার চেয়ে নয় গুণ দামি, তাই সমাধান ওপরে ওঠে: ৯০তম quantile, “প্রায় সব ডেলিভারি এর মধ্যে”।

(a) e^2 = 7.389, e^1 = 2.718, e^0.1 = 1.105 ; sum 11.212
    p = (0.6590, 0.2424, 0.0986)
(b) CE = -ln 0.2424 = 1.4170
(c) p - y = (0.6590, -0.7576, 0.0986)   (sums to 0)
(d) OvR 10 ; OvO 10 x 9 / 2 = 45 ; softmax: one model with 10 scores

Gradient-এর চিহ্ন বলে আসল শ্রেণির score বাড়বে (−০.৭৫৮ বিয়োগ হবে), বাকিদের কমবে; যোগফল ০ কারণ সব score-এ একই ধ্রুবক যোগ করলে softmax বদলায় না।

(a) bin 1: 4 items, mean p 0.25, observed 1/4 = 0.25 -> gap 0
    bin 2: 6 items, mean p (0.6 + 0.7 + 0.8 + 2.7)/6 = 0.80, observed 5/6 = 0.8333
           gap 0.0333
    ECE = 0.4 x 0 + 0.6 x 0.0333 = 0.0200
(b) squared errors .01 .04 .49 .16 .16 .49 .04 .01 .01 .01 -> sum 1.42 -> 0.142
(c) sigma(1.5 x 1 - 0.5) = sigma(1) = 0.7311 ; sigma(-0.5) = 0.3775

ECE প্রায় শূন্য, অথচ Brier ০.১৪২: ঝুড়ির ভেতরে ০.৩-এ ফেরত এসেছে আর ০.৭-এ আসেনি, এই ভুল গড়ে মিশে যায়। তাই ECE রোগনির্ণয়ের যন্ত্র; model তুলনায় Brier বা log loss.

(a) width = 2/||w|| = 2/sqrt2 = 1.4142
(b) A(1,1)  -1: f -1  ; yf  1   -> on margin, hinge 0
    B(2,2)  +1: f  1  ; yf  1   -> on margin, hinge 0
    C(3,3)  +1: f  3  ; yf  3   -> outside, 0
    D(0,1)  -1: f -2  ; yf  2   -> outside, 0
    E(2,1.5)-1: f 0.5 ; yf -0.5 -> wrong side, hinge 1.5
    F(1.5,2)+1: f 0.5 ; yf 0.5  -> inside margin, hinge 0.5
(c) 0.5 x 2 + 1 x (1.5 + 0.5) = 3.0
(d) |f| / ||w|| = 3 / 1.4142 = 2.1213

y·f(x) হলো functional margin; ‖w‖ দিয়ে ভাগ করলে আসল দূরত্ব। Hinge loss শূন্য নয় এমন বিন্দু (E, F) আর margin-এ থাকা বিন্দু (A, B) মিলেই soft-margin-এর support vector হওয়ার প্রার্থী; তবে এখানে w দেওয়া, শেখা নয়।

dual: max sum(a) - 0.5 sum_ij a_i a_j y_i y_j x_i.x_j  s.t. sum a_i y_i = 0, a >= 0
sum a y = 0 -> a1 = a2 = a
x1.x1 = 2, x2.x2 = 2, y1 y2 x1.x2 = (+1)(-1)(-2) = 2
objective 2a - 0.5 (2 + 2 + 2 x 2) a^2 = 2a - 4a^2 -> derivative 0 at a = 1/4
w = 0.25 (1, 1) - 0.25 (-1, -1) = (0.5, 0.5)
y1 (w.x1 + b) = 1 -> 1 + b = 1 -> b = 0
width = 2/||w|| = 2/0.7071 = 2.8284 (= distance between the two points)
dual = 2(0.25) - 4(0.0625) = 0.25 = primal 0.5 ||w||^2 = 0.25

Dual আর primal সমান (strong duality), আর দুটি বিন্দুই support vector. Dual-এ x শুধু dot product হয়ে ঢোকে; সেখানে kernel বসালেই kernel SVM.

(a) x.z = 3 + 2 = 5 -> (5 + 1)^2 = 36
    phi(v) = (1, sqrt2 v1, sqrt2 v2, v1^2, v2^2, sqrt2 v1 v2)
    phi(x).phi(z) = 1 + 6 + 4 + 9 + 4 + 12 = 36
(b) ||x - z||^2 = 4 + 1 = 5 ; e^(-2.5) = 0.0821
(c) K = [[1, e^-1], [e^-1, 1]] = [[1, 0.3679], [0.3679, 1]]
    (K + 0.1 I) alpha = y -> alpha = (-0.0034, 2.7284)
    f(0.5) = e^-0.25 x (alpha1 + alpha2) = 0.7788 x 2.7250 = 2.1222

(ক)-তে kernel ছয় মাত্রার dot product একটি গুণে সারে। (গ)-তে f(০.৫) = ২.১২, দুই y-এর গড় ২-এর কাছে, কিন্তু λ আর kernel-এর আকারে একটু ওপরে।

(a) Gini = 1 - (0.6^2 + 0.4^2) = 0.48 ; H = -0.6 log2 0.6 - 0.4 log2 0.4 = 0.9710
(b) A: left (4,0) Gini 0, H 0 ; right (2,4) Gini 1 - (1/9 + 4/9) = 0.4444, H 0.9183
       weighted Gini 0.6 x 0.4444 = 0.2667 (drop 0.2133) ; H 0.5510 (IG 0.4200)
    B: left (4,1) Gini 0.32, H 0.7219 ; right (2,3) Gini 0.48, H 0.9710
       weighted Gini 0.40 (drop 0.08) ; H 0.8464 (IG 0.1245)
(c) A, by both criteria

ওজন ভুলে সাধারণ গড় নিলে A-এর Gini হতো ০.২২২, ভুল সংখ্যা যদিও এখানে সিদ্ধান্ত একই। Gini আর entropy প্রায় সবসময় একই split বাছে; Gini হিসাবে সস্তা।

var = rho sigma^2 + (1 - rho) sigma^2 / B
(a) 0.3 x 4 + 0.7 x 4/100 = 1.2 + 0.028 = 1.228
(b) 1.2  (floor: more trees cannot go below rho sigma^2)
(c) 0.04
(d) 0.4 + 0.9 x 0.04 = 0.436

গাছ ১০০ থেকে অসীম করলে কমে মাত্র ০.০২৮; ρ ০.৩ থেকে ০.১ করলে ১.২২৮ থেকে ০.৪৩৬. Random forest-এর প্রতি split-এ feature-এর এলোমেলো ভাগ (max_features) ঠিক এই ρ কমানোর কৌশল।

(a) eps = 3 x 0.1 = 0.3 ; alpha = 0.5 ln(0.7/0.3) = 0.5 ln 2.3333 = 0.4236
(b) wrong: 0.1 x e^0.4236 = 0.15275 ; right: 0.1 x e^-0.4236 = 0.06547
    Z = 3 x 0.15275 + 7 x 0.06547 = 0.45826 + 0.45826 = 0.91652 = 2 sqrt(0.3 x 0.7)
    normalised: wrong 0.16667 ; right 0.07143
(c) 3 x 0.16667 = 0.5

নতুন ওজনে পুরোনো stump-এর ভুল ঠিক ৫০%: সে এখন মুদ্রা ছোড়ার সমান, তাই পরের stump-কে নতুন কিছু শিখতেই হবে। নিচের stepper ধাপগুলো দেখায়।

(a) F0 = mean(y) = 26/4 = 6.5
    residual = y - F0 = (-3.5, -1.5, 1.5, 3.5) = negative gradient of 0.5 (y - F)^2
    leaves (mean residual): x <= 2.5 -> -2.5 ; x > 2.5 -> +2.5
(b) F1 = 6.5 + 0.1 x leaf = (6.25, 6.25, 6.75, 6.75)
    MSE 7.25 -> 6.0625
(c) pseudo-residual = y - p (p = sigmoid of the current score)

ছোট learning rate মানে প্রতি গাছে ছোট পা: MSE সামান্য কমে, অনেক গাছ লাগে, কিন্তু overfit কম। Learning rate ১ হলে এক গাছেই MSE ৭.২৫ থেকে ১-এ নামত, আর noise-ও মুখস্থ হওয়ার ঝুঁকি বাড়ত।

(a) g = p - y = (-0.5, -0.5, 0.5, -0.5) ; h = p(1 - p) = 0.25 each
    root: G = -1, H = 1 -> G^2/(H + 1) = 0.5
(b) {1,2}|{3,4}: GL = -1, HL = 0.5 -> 1/1.5 = 0.6667 ; GR = 0 -> 0
        gain = 0.5 (0.6667 + 0 - 0.5) = 0.0833
    {1,2,4}|{3}: GL = -1.5, HL = 0.75 -> 2.25/1.75 = 1.2857
                 GR = 0.5, HR = 0.25 -> 0.25/1.25 = 0.2
        gain = 0.5 (1.2857 + 0.2 - 0.5) = 0.4929   (better)
(c) wL = 1.5/1.75 = 0.8571 ; wR = -0.5/1.25 = -0.4
(d) 0.4929 - 0.5 = -0.0071 < 0 -> no split

প্রথম split-এর ডান দিকে g-এর যোগ শূন্য (০.৫ − ০.৫), তাই সেখানে কিছুই শেখার নেই। λ পাতার মানকে শূন্যের দিকে টানে (১.৫/০.৭৫ = ২ নয়, ০.৮৫৭); γ ছোট লাভের split ছেঁটে দেয়।

(a) N(x; 5)/N(x; 1) = exp(((x-1)^2 - (x-5)^2)/2) = exp(4x - 12)
    r1 = 1 / (1 + exp(4x - 12))
    x=1: 1/(1 + e^-8) = 0.99966 ; x=2: 1/(1 + e^-4) = 0.98201
    x=4: 1/(1 + e^4)  = 0.01799 ; x=5: 1/(1 + e^8)  = 0.00034
(b) N1 = 0.99966 + 0.98201 + 0.01799 + 0.00034 = 2.0 -> pi1 = 0.5
    mu1 = (1x0.99966 + 2x0.98201 + 4x0.01799 + 5x0.00034)/2 = 1.5187
    mu2 = 4.4813 (by symmetry: 6 - mu1)

দুটি গড় ডেটার দুই দলের কেন্দ্রের (১.৫ আর ৪.৫) দিকে সরেছে। k-means হলে r হতো কঠিন ০ বা ১ আর μ সরাসরি ১.৫; EM নরম ভাগ দেয়, তাই x = ৪-এর সামান্য টান μ₁-কে ১.৫১৮৭-এ নেয়।

phi(u) = e^(-u^2/2) / sqrt(2 pi)
(a) h = 1: u = 2, 1, -1, -4 -> 0.05399 + 0.24197 + 0.24197 + 0.00013 = 0.53806
    p(3) = 0.53806 / (4 x 1) = 0.13452
(b) h = 2: u = 1, 0.5, -0.5, -2 -> 0.24197 + 0.35207 + 0.35207 + 0.05399 = 1.00009
    p(3) = 1.00009 / (4 x 2) = 0.12501

সাধারণ ভুল: ১/h ভুলে যাওয়া; তখন (খ)-তে ০.২৫ আসত আর মোট ঘনত্ব ১ থাকত না। বড় h বেশি মসৃণ: ৭-এর দূরের বিন্দুটিও এখন কিছু অবদান রাখে।

(a) H(255) = ln 255 + 0.5772 = 5.5413 + 0.5772 = 6.1185
    c(256) = 2 x 6.1185 - 2 x 255/256 = 12.2370 - 1.9922 = 10.245
(b) E[h] = 4      -> 2^(-4/10.245) = 2^-0.3904 = 0.7629  (isolated fast: suspicious)
    E[h] = 10.245 -> 2^-1 = 0.5
    E[h] = 14     -> 2^(-1.3665) = 0.3878                (normal)

অস্বাভাবিক বিন্দু কম কাটে একা হয়ে যায়, তাই path ছোট আর score ১-এর কাছে। ০.৫-এর আশপাশে সব score থাকলে স্পষ্ট anomaly নেই।

(a) S_N^-1 = 1 + 1 x (1 + 4) = 6 -> S_N = 0.1667
    m_N = 1 x (1/6) x (2 + 6) = 1.3333   ; OLS = 8/5 = 1.6
(b) mean = 3 x 1.3333 = 4.0 ; var = 1/beta + 9 x 0.1667 = 1 + 1.5 = 2.5
(c) lambda = alpha/beta = 1 : 8/(5 + 1) = 1.3333

Predictive variance-এর দুই অংশ: ১ (noise, কখনো কমে না) আর ১.৫ (w-এর অনিশ্চয়তা, x দূরে গেলে x² হারে বাড়ে)। মাত্র দুটি বিন্দু, তাই দ্বিতীয় অংশই বড়।

mean = k* x 2 / 1.1 ; var = 1 - k*^2 / 1.1
x* = 1: k* = e^-0.5 = 0.60653 -> mean 1.1028, var 0.6656
x* = 0: k* = 1                -> mean 1.8182, var 0.0909
x* = 3: k* = e^-4.5 = 0.01111 -> mean 0.0202, var 0.9999

ডেটার ওপরেও গড় ২ নয়, ১.৮২: noise আছে বলে GP পর্যবেক্ষণকে পুরো বিশ্বাস করে না। দূরে (x = ৩) গড় prior-এর ০-তে আর variance prior-এর ১-এ ফেরে, অর্থাৎ “জানি না” বলে।

(a) symmetric: min(1, 4/6) = 0.6667
    min(1, 4 x 0.2 / (6 x 0.4)) = min(1, 0.8/2.4) = 0.3333
(b) P: z = (0.30 - 0.28)/0.05 = 0.4    ; PI = Phi(0.4) = 0.6554
       EI = 0.05 (0.4 x 0.6554 + 0.3683) = 0.03152
    Q: z = (0.30 - 0.35)/0.15 = -0.3333 ; PI = 0.3694
       EI = 0.15 (-0.3333 x 0.3694 + 0.3774) = 0.03814
    PI picks P ; EI picks Q
(c) log p(x) = ELBO + KL -> KL = -1.2 - (-1.5) = 0.3 (>= 0, as it must be)

(খ)-র শিক্ষা: P প্রায় নিশ্চিত কিন্তু ছোট উন্নতি দেয়; Q-এর গড় খারাপ, তবু অনিশ্চয়তা বড় বলে বড় উন্নতির সম্ভাবনা আছে। EI উন্নতির আকারও দেখে, তাই খোঁজ আর কাজে লাগানোর ভারসাম্য রাখে।

(a) accuracy 980/1000 = 0.98 ; recall 0/20 = 0
(b) normal 1000/(2 x 980) = 0.5102 ; fraud 1000/(2 x 20) = 25
(c) p* = 50 / (50 + 2000) = 0.0244
(d) odds 0.6/0.4 = 1.5 ; x (0.02/0.98) / (0.5/0.5) = 0.030612 -> p = 0.0297

৬০% শুনে ভয় পাওয়ার কারণ নেই; আসল হারে মাত্র ৩%. তবু ০.০২৪৪-এর সীমা পেরিয়েছে, তাই খরচের হিসাবে যাচাই করাই লাভজনক। Undersampled model-এর সম্ভাবনা সরাসরি সিদ্ধান্তে বসানো সাধারণ ভুল।

(a) l2 = 0.5 x 24 + 0.5 x 20 = 22 ; l3 = 0.5 x 22 + 0.5 x 22 = 22
    l4 = 0.5 x 26 + 0.5 x 22 = 24 ; l5 = 0.5 x 30 + 0.5 x 24 = 27
    forecast day 6 and day 7: 27 (flat)
(b) MAE = (|28 - 27| + |31 - 27|)/2 = 2.5
    naive in-sample: |24-20|, |22-24|, |26-22|, |30-26| = 4, 2, 4, 4 -> 3.5
    MASE = 2.5 / 3.5 = 0.7143

MASE ১-এর নিচে মানে training-এর “গতকালই আজ” নিয়মের গড় ভুলের চেয়ে কম। তবে বিক্রি বাড়ছে আর SES-এর পূর্বাভাস সমতল, তাই সামনের দিনে ভুল বাড়বে; trend থাকলে Holt-এর পদ্ধতি।

(a) p.q = 0.8 - 0.1 = 0.7 ; r_hat = 3.6 + 0.2 - 0.1 + 0.7 = 4.4 ; e = 0.6
    p = (0.8 + 0.1(0.6 x 1.0 - 0.016), -0.2 + 0.1(0.6 x 0.5 + 0.004))
      = (0.8584, -0.1696)
(b) DCG = 1/log2(2) + 1/log2(4) = 1 + 0.5 = 1.5
    IDCG (3 relevant at the top) = 1 + 1/log2(3) + 1/log2(4) = 2.1309
    NDCG@5 = 1.5 / 2.1309 = 0.7039 ; P@5 = 2/5 = 0.4 ; R@5 = 2/3 = 0.6667

IDCG-এ তালিকার বাইরে থাকা তৃতীয় প্রাসঙ্গিক পণ্যটিও ধরা হয়েছে। শুধু তালিকার item থেকে IDCG নিলে (১ + ০.৬৩০৯) উত্তর ০.৯১৯৭; দুই সংজ্ঞাই চালু, তাই খাতায় লিখে দিন।

t   n   d   factor   S(t)
2   8   1   7/8      0.8750
4   6   2   4/6      0.5833   (3+ has left the risk set)
6   3   1   2/3      0.3889   (5+ left)
9   1   1   0/1      0.0000   (8+ left)
(b) first t with S(t) <= 0.5 -> 6 months
(c) S^2 x (1/(8 x 7) + 2/(6 x 4)) = 0.3403 x 0.1012 = 0.03443 -> SE = 0.1856

Censored মানুষকে “চলে গেছেন” ধরলে, বা বাদ দিলে, দুটোই ভুল: যতদিন দেখা গেছে ততদিন তাঁরা ঝুঁকির দলে (n) থাকেন, তারপর নিঃশব্দে সরে যান। নিচের stepper টেবিলটি ভরে।

      1 - max   margin (top1 - top2)   entropy
A     0.50      0.20                   1.0297
B     0.60      0.00                   1.0549
C     0.55      0.15                   1.0671
least confidence -> B (largest) ; margin -> B (smallest) ; entropy -> C (largest)

তিন নিয়ম সবসময় একমত নয়: entropy তৃতীয় শ্রেণির ০.২৫-কেও গোনে, margin শুধু শীর্ষ দুটি দেখে। কোনটি ভালো, তা ডেটা আর লক্ষ্যভেদে বদলায়; learning curve দিয়ে random-এর সঙ্গে তুলনা করে দেখুন।

weights for M = 3: |S| = 0 -> 1/3 ; |S| = 1 -> 1/6 ; |S| = 2 -> 1/3
A: {} 14-10 = 4 ; {B} 18-12 = 6 ; {C} 15-10 = 5 ; {B,C} 20-13 = 7
   phi_A = 4/3 + 6/6 + 5/6 + 7/3 = 5.5
B: {} 2 ; {A} 4 ; {C} 3 ; {A,C} 5 -> 2/3 + 4/6 + 3/6 + 5/3 = 3.5
C: {} 0 ; {A} 1 ; {B} 1 ; {A,B} 2 -> 0 + 1/6 + 1/6 + 2/3 = 1.0
check: 5.5 + 3.5 + 1.0 = 10 = v(ABC) - v({}) = 20 - 10

C একা কিছুই যোগ করে না (v(C) = v(∅)), তবু Shapley ১.০, কারণ অন্যদের সঙ্গে মিলে অবদান রাখে। Shapley ভাগ করে model-এর অনুমান, কারণ নয়: “C বদলালে ঝুঁকি কমবে” এখান থেকে বলা যায় না।

(a) PDP(1) = mean(2, 3, 4) = 3 ; PDP(3) = mean(6, 9, 12) = 9 -> PDP slope 3
    ICE slopes = 2 + x2 = 2, 3, 4  (PDP shows only their average)
(b) x1: 0.85 - mean(0.71, 0.69, 0.73) = 0.85 - 0.71 = 0.14
    x2: 0.85 - 0.85 = 0.00

(ক)-তে interaction-এর কারণে প্রতিটি সারির ঢাল আলাদা; PDP-র একটি রেখা তা লুকায়, ICE দেখায়। (খ)-তে ০ মানে এই model আর ডেটায় x₂ এলোমেলো করলে AUC বদলায় না; তার সঙ্গে খুব সম্পর্কিত অন্য feature থাকলে ভার ভাগ হয়ে যায়, তাই “অদরকারি” বলার আগে সাবধান।

sorted: 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3 1.4 1.6 1.9 2.2 2.5 2.8 3.1
alpha 0.10: k = ceil(20 x 0.90) = 18 -> q = 2.8 -> [27.2, 32.8]
alpha 0.20: k = ceil(20 x 0.80) = 16 -> q = 2.2 -> [27.8, 32.2]
alpha 0.05: k = ceil(20 x 0.95) = 19 -> q = 3.1 -> [26.9, 33.1]
alpha 0.01: k = ceil(19.8) = 20 > 19 -> no finite q: infinite interval

n নয়, n + ১: নতুন score-টিকে নিয়ে মোট ২০টি সংখ্যা। α = ০.০১-এ ১৯টি calibration বিন্দু যথেষ্ট নয়; অন্তত ৯৯টি লাগে। নিশ্চয়তাটি গড়পড়তা (marginal), প্রতিটি দলের জন্য আলাদা নয়।

bin   e     a     a - e   ln(a/e)   term
1    0.25  0.10  -0.15   -0.9163   0.1374
2    0.25  0.20  -0.05   -0.2231   0.0112
3    0.25  0.30   0.05    0.1823   0.0091
4    0.25  0.40   0.15    0.4700   0.0705
PSI = 0.2282 -> 0.1 to 0.25 band: "watch"

প্রতিটি পদ ≥ ০, কারণ (a − e) আর ln(a/e)-র চিহ্ন একই। সীমাগুলো (০.১, ০.২৫) ঋণ-scoring-এর চর্চা থেকে আসা হাতের নিয়ম; bin-এর সংখ্যা বদলালে সংখ্যাও বদলায়, তাই একই bin-নীতিতে তুলনা করুন।

(a)        n    sel    TPR    FPR     precision
    A     200  0.30   0.80   0.1333  0.6667
    B     100  0.20   0.50   0.0714  0.7500
(b) parity: diff 0.10 ; ratio 0.20/0.30 = 0.6667 (< 0.8 rule of thumb)
    equal opportunity: TPR gap 0.30 ; FPR gap 0.0619 (equalized odds needs both)
(c) P(y=1) = 80/300
    A: (200/300)(80/300)/(50/300) = 1.0667 ; B: (100/300)(80/300)/(30/300) = 0.8889

Precision-এ B এগিয়ে, TPR-এ অনেক পিছিয়ে: যোগ্য B-গ্রাহকের অর্ধেক সুবিধা পান না। দুই দলের base rate আলাদা (০.২৫ আর ০.৩০), তাই সব metric একসঙ্গে সমান করা সাধারণত অসম্ভব; কোন ক্ষতি বেশি গুরুতর, সেই সিদ্ধান্ত থেকে metric বাছুন।

z(0.975) = 1.9600 ; z(0.80) = 0.8416 ; p-bar = 0.055
(a) 1.96 x sqrt(2 x 0.055 x 0.945) = 1.96 x 0.3224 = 0.6319
    0.8416 x sqrt(0.05 x 0.95 + 0.06 x 0.94) = 0.8416 x 0.3223 = 0.2713
    n = (0.6319 + 0.2713)^2 / 0.01^2 = 0.8158 / 0.0001 = 8157.7 -> 8158 per arm
(b) n = 2 x (1.96 + 0.8416)^2 x 400^2 / 20^2 = 2 x 7.849 x 400 = 6279.1 -> 6280

উত্তর ওপরে গোল করুন, নিচে নয়। δ অর্ধেক করলে n চার গুণ; তাই ছোট পরিবর্তন ধরার পরীক্ষা অনেক দামি, আর আগে থেকে n ঠিক না করে বারবার উঁকি দেওয়া (peeking) false positive বাড়ায়।

(a) p1 = 0.050, p2 = 0.057 ; pooled p = 1070/20000 = 0.0535
    SE = sqrt(0.0535 x 0.9465 x (2/10000)) = 0.003182
    z = 0.007 / 0.003182 = 2.1996 -> two-sided p = 0.0278
(b) theta = 1200/2000 = 0.6 ; rho = 1200 / sqrt(2000 x 2000) = 0.6
    Var(Y_cuped) = (1 - 0.36) Var(Y) = 0.64 Var(Y)
    same power with 64% of the users (like 1/0.64 = 1.5625 times the sample)

p = ০.০২৮ মানে “B ভালো হওয়ার সম্ভাবনা ৯৭%” নয়; মানে, আসলে পার্থক্য না থাকলে এত বড় বা বড় z পাওয়ার সম্ভাবনা ২.৮%. CUPED গড় পার্থক্য বদলায় না, শুধু noise কমায়।

(a) DiD = (105 - 120) - (98 - 100) = -15 - (-2) = -13 orders per week
    assumption: parallel trends (without the fee, both would have moved alike)
(b) expected 10000 each ; chi2 = 200^2/10000 + 200^2/10000 = 8.0, df 1 -> p = 0.0047
    -> the split itself is broken: find the cause before reading any effect

শুধু আগে-পরে দেখলে −১৫ বলতেন; তুলনার জেলাও ২ কমেছে (মৌসুম বা বাজার), সেটুকু বাদ দিয়ে −১৩. SRM-এ ২% বিচ্যুতি ছোট দেখায়, কিন্তু ২০,০০০ জনে তা কাকতালীয় হওয়া খুব অসম্ভাব্য।

(a) CLV = 200 / (1 + 0.01 - 0.8) = 200 / 0.21 = 952.38 taka
(b) 952.38 x (1 - (0.8/1.01)^12) = 952.38 x 0.9390 = 894.30 taka
(c) month 1: 600/1000 = 0.60 ; month 2: 450/600 = 0.75 (450/1000 = 0.45 of the start)

(ক)-র ৯৪% মূল্যই প্রথম ১২ মাসে আসে, কারণ r = ০.৮-এ লোক দ্রুত কমে। (গ)-তে retention সাধারণত সময়ের সঙ্গে বাড়ে: যাঁরা টিকে থাকেন, তাঁরা বেশি অনুগত। তাই একটি স্থির r বাস্তবের সরল রূপ।

(a) sorted: 11 12 12 12 13 13 13 14 14 14 15 15 16 16 17 18 19 60 90 250
    mean = 644 / 20 = 32.2
    p50: ceil(0.50 x 20) = 10th = 14 ; p90: 18th = 60
    p95: 19th = 90 ; p99: ceil(19.8) = 20th = 250
(b) L = lambda W = 400 x 0.025 = 10 requests in flight
(c) one worker = 100 req/s ; 400 / (100 x 0.7) = 5.7 -> 6 workers

গড় ৩২.২ ms কোনো আসল অনুরোধের মতো নয়: ১৭টি ২০ ms-এর নিচে, তিনটি অনেক ওপরে। তাই budget লেখা হয় p95 বা p99-এ। ২০টি মাপে p99 মানে শুধু সবচেয়ে খারাপটি; ভরসাযোগ্য p99-এর জন্য অনেক বেশি অনুরোধ লাগে।

(a) 50,000,000 x 20 x 8 B = 8.0 GB ; float32: 4.0 GB
    one chunk of 1,000,000 rows: 1,000,000 x 20 x 8 = 160 MB
(b) expected false alerts 40 x 0.05 = 2 per day
    P(at least one) = 1 - 0.95^40 = 0.8715 ; Bonferroni per test: 0.05/40 = 0.00125

৮ GB একটি সাধারণ ল্যাপটপের memory-তে টানাটানি, আর pandas-এ মাঝের কপি মিলিয়ে আরও বেশি লাগে; তাই chunk ধরে পড়া বা out-of-core পদ্ধতি। (খ) দেখায় কেন প্রতিদিন প্রায় নিশ্চিতভাবে অন্তত একটি “drift” সতর্কতা আসবে, যদি সংশোধন না থাকে।

1. eigenvalues 8, 2 -> 8/10 = 0.8
2. sign(-2.5) x max(2.5 - 1, 0) = -1.5
3. flat prior: MAP = MLE = 3/5 = 0.6 (posterior mean would be 4/7 = 0.5714)
4. 0.5 ln(0.8/0.2) = 0.5 ln 4 = 0.6931
5. 1 - (0.25 + 0.25) = 0.5
6. (|15 - 5| - 1)^2 / 20 = 81/20 = 4.05
7. ceil(100 x 0.9) = 90th
8. (60 - 50) - (45 - 40) = 10 - 5 = 5

সবচেয়ে বেশি ভুল হয় ৩ আর ৭-এ: Beta(১, ১)-এ MAP ঠিক MLE (posterior mean নয়), আর conformal-এ n নয়, n + ১ দিয়ে গুণ।