Bayes-এর উপপাদ্য — প্রমাণ পেলে বিশ্বাস হালনাগাদ

এই পর্ব দিয়ে মডিউল ৯ শুরু: অনিশ্চয়তার মধ্যে যুক্তি। পর্ব ৩৫-এ Bayes-এর নিয়মের প্রথম পরিচয় পেয়েছেন: ১০০০-এ ১ জালিয়াতির base rate-এ ৯৯% ধরতে পারা পরীক্ষার flag-ও মাত্র প্রায় ৪.৭% ক্ষেত্রে সত্যি। এখানে আরও গভীরে যাব, শেষে অজানা একটি হার পর্যন্ত। উদাহরণ আবার বাজারঘর, এই কোর্সের কাল্পনিক অনলাইন দোকান; সব হার আর সংখ্যা বানানো। চালানো যায় এমন ব্লকগুলো পাতাতেই চলে (ব্রাউজারের Python, NumPy 2.4.6, SciPy 1.18.0, matplotlib 3.10.8); প্রথমবার SciPy নামতে প্রায় ১০ সেকেন্ড লাগতে পারে, পরে দ্রুত।

১ · যুক্তি থেকে সম্ভাবনায় — নিয়ম কেন অনিশ্চয়তায় হোঁচট খায়

মডিউল ৮-এ জ্ঞানকে বাক্য আর নিয়মে লিখেছেন। পর্ব ৪৫-এর propositional logic-এ প্রতিটি বাক্য হয় সত্য, নয় মিথ্যা, আর modus ponens বলে: “A হলে B” আর “A” জানা থাকলে B নিশ্চিত। মানুষের লেখা হ্যাঁ-না নীতিতে এটি চমৎকার, কিন্তু বাস্তব জগৎ প্রায়ই এমন নয়।

একটি পার্সেল ভেঙে পৌঁছেছে। কোন কুরিয়ার দায়ী? “ভাঙা হলে কুরিয়ার B” নিয়মটি লিখলে ভুল, কারণ A-ও মাঝে মাঝে ভাঙে। “ভাঙা হলে B, যদি না … ” লিখতে গেলে ব্যতিক্রমের তালিকা শেষ হয় না: বৃষ্টি, প্যাকিং, দূরত্ব, পণ্যের ধরন। Logic-এর তিনটি সীমা এখানে স্পষ্ট:

• মাত্রা নেই: “সম্ভবত B” বলার উপায় নেই; সত্য-মিথ্যার মাঝখানে কিছু নেই।
• মত বদলানো কঠিন: logic-এ একবার প্রমাণিত সিদ্ধান্ত নতুন তথ্যে বাতিল হয় না (একে monotonic বলে)। অথচ “ভাঙা দেখে B সন্দেহ, কিন্তু রসিদে দেখি পার্সেলটি A-এর” এমন মত বদল রোজকার ব্যাপার।
• প্রমাণ মেলানোর নিয়ম নেই: দুটি দুর্বল ইঙ্গিত মিলে কতটা জোরালো, logic তা বলে না।

১৯৭০-এর দশকের expert system এই ফাঁক পূরণ করতে নিয়মের সঙ্গে একটি সংখ্যা জুড়ে দিত। পর্ব ৪৭-এ MYCIN-এর certainty factor দেখেছেন: দুটি নিয়ম একই সিদ্ধান্ত দিলে CF = CF₁ + CF₂(1 − CF₁). সূত্রটি সহজ, কিন্তু পরে দেখানো হয় এটি সম্ভাবনার নিয়মের সঙ্গে মেলে শুধু কঠোর কিছু অনুমানে, আর একই প্রমাণ দুই পথে এলে দুবার গোনা হয়। সম্ভাবনা এই সমস্যার একটি নীতিগত সমাধান দেয়। P = 1 মানে logic-এর “সত্য”, P = 0 মানে “মিথ্যা”; আর মাঝের সংখ্যাগুলো বিশ্বাসের মাত্রা। P(B | A) = 1 হলে Bayes-এর হিসাব modus ponens-এর মতোই আচরণ করে। এই অর্থে সম্ভাবনা logic-এর সম্প্রসারণ, আর প্রমাণ পেলে বিশ্বাস হালনাগাদের নিয়মটিই Bayes-এর উপপাদ্য।

২ · চার অংশ — prior, likelihood, evidence আর posterior

বাজারঘর দুটি কুরিয়ার ব্যবহার করে, যাদের এই কোর্সে আগেও দেখেছেন (দুটিই কাল্পনিক): A = “দ্রুতপথ” আর B = “সবুজ”. ধরুন হিসাবের খাতা বলছে (কাল্পনিক হার): মোট পার্সেলের ৬০% যায় A দিয়ে, ৪০% B দিয়ে; A-এর ২% পার্সেল ভেঙে পৌঁছায়, B-এর ৫%. আজ একজন ক্রেতা অভিযোগ করেছেন, পার্সেল ভাঙা; রসিদ হারিয়ে গেছে। কোন কুরিয়ার, কত সম্ভাবনায়?

প্রশ্নে H (hypothesis, অনুমান) হলো “কুরিয়ার B”, আর E (evidence, প্রমাণ) হলো “পার্সেল ভাঙা”. সূত্রের চারটি অংশের নাম:

P(H | E) = P(E | H) · P(H) / P(E)

Likelihood শব্দটি নিয়ে সাবধান। P(ভাঙা | A) = ০.০২ আর P(ভাঙা | B) = ০.০৫ দুটি সংখ্যা যোগ করলে ১ হয় না, আর হওয়ার কথাও নয়: এগুলো দুটি আলাদা জগতে একই প্রমাণের সম্ভাবনা। Likelihood পড়ুন “কোন অনুমান এই প্রমাণকে কতটা ভালো ব্যাখ্যা করে” হিসেবে। Evidence শুধু ভাগ করার সংখ্যা, যা posterior-গুলোর যোগফল ১ করে; এটি আসে পর্ব ৩৫-এর law of total probability থেকে।

দুই লাইনে প্রমাণ

Conditional probability-র সংজ্ঞা (পর্ব ৩৫) থেকে “H এবং E”-কে দুই দিক থেকে লেখা যায়, তারপর P(E) দিয়ে ভাগ:

P(H ∩ E) = P(H | E) · P(E) = P(E | H) · P(H)
⇒ P(H | E) = P(E | H) · P(H) / P(E),  যেখানে P(E) = ∑_i P(E | H_i) · P(H_i)

এখানে H_i হলো পরস্পর-বর্জনকারী সব অনুমান (A আর B), আর ∑ মানে সবগুলোর ওপর যোগ। Bayes-এর উপপাদ্য তাই নতুন কোনো স্বতঃসিদ্ধ নয়; এর শক্তি ব্যবহারে: সহজে জানা দিক (কুরিয়ার জানলে ভাঙার হার) থেকে কঠিন দিকে (ভাঙা দেখে কুরিয়ার) যাওয়া।

নিচের stepper হিসাবটি একটি ছোট টেবিলে করে; পরীক্ষার খাতায় Bayes-এর অঙ্কের সবচেয়ে নিরাপদ ছক এটিই।

৩ · Odds form — posterior odds = prior odds × likelihood ratio

দুটি অনুমানের তুলনায় সম্ভাবনার চেয়ে odds প্রায়ই সহজ। Odds মানে “পক্ষে : বিপক্ষে”, অর্থাৎ p / (1 − p). সম্ভাবনা ০.৪০ মানে odds ০.৪ : ০.৬ = ২ : ৩ ≈ ০.৬৬৭; উল্টো দিকে odds o থেকে সম্ভাবনা o / (1 + o).

Bayes-এর সূত্রটি B আর A দুটির জন্য লিখে একটিকে অন্যটি দিয়ে ভাগ করলে হরের P(E) কেটে যায়:

P(B | E) / P(A | E) = [P(B) / P(A)] × [P(E | B) / P(E | A)]
posterior odds = prior odds × likelihood ratio

ডান দিকের দ্বিতীয় বন্ধনী likelihood ratio (LR): প্রমাণটি B-এর জগতে A-এর জগতের তুলনায় কত গুণ বেশি প্রত্যাশিত। ভাঙা পার্সেলে LR = ০.০৫ ÷ ০.০২ = ২.৫. তাই posterior odds = ০.৬৬৭ × ২.৫ = ১.৬৬৭, আর সম্ভাবনা ১.৬৬৭ ÷ ২.৬৬৭ = ০.৬২৫, আগের মতোই। কেন এই রূপটি কাজের:

• হর লাগে না: P(E)-এর হিসাব বাদ।
• প্রমাণের শক্তি আলাদা করে পড়া যায়: LR = ১ মানে প্রমাণ কিছুই বলে না; LR > ১ পক্ষে, LR < ১ বিপক্ষে।
• একাধিক প্রমাণ মানে গুণ: প্রমাণগুলো শর্তসাপেক্ষে স্বাধীন হলে LR-গুলো পরপর গুণ হয়; log নিলে যোগ। LR-এর log-কে বলে weight of evidence.

চিকিৎসায় এই রূপ বহুদিন ধরে ব্যবহৃত: একটি পরীক্ষার positive ফলের LR = sensitivity ÷ (1 − specificity). Sensitivity ০.৯০ আর specificity ০.৯৫ হলে LR = ০.৯০ ÷ ০.০৫ = ১৮; রোগীর আগের odds যা-ই হোক, positive ফল তাকে ১৮ গুণ করে।

Bayes factor — সহজ ভাষায়

অনুমান যখন একটি নির্দিষ্ট সংখ্যা নয়, একটি পুরো মডেল (যেমন “ফেরতের হার কোথাও ০ থেকে ১-এর মধ্যে, Beta prior অনুযায়ী”), তখন একই অনুপাতের নাম Bayes factor: দুটি মডেলের অধীনে পুরো ডেটার সম্ভাবনার অনুপাত। মানে একই: ডেটা prior odds-কে কত গুণ বদলাতে বলে। Harold Jeffreys ১৯৩৯ সালের বই Theory of Probability-তে এর ব্যবহার জনপ্রিয় করেন, আর Robert Kass ও Adrian Raftery-র ১৯৯৫ সালের একটি পরিচিত পর্যালোচনায় মোটামুটি এমন স্কেল দেওয়া হয়: ১ থেকে ৩ উল্লেখ করার মতোই নয়, ৩ থেকে ২০ ইতিবাচক, ২০ থেকে ১৫০ জোরালো, ১৫০-এর বেশি খুব জোরালো। স্কেলগুলো রীতি মাত্র; লেখকভেদে সীমা আলাদা।

৪ · প্রমাণের পর প্রমাণ — ধারাবাহিক হালনাগাদ আর নির্ভরশীল প্রমাণের ফাঁদ

প্রমাণ সাধারণত একে একে আসে। Bayesian updating-এর নিয়ম সহজ: প্রতিটি প্রমাণের পর আজকের posterior হয়ে যায় কালকের prior.

P(H | E₁, E₂) ∝ P(E₂ | H) · P(E₁ | H) · P(H)

এই সরল গুণ টেকে একটি শর্তে: কুরিয়ার জানা থাকলে প্রমাণগুলো একে অন্যের সম্পর্কে নতুন কিছু বলে না, অর্থাৎ P(E₂ | H, E₁) = P(E₂ | H). একে বলে conditional independence (পর্ব ৩৫-এ এক লাইনের পরিচয়)। শর্তটি থাকলে গুণের ক্রম বদলায় না বলে প্রমাণ কোন ক্রমে এল তাতে শেষ বিশ্বাস বদলায় না; সব প্রমাণ একসঙ্গে দেখা আর একটি একটি করে দেখা একই।

নিচের কোড সব হিসাব ভগ্নাংশে (fractions.Fraction) করে, যাতে গোলাকরণের ভুল না থাকে: সূত্রে, odds form-এ, দুই ক্রমে, আর একই প্রমাণ দুবার গুনে।

from fractions import Fraction as F

# কাল্পনিক হার: কোন কুরিয়ার কত ভাগ পার্সেল নেয়, আর প্রমাণের সম্ভাবনা
prior = {"A": F(6, 10), "B": F(4, 10)}
evidence = {                                 # P(প্রমাণ | কুরিয়ার)
    "damaged": {"A": F(2, 100), "B": F(5, 100)},
    "late":    {"A": F(10, 100), "B": F(30, 100)},
}

def bayes(p, e):
    joint = {c: p[c] * evidence[e][c] for c in p}   # prior × likelihood
    total = sum(joint.values())                     # evidence, P(E)
    return {c: joint[c] / total for c in p}, total

post, pE = bayes(prior, "damaged")
print("P(damaged) =", float(pE))
print("posterior  =", {c: round(float(v), 4) for c, v in post.items()})

odds = prior["B"] / prior["A"]               # odds form
lr = evidence["damaged"]["B"] / evidence["damaged"]["A"]
new = odds * lr
print(f"prior odds {float(odds):.4f} × LR {float(lr)} = {float(new):.4f}"
      f" → P(B) = {float(new / (1 + new)):.4f}")

for order in (["damaged", "late"], ["late", "damaged"]):
    p = dict(prior)
    for e in order:
        p, _ = bayes(p, e)
        print(f"  after {e:8s} P(B) = {p['B']} ≈ {float(p['B']):.4f}")
    print(order, "→ final", p["B"])

p = dict(prior)                              # ভুল: একই প্রমাণ দুবার গোনা
for e in ["damaged", "damaged", "late"]:
    p, _ = bayes(p, e)
print("double-counted damage → P(B) =", round(float(p["B"]), 4))

P(damaged) = 0.032
posterior  = {'A': 0.375, 'B': 0.625}
prior odds 0.6667 × LR 2.5 = 1.6667 → P(B) = 0.6250
  after damaged  P(B) = 5/8 ≈ 0.6250
  after late     P(B) = 5/6 ≈ 0.8333
['damaged', 'late'] → final 5/6
  after late     P(B) = 2/3 ≈ 0.6667
  after damaged  P(B) = 5/6 ≈ 0.8333
['late', 'damaged'] → final 5/6
double-counted damage → P(B) = 0.9259

নির্ভরশীল প্রমাণকে স্বাধীন ধরার বিপদ

শেষ লাইনের ভুলটি বাস্তবে নানা ছদ্মবেশে আসে। পাঁচটি অনলাইন খবর একই সূত্র থেকে কপি করা হলে প্রমাণ একটি, পাঁচটি নয়; একই অভিযোগ ফোনে আর ইমেইলে এলে তা-ও একটি। এমন প্রমাণকে স্বাধীন ধরে LR গুণ করলে posterior অতিরিক্ত আত্মবিশ্বাসী হয়, প্রায়ই ০ বা ১-এর খুব কাছে। পর্ব ৩৫-এর ভাবনার প্রশ্নে আদালতের Sally Clark মামলায় এই ভুলের মানবিক দাম দেখেছেন। সমাধান: নির্ভরশীল প্রমাণকে একসঙ্গে একটি প্রমাণ হিসেবে মাপা, অর্থাৎ P(E₁, E₂ | H) সরাসরি অনুমান করা; অথবা নির্ভরতাটি মডেলে আঁকা, যা Bayesian network-এর কাজ (পর্ব ৫২)।

Naive Bayes-এর সেতু

এখন কল্পনা করুন প্রমাণ দুটি নয়, একটি SMS-এর প্রতিটি শব্দ: “অফার”, “জিতেছেন”, “লিংকে”. অনুমান দুটি: spam আর ham (সাধারণ বার্তা)। প্রতিটি শব্দের জন্য একটি likelihood, আর সব একসঙ্গে গুণ, ঠিক উপরের কোডের মতো। শ্রেণি জানা থাকলে শব্দগুলো স্বাধীন, এই অনুমানটিকে “naive” বা সরল বলা হয়, কারণ ভাষায় শব্দগুলো স্পষ্টতই নির্ভরশীল। তবু এই Naive Bayes classifier অনেক কাজে ভালো চলে, যদিও দ্বিগুণ গোনার কারণে তার সম্ভাবনা প্রায়ই অতিরিক্ত চরম। শত শত likelihood-এর গুণফল float-এ শূন্য হয়ে যায় (পর্ব ৩৫-এর underflow), তাই সেখানে log-এ যোগ করা হয়, stepper-এর log_১০ odds-এর মতো। পুরো গল্প পরের পর্বে, পর্ব ৫১ (Naive Bayes — বাংলা SMS-কে spam না ham বলা)-এ।

৫ · অজানা হার নিজেই অনিশ্চিত — Beta prior আর binomial likelihood

এ পর্যন্ত অনুমান ছিল দুটি: A অথবা B. এবার বাজারঘরের একটি নতুন ব্লুটুথ হেডফোন। প্রশ্ন: এর ফেরতের হার θ (গ্রিক “থিটা”) কত? θ একটি সংখ্যা ০ থেকে ১-এর মধ্যে, যার সম্ভাব্য মান অসীম। প্রথম ৪০টি অর্ডারের ৭টি ফেরত এসেছে (কাল্পনিক)। ৪০টি অর্ডার কম, আর অন্য হেডফোনগুলোর অভিজ্ঞতা বলে ফেরত সাধারণত প্রায় ১০%. দুটি তথ্য মেলানোর পথ আবার Bayes, তবে এবার অনুমানের তালিকার বদলে একটি distribution.

Prior: Beta distribution. ০ থেকে ১-এর একটি অজানা হারের বিশ্বাস আঁকার স্বাভাবিক উপায় Beta(α, β), যার ঘনত্ব (পর্ব ৩৬-এর PDF) θ^α−1(1 − θ)^β−1-এর সমানুপাতিক, আর গড় α / (α + β). এখানে α আর β দুটি ধনাত্মক parameter. Beta(1, 1) হলো সমতল, “সব হার সমান সম্ভব”; Beta(2, 18)-এর গড় ২ ÷ ২০ = ০.১০, আর মোটামুটি “আগে ২০টি অর্ডার দেখেছি, তার ২টি ফেরত” এমন বিশ্বাসের ওজন বহন করে। α আর β-কে তাই কল্পিত গণনা, pseudo-count, হিসেবে পড়া যায়।

Likelihood: binomial. θ জানা থাকলে n = ৪০টি অর্ডারে k = ৭টি ফেরতের সম্ভাবনা পর্ব ৩৬-এর binomial: C(n, k) θ^k(1 − θ)^n−k. এখানে k আর n স্থির, θ বদলায়; তাই এটি θ-এর likelihood.

Posterior: গুণ করে দেখুন। ধ্রুবক বাদ দিলে

θ^α−1(1 − θ)^β−1 × θ^k(1 − θ)^n−k = θ^α+k−1(1 − θ)^β+n−k−1
⇒ posterior = Beta(α + k, β + n − k)

Posterior আবার একটি Beta! এমন prior-কে বলে conjugate prior: likelihood-এর সঙ্গে গুণ করলে একই পরিবারে থাকে, তাই হালনাগাদ মানে শুধু দুটি সংখ্যায় যোগ। ফেরত এলে α-তে ১ যোগ, রাখলে β-তে ১ যোগ। আমাদের হেডফোনে Beta(2 + 7, 18 + 33) = Beta(9, 51).

Posterior mean-কে একটি ভারিত গড় হিসেবে লেখা যায়, যা prior-এর ভূমিকা স্পষ্ট করে:

(α + k) / (α + β + n) = w · α/(α + β) + (1 − w) · k/n,  w = (α + β) / (α + β + n)

হেডফোনে w = ২০ ÷ ৬০ = ১/৩: তাই posterior mean = ⅓ × ০.১০ + ⅔ × ০.১৭৫ = ০.১৫. Prior ২০টি কল্পিত অর্ডারের সমান ওজন পায়, ডেটা ৪০টি আসল অর্ডারের। এক-সংখ্যার উত্তরের চেয়ে বেশি কাজের পুরো posterior থেকে একটি পরিসর: ৯৫% credible interval, যার নিচে ২.৫% আর ওপরে ২.৫% সম্ভাবনা থাকে। এটি বের করে CDF-এর উল্টো, ppf (percent point function, পর্ব ৩৬)।

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

a0, b0 = 2, 18          # prior: আগের হেডফোনগুলোর মতো, গড় ফেরত ১০%
n, k = 40, 7            # নতুন হেডফোন: ৪০টি অর্ডার, ৭টি ফেরত (কাল্পনিক)
a1, b1 = a0 + k, b0 + n - k                  # conjugate update

theta = np.linspace(0, 0.5, 501)
prior = stats.beta.pdf(theta, a0, b0)
like = stats.binom.pmf(k, n, theta)
like = like / (like.sum() * (theta[1] - theta[0]))   # একই স্কেলে আঁকার জন্য
post = stats.beta.pdf(theta, a1, b1)

lo, hi = stats.beta.ppf([0.025, 0.975], a1, b1)
print(f"posterior = Beta({a1}, {b1})")
print(f"prior mean     = {a0 / (a0 + b0):.4f}")
print(f"MLE k/n        = {k / n:.4f}")
print(f"posterior mean = {a1 / (a1 + b1):.4f}")
print(f"95% credible interval = [{lo:.4f}, {hi:.4f}]")
print(f"P(theta > 0.20 | data) = {stats.beta.sf(0.20, a1, b1):.4f}")

fig, ax = plt.subplots(figsize=(6, 3.4))
ax.plot(theta, prior, "--", label="prior Beta(2, 18)")
ax.plot(theta, like, ":", lw=2, label="likelihood (scaled), 7 of 40")
ax.plot(theta, post, lw=2.2, label="posterior Beta(9, 51)")
ax.axvspan(lo, hi, alpha=0.15, color="C2", label="95% credible interval")
ax.set_xlabel("return rate theta")
ax.set_ylabel("density")
ax.set_title("Prior x likelihood -> posterior")
ax.legend(fontsize=8)
plt.tight_layout()
plt.show()

posterior = Beta(9, 51)
prior mean     = 0.1000
MLE k/n        = 0.1750
posterior mean = 0.1500
95% credible interval = [0.0722, 0.2498]
P(theta > 0.20 | data) = 0.1398

৬ · Prior কতটা শক্ত — ৫, ৫০ আর ৫০০টি অর্ডার

Bayesian পদ্ধতির সবচেয়ে বড় সমালোচনা: “prior তো আপনার পছন্দ, তাহলে ফলও আপনার পছন্দ!” উত্তরটি সংখ্যায় দেখা ভালো। দুজন বিশ্লেষক একই পণ্য দেখছেন। প্রথমজন প্রায় কিছুই ধরে নেন না: দুর্বল prior Beta(1, 1). দ্বিতীয়জন জোর দিয়ে বিশ্বাস করেন হার প্রায় ১০%: শক্ত prior Beta(10, 90), যা ১০০টি কল্পিত অর্ডারের ওজন বহন করে। আসলে ফেরত আসছে ঠিক ২০% হারে। ৫, ৫০ আর ৫০০টি অর্ডারের পর তাঁদের posterior কোথায়?

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

priors = {"weak Beta(1, 1)": (1, 1), "strong Beta(10, 90)": (10, 90)}
data = [(5, 1), (50, 10), (500, 100)]      # (n, k): সবসময় ২০% ফেরত
theta = np.linspace(0, 0.5, 501)

fig, axes = plt.subplots(1, 3, figsize=(7.5, 2.8), sharey=True)
for ax, (n, k) in zip(axes, data):
    print(f"n = {n}, k = {k}, MLE = {k / n:.3f}")
    for name, (a, b) in priors.items():
        a1, b1 = a + k, b + n - k
        lo, hi = stats.beta.ppf([0.025, 0.975], a1, b1)
        print(f"   {name:20s} mean {a1 / (a1 + b1):.3f}"
              f"  95% CrI [{lo:.3f}, {hi:.3f}]")
        ax.plot(theta, stats.beta.pdf(theta, a1, b1), label=name)
    ax.axvline(0.2, color="gray", ls=":")
    ax.set_title(f"n = {n}")
    ax.set_xlabel("theta")
axes[0].set_ylabel("posterior density")
axes[0].legend(fontsize=7)
plt.tight_layout()
plt.show()

n = 5, k = 1, MLE = 0.200
   weak Beta(1, 1)      mean 0.286  95% CrI [0.043, 0.641]
   strong Beta(10, 90)  mean 0.105  95% CrI [0.054, 0.170]
n = 50, k = 10, MLE = 0.200
   weak Beta(1, 1)      mean 0.212  95% CrI [0.113, 0.331]
   strong Beta(10, 90)  mean 0.133  95% CrI [0.084, 0.192]
n = 500, k = 100, MLE = 0.200
   weak Beta(1, 1)      mean 0.201  95% CrI [0.167, 0.237]
   strong Beta(10, 90)  mean 0.183  95% CrI [0.153, 0.215]

৭ · দুটি পণ্যের তুলনা — posterior থেকে নমুনা, আর credible বনাম confidence interval

বাজারঘরের ক্রয় দল জানতে চায়: হেডফোন (৪০টিতে ৭টি ফেরত) কি ব্লুটুথ স্পিকারের (১৫০টিতে ১৮টি ফেরত) চেয়ে বেশি ফেরত আসে? কাঁচা হার ০.১৭৫ বনাম ০.১২০, কিন্তু হেডফোনের নমুনা ছোট। Bayesian উত্তর একটি সরাসরি সম্ভাবনা: P(θ_A > θ_B | ডেটা). দুটি Beta-র পার্থক্যের কোনো সহজ সূত্র নেই, কিন্তু দরকারও নেই: দুটি posterior থেকে অনেক নমুনা নিয়ে গুনে ফেলুন, যা পর্ব ৩৬-এর Monte Carlo.

import numpy as np
from scipy import stats

# কাল্পনিক ডেটা: দুটি পণ্যের অর্ডার আর ফেরত; prior দুটিরই Beta(1, 1)
nA, kA = 40, 7         # হেডফোন
nB, kB = 150, 18       # ব্লুটুথ স্পিকার
aA, bA = 1 + kA, 1 + nA - kA
aB, bB = 1 + kB, 1 + nB - kB

rng = np.random.default_rng(42)
S = 100_000
tA = rng.beta(aA, bA, S)               # posterior থেকে নমুনা
tB = rng.beta(aB, bB, S)
diff = tA - tB

print(f"raw rates: A {kA / nA:.3f}, B {kB / nB:.3f}")
print(f"posterior means: A {tA.mean():.4f}, B {tB.mean():.4f}")
print(f"P(theta_A > theta_B) ≈ {(tA > tB).mean():.4f}")
print(f"P(A is at least 5 points worse) ≈ {(diff > 0.05).mean():.4f}")
lo, hi = np.percentile(diff, [2.5, 97.5])
print(f"95% interval for theta_A - theta_B: [{lo:.4f}, {hi:.4f}]")

# যাচাই: Monte Carlo-র নিজের নড়াচড়া কত?
p = (tA > tB).mean()
print(f"Monte Carlo SE ≈ {np.sqrt(p * (1 - p) / S):.4f}")

# তুলনা: শুধু A-এর জন্য frequentist Wald CI আর Bayesian credible interval
se = np.sqrt(kA / nA * (1 - kA / nA) / nA)
print(f"A Wald 95% CI      : [{kA / nA - 1.96 * se:.4f}, {kA / nA + 1.96 * se:.4f}]")
print("A 95% credible int.:", np.round(stats.beta.ppf([0.025, 0.975], aA, bA), 4))

raw rates: A 0.175, B 0.120
posterior means: A 0.1904, B 0.1250
P(theta_A > theta_B) ≈ 0.8412
P(A is at least 5 points worse) ≈ 0.5704
95% interval for theta_A - theta_B: [-0.0516, 0.2041]
Monte Carlo SE ≈ 0.0012
A Wald 95% CI      : [0.0572, 0.2928]
A 95% credible int.: [0.0882 0.3206]

Credible interval বনাম confidence interval — সহজ ভাষায়

পর্ব ৩৭-এ confidence interval (CI) দেখেছেন, আর তার “৯৫%”-এর সঠিক অর্থ: পদ্ধতিটি বারবার নতুন নমুনায় চালালে প্রায় ৯৫% বার পরিসরটি আসল মান ধরবে। Credible interval সরাসরি সেই কথা বলে যা বেশিরভাগ মানুষ শুনতে চান: “আমার মডেল আর prior মেনে নিলে, θ এই পরিসরে আছে ৯৫% সম্ভাবনায়।” দাম হলো ঐ “মেনে নিলে”.

সংখ্যায় দুটি প্রায়ই কাছাকাছি, বিশেষ করে বড় নমুনা আর দুর্বল prior-এ। উপরের আউটপুটে ৪০টি অর্ডারে পার্থক্য চোখে পড়ে: Wald CI গড়ের দুই দিকে সমান দূরে (ছোট নমুনায় এর আসল coverage ৯৫%-এর কম হতে পারে বলে পরিসংখ্যানের সাহিত্যে বহুবার দেখানো হয়েছে), আর Beta posterior ডান দিকে একটু লম্বা, তাই পরিসরটি অসমান। কোনটি “ঠিক”, সেই বিতর্ক পর্ব ৩৭-এর ভাবনার প্রশ্নে আছে; রিপোর্টে কোনটি দিচ্ছেন তা নাম ধরে লিখুন, আর credible interval দিলে prior-টিও।

৮ · MLE, MAP আর Laplace-এর rule of succession

অনেক সময় পুরো posterior-এর বদলে একটি সংখ্যাই লাগে। তিনটি পরিচিত পছন্দ:

MAP-এর সূত্রটি ভালো করে দেখুন: এটি ঠিক MLE, শুধু লবে α − 1টি কল্পিত ফেরত আর হরে α + β − 2টি কল্পিত অর্ডার যোগ করা। তাই বলা হয় MAP = MLE + pseudo-count. সমতল prior Beta(1, 1)-এ যোগ শূন্য, আর MAP হুবহু MLE; অর্থাৎ MLE হলো সমতল prior-এর MAP. Log নিলে MAP সর্বোচ্চ করে log likelihood + log prior; পরের Machine Learning কোর্সের অনেক regularization-কে এভাবে একটি prior-এর log হিসেবে পড়া যায়। তবে MAP শুধু চূড়া দেখে, পরিসর দেখে না।

Laplace-এর rule of succession

একটি নতুন পণ্য ৮টি অর্ডারে একটিও ফেরত আসেনি। MLE বলে θ = ০/৮ = ০: “এই পণ্য কখনো ফেরত আসবে না”. এটি স্পষ্টতই অতি-আত্মবিশ্বাস। সমতল Beta(1, 1) prior নিলে posterior mean হয়

P(পরের অর্ডার ফেরত | n-এ k) = (k + 1) / (n + 2)

৮-এ ০ হলে (০ + ১) ÷ (৮ + ২) = ০.১০. এটিই Laplace-এর rule of succession: “একটি সাফল্য আর একটি ব্যর্থতা আগেই দেখেছি” ধরে নেওয়া। Pierre-Simon Laplace ১৭৭৪ সালের একটি প্রবন্ধে এই ধারায় হিসাব করেন, আর ১৮১৪ সালের Essai philosophique sur les probabilités-এ সূর্য পরদিন ওঠার সম্ভাবনা নিয়ে তাঁর বিখ্যাত (আর বিতর্কিত) উদাহরণটি আছে বলে প্রচলিত। একই “১ যোগ করা”-র কৌশল পর্ব ৫১-এ Naive Bayes-এ Laplace smoothing নামে আসবে, যা না-দেখা শব্দের শূন্য সম্ভাবনা ঠেকায়।

৯ · AI-তে Bayesian চিন্তা — কোথায় কাজে লাগে, আর কোথায় ভুল হয়

Bayes-এর উপপাদ্য AI-তে নানা রূপে আসে; এখানে শুধু পরিচয়।

দুটি উন্নত রূপের নাম শুধু জেনে রাখুন। Bayesian optimization একটি দামি ফাংশন, যেমন একটি মডেলের hyperparameter বনাম validation score, সম্পর্কে একটি অনিশ্চিত মডেল রাখে আর ঠিক করে পরের কোন বিন্দু পরীক্ষা করা সবচেয়ে লাভজনক; ২০১২ সালে Jasper Snoek ও সহকর্মীদের একটি প্রবন্ধ Machine Learning-এ এর ব্যবহার পরিচিত করে। Bayesian deep learning neural network-এ অনিশ্চয়তা রাখার চেষ্টা, যাতে model অচেনা ইনপুটে “জানি না” বলতে পারে; এটি সক্রিয় গবেষণার বিষয়, আর এর নির্ভরযোগ্যতা নিয়ে মতভেদ আছে। দুটিই পরের Machine Learning আর Deep Learning কোর্সে আসবে।

সাধারণ ভুল

• Prior-এর অপব্যবহার: ডেটা দেখার পর এমন prior বাছা যাতে কাঙ্ক্ষিত উত্তর আসে। প্রতিকার: ডেটা দেখার আগে prior লিখে রাখা, তার উৎস জানানো, আর দুই-তিনটি যুক্তিসঙ্গত prior দিয়ে ফল দেখানো (অংশ ৬)।
• Base rate উপেক্ষা: শুধু likelihood দেখে সিদ্ধান্ত। ৯৯% নির্ভুল পরীক্ষাও দুর্লভ ঘটনায় বেশিরভাগ সময় ভুল সতর্কবার্তা দেয় (পর্ব ৩৫-এর base-rate fallacy).
• P(E | H) আর P(H | E) গুলিয়ে ফেলা: আদালতে একে prosecutor's fallacy বলা হয়; “নির্দোষ হলে এমন প্রমাণ দুর্লভ” মানে “নির্দোষ হওয়া দুর্লভ” নয়। বিস্তারিত পর্ব ৩৫-এ।
• ০ বা ১ prior: P(H) = ০ দিলে কোনো প্রমাণেই posterior বাড়ে না, কারণ গুণফল শূন্যই থাকে। তাই Cromwell's rule-এর পরামর্শ: নিশ্চিত না হলে নিশ্চিত সংখ্যা দেবেন না।
• ভুল likelihood: Binomial ধরে নেয় প্রতিটি অর্ডার স্বাধীন আর একই হারের। একটি ত্রুটিপূর্ণ চালানের হেডফোন একসঙ্গে ফেরত এলে তা ভাঙে, আর posterior ভুল মডেলের ওপর দাঁড়ায়।
• নির্ভরশীল প্রমাণ দুবার গোনা: অংশ ৪-এর ০.৮৩৩ থেকে ০.৯২৬; Naive Bayes-এর অতিরিক্ত চরম সম্ভাবনার মূলেও এটি।

১০ · AI-এর যুগে — AI assistant-এর Bayesian হিসাব যাচাই

AI assistant Bayes-এর সূত্র নির্ভুলভাবে লিখতে পারে, কিন্তু সংখ্যা বসাতে গিয়ে প্রায়ই ছোট ছোট ভুল করে: হরের evidence বাদ দেয়, P(E | H) আর P(H | E) উল্টে ফেলে, বা SciPy-র parameter-এর অর্থ গুলিয়ে ফেলে। আত্মবিশ্বাসী ভাষায় লেখা ভুল সংখ্যা সহজে চোখে পড়ে না।

AI-এর Bayesian উত্তর হাতে পেলে — যাচাইয়ের চেকলিস্ট

• Prior, likelihood আর evidence আলাদা করে চিহ্নিত করেছি; posterior-এর যোগফল ১ কি না দেখেছি
• একটি ছোট সংস্করণ হাতে বা ভগ্নাংশে হিসাব করে কোডের উত্তরের সঙ্গে মিলিয়েছি
• একাধিক প্রমাণ গুণ করা হলে তাদের শর্তসাপেক্ষ স্বাধীনতার যুক্তি আছে; কোনো প্রমাণ দুবার গোনা হয়নি
• Prior কোথা থেকে এল লেখা আছে, আর অন্তত একটি বিকল্প prior-এ ফল দেখেছি
• SciPy-র parameter (a, b, ppf, sf) নিজের version-এর অফিসিয়াল docs-এ মিলিয়েছি, আর কোড নিজে চালিয়ে পুরো আউটপুট ও warning পড়েছি
• রিপোর্টে n, prior আর interval-এর ধরন (credible না confidence) স্পষ্ট; কোনো আসল গ্রাহকের ডেটা AI-তে পেস্ট করিনি