শর্তসাপেক্ষ সম্ভাবনা, independence আর Bayes-এর উপপাদ্য

১ · শর্তসাপেক্ষ সম্ভাবনা — নতুন তথ্যে sample space ছোট হয়

কাল্পনিক অনলাইন দোকান বাজারঘর গত সপ্তাহে ২০০টি অর্ডার পাঠিয়েছে: ১২০টি ঢাকার ভেতরে, ৮০টি ঢাকার বাইরে। ঢাকার ভেতরের ১৮টি আর বাইরের ২০টি অর্ডার দেরিতে পৌঁছেছে। এলোমেলোভাবে একটি অর্ডার বাছলে (প্রতিটি অর্ডার সমান সম্ভাব্য) সেটি দেরিতে পৌঁছানোর সম্ভাবনা 38/200 = 19/100. এখন কেউ বললেন, “অর্ডারটি ঢাকার বাইরের।” নতুন তথ্য পেলে উত্তর বদলায়: এখন আমরা শুধু ৮০টি অর্ডারের মধ্যে খুঁজছি, যার ২০টি দেরিতে, তাই সম্ভাবনা 20/80 = 1/4.

পর্ব ৩৮ “বিচ্ছিন্ন সম্ভাবনা — sample space, event আর Laplace-এর সংজ্ঞা”-এর ভাষায়, একটি পরীক্ষার সব সম্ভাব্য ফলের সেট হলো sample space Ω, আর Ω-এর যেকোনো উপসেট একটি event. Event যেহেতু সেট, তাই “A আর B দুটিই” মানে intersection A ∩ B, আর “A অথবা B” মানে union A ∪ B (পর্ব ১৪ আর পর্ব ১৫)। এই পর্বে Ω সসীম বা গণনাযোগ্য (countable), আর P হলো Kolmogorov-এর স্বতঃসিদ্ধ মেনে চলা একটি সম্ভাবনা মাপ: P(E) ≥ 0, P(Ω) = 1, আর পরস্পর বিচ্ছিন্ন event-এর union-এর সম্ভাবনা তাদের সম্ভাবনার যোগফল।

সব ফল সমান সম্ভাব্য হলে সংজ্ঞাটি সরাসরি গোনায় নামে: P(A | B) = |A ∩ B| / |B|. অর্থাৎ Ω বাদ দিয়ে B-কেই নতুন sample space ধরুন, আর তার ভেতরে A-এর ফল গুনুন। একটি ছক্কা ছুড়লে A = “৪ বা তার বেশি” = {4, 5, 6} আর B = “জোড়” = {2, 4, 6}. তখন P(A) = 1/2, কিন্তু P(A | B) = |{4, 6}| / 3 = 2/3: জোড় জানলে বড় সংখ্যার সম্ভাবনা বাড়ে।

বাজারঘরের উদাহরণে D = “দেরিতে”, O = “ঢাকার বাইরে” লিখুন। তাহলে P(D | O) = 20/80 = 1/4, কিন্তু P(O | D) = 20/38 = 10/19 ≈ 0.53. দুটি প্রশ্ন একেবারে আলাদা: প্রথমটি বলে বাইরের অর্ডারের কত অংশ দেরি করে, দ্বিতীয়টি বলে দেরির অর্ডারের কত অংশ বাইরের। এই দুটি গুলিয়ে ফেলা সম্ভাবনার সবচেয়ে সাধারণ ভুল, যা §৭-এ আবার আসবে।

প্রমাণ:

1. Q(A) = P(A ∩ B)/P(B), যেখানে লব ≥ 0 আর হর > 0, তাই Q(A) ≥ 0. — P-এর প্রথম স্বতঃসিদ্ধ
2. Q(Ω) = P(Ω ∩ B)/P(B) = P(B)/P(B) = 1. — Ω ∩ B = B
3. A₁, A₂, … পরস্পর বিচ্ছিন্ন হলে A_i ∩ B-গুলোও পরস্পর বিচ্ছিন্ন, আর (∪ A_i) ∩ B = ∪ (A_i ∩ B). — বণ্টন নিয়ম, পর্ব ১৫
4. তাই Q(∪ A_i) = P(∪ (A_i ∩ B))/P(B) = ∑ P(A_i ∩ B)/P(B) = ∑ Q(A_i). ∎ — P-এর যোগের স্বতঃসিদ্ধ

এই উপপাদ্যের মানে গভীর: নতুন তথ্য পাওয়া মানে একটি নতুন সম্ভাবনার জগতে ঢোকা, যেখানে পুরোনো সব নিয়ম একই রকম কাজ করে। পরের তথ্য এলে আবার শর্ত বসানো যায়: P(A | B ∩ C) মানে আগে B, তারপর C জানার পরের সম্ভাবনা।

২ · গুণের নিয়ম আর chain rule — ধাপে ধাপে ঘটা ঘটনা

সংজ্ঞার দুই দিকে P(B) দিয়ে গুণ করলেই একটি অত্যন্ত কাজের সূত্র পাওয়া যায়। এটি তখনই সবচেয়ে উপকারী, যখন ঘটনাগুলো একটির পর একটি ঘটে আর প্রতিটি ধাপের সম্ভাবনা আগের ধাপ জেনে সহজে বলা যায়।

প্রমাণ এক লাইনের: সংজ্ঞা ১.১-এর দুই দিক P(B) দিয়ে গুণ করুন। ∎ এটিকে বলে সম্ভাবনার গুণের নিয়ম (multiplication rule). পর্ব ৩১-এর গণনার গুণের নিয়মের সঙ্গে মিলটি লক্ষ করুন: সেখানে প্রতিটি ধাপে পছন্দের সংখ্যা গুণ হতো, এখানে প্রতিটি ধাপের শর্তসাপেক্ষ সম্ভাবনা।

প্রমাণ (n-এর ওপর induction, পর্ব ১০): প্রথমে লক্ষ করুন, A₁ ∩ … ∩ A_k ⊇ A₁ ∩ … ∩ A_n−1 যখন k ≤ n − 1, তাই শর্তটি থেকে প্রতিটি ছোট intersection-এর সম্ভাবনাও ধনাত্মক, আর সূত্রের সব শর্তসাপেক্ষ সম্ভাবনা সুসংজ্ঞায়িত।

1. ভিত্তি n = 2: P(A₁ ∩ A₂) = P(A₁) P(A₂ | A₁), যা উপপাদ্য ২.১. — গুণের নিয়ম
2. অনুমান: কোনো n ≥ 2-এর জন্য সূত্রটি সত্য। — induction hypothesis
3. ধাপ: B = A₁ ∩ … ∩ A_n লিখুন, যার সম্ভাবনা শর্ত অনুযায়ী ধনাত্মক। তাহলে P(B ∩ A_n+1) = P(B) · P(A_n+1 | B). — উপপাদ্য ২.১
4. অনুমান থেকে P(B)-কে n-টি গুণফলে ভাঙুন; শেষ গুণনীয়ক P(A_n+1 | A₁ ∩ … ∩ A_n). তাই সূত্রটি n + 1-এর জন্যও সত্য। ∎ — প্রতিস্থাপন

এই সূত্রকে বলে chain rule (সম্ভাবনার শৃঙ্খল নিয়ম)। Calculus-এর chain rule-এর সঙ্গে এর কোনো সম্পর্ক নেই; শুধু নাম মেলে।

বাজারঘরের মান-পরীক্ষা: ব্যাচ থেকে না ফিরিয়ে তোলা

একটি ব্যাচে ২০টি পাওয়ার ব্যাংক, তার ৩টি ত্রুটিপূর্ণ। পরিদর্শক একটি একটি করে ৩টি তোলেন, ফেরত রাখেন না। G_i = “i-তম তোলা জিনিসটি ভালো”। Chain rule অনুযায়ী

P(G₁ ∩ G₂ ∩ G₃) = (17/20) · (16/19) · (15/18) = 34/57 ≈ 0.596

প্রতিটি গুণনীয়ক সহজ: প্রথমবার ২০টির ১৭টি ভালো; প্রথমটি ভালো জানলে বাকি ১৯টির ১৬টি ভালো; প্রথম দুটি ভালো জানলে বাকি ১৮টির ১৫টি। একই উত্তর গণনা দিয়েও আসে: ভালো ১৭টি থেকে ৩টি বাছাই C(17, 3) = 680, সব বাছাই C(20, 3) = 1140, অনুপাত 680/1140 = 34/57 (পর্ব ৩৩)। দুই পদ্ধতির মিল একটি ভালো পরীক্ষা। Complement নিলে “অন্তত একটি ত্রুটিপূর্ণ ধরা পড়ে” = 1 − 34/57 = 23/57. আর “প্রথম ত্রুটিপূর্ণটি ঠিক দ্বিতীয় তোলায়” = (17/20)(3/19) = 51/380. শেষ দুটি সংখ্যা scratch-এ ২০ × ১৯ × ১৮ = ৬৮৪০টি সাজানো তোলা গুনে মেলানো।

৩ · মোট সম্ভাবনার সূত্র — পথে ভাগ করে যোগ

বাজারঘর তিনটি গুদাম থেকে পণ্য পাঠায়। মোট চালানের ৫০% ঢাকা, ৩০% চট্টগ্রাম আর ২০% রাজশাহী গুদাম থেকে; ত্রুটির হার যথাক্রমে ২%, ৩% আর ৫% ধরা যাক। এলোমেলো একটি চালান ত্রুটিপূর্ণ হওয়ার সম্ভাবনা কত? প্রতিটি চালান ঠিক একটি গুদাম থেকে আসে, তাই প্রশ্নটি তিন ভাগে ভাঙা যায়।

প্রমাণ:

1. A = A ∩ Ω = A ∩ (B₁ ∪ … ∪ B_n) = (A ∩ B₁) ∪ … ∪ (A ∩ B_n). — partition-এর সংজ্ঞা, বণ্টন নিয়ম
2. A ∩ B_i ⊆ B_i, আর B_i-গুলো পরস্পর বিচ্ছিন্ন, তাই A ∩ B_i-গুলোও পরস্পর বিচ্ছিন্ন। — উপসেটের intersection
3. তাই P(A) = ∑ P(A ∩ B_i). — যোগের স্বতঃসিদ্ধ
4. প্রতিটি পদ P(A ∩ B_i) = P(A | B_i) P(B_i). ∎ — উপপাদ্য ২.১

গণনাযোগ্য অসীম partition B₁, B₂, …-এর জন্যও একই প্রমাণ খাটে, কারণ যোগের স্বতঃসিদ্ধ গণনাযোগ্য union-এ প্রযোজ্য। এটিকে বলে law of total probability. এর ছবি হলো একটি probability tree: প্রথম শাখায় partition, দ্বিতীয় শাখায় শর্তসাপেক্ষ সম্ভাবনা; একটি পথ ধরে গুণ করলে সেই পথের সম্ভাবনা, আর A-তে শেষ হওয়া সব পথ যোগ করলে P(A). নিচের stepper গুদামের প্রশ্নটি ১০,০০০ চালানের হিসাবে দেখায়।

1partition: 5000 · 3000 · 20002ঢাকা: 5000 × 2% = 1003চট্টগ্রাম: 3000 × 3% = 904রাজশাহী: 2000 × 5% = 1005P(D) = 290/10000 = 0.0296P(রাজশাহী | D) = 100/290

শেষ ধাপে ঢাকারও 100/290 = 10/29, আর চট্টগ্রামের 90/290 = 9/29; তিনটি মিলে 1, যেমন হওয়ার কথা (উপপাদ্য ১.২)। খেয়াল করুন, ঢাকার ত্রুটির হার সবচেয়ে কম হলেও চালান বেশি বলে ত্রুটির অংশ রাজশাহীর সমান। মান-নিয়ন্ত্রণের সিদ্ধান্তে শুধু হার নয়, পরিমাণও দেখতে হয়।

৪ · Bayes-এর উপপাদ্য আর base rate — fraud filter-এর হিসাব

বাজারঘরের একটি স্বয়ংক্রিয় fraud filter প্রতিটি অর্ডার পরীক্ষা করে সন্দেহজনক হলে সতর্কতা (alarm) দেয়। ধরুন (কাল্পনিক সংখ্যা): অর্ডারের ১% জালিয়াতি; জালিয়াতির ৯৫% filter ধরে, যাকে বলে sensitivity; আর সৎ অর্ডারের ৫%-এও ভুল করে সতর্কতা দেয়, অর্থাৎ false positive-এর হার ৫% ধরা হলো। একটি অর্ডারে সতর্কতা এল। এটি আসলে জালিয়াতি হওয়ার সম্ভাবনা কত? অনেকে দ্রুত বলেন, “৯৫% তো বটেই”। চলুন হিসাব করি।

প্রমাণ:

1. P(B_j | A) = P(B_j ∩ A)/P(A). — সংজ্ঞা ১.১, P(A) > 0
2. লব P(B_j ∩ A) = P(A | B_j) P(B_j). — উপপাদ্য ২.১, P(B_j) > 0
3. হর P(A) = ∑_i P(A | B_i) P(B_i). ∎ — উপপাদ্য ৩.২

উপপাদ্যটি তিনটি শব্দে মনে রাখুন। P(H) হলো prior: প্রমাণ দেখার আগে অনুমানের সম্ভাবনা। P(E | H) হলো likelihood: অনুমান সত্য হলে এই প্রমাণ দেখার সম্ভাবনা। আর P(H | E) হলো posterior: প্রমাণ দেখার পরের সম্ভাবনা। Fraud filter-এ H = “জালিয়াতি”, E = “সতর্কতা”:

P(H | E) = (0.95 × 0.01) / (0.95 × 0.01 + 0.05 × 0.99) = 0.0095 / 0.059 = 19/118 ≈ 0.161

অর্থাৎ সতর্কতা পাওয়া অর্ডারের মাত্র ১৬%-এর মতো আসলে জালিয়াতি। কারণটি হলো base rate: জালিয়াতি খুব বিরল (১%), তাই বিশাল সংখ্যক সৎ অর্ডারের ছোট ৫% ভুলই সংখ্যায় আসল জালিয়াতিকে ছাপিয়ে যায়। Base rate উপেক্ষা করে “৯৫%” বলার ভুলকে বলে base rate fallacy.

Natural frequency — শতাংশ নয়, মানুষ গোনা

শতাংশের বদলে গোনা সংখ্যায় ভাবলে Bayes প্রায় স্বাভাবিক লাগে। এই কৌশলের নাম natural frequency; ১৯৯০-এর দশকে মনোবিজ্ঞানী Gerd Gigerenzer ও সহকর্মীদের গবেষণায় দেখা যায়, একই প্রশ্ন “১০০০-এর মধ্যে কয়জন” আকারে দিলে বহু মানুষ অনেক বেশি সঠিক উত্তর দেন। নিচের ছবি আর stepper ১০,০০০টি অর্ডার দিয়ে হিসাবটি দেখায়।

1১০,০০০ অর্ডার21% জালিয়াতি: 100 · সৎ 9,900395% ধরা: 95 ⚠, 5 ছাড়45% ভুল ⚠: 495, ছাড় 9,4055মোট ⚠ = 95 + 495 = 590695/590 = 19/118 ≈ 0.161

Odds রূপ — প্রমাণ জমানোর সহজ উপায়

একটি event-এর odds হলো P(H)/P(Hᶜ). Bayes-এর সূত্র H আর Hᶜ দুটির জন্য লিখে ভাগ করলে P(E) কেটে যায়:

posterior odds = prior odds × P(E | H)/P(E | Hᶜ)

ডানের ভগ্নাংশের নাম likelihood ratio. আমাদের filter-এ এটি 0.95/0.05 = 19, আর prior odds 1/99. তাই posterior odds 19/99, অর্থাৎ সম্ভাবনা 19/(19 + 99) = 19/118, একই উত্তর। সুবিধা হলো, দ্বিতীয় একটি স্বাধীন filter-ও যদি সতর্কতা দেয় (শর্ত: জালিয়াতি বা সৎ, যেকোনো শ্রেণি জানা থাকলে দুই filter স্বাধীনভাবে আচরণ করে, যা §৬-এর conditional independence), তবে আবার 19 দিয়ে গুণ করলেই হয়: 361/99, অর্থাৎ 361/460 ≈ 0.785. একটি সতর্কতায় ১৬%, আর দুটিতে প্রায় ৭৯% সম্ভাবনা।

এবার Python-এ হিসাবটি Fraction দিয়ে নিখুঁত করুন, তারপর seeded simulation দিয়ে মেলান, আর দেখুন base rate বদলালে উত্তর কীভাবে বদলায়। প্রথমবার চালালে ব্রাউজারে Python (Pyodide) নামতে কয়েক সেকেন্ড লাগে।

from fractions import Fraction as F
import random

def posterior(prior, detect, false_alarm):
    """Bayes: P(fraud | alarm) from the three rates"""
    p_alarm = detect * prior + false_alarm * (1 - prior)   # total probability
    return detect * prior / p_alarm, p_alarm

prior, detect, fa = F(1, 100), F(95, 100), F(5, 100)
post, p_alarm = posterior(prior, detect, fa)
print("P(alarm) =", p_alarm, " P(fraud | alarm) =", post, "=", f"{float(post):.4f}")

random.seed(39)                       # same numbers on every run
N = 100_000
alarms = fraud_alarms = 0
for _ in range(N):
    fraud = random.random() < 0.01
    alarm = random.random() < (0.95 if fraud else 0.05)
    if alarm:
        alarms += 1
        fraud_alarms += fraud
print(f"simulation: {fraud_alarms} of {alarms} alarms are fraud = {fraud_alarms / alarms:.4f}")

print("base rate -> P(fraud | alarm)")
for r in (F(1, 1000), F(1, 100), F(1, 10), F(1, 2)):
    p, _ = posterior(r, detect, fa)
    print(f"  {str(r):>6}  {str(p):>8}  {float(p):.4f}")

odds = prior / (1 - prior) * (detect / fa) ** 2   # 2 alarms, indep. given class
print("after two alarms:", odds / (1 + odds), f"= {float(odds / (1 + odds)):.4f}")

P(alarm) = 59/1000  P(fraud | alarm) = 19/118 = 0.1610
simulation: 994 of 5893 alarms are fraud = 0.1687
base rate -> P(fraud | alarm)
  1/1000   19/1018  0.0187
   1/100    19/118  0.1610
    1/10     19/28  0.6786
     1/2     19/20  0.9500
after two alarms: 361/460 = 0.7848

৫ · Independence — যখন একটি জানলে অন্যটির সম্ভাবনা বদলায় না

দুটি আলাদা মুদ্রা ছোড়া হলো। প্রথমটি হেড হয়েছে জানলে দ্বিতীয়টি হেড হওয়ার সম্ভাবনা বদলায় না। এই স্বজ্ঞাকে নিখুঁত করতে P(A | B) = P(A) লেখা যেত, কিন্তু তাতে P(B) > 0 শর্ত লাগে আর A, B-এর ভূমিকা অসম লাগে। তাই প্রতিসম সংজ্ঞাটি নেওয়া হয়।

প্রমাণ:

1. (ক) P(A | B) = P(A ∩ B)/P(B). এটি P(A)-এর সমান ⇔ P(A ∩ B) = P(A) P(B). — সংজ্ঞা ১.১, P(B) দিয়ে গুণ
2. (খ) A = (A ∩ B) ∪ (A ∩ Bᶜ), দুটি অংশ পরস্পর বিচ্ছিন্ন, তাই P(A ∩ Bᶜ) = P(A) − P(A ∩ B). — যোগের স্বতঃসিদ্ধ
3. স্বাধীনতা বসালে P(A ∩ Bᶜ) = P(A) − P(A)P(B) = P(A)(1 − P(B)) = P(A) P(Bᶜ). — complement-এর নিয়ম
4. (গ) A ∩ B = ∅ হলে P(A ∩ B) = 0, কিন্তু P(A)P(B) > 0; গুণের সমতা ভাঙে। ∎ — P(∅) = 0

(গ) অংশটি একটি জনপ্রিয় বিভ্রান্তি দূর করে: “পরস্পর বিচ্ছিন্ন” আর “স্বাধীন” প্রায় উল্টো ধারণা। বিচ্ছিন্ন হলে একটি ঘটলে অন্যটি নিশ্চিতভাবে ঘটেনি, যা সবচেয়ে শক্তিশালী তথ্য। আরেকটি বিভ্রান্তি: independence শারীরিক আলাদাপনা নয়, একটি সংখ্যাগত সম্পর্ক। একটিমাত্র ছক্কায় E = “জোড়” = {2, 4, 6} আর S = {1, 2}: P(E ∩ S) = P({2}) = 1/6 = (1/2)(1/3). একই ছক্কা, তবু E আর S স্বাধীন। অথচ E আর G = {4, 5, 6} স্বাধীন নয়, কারণ P(E ∩ G) = 1/3 ≠ 1/4.

তিন বা বেশি event — pairwise বনাম mutual

Mutual independence-এ কয়টি সমীকরণ যাচাই করতে হয়? n উপাদানের সেটের উপসেট 2ⁿটি; তার মধ্যে খালি সেট আর n-টি এক-উপাদানের উপসেট বাদ দিলে 2ⁿ − n − 1টি (পর্ব ৩১)। n = 3-এ ৪টি: তিনটি জোড়া আর একটি ত্রয়ী। Pairwise শুধু প্রথম তিনটি চায়। শেষটি কি আপনাআপনি আসে? না।

Counterexample: দুটি ন্যায্য মুদ্রা ছুড়ুন; Ω = {HH, HT, TH, TT}, প্রতিটি 1/4. A = “প্রথমটি হেড”, B = “দ্বিতীয়টি হেড”, C = “ঠিক একটি হেড”। C আসলে A আর B-এর XOR (পর্ব ২): C = {HT, TH}. প্রতিটির সম্ভাবনা 1/2. A ∩ B = {HH}, A ∩ C = {HT}, B ∩ C = {TH}, প্রতিটি 1/4 = (1/2)(1/2); তাই তিনটি জোড়াই স্বাধীন। কিন্তু A ∩ B ∩ C = ∅, কারণ দুটিই হেড হলে “ঠিক একটি হেড” হতে পারে না: 0 ≠ 1/8. যেকোনো দুটি জানলে তৃতীয়টি পুরো জানা হয়ে যায়। নিচের কোড প্রতিটি সমীকরণ গুনে দেখায়।

from fractions import Fraction as F
from itertools import product, combinations

def check(omega, events):
    """print every product test for a family of events on equally likely omega"""
    P = lambda E: F(len(E), len(omega))
    names = list(events)
    for k in range(2, len(names) + 1):
        for group in combinations(names, k):
            both = set(omega)
            for g in group:
                both &= events[g]
            prod = 1
            for g in group:
                prod *= P(events[g])
            ok = "==" if P(both) == prod else "!="
            print(f"  P({'∩'.join(group)}) = {P(both)} {ok} {prod}")

coins = list(product("HT", repeat=2))           # 4 equally likely outcomes
A = {w for w in coins if w[0] == "H"}            # first coin heads
B = {w for w in coins if w[1] == "H"}            # second coin heads
C = {w for w in coins if (w[0] == "H") ^ (w[1] == "H")}   # exactly one head
print("two coins, C = A xor B:")
check(coins, {"A": A, "B": B, "C": C})

die = range(1, 7)
print("one die, E = even, S = {1, 2}:")
check(die, {"E": {2, 4, 6}, "S": {1, 2}})
print("one die, E = even, G = at least 4:")
check(die, {"E": {2, 4, 6}, "G": {4, 5, 6}})

two coins, C = A xor B:
  P(A∩B) = 1/4 == 1/4
  P(A∩C) = 1/4 == 1/4
  P(B∩C) = 1/4 == 1/4
  P(A∩B∩C) = 0 != 1/8
one die, E = even, S = {1, 2}:
  P(E∩S) = 1/6 == 1/6
one die, E = even, G = at least 4:
  P(E∩G) = 1/3 != 1/4

কম্পিউটার বিজ্ঞানে independence-এর সবচেয়ে বড় ব্যবহার হলো পুনরাবৃত্তি দিয়ে ভুলের সম্ভাবনা কমানো। Miller–Rabin পরীক্ষায় একটি যৌগিক সংখ্যা একটি এলোমেলো base-এ ভুল করে “সম্ভবত মৌলিক” পাস করার সম্ভাবনা সর্বোচ্চ 1/4 (পর্ব ২৫)। k-টি রাউন্ডে base যদি স্বাধীনভাবে বাছা হয়, তবে সব রাউন্ডে ভুলের সম্ভাবনা গুণ হয়ে সর্বোচ্চ (1/4)^k. এখানে mutual independence-ই দরকার, কারণ k-টি event-এর একসঙ্গে ঘটার সম্ভাবনা চাই। আবার কিছু জায়গায় দুর্বল pairwise independence-ই যথেষ্ট, যেমন কয়েকটি hash function-এর পরিবার আর variance-এর হিসাব; এর গল্প পর্ব ৪১ আর ভাবনার প্রশ্নে।

৬ · Conditional independence আর naive Bayes spam filter

সাধারণ independence আর conditional independence একটি অন্যটিকে বোঝায় না; দুই দিকেই counterexample আছে।

• শর্তে স্বাধীন, কিন্তু সাধারণভাবে নয়। §৪-এর দুই filter-এর সতর্কতা A₁, A₂ শ্রেণি জানা থাকলে স্বাধীন ধরা হয়েছিল। তবু P(A₁) = 0.059, আর মোট সম্ভাবনায় P(A₁ ∩ A₂) = 0.01 × 0.95² + 0.99 × 0.05² = 0.0115, যেখানে P(A₁)² = 0.003481. প্রথম সতর্কতা জানলে দ্বিতীয়টির সম্ভাবনা 0.059 থেকে বেড়ে 23/118 ≈ 0.195 হয়, কারণ প্রথমটি জালিয়াতির সম্ভাবনা বাড়িয়ে দেয়। দুটি সতর্কতার “সাধারণ কারণ” শ্রেণিটি।
• সাধারণভাবে স্বাধীন, কিন্তু শর্তে নয়। দুটি ন্যায্য মুদ্রা: A = “প্রথমটি হেড”, B = “দ্বিতীয়টি হেড” স্বাধীন। কিন্তু C = “দুটির ফল একই” = {HH, TT} দেওয়া থাকলে P(A | C) = P(B | C) = 1/2, অথচ P(A ∩ B | C) = 1/2 ≠ 1/4: এখন প্রথমটি জানলে দ্বিতীয়টি পুরো জানা।

Naive Bayes — Bayes + chain rule + একটি সাহসী অনুমান

বাজারঘরের সাপোর্ট ইনবক্সে আসা বার্তা spam না ham (আসল বার্তা), তা ঠিক করতে চাই। একটি বার্তা শব্দের তালিকা w₁, …, w_m, আর শ্রেণি c ∈ {spam, ham}. Bayes বলে P(c | w₁, …, w_m) ∝ P(c) · P(w₁, …, w_m | c), যেখানে “∝” মানে “সমানুপাতিক”: হর P(w₁, …, w_m) দুই শ্রেণিতে একই, তাই শেষে দুই শ্রেণির মান যোগ করে ভাগ করলেই হয়। Chain rule-এ ডানের গুণফলটি m-টি জটিল শর্তসাপেক্ষ সম্ভাবনায় ভাঙে, যা অল্প ডেটা থেকে অনুমান করা অসম্ভব। Naive Bayes তাই একটি “সরল” (naive) অনুমান করে: শ্রেণি জানা থাকলে শব্দগুলো conditionally independent. তখন

P(c | w₁, …, w_m) ∝ P(c) · ∏_i=1^m P(w_i | c)

প্রতিটি P(w | c) গোনা থেকে আসে: শ্রেণি c-এর বার্তায় শব্দ w কতবার এসেছে ÷ সেই শ্রেণির মোট শব্দ। কিন্তু কোনো শব্দ কোনো শ্রেণিতে একবারও না এলে তার সম্ভাবনা 0, আর পুরো গুণফল শূন্য হয়ে যায়। তাই প্রতিটি গণনায় 1 যোগ করা হয় আর হরে শব্দভান্ডারের আকার |V| যোগ হয়: P(w | c) = (count + 1)/(মোট + |V|). একে বলে Laplace smoothing (add-one smoothing). নিচে নিজের বানানো ১০টি ইংরেজি বার্তার ছোট ডেটাসেটে পুরো হিসাবটি Fraction দিয়ে।

from fractions import Fraction as F
from collections import Counter

train = [("spam", "win free coupon now"), ("spam", "free gift click now"),
         ("spam", "claim your free prize"), ("spam", "win cash now"),
         ("ham", "your order delivered today"), ("ham", "coupon applied to order"),
         ("ham", "delivery delayed today"), ("ham", "refund for your order"),
         ("ham", "order shipped from dhaka"), ("ham", "rate your delivery")]

words = {"spam": Counter(), "ham": Counter()}
docs = Counter()
for label, text in train:
    docs[label] += 1
    words[label].update(text.split())
vocab = set(words["spam"]) | set(words["ham"])
print("messages:", dict(docs), " vocabulary:", len(vocab))

def p_word(w, label):                      # Laplace (add-one) smoothing
    return F(words[label][w] + 1, sum(words[label].values()) + len(vocab))

def classify(text):
    score = {}
    for label in ("spam", "ham"):
        s = F(docs[label], len(train))     # prior P(label)
        for w in text.split():
            s *= p_word(w, label)          # naive: words independent given label
        score[label] = s
    total = score["spam"] + score["ham"]
    return {k: v / total for k, v in score.items()}

for msg in ("free coupon now", "coupon for your order", "free delivery today"):
    post = classify(msg)
    print(f"{msg!r:26} P(spam) = {str(post['spam']):>9} = {float(post['spam']):.3f}")

messages: {'spam': 4, 'ham': 6}  vocabulary: 23
'free coupon now'          P(spam) = 121500/128359 = 0.947
'coupon for your order'    P(spam) = 273375/4443647 = 0.062
'free delivery today'      P(spam) = 3375/10234 = 0.330

অনুমানটি প্রায় কখনো সত্য নয়: “free” আর “gift” একসঙ্গে আসার প্রবণতা রাখে। তবু naive Bayes প্রায়ই ভালো শ্রেণি বাছে, কারণ শ্রেণি ঠিক করতে সম্ভাবনার সঠিক মান নয়, শুধু কোন শ্রেণির মান বড় তা জানা দরকার। ফলে posterior-এর সংখ্যা (যেমন 0.947) অতিরিক্ত আত্মবিশ্বাসী হতে পারে, যদিও সিদ্ধান্তটি ঠিক থাকে।

৭ · প্রচলিত ভুল — উল্টো শর্ত, আদালতের যুক্তি আর দুই সন্তানের ধাঁধা

ভুল ১: P(A | B) আর P(B | A) গুলিয়ে ফেলা

§১-এ দেখেছেন P(দেরি | বাইরে) = 1/4, কিন্তু P(বাইরে | দেরি) = 10/19. Bayes এই দুইয়ের সম্পর্ক দেয়: P(B | A) = P(A | B) P(B)/P(A). দুটি সমান শুধু তখন, যখন P(A) = P(B), অথবা যখন P(A ∩ B) = 0 হয়। “বেশিরভাগ জালিয়াতি সতর্কতা পায়” আর “বেশিরভাগ সতর্কতা জালিয়াতি” এক কথা নয়; প্রথমটি ৯৫%, দ্বিতীয়টি মাত্র ১৬% সম্ভাবনা।

ভুল ২: Prosecutor's fallacy

বাজারঘরে একটি জালিয়াতির ঘটনায় অপরাধীর ডিভাইসের একটি বৈশিষ্ট্য পাওয়া গেল, যা নিরপরাধ গ্রাহকদের মধ্যে প্রতি ১০,০০০ জনে ১ জনের মেলে। ১০ লাখ গ্রাহকের তালিকা খুঁজে একজনের সঙ্গে মিল পাওয়া গেল। কেউ বললেন, “নিরপরাধ হলে মিলের সম্ভাবনা ১০,০০০-এ ১, তাই এই মানুষটি নিরপরাধ হওয়ার সম্ভাবনা ১০,০০০-এ ১।” এটিই prosecutor's fallacy: P(মিল | নিরপরাধ) ছোট বলে P(নিরপরাধ | মিল) ছোট ধরে নেওয়া। ১০ লাখের মধ্যে ঠিক একজন অপরাধী আর আগে থেকে সবাই সমান সন্দেহভাজন, এই সরল মডেলে Bayes দেয় P(অপরাধী | মিল) = 10000/1009999 ≈ 0.0099, মাত্র ১%-এর মতো। Natural frequency-তে: প্রায় ১০০ জন নিরপরাধের সঙ্গে কাকতালীয় মিল থাকবে, আর অপরাধী মাত্র ১ জন। মিলটি গুরুত্বপূর্ণ প্রমাণ (সন্দেহ ১০ লাখে ১ থেকে প্রায় ১০০-এ ১-এ ওঠে), কিন্তু একা যথেষ্ট নয়।

ভুল ৩: দুই সন্তানের ধাঁধা — তথ্য কীভাবে এল?

একটি পরিবারে দুটি সন্তান; প্রতিটি সন্তান ছেলে (B) বা মেয়ে (G) সমান সম্ভাব্য আর স্বাধীন (একটি সরল মডেল)। (ক) “অন্তত একটি ছেলে” জানা থাকলে দুটিই ছেলে হওয়ার সম্ভাবনা কত? (খ) “বড়টি ছেলে” জানা থাকলে? অনেকে দুই ক্ষেত্রেই 1/2 বলেন। Sample space গুনলে ছবিটি পরিষ্কার।

1Ω = {BB, BG, GB, GG}2“অন্তত একটি B”: GG বাদ3BB / {BB, BG, GB} = 1/34“বড়টি B”: {BB, BG} → 1/25এলোমেলো একজনকে দেখা → 1/2

আরও অবাক করা একটি রূপ: “অন্তত একটি ছেলে আছে, যে মঙ্গলবারে জন্মেছে।” সপ্তাহের দিনগুলো সমান সম্ভাব্য ধরলে প্রতিটি সন্তানের ১৪ রকম (লিঙ্গ, দিন) জোড়া, পরিবারের ১৪ × ১৪ = ১৯৬টি সমান সম্ভাব্য ফল। নিচের কোড সব গুনে দেখায়, উত্তর 13/27 ≈ 0.48, যা 1/3-এর চেয়ে 1/2-এর অনেক কাছে; আর এলোমেলো একজনকে দেখার প্রক্রিয়া simulation-এ চালায়।

from fractions import Fraction as F
from itertools import product
import random

fam = list(product("BG", repeat=2))            # (older, younger), 4 equally likely
def cond(event, given, omega):
    G = [w for w in omega if given(w)]
    return F(sum(1 for w in G if event(w)), len(G))

both = lambda w: w[0] == "B" and w[1] == "B"
print("at least one boy:", cond(both, lambda w: "B" in w, fam))
print("older is a boy:  ", cond(both, lambda w: w[0] == "B", fam))

days = range(7)                                 # 0 = Tuesday
kids = list(product(product("BG", days), repeat=2))   # 14 x 14 = 196
tue_boy = lambda w: ("B", 0) in w
print("a boy born on Tuesday:", cond(lambda w: w[0][0] == w[1][0] == "B", tue_boy, kids),
      " cases:", sum(map(tue_boy, kids)))

random.seed(2)                                  # one random child is shown
seen_boy = bb = 0
for _ in range(100_000):
    f = (random.choice("BG"), random.choice("BG"))
    if random.choice(f) == "B":
        seen_boy += 1
        bb += f == ("B", "B")
print(f"random child seen is a boy: {bb}/{seen_boy} = {bb / seen_boy:.4f}")

at least one boy: 1/3
older is a boy:   1/2
a boy born on Tuesday: 13/27  cases: 27
random child seen is a boy: 24734/49664 = 0.4980

৮ · পরীক্ষার অঙ্ক আর সম্ভাবনার একটি ভুল প্রমাণ

বিশ্ববিদ্যালয়, চাকরি বা ইন্টারভিউর লিখিত পরীক্ষায় এই পর্বের ধাঁচে যে অঙ্ক আসে, তার কয়েকটি পূর্ণ সমাধান। প্রতিটি সংখ্যা scratch-এ Fraction দিয়ে গুনে মেলানো।

অঙ্ক ১: দুটি ছক্কা, যোগফল জানা

দুটি ন্যায্য ছক্কা ছোড়া হলো, যোগফল 8. অন্তত একটিতে 6 পড়ার সম্ভাবনা কত?

1. নতুন sample space: যোগফল 8 এমন ক্রমযুক্ত জোড়া (2, 6), (3, 5), (4, 4), (5, 3), (6, 2), মোট ৫টি, সমান সম্ভাব্য।
2. অন্তত একটি 6: (2, 6) আর (6, 2), ২টি।
3. উত্তর 2/5. (শর্ত ছাড়া অন্তত একটি 6-এর সম্ভাবনা 11/36 ≈ 0.31, আর এখানে 0.4.)

অঙ্ক ২: দুটি বাক্স, উল্টো প্রশ্ন

বাক্স ১-এ ৩টি লাল আর ২টি নীল কুপন, বাক্স ২-এ ১টি লাল আর ৪টি নীল। একটি বাক্স সমান সম্ভাবনায় বেছে একটি কুপন তোলা হলো; সেটি লাল। বাক্সটি ১ নম্বর হওয়ার সম্ভাবনা কত?

1. মোট সম্ভাবনা: P(লাল) = (1/2)(3/5) + (1/2)(1/5) = 3/10 + 1/10 = 2/5.
2. Bayes: P(বাক্স ১ | লাল) = (3/10)/(2/5) = 3/4.

অঙ্ক ৩: স্বাধীন কি না

P(A) = 0.5, P(B) = 0.4, P(A ∪ B) = 0.7. A আর B কি স্বাধীন? P(A | B) কত?

1. Inclusion–exclusion (পর্ব ৩৮): P(A ∩ B) = 0.5 + 0.4 − 0.7 = 0.2.
2. P(A)P(B) = 0.5 × 0.4 = 0.2 = P(A ∩ B), তাই স্বাধীন।
3. P(A | B) = 0.2/0.4 = 0.5 = P(A), উপপাদ্য ৫.২(ক)-এর সঙ্গে মিল।

প্রমাণের ভুল ধরুন: “বিচ্ছিন্ন ঘটনা স্বাধীন”

একজন লিখলেন: “দাবি: A আর B পরস্পর বিচ্ছিন্ন হলে স্বাধীন। প্রমাণ: A আর B-এর কোনো সাধারণ ফল নেই, তাই B ঘটা A সম্পর্কে কোনো তথ্য দেয় না। ফলে P(A | B) = P(A), আর উপপাদ্য ৫.২(ক) অনুযায়ী তারা স্বাধীন। ∎” ভুলটি নিজে খুঁজুন।

ভুল কোথায়: দ্বিতীয় বাক্যটি একটি অপ্রমাণিত স্বজ্ঞা, আর তা উল্টো। B ঘটলে A ঘটেনি, এটি জানা যায়; তাই P(A | B) = P(A ∩ B)/P(B) = 0/P(B) = 0, যা P(A) > 0 হলে P(A)-এর সমান নয়। Counterexample: একটি ছক্কায় A = {1}, B = {2}: P(A ∩ B) = 0, কিন্তু P(A)P(B) = 1/36. সঠিক বক্তব্য উপপাদ্য ৫.২(গ): দুটির সম্ভাবনা ধনাত্মক হলে বিচ্ছিন্ন ঘটনা কখনোই স্বাধীন নয়। (একটির সম্ভাবনা 0 হলে দুই পাশই 0, তখন তারা স্বাধীন; এই কোণটিও মনে রাখুন।) শিক্ষা: “তথ্য দেয় না” জাতীয় কথা প্রমাণ নয়; সংজ্ঞার সমীকরণে বসিয়ে দেখুন।

৯ · AI-এর যুগে — সম্ভাবনার প্রমাণ আর উত্তর যাচাই

সম্ভাবনার প্রশ্নে AI সহকারী প্রায়ই চমৎকার ভাষায় উত্তর দেয়, কিন্তু ভুল লুকিয়ে থাকে মডেল বাছাইয়ে বা একটি শর্তের দিক উল্টে যাওয়ায়। এই পর্বের বিষয়ে কয়েকটি ভুল নিয়মিত দেখা যায়:

AI-এর উত্তর হাতে পেলে — যাচাইয়ের চেকলিস্ট

• প্রতিটি শর্তসাপেক্ষ সম্ভাবনার দিক (কোনটি “|”-এর বাঁয়ে, কোনটি ডানে) প্রশ্নের ভাষার সঙ্গে মিলিয়েছি
• Base rate বা prior হিসাবে ঢুকেছে কি না দেখেছি
• ছোট sample space-এ সব ফল তালিকা করে Fraction দিয়ে উত্তর মিলিয়েছি
• স্বাধীনতার প্রতিটি দাবি গুণের সমীকরণে বসিয়ে যাচাই করেছি, শুধু “আলাদা বলে স্বাধীন” মানিনি
• Simulation-এ seed দিয়েছি আর নিখুঁত মানের সঙ্গে পার্থক্য নমুনার আকারের তুলনায় যুক্তিসংগত কি না দেখেছি
• উদ্ধৃত ইতিহাস, মামলা বা গবেষণার নাম আর সাল বিশ্বস্ত উৎসে মিলিয়েছি

সম্ভাবনার ভুল ধরার সবচেয়ে সস্তা উপায় হলো সংখ্যা গোনা: ১০,০০০ জনের টেবিল, অথবা ছোট Ω-এর প্রতিটি ফল। AI যত আত্মবিশ্বাসী ভাষাই দিক, এক মিনিটের গণনা প্রায় প্রতিটি উল্টো শর্ত আর হারানো base rate ধরে ফেলে।