AI-এর জন্য সম্ভাবনা — event, conditional আর independence

মডিউল ৬-এ AI-এর জন্য দরকারি গণিতের অন্তর্দৃষ্টি গড়ছি; আগের দুই পর্বে ছিল vector আর similarity (পর্ব ৩৩) এবং derivative আর gradient descent (পর্ব ৩৪)। এবার সম্ভাবনা, অর্থাৎ অনিশ্চয়তাকে সংখ্যায় বলার নিয়ম। প্রতিটি নিয়ম আগে ছবি আর ছোট সংখ্যায় হাতে, তারপর সূত্র, তারপর কোডে মিলিয়ে দেখব। উদাহরণ আবার বাজারঘর, এই কোর্সের কাল্পনিক অনলাইন দোকান; সব ডেটা seed দেওয়া কোডে বানানো, আর জালিয়াতির হার বা পরীক্ষার নির্ভুলতার মতো সংখ্যা বানানো, কোনো আসল কোম্পানির নয়। চালানো যায় এমন ব্লকগুলো পাতাতেই চলে (ব্রাউজারের Python, NumPy 2.4.6, pandas 3.0.2); প্রথমবার package নামতে কয়েক সেকেন্ড লাগতে পারে।

১ · AI-এর কেন সম্ভাবনা লাগে — অনিশ্চিত ডেটা, অনিশ্চিত উত্তর

বাজারঘরের দুটি বাস্তব প্রশ্ন ভাবুন। প্রথমটি: একটি গ্রাহক SMS পাঠালেন, “অফার! ১০০০ টাকা জিতুন, এখনই লিংকে চাপুন”. এটি কি spam? দ্বিতীয়টি: আজ সিলেটে একটি COD অর্ডার রওনা হলো। এটি কি দেরিতে পৌঁছাবে? দুটির কোনোটিরই নিশ্চিত উত্তর নেই: একই রকম শব্দের কিছু SMS আসল অফার, কিছু প্রতারণা; একই ধরনের অর্ডার কখনো সময়মতো পৌঁছায়, কখনো বৃষ্টি বা যানজটে আটকে যায়। ডেটায় আছে শুধু অতীতের কিছু উদাহরণ।

তাই ভালো AI system “হ্যাঁ” বা “না” বলার আগে বলে “কতটা সম্ভব”. একটি spam filter হয়তো বলবে P(spam) = 0.97, আর আপনি ঠিক করবেন ০.৯-এর বেশি হলে আলাদা folder-এ পাঠাবেন। ডেলিভারির model বলবে P(দেরি) = 0.2, আর ০.৫-এর বেশি হলে গ্রাহককে আগেই জানানো হবে। এমন সংখ্যা ছাড়া threshold ঠিক করা বা ঝুঁকি তুলনা করা যায় না। পরের মডিউলগুলোর অনেক কিছু এই ভিত্তিতে দাঁড়ানো: Naive Bayes (পর্ব ৫১), logistic regression-এর সম্ভাবনা (পর্ব ৫৯), precision আর recall (পর্ব ৬০), এমনকি LLM-এর পরের শব্দের অনুমান (পর্ব ৭০)।

২ · Sample space, outcome আর event — ছক্কা থেকে বাজারঘরের অর্ডার

সম্ভাবনার যেকোনো প্রশ্ন লিখতে তিনটি শব্দ লাগে।

• Outcome (ফলাফল): একটি পরীক্ষার একটি নির্দিষ্ট ফল। একটি ছক্কা একবার ছুড়লে ফল হতে পারে ১, ২, ৩, ৪, ৫ বা ৬; এর প্রতিটি একটি outcome.
• Sample space (নমুনা-ক্ষেত্র): সম্ভাব্য সব outcome-এর সেট, লেখা হয় Ω (গ্রিক অক্ষর omega). ছক্কার জন্য Ω = {1, 2, 3, 4, 5, 6}.
• Event (ঘটনা): sample space-এর যেকোনো উপসেট, অর্থাৎ কিছু outcome-এর দল। “জোড় সংখ্যা আসা” একটি event: A = {2, 4, 6}. “৩-এর চেয়ে বড় আসা”: B = {4, 5, 6}.

বাজারঘরের একটি অর্ডারকেও এভাবে লেখা যায়। ধরুন আমরা দুটি জিনিস দেখি: পেমেন্টের ধরন (COD, bKash বা Card) আর ডেলিভারি (সময়মতো বা দেরি)। তাহলে প্রতিটি outcome একটি জোড়া, আর sample space-এ ৩ × ২ = ৬টি outcome: (COD, দেরি), (COD, সময়মতো) ইত্যাদি। “দেরিতে পৌঁছাল” একটি event (তিনটি outcome), “COD” আরেকটি; এই পর্বের বেশিরভাগ হিসাব এই দুটি নিয়ে।

যখন সব outcome সমান সম্ভাব্য (ভালো ছক্কা, ভালোভাবে মেশানো তাস), তখন হিসাব সরল:

P(A) = A-এর ভেতরের outcome-এর সংখ্যা ÷ মোট outcome-এর সংখ্যা

এখানে P(A) পড়ুন “A-এর সম্ভাবনা”. ছক্কায় P(জোড়) = ৩/৬ = ০.৫. বাজারঘরের ৬টি outcome অবশ্য সমান সম্ভাব্য নয়; সেখানে প্রতিটির সম্ভাবনা আসে ডেটা থেকে।

সম্ভাবনার তিন ব্যাখ্যা

“সম্ভাবনা ০.৭” কথাটির মানে নিয়ে শতাব্দী ধরে আলোচনা চলছে। তিনটি প্রধান ব্যাখ্যা আছে; পাশের নামগুলো প্রভাবশালী, তবে কোনো ধারণাই একজনের একার আবিষ্কার নয়।

AI-এ তিনটিই কাজে লাগে: ডেটা থেকে হার মাপা frequency-র ভাবনা, আর “এই নির্দিষ্ট SMS-টি spam” দাবিতে model-এর সংখ্যা বিশ্বাসের মাত্রার মতো। Frequentist আর Bayesian ঘরানার বিতর্ক আজও আছে, তবে নিচের নিয়মগুলো তিন ব্যাখ্যাতেই একই।

তিনটি স্বতঃসিদ্ধ — Kolmogorov, ১৯৩৩

১৯৩৩ সালে রুশ গণিতবিদ Andrey Kolmogorov তাঁর জার্মান ভাষার বই Grundbegriffe der Wahrscheinlichkeitsrechnung-এ সম্ভাবনাকে কয়েকটি স্বতঃসিদ্ধের (axiom, প্রমাণ ছাড়া মেনে নেওয়া মূল নিয়ম) ওপর দাঁড় করান। সহজ ভাষায়:

1. কোনো সম্ভাবনা ঋণাত্মক নয়: যেকোনো event A-এর জন্য P(A) ≥ 0.
2. কিছু একটা ঘটবেই: পুরো sample space-এর সম্ভাবনা P(Ω) = 1.
3. একসঙ্গে ঘটতে পারে না এমন event-এর সম্ভাবনা যোগ হয়: A আর B-এর মধ্যে কোনো সাধারণ outcome না থাকলে P(A অথবা B) = P(A) + P(B). (আসল স্বতঃসিদ্ধ অসীম সংখ্যক এমন event-এর জন্যও খাটে।)

বাকি সব নিয়ম (সম্ভাবনা ১-এর বেশি হয় না, complement-এর নিয়ম) এই তিনটি থেকে কয়েক লাইনে আসে। তাই কোনো model তিনটি শ্রেণিকে ০.৫, ০.৪ আর ০.৩ দিলে, যোগফল ১ নয় বলে, এগুলো সম্ভাবনা নয়; কোডে ভুল খুঁজুন।

৩ · Complement, union আর addition rule — আর mutually exclusive বনাম independent

Event সেট, তাই সেটের তিনটি কাজ দিয়ে নতুন event বানানো যায়।

• Complement (পূরক), Aᶜ বা “A নয়”: Ω-এর যে outcome-গুলো A-তে নেই। P(Aᶜ) = 1 − P(A). অর্ডার দেরির সম্ভাবনা ০.১৩ হলে সময়মতো পৌঁছানোর সম্ভাবনা ০.৮৭.
• Intersection, A ∩ B বা “A এবং B”: যে outcome দুটোতেই আছে।
• Union, A ∪ B বা “A অথবা B (বা দুটোই)”: যে outcome অন্তত একটিতে আছে।

ছবিটি থেকেই addition rule আসে:

P(A ∪ B) = P(A) + P(B) − P(A ∩ B)

A আর B-এর সম্ভাবনা যোগ করলে মাঝের অংশ (৪ আর ৬) দুবার গোনা হয়, তাই একবার বিয়োগ। হাতে গুনেও মেলে: A ∪ B = {2, 4, 5, 6}, চারটি outcome, তাই ৪/৬. দুটি event-এর কোনো সাধারণ অংশ না থাকলে P(A ∩ B) = 0, আর সূত্রটি Kolmogorov-এর তৃতীয় স্বতঃসিদ্ধ হয়ে যায়।

সবচেয়ে বেশি গুলিয়ে ফেলা জোড়া

দুটি শব্দ শুনতে কাছাকাছি, কিন্তু অর্থ প্রায় উল্টো।

• Mutually exclusive (পরস্পর বর্জনশীল): দুটি event একসঙ্গে ঘটতে পারে না, P(A ∩ B) = 0. একটি অর্ডার একই সঙ্গে COD আর bKash হতে পারে না।
• Independent (স্বাধীন): একটি ঘটেছে জানলে অন্যটির সম্ভাবনা বদলায় না, অর্থাৎ P(A ∩ B) = P(A) · P(B). দুটি আলাদা ছক্কার ফল স্বাধীন।

ছক্কায় দুটি উদাহরণ দেখুন। C = {1, 2} আর D = {5, 6} mutually exclusive; C ঘটেছে জানলে D-এর সম্ভাবনা ১/৩ থেকে সোজা ০. P(C) · P(D) = ১/৯, অথচ P(C ∩ D) = ০, তাই এরা স্বাধীন নয়। উল্টো দিকে A = জোড় = {2, 4, 6} আর C = {1, 2}: সাধারণ outcome একটি, P(A ∩ C) = ১/৬, আর P(A) · P(C) = ১/২ × ১/৩ = ১/৬. সমান, তাই এরা স্বাধীন, যদিও একসঙ্গে ঘটতে পারে।

৪ · গোনার কৌশল — permutation, combination আর জন্মদিনের সমস্যা

সমান সম্ভাব্য outcome-এ সম্ভাবনা মানে গোনা, আর বড় sample space হাতে গোনা যায় না। দুটি মূল কৌশল আছে। প্রথমে factorial: n! = n × (n − 1) × … × 1, অর্থাৎ n জিনিস সারিতে সাজানোর মোট উপায়। ৩টি পণ্য ৩! = ৬ ভাবে সাজানো যায়।

• Permutation (ক্রম গুরুত্বপূর্ণ): n জিনিস থেকে r টি বেছে সারিতে সাজানো, ⁿP_r = n! / (n − r)!. বাজারঘরের হোমপেজে ৫টি পণ্যের মধ্যে ৩টি প্রথম, দ্বিতীয় আর তৃতীয় জায়গায় দেখাতে হলে উপায় ৫ × ৪ × ৩ = ৬০.
• Combination (ক্রম গুরুত্বহীন): শুধু কোন r টি বাছা হলো, ⁿC_r = n! / (r! (n − r)!). ৫টি থেকে ৩টি পণ্যের একটি “combo প্যাক” বানানোর উপায় ৬০ ÷ ৩! = ১০, কারণ প্রতিটি দল ৬ ভাবে সাজানো যেত।

Python-এর standard library-তে দুটোই আছে: math.perm(5, 3) দেয় 60, math.comb(5, 3) দেয় 10 (Python 3.8 থেকে)। ৪৫টি সংখ্যা থেকে ৬টি বাছার একটি লটারিতে math.comb(45, 6) = 8145060 রকম টিকিট সম্ভব, তাই একটি টিকিটে জেতার সম্ভাবনা প্রায় ৮১ লাখে ১. Python-এর math module বিস্তারিত দেখতে পারেন Python কোর্সের সংখ্যা ও গণিতের পর্বে।

জন্মদিনের সমস্যা

একটি ক্লাসে কতজন থাকলে অন্তত দুজনের জন্মদিন মেলার সম্ভাবনা ৫০% পেরোয়? অনেকে ১৮০-এর কাছাকাছি অনুমান করেন; আসল উত্তর মাত্র ২৩. এই birthday problem প্রায়ই Richard von Mises-এর ১৯৩৯ সালের লেখার সঙ্গে যুক্ত করা হয়, যদিও এর ইতিহাস নিয়ে সূত্রভেদ আছে। ধরে নিচ্ছি বছর ৩৬৫ দিনের (লিপ ইয়ার বাদ) আর প্রতিটি দিন সমান সম্ভাব্য।

কৌশলটি complement: “অন্তত এক জোড়া মিল” সরাসরি গোনা কঠিন, কিন্তু “সবার আলাদা” সহজ। প্রথমজন যেকোনো দিন (৩৬৫/৩৬৫), দ্বিতীয়জন বাকি ৩৬৪ দিনের একটি, তৃতীয়জন ৩৬৩ দিনের একটি, এভাবে:

P(সবার আলাদা) = (365/365) × (364/365) × … × (343/365) = ³⁶⁵P₂₃ / 365²³

উত্তর এত ছোট কেন? ২৩ জনে জোড়া math.comb(23, 2) = 253টি; প্রতিটির মেলার সম্ভাবনা ছোট, কিন্তু জোড়া অনেক। নিচের ব্লকে সঠিক হিসাব আর Monte Carlo simulation পাশাপাশি; শেষ তিন লাইনে দেখুন অনেক ছোট সম্ভাবনা গুণ করলে কী হয়।

import math
import numpy as np

n = 23
p_diff = 1.0                     # সবার জন্মদিন আলাদা হওয়ার সম্ভাবনা
for k in range(n):
    p_diff *= (365 - k) / 365
print("জোড়ার সংখ্যা C(23, 2) =", math.comb(n, 2))
print("সবার আলাদা      =", round(p_diff, 4))
print("অন্তত এক জোড়া মিল =", round(1 - p_diff, 4))
print("math.perm দিয়ে   =", round(1 - math.perm(365, n) / 365**n, 4))

# simulation: ৫০,০০০টি কাল্পনিক দল, প্রতিটিতে ২৩ জন
rng = np.random.default_rng(42)
days = rng.integers(0, 365, size=(50_000, n))
days.sort(axis=1)
shared = (np.diff(days, axis=1) == 0).any(axis=1)
print("simulation       =", round(shared.mean(), 4))

for m in (10, 23, 30, 50, 70):
    q = math.prod((365 - k) / 365 for k in range(m))
    print(f"{m:>2} জন: {1 - q:.3f}")

# অনেক ছোট সম্ভাবনার গুণফল: underflow
p = np.full(400, 0.01)
print("400টি 0.01-এর গুণফল:", p.prod())
print("log-এর যোগফল:", round(np.log(p).sum(), 1))

জোড়ার সংখ্যা C(23, 2) = 253
সবার আলাদা      = 0.4927
অন্তত এক জোড়া মিল = 0.5073
math.perm দিয়ে   = 0.5073
simulation       = 0.5093
10 জন: 0.117
23 জন: 0.507
30 জন: 0.706
50 জন: 0.970
70 জন: 0.999
400টি 0.01-এর গুণফল: 0.0
log-এর যোগফল: -1842.1

৫ · Joint, marginal আর conditional — অর্ডারের contingency table থেকে

বাস্তব ডেটায় outcome সমান সম্ভাব্য নয়, তাই সম্ভাবনা আসে গোনা অনুপাত থেকে। দুটি শ্রেণিবাচক কলামের প্রতিটি জোড়া কতবার এসেছে, তার টেবিলকে বলে contingency table; pandas-এ এটি crosstab, যা পর্ব ২৫-এ দেখেছেন। এখানে আমরা বাজারঘরের ১০০০টি কাল্পনিক অর্ডার নিই (seed 42). কোডে ধরে নেওয়া হয়েছে COD-এর দেরির সম্ভাবনা ০.২০, bKash-এর ০.১০ আর Card-এর ০.০৫; আর ছুটির দিনের একটি কলাম আছে যা দেরির সঙ্গে সম্পর্কহীনভাবে বানানো।

টেবিল থেকে তিন রকম সম্ভাবনা পড়া যায়:

• Joint probability, P(A ∩ B): একটি ঘরের সংখ্যা ÷ মোট। “অর্ডারটি COD এবং দেরি” কত ভাগ।
• Marginal probability, P(A): একটি সারি বা কলামের মোট ÷ মোট। নামটি এসেছে টেবিলের কিনারা (margin) থেকে, যেখানে মোটগুলো লেখা থাকে।
• Conditional probability, P(A | B): শুধু B-এর সারি বা কলামের ভেতরে A-এর ভাগ। খাড়া দাগ “|” পড়ুন “জানা থাকলে”.

P(A | B) = P(A ∩ B) / P(B), যেখানে P(B) > 0

অর্থাৎ B জানা থাকলে জগৎ ছোট হয়ে শুধু B হয়ে যায়, আর সেই ছোট জগতে A-এর ভাগ মাপি। নিচের stepper ঠিক এই পড়াটি ধাপে ধাপে দেখায়; সংখ্যাগুলো পরের কোড ব্লকের আসল আউটপুট থেকে।

import numpy as np
import pandas as pd

rng = np.random.default_rng(42)
n = 1000
pay = rng.choice(["COD", "bKash", "Card"], size=n, p=[0.5, 0.3, 0.2])
p_late = np.array([{"COD": 0.20, "bKash": 0.10, "Card": 0.05}[x] for x in pay])
is_late = rng.random(n) < p_late
weekend = rng.random(n) < 2 / 7            # দেরির সঙ্গে সম্পর্কহীন
orders = pd.DataFrame({"payment": pay, "late": is_late, "weekend": weekend,
                       "status": np.where(is_late, "late", "on_time")})

t = pd.crosstab(orders["payment"], orders["status"], margins=True)
print(t, "\n")
joint = pd.crosstab(orders["payment"], orders["status"], normalize="all")
print(joint.round(3), "\n")
cond = pd.crosstab(orders["payment"], orders["status"], normalize="index")
print(cond["late"].round(3), "\n")

pL = orders["late"].mean()
pC = (orders["payment"] == "COD").mean()
print("P(late)           =", round(pL, 3))
print("P(late | COD)     =", round(orders.loc[orders["payment"] == "COD", "late"].mean(), 3))
print("P(late | weekend) =", round(orders.loc[orders["weekend"], "late"].mean(), 3))
print("P(COD ∩ late)     =", round(joint.loc["COD", "late"], 3))
print("P(COD) × P(late)  =", round(pC * pL, 3))

status   late  on_time   All
payment
COD        94      409   503
Card        8      189   197
bKash      27      273   300
All       129      871  1000

status    late  on_time
payment
COD      0.094    0.409
Card     0.008    0.189
bKash    0.027    0.273

payment
COD      0.187
Card     0.041
bKash    0.090
Name: late, dtype: float64

P(late)           = 0.129
P(late | COD)     = 0.187
P(late | weekend) = 0.107
P(COD ∩ late)     = 0.094
P(COD) × P(late)  = 0.065

৬ · Multiplication rule আর independence — ডেটা দিয়ে যাচাই

Conditional probability-র সংজ্ঞা উল্টে লিখলে পাওয়া যায় multiplication rule, “A এবং B” হিসাবের নিয়ম:

P(A ∩ B) = P(A | B) · P(B) = P(B | A) · P(A)

বাজারঘরের সংখ্যায়: P(COD ∩ late) = P(late | COD) · P(COD) = ০.১৮৭ × ০.৫০৩ ≈ ০.০৯৪, যা টেবিলের ঘরের সঙ্গে মেলে। ধাপে ধাপে ঘটা ঘটনায় এটি খুব কাজের। একটি ব্যাগে ৫টি লাল আর ৩টি নীল কলম থাকলে, না ফিরিয়ে দুটি তুললে দুটোই লাল হওয়ার সম্ভাবনা (৫/৮) × (৪/৭) = ২০/৫৬ ≈ ০.৩৫৭; দ্বিতীয় ভগ্নাংশে ৪/৭ কারণ একটি লাল কলম আগেই উঠে গেছে।

A আর B স্বাধীন হলে B জানা A-এর সম্ভাবনায় কিছু যোগ করে না: P(A | B) = P(A). তখন নিয়মটি সরল হয়:

independent ⇔ P(A ∩ B) = P(A) · P(B) ⇔ P(A | B) = P(A)

এখানে ⇔ মানে “একটি সত্য হলে অন্যটিও সত্য” (P(B) > 0 ধরে)। ডেটায় independence যাচাইয়ের দুটি সমান উপায় তাই: joint-কে marginal-এর গুণফলের সঙ্গে, অথবা conditional-কে marginal-এর সঙ্গে মেলানো। আগের কোডে দুটোই বলেছে COD আর দেরি স্বাধীন নয়। ছোট পার্থক্য সত্যিই এলোমেলো নড়াচড়া কি না, তা আনুষ্ঠানিকভাবে যাচাইয়ের পদ্ধতি (যেমন chi-square test) পরিসংখ্যানের বিষয়; পর্ব ৩৭-এ পরিচয় পাবেন।

Conditional independence — এক লাইনের পরিচয়

কখনো দুটি event সাধারণভাবে নির্ভরশীল, কিন্তু তৃতীয় কিছু জানা থাকলে স্বাধীন হয়ে যায়। একই দিনে সিলেটে দুটি অর্ডারের দেরি নির্ভরশীল দেখায়, কারণ দুটিই আবহাওয়ার ওপর নির্ভর করে। কিন্তু “আজ ভারী বৃষ্টি” জানা থাকলে হয়তো একটির দেরি অন্যটি সম্পর্কে আর নতুন কিছু বলে না। একে বলে conditional independence: P(A ∩ B | C) = P(A | C) · P(B | C). Naive Bayes (পর্ব ৫১) ঠিক এই অনুমান করে: শ্রেণি (spam বা ham) জানা থাকলে প্রতিটি শব্দ স্বাধীন; অনুমানটি প্রায়ই সত্য নয়, তবু model প্রায়ই ভালো কাজ করে। Bayesian network (পর্ব ৫২) এই সম্পর্কগুলো জাল হিসেবে আঁকে।

৭ · Law of total probability — সব পথের যোগফল, tree দিয়ে

অনেক সময় একটি event-এর সম্ভাবনা সরাসরি জানা থাকে না, কিন্তু প্রতিটি “পথে” তার সম্ভাবনা জানা থাকে। বাজারঘরের ডেলিভারি দলের হিসাব ধরুন (এখানে গোল সংখ্যা, যা আগের কোডে ধরে নেওয়া মান): অর্ডারের ৫০% COD, ৩০% bKash, ২০% Card. COD-এ দেরির সম্ভাবনা ০.২০, bKash-এ ০.১০, Card-এ ০.০৫. সব মিলিয়ে দেরির সম্ভাবনা কত?

পেমেন্টের তিন ধরন mutually exclusive আর মিলে পুরো sample space ঢাকে (partition), তাই দেরিকে তিন টুকরোয় ভেঙে প্রতিটি multiplication rule দিয়ে হিসাব করা যায়:

P(L) = ∑_i P(L | H_i) · P(H_i)

এখানে L মানে দেরি, H_i হলো i-তম পেমেন্টের ধরন, আর ∑ মানে সব i-এর ওপর যোগ। এটিই law of total probability. একটি probability tree এঁকে নিলে ভুল হয় কম।

৮ · Bayes-এর নিয়মের পরিচয় — দুর্লভ জালিয়াতি আর base rate

Multiplication rule দুই দিক থেকে লেখা যায়: P(H ∩ E) = P(E | H) · P(H) = P(H | E) · P(E). দুটিকে সমান বসিয়ে P(E) দিয়ে ভাগ করলেই Bayes' rule:

P(H | E) = P(E | H) · P(H) / P(E)

H হলো একটি অনুমান (hypothesis, যেমন “অর্ডারটি জালিয়াতি”), E হলো প্রমাণ (evidence, যেমন “পরীক্ষা flag দিয়েছে”)। P(H) হলো প্রমাণ দেখার আগের সম্ভাবনা, যাকে বলে prior বা base rate; P(H | E) প্রমাণ দেখার পরের সম্ভাবনা, posterior. হরের P(E) আসে আগের অংশের total probability থেকে। নামটি ইংরেজ যাজক Thomas Bayes-এর; তাঁর মৃত্যুর পর ১৭৬৩ সালে Richard Price প্রবন্ধটি প্রকাশ করেন, আর Laplace ১৭৭৪ সাল থেকে স্বাধীনভাবে নিয়মটি গড়ে তোলেন।

একটি উদাহরণ (সব সংখ্যা কাল্পনিক): বাজারঘরে প্রতি ১০০০টি অর্ডারে গড়ে ১টি জালিয়াতি (চুরি করা কার্ড বা ভুয়া ঠিকানা)। একটি স্বয়ংক্রিয় পরীক্ষা জালিয়াতির ৯৯%-কে flag দেয় (sensitivity ০.৯৯), আর সৎ অর্ডারের ২%-কেও ভুল করে flag দেয় (false positive rate ০.০২)। একটি অর্ডার flag পেয়েছে; এটি জালিয়াতি হওয়ার সম্ভাবনা কত? অনেকে বলেন “৯৯%”. আগে অর্ডার গুনে দেখি: Gerd Gigerenzer ও Ulrich Hoffrage-এর ১৯৯৫ সালের একটি গবেষণায় দেখা যায়, শতাংশের বদলে “natural frequency” (১০০০টির মধ্যে কতটি) দিলে মানুষ Bayes-এর হিসাব অনেক বেশি সঠিক করেন।

এই ভুলকে বলে base-rate fallacy: প্রমাণের শক্তি (৯৯%) দেখে prior-এর দুর্লভতা (০.১%) ভুলে যাওয়া। ১৯৭০-এর দশকে Daniel Kahneman আর Amos Tversky-র কাজে এটি মনোবিজ্ঞানের একটি পরিচিত বিষয় হয়ে ওঠে। ১৯৭৮ সালে Casscells ও সহকর্মীরা একটি মার্কিন মেডিকেল স্কুলে প্রায় এমনই একটি প্রশ্ন দেন (রোগ ১০০০-এ ১, ভুল positive ৫%); প্রকাশিত বিবরণ অনুযায়ী সবচেয়ে বেশি দেওয়া উত্তর ছিল ৯৫%, আর সঠিক প্রায় ২% বলেন অল্প কয়েকজন। নিচের কোড সূত্র, natural frequency আর simulation তিনভাবে উত্তর বের করে।

import numpy as np

# কাল্পনিক সংখ্যা: প্রতি ১০০০ অর্ডারে ১টি জালিয়াতি
prior = 0.001     # P(fraud)
sens = 0.99       # P(flag | fraud)
fpr = 0.02        # P(flag | not fraud)

p_flag = sens * prior + fpr * (1 - prior)     # total probability
post = sens * prior / p_flag                  # Bayes' rule
print(f"P(flag)         = {p_flag:.5f}")
print(f"P(fraud | flag) = {post:.4f}")

# natural frequency: ১,০০,০০০টি অর্ডার
N = 100_000
fraud = N * prior
caught = round(fraud * sens)
false_flags = round((N - fraud) * fpr)
print("জালিয়াতি:", round(fraud), "| flag পেল:", caught)
print("সৎ অর্ডারে ভুল flag:", false_flags)
print("flag-এর মধ্যে জালিয়াতি:", round(caught / (caught + false_flags), 4))

# simulation: seed 42, ১০ লাখ কাল্পনিক অর্ডার
rng = np.random.default_rng(42)
M = 1_000_000
is_fraud = rng.random(M) < prior
u = rng.random(M)
flag = np.where(is_fraud, u < sens, u < fpr)
hit = (flag & is_fraud).sum()
print("জালিয়াতি:", is_fraud.sum(), "| flag:", flag.sum(), "| দুটোই:", hit)
print(f"simulation-এ P(fraud | flag) ≈ {hit / flag.sum():.4f}")
print(f"উল্টো প্রশ্ন P(flag | fraud) ≈ {flag[is_fraud].mean():.4f}")

P(flag)         = 0.02097
P(fraud | flag) = 0.0472
জালিয়াতি: 100 | flag পেল: 99
সৎ অর্ডারে ভুল flag: 1998
flag-এর মধ্যে জালিয়াতি: 0.0472
জালিয়াতি: 1002 | flag: 20872 | দুটোই: 993
simulation-এ P(fraud | flag) ≈ 0.0476
উল্টো প্রশ্ন P(flag | fraud) ≈ 0.9910

এখানেই থামছি। Prior কোথা থেকে আসে, একাধিক প্রমাণে বারবার হালনাগাদ, odds আর likelihood ratio, এসব পর্ব ৫০ (Bayes-এর উপপাদ্য — প্রমাণ পেলে বিশ্বাস হালনাগাদ)-এ দেখবেন।

৯ · Simulation দিয়ে যাচাই আর তিনটি সাধারণ ভুল

সম্ভাবনায় অন্তর্দৃষ্টি প্রায়ই ভুল পথে নেয়। সবচেয়ে সৎ বিচারক simulation: পরিস্থিতিটি কোডে হুবহু লিখে, seed দিয়ে হাজারবার চালিয়ে, অনুপাত মাপা। যত বেশিবার চালাবেন, অনুপাত তত আসল সম্ভাবনার কাছে যাবে (law of large numbers; পর্ব ৩৬-এ বিস্তারিত)। পর্ব ১৬-এ default_rng আর seed দেখেছেন; এখানে সেটিকে যুক্তির পরীক্ষক হিসেবে ব্যবহার করব।

Monty Hall সমস্যা

একটি টিভি গেম শোতে তিনটি দরজা। একটির পেছনে গাড়ি, বাকি দুটির পেছনে ছাগল। আপনি একটি দরজা বাছলেন। উপস্থাপক, যিনি জানেন গাড়ি কোথায়, বাকি দুটির মধ্যে ছাগলওয়ালা একটি দরজা খোলেন, তারপর জিজ্ঞেস করেন: দরজা বদলাবেন? বেশিরভাগ মানুষের মনে হয়, এখন দুটি দরজা বাকি, তাই সম্ভাবনা ৫০-৫০. আসলে বদলালে জেতার সম্ভাবনা ২/৩. কারণ আপনার প্রথম বাছাই ১/৩ সময় ঠিক; বাকি ২/৩ সময় গাড়ি অন্য দুটির একটিতে, আর উপস্থাপক জেনেশুনে ছাগলের দরজাটি খুলে আপনাকে সেই ২/৩-কে এক দরজায় এনে দেন। এই Monty Hall problem প্রথম প্রকাশ করেন পরিসংখ্যানবিদ Steve Selvin, ১৯৭৫ সালে The American Statistician-এ পাঠানো চিঠিতে।

import numpy as np

rng = np.random.default_rng(42)
games = 10_000
stay = switch = 0
for _ in range(games):
    car = rng.integers(3)              # গাড়ি কোন দরজায়
    pick = rng.integers(3)             # প্রতিযোগীর প্রথম বাছাই
    # উপস্থাপক জানেন গাড়ি কোথায়; তিনি ছাগলের একটি দরজা খোলেন
    can_open = [d for d in range(3) if d != pick and d != car]
    opened = can_open[rng.integers(len(can_open))]
    other = 3 - pick - opened          # বাকি বন্ধ দরজা (0+1+2 = 3)
    stay += int(pick == car)
    switch += int(other == car)
print(f"না বদলে জয়: {stay / games:.4f}   (ঠিক 1/3 ≈ 0.3333)")
print(f"বদলে জয়:    {switch / games:.4f}   (ঠিক 2/3 ≈ 0.6667)")

# উপস্থাপক না জেনে খুললে: গাড়ি বেরিয়ে পড়া খেলা বাদ
kept = win = 0
for _ in range(games):
    car, pick = rng.integers(3), rng.integers(3)
    opened = (pick + 1 + rng.integers(2)) % 3   # বাকি দুটির যেকোনো একটি
    if opened == car:
        continue                       # গাড়ি দেখা গেল, খেলা বাতিল
    kept += 1
    win += int(3 - pick - opened == car)
print(f"না-জানা উপস্থাপক: {kept}টি খেলা টিকল, বদলে জয় {win / kept:.4f}   (ঠিক 1/2)")

না বদলে জয়: 0.3345   (ঠিক 1/3 ≈ 0.3333)
বদলে জয়:    0.6655   (ঠিক 2/3 ≈ 0.6667)
না-জানা উপস্থাপক: 6595টি খেলা টিকল, বদলে জয় 0.5078   (ঠিক 1/2)

ভুল ১ · Gambler's fallacy

একটি ন্যায্য মুদ্রায় পাঁচবার পরপর head এসেছে। অনেকের মনে হয়, এবার tail-এর “পালা”. কিন্তু মুদ্রা স্মৃতি রাখে না; স্বাধীন টসে পরের ফলের সম্ভাবনা এখনো ১/২. একে বলে gambler's fallacy. বহুবার বলা একটি গল্প ১৯১৩ সালের মন্টে কার্লো ক্যাসিনোর: শোনা যায় রুলেটে পরপর ২৬ বার কালো এসেছিল, আর মানুষ “এবার লাল আসবেই” ভেবে বিপুল টাকা হারান (খুঁটিনাটি সূত্রভেদে আলাদা)। দীর্ঘ মেয়াদে অনুপাত ১/২-এর কাছে যায়, কারণ নতুন অনেক টস আগের অস্বাভাবিকতাকে “পাতলা” করে দেয়, পরের টস আগেরটা “শোধ” করে বলে নয়।

ভুল ২ · P(A | B) আর P(B | A) গুলিয়ে ফেলা

Bayes-এর উদাহরণে দেখেছেন, P(flag | fraud) = ০.৯৯ কিন্তু P(fraud | flag) ≈ ০.০৪৭. দুটিকে এক ভাবাকে আদালতের প্রসঙ্গে prosecutor's fallacy বলা হয়: “নির্দোষ হলে এমন প্রমাণ পাওয়ার সম্ভাবনা ১০ লাখে ১” কথাটিকে “অভিযুক্তের নির্দোষ হওয়ার সম্ভাবনা ১০ লাখে ১” হিসেবে পড়া। ১০ লাখে ১ সম্ভাবনার প্রমাণ এক কোটি মানুষের শহরে প্রায় ১০ জনের সঙ্গে মিলতে পারে। নামটি William Thompson আর Edward Schumann-এর ১৯৮৭ সালের একটি প্রবন্ধ থেকে জনপ্রিয় হয় বলে জানা যায়। AI-এ রোজকার রূপ: “spam SMS-এর ৮০%-এ ‘অফার’ শব্দ থাকে” মানে এই নয় যে “অফার” থাকা SMS-এর ৮০% spam.

ভুল ৩ · ছোট নমুনার হারকে সম্ভাবনা ভাবা

নতুন একটি কুরিয়ার কোম্পানির প্রথম ৪টি অর্ডারের ৩টি দেরিতে পৌঁছেছে। “এদের দেরির সম্ভাবনা ৭৫%” বলা কি ঠিক? ৪টি নমুনার হার একটি নড়বড়ে অনুমান মাত্র। সম্পর্কহীন ছুটির দিনের কলামেও প্রায় ২৮৬টি অর্ডারে দেরির হার ০.১২৯-এর বদলে ০.১০৭ এসেছিল; ৪টিতে নড়াচড়া আরও অনেক বেশি। হারের পাশে সবসময় n লিখুন, আর অনিশ্চয়তা মাপুন (confidence interval, পর্ব ৩৭)। না-দেখা শব্দের সম্ভাবনা শূন্য ধরে নেওয়ার সমস্যাও এর আত্মীয়; সেখানে Laplace smoothing লাগে (পর্ব ৫১)।

১০ · AI-এর যুগে — AI assistant-এর সম্ভাবনার হিসাব যাচাই

AI assistant-এর সম্ভাবনার উত্তর প্রায়ই সাবলীল আর আত্মবিশ্বাসী। কিন্তু ভাষা model লেখা তৈরি করে, হিসাব নয়: প্রশ্নের শর্ত সামান্য বদলালে (যেমন না-জানা উপস্থাপক) সে মুখস্থ পুরোনো উত্তর দিতে পারে, আর বিশ্বাসযোগ্য কিন্তু ভুল সংখ্যা (hallucination) সহজে চোখে পড়ে না।

AI-এর সম্ভাবনার উত্তর হাতে পেলে — যাচাইয়ের চেকলিস্ট

• প্রশ্নের প্রতিটি শর্ত (কে কী জানে, ফিরিয়ে রাখা হয় কি না, base rate) উত্তরে ব্যবহার হয়েছে কি না দেখেছি
• প্রতিটি conditional-এর হর কী, তা নিজে লিখে মিলিয়েছি; P(A | B) আর P(B | A) আলাদা রেখেছি
• কোথাও স্বাধীনতা ধরে নেওয়া হলে তার যুক্তি বা ডেটার যাচাই আছে
• Natural frequency বা seeded simulation দিয়ে উত্তরটি স্বাধীনভাবে মিলিয়েছি
• কোড নিজে চালিয়েছি, পুরো আউটপুট আর warning পড়েছি, আর API নিজের version-এর অফিসিয়াল docs-এ মিলিয়েছি
• প্রতিটি হারের পাশে n আছে; কোনো আসল গ্রাহকের ডেটা AI-তে পেস্ট করিনি