সম্ভাবনার মূল ধারণা

এটি "Gambler's fallacy"-র classic উদাহরণ। সঠিক উত্তর: ০.৫।

কেন ০.৫:

• প্রতিটি toss স্বাধীন (independent)। মুদ্রার "memory" নেই।
• $P(H | \text{previous results}) = P(H) = 0.5$।
• Coin remember করে না — physics শুধু সেই moment-এর forces.

"Tails-ই হওয়া উচিত" — এই intuition কেন ভুল:

• মানুষ Law of Large Numbers ভুল ভাবে interpret করে।
• LLN বলে — অনেক বার পরে গড় ০.৫-এ আসবে। কিন্তু "গড় correction" কোনো mechanism নেই।
• "Random sequences"-এ মানুষ patterns দেখে — যা actually নেই।

Gambler's fallacy-র ক্লাসিক উদাহরণ:

• Monte Carlo Casino, ১৯১৩ — roulette-এ ২৬ বার পরপর black. "এবার red হবে" — পন্টার massive bet. আরও black. বিশাল ক্ষতি।
• লটারিতে "এই সংখ্যা কখনো আসেনি, এবার আসবে" — false.

উল্টো fallacy — Hot Hand:

• "সে পরপর ৫ বার শুট মেরেছে, ৬-এও হবে।"
• Pure independence-এ এটাও ভুল।
• (কিন্তু basketball-এ recent গবেষণা দেখায় — কিছু hot hand effect বাস্তবে আছে; pure coin-এ না।)

AI-তে এর প্রাসঙ্গিকতা:

• "মডেল ১০ বার ভুল করেছে, এবার সঠিক হবে" — false. AI deterministic; data unchanged থাকলে behavior একই।
• SGD-র "momentum" — gambler's fallacy না; previous gradient-এর actual smoothing.
• Ensemble methods — পক্ষপাত compensate, কিন্তু coin flip "correct" করার চেষ্টা না।

মূল উপলব্ধি: Independence respects না-করলে probability misuse. AI/data science-এ এই ভুল ক্যারিয়ার-শেষকারী।

এই প্রশ্নে modern LLM-এর হৃদয় খোলে।

Vocabulary:

• GPT-৪-এ ~১০০,০০০ tokens (subword units, BPE বা SentencePiece)।
• "hello" — একটি token; "Bangladesh" — দু'টি tokens (Banglade + sh)।
• সব possible next-tokens-এর collection-ই vocabulary.

Forward pass output:

• Input "The capital of France is" → embedding → transformer layers → final hidden state.
• Final layer (LM head) — এই hidden state থেকে ১০০,০০০ logits (raw scores)।
• Softmax: logits → probabilities. প্রতিটি token-এর জন্য $0 \leq p_i \leq 1$, $\sum p_i = 1$।

উদাহরণ output (simplified):

• "Paris" → 0.85
• "a" → 0.05
• "the" → 0.03
• "London" → 0.001
• ...সব মিলিয়ে ১.০।

কী বলে:

• মডেল "নিশ্চিত" না — এটা probability assignment.
• উচ্চ probability = "মডেলের high confidence"।
• Distribution-এর shape — uncertainty signal.

Sampling strategies:

• Greedy: highest প্রotaba বাছুন। Deterministic, কিন্তু boring/repetitive.
• Temperature: $p_i^{1/T}$। T = 1: original. T < 1: sharper. T = 0: greedy. T > 1: more random.
• Top-k: top k tokens-এর মধ্যে sample.
• Top-p (nucleus): cumulative probability p পর্যন্ত যত tokens — তাদের মধ্যে sample.
• Beam search: top-k পথ একসাথে track.

Practical implications:

• Same prompt, T > 0 → different responses (probabilistic)।
• Temperature = 0 → deterministic (mostly)।
• "Hallucination" — model high-probability assign করে wrong fact-এ।
• Confidence calibration — actual accuracy-এর সাথে probability মেলে কি?

মূল উপলব্ধি: LLM = "next-token probability calculator"। Magic না, শুধু সম্ভাবনা। এই lens দিয়ে দেখলে — hallucination, sampling, prompt engineering সব meaningful.

এই counterintuitive ফলাফল — Bayes' theorem-এর সবচেয়ে famous demonstration. AI-তে false positives বুঝতে এই ধারণা critical.

Setup:

• Test sensitivity (true positive rate): 99% — অসুস্থ হলে test positive 99%।
• Test specificity (true negative rate): 99% — সুস্থ হলে test negative 99%।
• Disease prevalence: 1% — population-এর ১% COVID-positive.

১০,০০০ মানুষ-এর ভাবনা:

• ১০০ আসলে অসুস্থ (1%)।
• ৯,৯০০ সুস্থ।
• অসুস্থদের মধ্যে — 99 জন test positive (true positive)।
• সুস্থদের মধ্যে — 99 জন test positive (false positive — 1% of 9,900)।
• মোট positive test = 99 + 99 = 198.
• তাদের মধ্যে actually অসুস্থ = 99/198 = 50%।

Bayes-এর সূত্র:

$P(\text{disease} | +) = \frac{P(+ | \text{disease}) \cdot P(\text{disease})}{P(+)} = \frac{0.99 \times 0.01}{0.99 \times 0.01 + 0.01 \times 0.99} = 0.5$

মূল কারণ — "Base rate fallacy":

• মানুষ test accuracy দেখে — "৯৯% accurate তাই ৯৯% নিশ্চিত"।
• কিন্তু base rate (prevalence) বিবেচনা করে না।
• Rare disease + imperfect test = অনেক false positive.

Prevalence বদলালে কী হয়:

• Prevalence 50%-এ (যেমন epidemic peak): $P(\text{disease}|+) \approx 99\%$।
• Prevalence 0.1%-এ (rare): $P(\text{disease}|+) \approx 9\%$।
• Same test, completely different interpretation.

AI-তে directly applicable:

• Fraud detection: 99.9% accurate model — কিন্তু fraud rate 0.01%, false positive বেশি।
• Medical AI: "৯৯% accurate" claim — prevalence-এ depend.
• Spam filter: Spam rare হলে — false positive (legitimate email-কে spam) আঘাতকর।
• Anomaly detection: Anomaly rare = high false positive rate inevitable.

Solution:

• Confirmatory test — first test positive হলে second test.
• Precision-Recall tradeoff — accuracy alone misleading.
• F1-score, AUC-PR for imbalanced data.
• Posterior probability report করা — point estimate না।

মূল উপলব্ধি: "Test accuracy" + "prevalence" — দু'টিই দরকার। এই subtle math-এ AI/medicine/legal-এ অনেক বড় ভুল ঘটে। Bayes' theorem (পাঠ ১৯) — আজকের probabilistic thinking-এর core.

এই argument ৩০০+ বছর পুরানো (Pascal, Bernoulli, Bayes vs Fisher, Neyman)। এখনো জীবিত।

Frequentist interpretation:

• Probability = long-run frequency of events.
• "Coin flip-এ Heads probability ০.৫" মানে — অনেকবার flip-এ proportion ০.৫-এ tend করবে।
• Parameters (যেমন coin-এর true bias) — fixed, unknown.
• Data — random.
• Inference: confidence intervals, p-values, hypothesis tests.

Bayesian interpretation:

• Probability = degree of belief.
• "Coin probably fair" মানে — fairness-এ belief ০.৯।
• Parameters — random, with prior distribution.
• Data — fixed (observed)।
• Inference: posterior probability, credible intervals.

একটি ক্লাসিক পার্থক্য:

• "৯৫% confidence interval [10, 20]" (frequentist):
  • "যদি অনেক sample collect করি, এমন interval-এর ৯৫% true value cover করবে।"
  • এই specific interval cover করছে কি না — answer is yes/no, not probabilistic.
• "৯৫% credible interval [10, 20]" (Bayesian):
  • "True value এই interval-এ থাকার probability ০.৯৫।"
  • সরাসরি interpretable — এই কারণে অনেকে preferred.

AI-তে কোনটি:

• DL training: Mostly frequentist (MLE — maximum likelihood)। Loss = neg log-likelihood. Standard SGD.
• Bayesian DL: Specialized field — variational inference, MC dropout. Uncertainty estimation important যেখানে।
• RLHF: Preference modeling — Bayesian-flavored.
• Naive Bayes (classic ML): নাম-ই Bayesian, কিন্তু practical implementation frequentist.
• Probabilistic programming: Stan, PyMC, Pyro — pure Bayesian. ক্ষুদ্র data-তে শক্তিশালী।

কেন DL মূলত frequentist:

• Big data-তে prior-এর প্রভাব vanish. Frequentist + Bayesian একই answer.
• Bayesian inference computationally costly (MCMC, VI)। Big networks-এ infeasible.
• Point estimates (best parameters) — production-এ যথেষ্ট।
• Backprop নিজেই MLE optimization.

Bayesian renaissance:

• Uncertainty quantification — safety-critical AI-তে critical.
• Active learning — কোন data label করব?
• Out-of-distribution detection — মডেল কি sure?
• Model averaging — robust predictions.

মূল উপলব্ধি: Frequentist = "data থেকে point estimate"। Bayesian = "belief update with new evidence"। AI-তে দু'টিই — context-এ depend. Modern practice — pragmatic mix.