Bayes থিওরেম ও বেসিয়ান চিন্তাভাবনা

১ · শর্তাধীন সম্ভাবনা থেকে বেইজ থিওরেম

পাঠ ২৪-এ আমরা শর্তাধীন সম্ভাবনার সংজ্ঞা দেখেছি। একই দুটি ইভেন্ট $A$ ও $B$-এর জন্য এই সংজ্ঞাটি দুই দিক থেকেই লেখা যায় —

যেহেতু $P(A\cap B)=P(B\cap A)$ (ইন্টারসেকশন প্রতিসম — ক্রম গুরুত্বপূর্ণ নয়), দ্বিতীয় সমীকরণ থেকে $P(A\cap B)=P(B\mid A)\,P(A)$ পাওয়া যায়। এখন এই রূপটি প্রথম সমীকরণে $P(A\cap B)$-এর জায়গায় বসিয়ে দিলে —

এটাই বেইজ থিওরেম (Bayes' Theorem) — শর্তাধীন সম্ভাবনার সংজ্ঞা থেকে মাত্র দুই লাইনে বের হওয়া একটি সূত্র, অথচ এর প্রয়োগ গভীর। এটি আমাদের একদিকের শর্তাধীন সম্ভাবনা ($P(B\mid A)$, যা প্রায়ই জানা বা হিসাব করা সহজ) থেকে উল্টো দিকের শর্তাধীন সম্ভাবনা ($P(A\mid B)$, যা আমরা আসলে জানতে চাই) বের করতে দেয়।

২ · Prior, Likelihood, Posterior

বেইজ থিওরেমের প্রতিটি অংশের একটি নির্দিষ্ট নাম আছে, যা "বিশ্বাস হালনাগাদ করার" ভাষায় বোঝা সহজ করে। ধরা যাক $A$ হলো আমাদের আগ্রহের একটি "হাইপোথিসিস" (যেমন "ইমেইলটি স্প্যাম"), এবং $B$ হলো আমরা যে "প্রমাণ" পর্যবেক্ষণ করেছি (যেমন "ইমেইলে 'free' শব্দ আছে") —

৩ · সম্পূর্ণ সাংখ্যিক উদাহরণ — স্প্যাম ফিল্টার

পাঠ ২৪-এ আমরা একটি স্প্যাম-ফিল্টার পরিস্থিতি সেট আপ করেছিলাম। সংখ্যাগুলো আবার স্মরণ করি —

• Prior: $P(\text{স্প্যাম})=0.4$, $P(\text{স্প্যাম}^c)=0.6$
• Likelihood: $P(\text{free}\mid\text{স্প্যাম})=0.6$, $P(\text{free}\mid\text{স্প্যাম}^c)=0.05$
• Evidence (মোট সম্ভাবনার সূত্র দিয়ে হিসাব করা, পাঠ ২৪): $P(\text{free})=0.27$

এখন প্রশ্ন — একটি ইমেইলে "free" শব্দটি দেখা গেছে। এই প্রমাণের ভিত্তিতে ইমেইলটি স্প্যাম হওয়ার হালনাগাদ সম্ভাবনা (posterior) কত? বেইজ থিওরেম প্রয়োগ করি —

এই ভগ্নাংশটি সরলীকরণ করলে — লব ও হর উভয়কে $0.03$ দিয়ে ভাগ করে — $\frac{0.24}{0.27}=\frac{24}{27}=\frac{8}{9}\approx0.8889$। অর্থাৎ —

৪ · বেসিয়ান বনাম ফ্রিকোয়েন্টিস্ট দৃষ্টিভঙ্গি

সম্ভাবনার অর্থ নিয়ে পরিসংখ্যানে দুটি প্রধান দার্শনিক দৃষ্টিভঙ্গি আছে। ফ্রিকোয়েন্টিস্ট দৃষ্টিভঙ্গিতে সম্ভাবনা মানে "বহুবার পুনরাবৃত্তি করলে একটি ঘটনা কত অনুপাতে ঘটবে" — যেমন "একটি মুদ্রার হেড পড়ার সম্ভাবনা $0.5$" মানে অসীমবার টস করলে অনুপাত $0.5$-এ স্থির হবে। এই দৃষ্টিভঙ্গিতে একটি নির্দিষ্ট এক-বারের ঘটনার (যেমন "কাল বৃষ্টি হওয়ার সম্ভাবনা") সম্ভাবনা বলাটাই কিছুটা অস্বস্তিকর, কারণ সেটা পুনরাবৃত্তিযোগ্য নয়।

বেসিয়ান দৃষ্টিভঙ্গিতে সম্ভাবনা মানে "বিশ্বাসের মাত্রা" (degree of belief), যা প্রমাণ পাওয়ার সাথে সাথে যুক্তিসঙ্গতভাবে (বেইজ থিওরেম মেনে) হালনাগাদ হয়। এই দৃষ্টিভঙ্গিতে prior নির্ধারণ করতে হয় (যা কিছুটা বিষয়ভিত্তিক হতে পারে), কিন্তু এটি এক-বারের ঘটনা নিয়েও স্বাভাবিকভাবে কথা বলতে দেয়। আধুনিক ML-এ উভয় দৃষ্টিভঙ্গিরই ব্যবহার আছে — MLE (পাঠ ৩০) মূলত ফ্রিকোয়েন্টিস্ট ধারায়, আর MAP এস্টিমেশন ও বেসিয়ান নিউরাল নেটওয়ার্ক সরাসরি বেসিয়ান ধারায় (পাঠ ৩২-এ আমরা দেখব কীভাবে এই দুই ধারণা এক জায়গায় মিলিত হয়)।

নিচের কোডে আমরা এই একই স্প্যাম-ফিল্টার পরিস্থিতি বড় আকারে সিমুলেট করছি — লক্ষ লক্ষ ইমেইল তৈরি করে, যেগুলোতে "free" শব্দ আছে শুধু সেগুলো ফিল্টার করে দেখছি তাদের মধ্যে প্রকৃতপক্ষে কত শতাংশ স্প্যাম — এবং এই empirical অনুপাতটি হাতে-হিসাব করা $\frac{8}{9}\approx0.8889$-এর কাছাকাছি আসে কি না।

import numpy as np
np.random.seed(0)

n = 2_000_000

# prior: P(স্প্যাম) = 0.4
is_spam = np.random.rand(n) < 0.4

# likelihood: P(free | স্প্যাম) = 0.6, P(free | স্প্যাম^c) = 0.05
p_free_given_type = np.where(is_spam, 0.6, 0.05)
has_free = np.random.rand(n) < p_free_given_type

# --- বেইজ থিওরেম হাতে-হিসাব ---
prior_spam = 0.4
likelihood_free_given_spam = 0.6
likelihood_free_given_not_spam = 0.05
prior_not_spam = 1 - prior_spam

evidence_p_free = (likelihood_free_given_spam * prior_spam
                   + likelihood_free_given_not_spam * prior_not_spam)

posterior_spam_given_free = (likelihood_free_given_spam * prior_spam) / evidence_p_free

print("P(free) [evidence]              =", round(evidence_p_free, 4))
print("P(স্প্যাম | free) হাতে-হিসাব       =", round(posterior_spam_given_free, 4),
      " (= 8/9 =", round(8/9, 4), ")")

# --- সিমুলেশন দিয়ে যাচাই: যাদের ইমেইলে "free" আছে তাদের মধ্যে কত শতাংশ প্রকৃতপক্ষে স্প্যাম ---
emails_with_free = has_free  # boolean mask
empirical_posterior = is_spam[emails_with_free].mean()

print("P(স্প্যাম | free) সিমুলেশন থেকে    =", round(empirical_posterior, 4))