প্রত্যাশা, ভেরিয়েন্স ও কোভেরিয়েন্স

১ · প্রত্যাশা (Expectation)

একটি র‍্যান্ডম ভেরিয়েবল $X$-এর প্রত্যাশাExpectation ($\mathbb{E}[X]$)একটি র‍্যান্ডম ভেরিয়েবলের সম্ভাব্য মানগুলোর সম্ভাবনা-ভারযুক্ত গড়। $\mathbb{E}[X]$ হলো এর সম্ভাব্য মানগুলোর একটি সম্ভাবনা-ভারযুক্ত (weighted) গড় — ডিসক্রিট ভেরিয়েবলের জন্য PMF দিয়ে ওজন দেওয়া যোগফল, কন্টিনিউয়াসের জন্য PDF দিয়ে ওজন দেওয়া ইন্টিগ্রাল —

এটিকে প্রায়ই $\mu$ (mean/গড়) বলে চিহ্নিত করা হয়। উদাহরণ — একটি সুষম ছক্কার জন্য $\mathbb{E}[X]=\sum_{k=1}^{6}k\cdot\frac{1}{6}=\frac{1+2+3+4+5+6}{6}=3.5$। লক্ষণীয়, $3.5$ নিজে ছক্কার কোনো সম্ভাব্য ফলাফল নয় — প্রত্যাশা মানে "যদি বহুবার পরীক্ষা চালানো হয়, ফলাফলের গড় কী মানে স্থির হবে", কোনো একবারের ফলাফল নয়।

২ · ভেরিয়েন্স — সংজ্ঞা থেকে গণনাযোগ্য সূত্র

গড় $\mu=\mathbb{E}[X]$ শুধু কেন্দ্র বলে দেয়, কিন্তু ডেটা কতটা ছড়ানো তা বলে না। এই ছড়ানোর মাপকে বলা হয় ভেরিয়েন্সVarianceএকটি র‍্যান্ডম ভেরিয়েবল তার গড় থেকে গড়ে কত দূরে (স্কোয়ার করে) ছড়িয়ে থাকে তার মাপ। — সংজ্ঞা অনুযায়ী, গড় থেকে বিচ্যুতির বর্গের প্রত্যাশা:

এই সংজ্ঞাটি সরাসরি হাতে হিসাব করা কষ্টসাধ্য (প্রথমে $\mu$ বের করে, তারপর প্রতিটি বিচ্যুতি বর্গ করে, তারপর আবার প্রত্যাশা নিতে হয়)। কিন্তু প্রত্যাশার রৈখিকতা ব্যবহার করে একটি অনেক সহজ, গণনাযোগ্য রূপ ডেরাইভ করা যায় — নিচে ধাপে ধাপে দেখানো হলো।

উদাহরণ — সুষম ছক্কার জন্য $\mathbb{E}[X]=3.5$ আমরা আগেই পেয়েছি। এখন $\mathbb{E}[X^2]=\sum_{k=1}^6 k^2\cdot\frac{1}{6}=\frac{1+4+9+16+25+36}{6}=\frac{91}{6}\approx15.1667$। তাই $\text{Var}(X)=\frac{91}{6}-(3.5)^2=15.1667-12.25=2.9167=\frac{35}{12}$।

৩ · কোভেরিয়েন্স ও কোভেরিয়েন্স ম্যাট্রিক্স

যখন দুটি র‍্যান্ডম ভেরিয়েবল $X$ ও $Y$ থাকে, আমরা জানতে চাই তারা একসাথে কীভাবে বদলায় — একটি বড় হলে অন্যটিও বড় হওয়ার প্রবণতা আছে কি না। এটি মাপে কোভেরিয়েন্সCovarianceদুটি র‍্যান্ডম ভেরিয়েবল একসাথে (একই দিকে না বিপরীত দিকে) কতটা পরিবর্তিত হয় তার মাপ। —

ভেরিয়েন্সের মতোই একই কৌশলে এটিকে $\text{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]$ রূপে লেখা যায় (একই বিস্তৃতি ও রৈখিকতা প্রয়োগ করে — উপরের ডেরিভেশনের ঠিক একই পদ্ধতি)। লক্ষণীয় — $\text{Cov}(X,X)=\text{Var}(X)$, অর্থাৎ ভেরিয়েন্স আসলে কোভেরিয়েন্সের একটি বিশেষ ক্ষেত্র। যখন একাধিক ভেরিয়েবল ($X_1,\dots,X_n$, যেমন একটি ডেটাসেটের $n$টি ফিচার) থাকে, তাদের সব জোড়ার কোভেরিয়েন্স একটি $n\times n$ কোভেরিয়েন্স ম্যাট্রিক্স $\boldsymbol\Sigma$-তে সাজানো হয়, যেখানে $\Sigma_{ij}=\text{Cov}(X_i,X_j)$ (এবং কর্ণ বরাবর $\Sigma_{ii}=\text{Var}(X_i)$)। পাঠ ১২-এ আমরা দেখেছি এই ম্যাট্রিক্স সবসময় পজিটিভ সেমি-ডেফিনিট, এবং পাঠ ১১-এ (PCA) এই একই ম্যাট্রিক্সের আইগেনভেক্টরই প্রধান উপাদান।

৪ · কোরিলেশন কোয়েফিসিয়েন্ট

কোভেরিয়েন্সের একটি সমস্যা — এর মান $X, Y$-এর একক (unit)-এর উপর নির্ভরশীল (যেমন মিটার বনাম সেন্টিমিটারে পরিমাপ করলে ভিন্ন সংখ্যা আসবে)। এটি সমাধান করতে কোভেরিয়েন্সকে প্রতিটি ভেরিয়েবলের স্ট্যান্ডার্ড ডেভিয়েশন দিয়ে ভাগ করে কোরিলেশন কোয়েফিসিয়েন্ট $\rho$ পাওয়া যায় —

এই নরমালাইজেশনের ফলে $\rho$ সবসময় $[-1,1]$-এর মধ্যে থাকে — $\rho=1$ মানে নিখুঁত পজিটিভ রৈখিক সম্পর্ক, $\rho=-1$ মানে নিখুঁত নেগেটিভ রৈখিক সম্পর্ক, $\rho=0$ মানে কোনো রৈখিক সম্পর্ক নেই। ফিচার সিলেকশন ও ডেটা এক্সপ্লোরেশনে কোরিলেশন ম্যাট্রিক্স ব্যাপকভাবে ব্যবহৃত হয় — উচ্চ কোরিলেটেড ফিচার প্রায়ই রিডানডেন্ট তথ্য বহন করে (পাঠ ০৬ দেখুন)।

নিচের কোডে আমরা একটি সুষম ছক্কার $\mathbb{E}[X]$ ও $\text{Var}(X)$ সিমুলেশন দিয়ে যাচাই করছি, তারপর দুটি সম্পর্কিত ভেরিয়েবল তৈরি করে তাদের কোভেরিয়েন্স ও কোরিলেশন গণনা করছি।

import numpy as np
np.random.seed(0)

# --- ধাপ ১: ফেয়ার ডাইস দিয়ে E[X] ও Var(X) যাচাই ---
rolls = np.random.randint(1, 7, size=1_000_000)  # 1 থেকে 6

mean_X = rolls.mean()
mean_X2 = (rolls ** 2).mean()
var_via_identity = mean_X2 - mean_X ** 2   # Var(X) = E[X^2] - (E[X])^2
var_builtin = rolls.var()                  # NumPy-র সরাসরি ফাংশন

print("E[X]  (সিমুলেশন)          =", round(mean_X, 4), " | তাত্ত্বিক 3.5")
print("Var(X) সূত্র থেকে           =", round(var_via_identity, 4))
print("Var(X) np.var() থেকে       =", round(var_builtin, 4), " | তাত্ত্বিক", round(35/12, 4))

# --- ধাপ ২: দুটি সম্পর্কিত ভেরিয়েবল — কোভেরিয়েন্স ও কোরিলেশন ---
X = np.random.normal(0, 1, size=1_000_000)
noise = np.random.normal(0, 0.5, size=1_000_000)
Y = 2 * X + noise   # Y সরাসরি X-এর উপর নির্ভরশীল, তাই শক্তিশালী পজিটিভ কোরিলেশন আশা করা যায়

cov_matrix = np.cov(X, Y)   # 2x2 কোভেরিয়েন্স ম্যাট্রিক্স
corr = cov_matrix[0, 1] / (X.std() * Y.std())

print("\nCov(X, Y) =", round(cov_matrix[0, 1], 4))
print("রো (correlation) =", round(corr, 4))