ক্রস-এনট্রপি, KL ডাইভার্জেন্স ও লস ফাংশনের ভিত্তি

১ · এনট্রপি — অনিশ্চয়তার পরিমাপ

তথ্যতত্ত্বে (information theory) একটি ঘটনার "বিস্ময়" (surprise/information content) পরিমাপ করা হয় $-\log P(x)$ দিয়ে — যে ঘটনা যত কম সম্ভাব্য, তার সংঘটন তত বেশি "তথ্য" বহন করে। একটি সম্পূর্ণ বিতরণ $P$-এর এনট্রপিEntropy, $H(P)$একটি বিতরণ থেকে নমুনা নিলে গড়ে কত "বিস্ময়" পাওয়ার প্রত্যাশা করা যায়, তার পরিমাপ। হলো এই বিস্ময়ের প্রত্যাশিত মান (পাঠ ২৭-এর $\mathbb{E}[\cdot]$ ব্যবহার করে): $$H(P) = -\sum_x P(x) \log P(x) = \mathbb{E}_{X\sim P}[-\log P(X)]$$ একটি ফেয়ার কয়েনের এনট্রপি সর্বোচ্চ (দুটি ফলাফলই সমান অনিশ্চিত), আর একটি সবসময় হেড পড়া কয়েনের এনট্রপি শূন্য (কোনো অনিশ্চয়তাই নেই — ফলাফল আগে থেকেই জানা)।

২ · ক্রস-এনট্রপি — দুটি বিতরণের তুলনা

এখন কল্পনা করুন সত্যিকারের বিতরণ $P$, কিন্তু আমরা এটি জানি না — বরং আমাদের মডেল একটি অনুমিত বিতরণ $Q$ ব্যবহার করে। ক্রস-এনট্রপিCross-Entropy, $H(P,Q)$$P$ থেকে আসা ডেটাকে $Q$ ব্যবহার করে "এনকোড" করলে গড়ে কত বিস্ময়/কস্ট লাগবে তার পরিমাপ। হলো — সত্যিকারের বিতরণ $P$ থেকে ডেটা এলেও, বিস্ময় গণনা হয় $Q$ দিয়ে: $$H(P, Q) = -\sum_x P(x) \log Q(x)$$ $Q$ যদি $P$-এর সমান হয়, তাহলে $H(P,Q) = H(P)$ — সর্বনিম্ন সম্ভাব্য মান। $Q$ যত ভুল হবে, $H(P,Q)$ তত বেশি হবে। এই কারণেই ক্রস-এনট্রপি একটি স্বাভাবিক লস ফাংশন — একে মিনিমাইজ করা মানে মডেলের $Q$-কে প্রকৃত $P$-এর যতটা সম্ভব কাছে নিয়ে যাওয়া।

৩ · KL ডাইভার্জেন্স — বিশুদ্ধ "পার্থক্য"

ক্রস-এনট্রপির মধ্যে দুটি জিনিস মিশে আছে — বিতরণের নিজস্ব অনিশ্চয়তা ($H(P)$, যা $Q$ যাই হোক না কেন স্থির), এবং $Q$ ভুল হওয়ার কারণে অতিরিক্ত "খরচ"। এই দ্বিতীয় অংশটুকু আলাদা করাই হলো KL ডাইভার্জেন্সKullback–Leibler Divergence$Q$, $P$ থেকে গড়ে কতটা "দূরে" তার পরিমাপ — তবে এটি একটি প্রকৃত দূরত্ব (metric) নয়, কারণ এটি অ-প্রতিসম।: $$D_{KL}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} = H(P, Q) - H(P)$$ যেহেতু $H(P) \geq 0$ এবং তথ্যতাত্ত্বিকভাবে $H(P,Q) \geq H(P)$ সবসময় সত্য (Gibbs' inequality, প্রমাণ ছাড়াই বলা হলো), তাই $D_{KL}(P\|Q) \geq 0$, এবং সমতা ঘটে শুধু $P=Q$ হলে। খুব গুরুত্বপূর্ণ একটি বিষয় — $$D_{KL}(P\|Q) \neq D_{KL}(Q\|P) \quad \text{সাধারণত}$$ এটি একটি প্রকৃত দূরত্ব ফাংশন (metric) নয় — এটি বরং "$Q$ দিয়ে $P$-কে কতটা খারাপভাবে বর্ণনা করা হচ্ছে" তার একমুখী পরিমাপ।

৪ · কোড: এনট্রপি, ক্রস-এনট্রপি ও KL হাতে-কলমে

নিচের কোডে দুটি সাধারণ (৩-ক্লাস) বিতরণ $P, Q$ নিয়ে তিনটি রাশিই গণনা করা হলো, এবং যাচাই করা হলো $H(P,Q) = H(P) + D_{KL}(P\|Q)$ সম্পর্কটি সংখ্যাগতভাবে মিলছে কি না।

import numpy as np

P = np.array([0.5, 0.3, 0.2])   # প্রকৃত (true) বিতরণ
Q = np.array([0.4, 0.4, 0.2])   # মডেলের পূর্বাভাসিত বিতরণ

entropy_P        = -np.sum(P * np.log(P))
cross_entropy_PQ = -np.sum(P * np.log(Q))
kl_PQ            = np.sum(P * np.log(P / Q))

print("H(P)          =", round(entropy_P, 5))
print("H(P, Q)       =", round(cross_entropy_PQ, 5))
print("D_KL(P || Q)  =", round(kl_PQ, 5))
print("H(P) + KL     =", round(entropy_P + kl_PQ, 5), "(H(P,Q)-এর সমান হওয়া উচিত)")

# --- এক-হট ক্লাসিফিকেশন কেস ---
# আসল ক্লাস = ০ (one-hot), মডেলের সফটম্যাক্স আউটপুট Q
P_onehot = np.array([1.0, 0.0, 0.0])
Q_pred   = np.array([0.7, 0.2, 0.1])

ce_onehot = -np.sum(P_onehot * np.log(Q_pred))
minus_log_q_true = -np.log(Q_pred[0])

print("\nএক-হট cross-entropy      =", round(ce_onehot, 5))
print("-log(Q[সঠিক ক্লাস])      =", round(minus_log_q_true, 5), "(মিলে যাওয়ার কথা)")

৫ · এক-হট লেবেল ও ক্লাসিফিকেশন লস

ক্লাসিফিকেশনে সত্যিকারের লেবেল প্রায়ই এক-হট (one-hot) আকারে থাকে — সঠিক ক্লাসে $P=1$, বাকি সব ক্লাসে $P=0$। যেহেতু $P(x)=0$ হলে $P(x)\log Q(x) = 0$ (কনভেনশন অনুযায়ী), ক্রস-এনট্রপি সমষ্টির প্রায় সব পদ শূন্য হয়ে যায়, শুধু সঠিক ক্লাসের পদটি থেকে যায়: $$H(P, Q) = -\sum_x P(x)\log Q(x) = -1 \cdot \log Q(\text{সঠিক ক্লাস}) = -\log Q(\text{সঠিক ক্লাস})$$ এই সরল সূত্রটিই — -log(predicted probability of the true class) — PyTorch/TensorFlow-এর CrossEntropyLoss-এর ভেতরে ঠিক এভাবেই বাস্তবায়িত হয়।

৬ · ক্রস-এনট্রপি মিনিমাইজেশন = MLE (পাঠ ৩০-এর সাথে সংযোগ)

পাঠ ৩০-এ আমরা দেখেছিলাম MLE মানে log-likelihood $\ell(\theta) = \sum_i \log Q_\theta(y_i \mid x_i)$ ম্যাক্সিমাইজ করা (iid ডেটার উপর)। একটি ডেটাসেটে $n$টি স্যাম্পলের গড় cross-entropy লস হলো: $$\mathcal{L} = \frac{1}{n}\sum_{i=1}^n \big(-\log Q_\theta(y_i \mid x_i)\big) = -\frac{1}{n}\ell(\theta)$$ অর্থাৎ, cross-entropy লস মিনিমাইজ করা ঠিক negative log-likelihood মিনিমাইজ করা, যা log-likelihood $\ell(\theta)$ ম্যাক্সিমাইজ করার সমতুল্য — অর্থাৎ, ঠিক MLE। এই কারণেই "cross-entropy loss মিনিমাইজ করো" এবং "categorical/Bernoulli মডেলের জন্য ম্যাক্সিমাম লাইকলিহুড এস্টিমেট খুঁজো" — এই দুটি বাক্য গাণিতিকভাবে একই কাজ বর্ণনা করে।