বায়াস-ভেরিয়েন্স ট্রেডঅফ

১ · সমস্যাটি প্রথমে বুঝি

ধরা যাক একটি সত্যিকারের (কিন্তু অজানা) ফাংশন $f(x)$ থেকে আমাদের ডেটা তৈরি হয়েছে, সাথে কিছুটা এলোমেলো নয়েজ — $y = f(x) + \epsilon$, যেখানে $\mathbb{E}[\epsilon]=0$ এবং $\text{Var}(\epsilon)=\sigma^2$ (L26-L27)। আমরা ট্রেনিং ডেটা থেকে একটি মডেল $\hat f(x)$ শিখি। প্রশ্ন — নতুন, অদেখা $x$-এর জন্য $\hat f(x)$ কতটা ভালো পারফর্ম করবে?

এখানে একটি সূক্ষ্ম বিষয় আছে — $\hat f$ নিজেই একটি র‍্যান্ডম ভ্যারিয়েবল, কারণ এটি একটি নির্দিষ্ট (এলোমেলোভাবে নেওয়া) ট্রেনিং স্যাম্পলের উপর নির্ভর করে (L29-এর স্যাম্পলিং ধারণা মনে করুন)। ভিন্ন ট্রেনিং সেট নিলে ভিন্ন $\hat f$ পাওয়া যেত। তাই আমরা প্রত্যাশিত (expected) টেস্ট এরর নিয়ে কথা বলি — সব সম্ভাব্য ট্রেনিং সেটের উপর গড় করে।

২ · এরর ডিকম্পোজিশন — সূত্র

একটি নির্দিষ্ট টেস্ট পয়েন্ট $x$-এ, স্কোয়ারড এরর লসের প্রত্যাশিত মান নিম্নরূপে ভাঙা যায় —

এখানে প্রত্যাশা ($\mathbb{E}$) নেওয়া হয় সব সম্ভাব্য ট্রেনিং সেটের উপর (এবং নয়েজের উপরও) — $x$ ও $f(x)$ স্থির ধরে। প্রতিটি পদ আলাদাভাবে বুঝি —

৩ · কেন এই দুটি বিপরীত দিকে চলে

মডেলের জটিলতা (যেমন পলিনমিয়াল ডিগ্রি, নিউরাল নেটওয়ার্কের প্যারামিটার সংখ্যা, ট্রি-এর গভীরতা) বাড়ালে —

• বায়াস কমে — মডেল বেশি নমনীয় হয়ে ওঠে, তাই এটি সত্যিকারের ফাংশন $f$-এর কাছাকাছি যেতে পারে।
• ভেরিয়েন্স বাড়ে — একই ফ্লেক্সিবিলিটি মডেলকে ট্রেনিং ডেটার সুনির্দিষ্ট নয়েজের প্রতিও সংবেদনশীল করে তোলে।

মোট প্রত্যাশিত এরর ($\text{Bias}^2+\text{Variance}+\sigma^2$) তাই সাধারণত একটি U-আকৃতির কার্ভ অনুসরণ করে — খুব সরল মডেলে বায়াসজনিত এরর প্রাধান্য পায়, খুব জটিল মডেলে ভেরিয়েন্সজনিত এরর প্রাধান্য পায়, এবং মাঝখানে কোথাও মোট এরর সর্বনিম্ন হয়।

৪ · কোড দিয়ে U-কার্ভ দেখুন

নিচে আমরা একটি সাধারণ non-linear ফাংশন থেকে নয়েজি ডেটা তৈরি করব, তারপর বিভিন্ন ডিগ্রির পলিনমিয়াল ফিট করে দেখব কীভাবে টেস্ট এরর একটি U-আকৃতি অনুসরণ করে।

import numpy as np

rng = np.random.default_rng(0)

def true_function(x):
    return np.sin(2 * np.pi * x)

# ট্রেনিং ও টেস্ট ডেটা তৈরি
n_train = 15
x_train = rng.uniform(0, 1, n_train)
y_train = true_function(x_train) + rng.normal(0, 0.3, n_train)

x_test = rng.uniform(0, 1, 200)
y_test = true_function(x_test) + rng.normal(0, 0.3, 200)

degrees = [1, 3, 9, 15]

for d in degrees:
    # d-ডিগ্রি পলিনমিয়াল ফিট (least squares, np.polyfit)
    coeffs = np.polyfit(x_train, y_train, d)
    y_pred = np.polyval(coeffs, x_test)

    test_mse = np.mean((y_test - y_pred) ** 2)
    print(f"ডিগ্রি {d:>2} → টেস্ট MSE: {test_mse:.4f}")

৫ · সমাধানের দিকে — পরবর্তী পাঠের ভূমিকা

স্বাভাবিক প্রশ্ন — মডেলের জটিলতা ঠিক রেখে ভেরিয়েন্স কমানো যায় কি? উত্তর হ্যাঁ — regularization নামের একটি কৌশল দিয়ে, যেখানে আমরা ইচ্ছাকৃতভাবে মডেলকে সামান্য বায়াস যোগ করতে দিই, বিনিময়ে ভেরিয়েন্সে অনেক বড় হ্রাস পাই — ফলে নেট টেস্ট এরর কমে। পরবর্তী পাঠ (L32) দেখাবে কীভাবে এই কৌশলটি Bayes থিওরেম (L28) ও MLE (L30) থেকে সরাসরি গাণিতিকভাবে বেরিয়ে আসে।