মেশিন লার্নিং-এ নিউমেরিক্যাল মেথডস — অপ্টিমাইজেশনের সংযোগ

১ · মডেল প্রশিক্ষণ = অপ্টিমাইজেশন

একটি মেশিন লার্নিং মডেল (একটি লিনিয়ার রিগ্রেশন, একটি নিউরাল নেটওয়ার্ক — যেকোনো কিছু) কিছু অভ্যন্তরীণ প্যারামিটার (ওজন) দিয়ে তৈরি। "প্রশিক্ষণ" মানে এই প্যারামিটারগুলোর মান বেছে নেওয়া যাতে মডেলের প্রেডিকশন বাস্তব ডেটার সাথে যতটা সম্ভব মিলে যায়। এই "কতটা মিলছে না" পরিমাপ করার ফাংশনকে বলা হয় লস ফাংশনLoss Function — মডেলের প্রেডিকশন ও প্রকৃত মানের মধ্যে পার্থক্য পরিমাপকারী একটি ফাংশন; যত ছোট, মডেল তত ভালো ফিট করছে। — এবং প্রশিক্ষণ মানে এই লস ফাংশনকে প্যারামিটারগুলোর একটি ফাংশন হিসেবে দেখে, তার মিনিমাম খুঁজে বের করা। এটি ঠিক M9-এ শেখা অপ্টিমাইজেশন সমস্যা — শুধু এখানে "ফাংশন" টি একটি লস ফাংশন এবং "ভেরিয়েবল"-গুলো মডেলের ওজন।

২ · একটি সত্যিকারের ডেমো — টয় লস ফাংশন মিনিমাইজ করা

ধরা যাক আমাদের কাছে কিছু ডেটা পয়েন্ট (x, y) আছে যেখানে প্রকৃত সম্পর্কটি প্রায় y ≈ w·x (একটি একক প্যারামিটার w, উৎপত্তি-বিন্দু দিয়ে যাওয়া একটি সরলরেখা)। লক্ষ্য: মিন-স্কয়ার্ড-এরর (MSE) লস মিনিমাইজ করে সবচেয়ে ভালো w খুঁজে বের করা:

$$ L(w) = \frac{1}{n}\sum_{i=1}^{n} (w\,x_i - y_i)^2, \qquad \frac{dL}{dw} = \frac{2}{n}\sum_{i=1}^{n} (w\,x_i - y_i)\,x_i $$

এই গ্র্যাডিয়েন্ট dL/dw ঠিক M9/L43-এর গ্র্যাডিয়েন্ট ডিসেন্ট আপডেট রুলে ব্যবহৃত হবে: w ← w − লার্নিং-রেট × গ্র্যাডিয়েন্ট। নিচের কোড সেলে একটি ছোট সিন্থেটিক ডেটাসেট (প্রকৃত w_true = 3.0 দিয়ে সামান্য এলোমেলো নয়েজ যোগ করে তৈরি) থেকে শুরু করে w = 0 থেকে গ্র্যাডিয়েন্ট ডিসেন্ট চালিয়ে সত্যিকারের প্রতি-ইটারেশন লস কমে যাওয়া দেখানো হয়েছে।

import random

# টয় ডেটাসেট: y প্রায় = 3*x (একটি প্রকৃত প্যারামিটার, w_true = 3.0)
random.seed(7)
xs = [0.5, 1.0, 1.5, 2.0, 2.5, 3.0]
w_true = 3.0
ys = [w_true * x + random.uniform(-0.3, 0.3) for x in xs]

print("ডেটা পয়েন্ট (x, y):")
for x, y in zip(xs, ys):
    print(f"  ({x:.2f}, {y:.4f})")

def mse_loss(w):
    n = len(xs)
    return sum((w * xs[i] - ys[i]) ** 2 for i in range(n)) / n

def grad(w):
    n = len(xs)
    return sum(2 * (w * xs[i] - ys[i]) * xs[i] for i in range(n)) / n

w = 0.0          # প্রাথমিক অনুমান
lr = 0.05        # লার্নিং রেট
n_iters = 25

print()
print(f"{'ইটারেশন':>8} | {'w':>10} | {'লস':>10} | {'গ্র্যাডিয়েন্ট':>12}")
for i in range(n_iters + 1):
    L = mse_loss(w)
    g = grad(w)
    if i % 5 == 0 or i == n_iters:
        print(f"{i:8d} | {w:10.6f} | {L:10.6f} | {g:12.6f}")
    if i < n_iters:
        w = w - lr * g

print()
print(f"{n_iters} ইটারেশন পর চূড়ান্ত w: {w:.6f} (ডেটা তৈরিতে ব্যবহৃত প্রকৃত ঢাল: {w_true})")
print(f"চূড়ান্ত লস: {mse_loss(w):.6f}")

একটি বাস্তব ML মডেলে (যেমন হাজার হাজার ওজনের একটি নিউরাল নেটওয়ার্ক) এই একই লুপ চলে — শুধু w-এর বদলে একটি বিশাল ভেক্টর, আর grad(w)-এর বদলে ব্যাকপ্রোপাগেশন দিয়ে গণনা করা একটি গ্র্যাডিয়েন্ট ভেক্টর। M9/L43-এ যেমন দেখানো হয়েছিল, লার্নিং রেট খুব বড় হলে এই একই লুপ ডাইভার্জ করতে পারে — এই ঝুঁকিটি প্র্যাকটিক্যাল ML প্রশিক্ষণেও ঠিক একইভাবে থাকে, তাই লার্নিং-রেট বাছাই একটি গুরুত্বপূর্ণ ব্যবহারিক সিদ্ধান্ত।