গ্র্যাডিয়েন্ট ডিসেন্ট

১ · গ্র্যাডিয়েন্ট ডিসেন্ট কীভাবে কাজ করে

গ্র্যাডিয়েন্টGradientএকটি বহু-চলক ফাংশনের প্রতিটি চলকের সাপেক্ষে আংশিক ডেরিভেটিভের ভেক্টর — এটি নির্দেশ করে ফাংশনটি সবচেয়ে দ্রুত কোন দিকে বাড়ছে। একটি ভেক্টর যা নির্দেশ করে ফাংশন f সবচেয়ে দ্রুত কোন দিকে বাড়ছে। তাই গ্র্যাডিয়েন্টের বিপরীত দিকে ছোট ছোট ধাপে গেলে ফাংশনের মান কমতে থাকে — এটাই গ্র্যাডিয়েন্ট ডিসেন্টের মূল ধারণা। প্রতিটি চলক x-এর জন্য আপডেট রুল:

$$ x_{n+1} = x_n - \alpha \, \nabla f(x_n) $$

যেখানে α (আলফা) হলো লার্নিং রেট — প্রতি ধাপে কতটা "লাফ" দেওয়া হবে তা নিয়ন্ত্রণ করে। L42-এর গোল্ডেন সেকশন সার্চের সাথে মূল পার্থক্য: গ্র্যাডিয়েন্ট ডিসেন্ট ফাংশনের ঢাল (slope) ব্যবহার করে বুদ্ধিদীপ্তভাবে দিক বেছে নেয় (M2-এর নিউটন-রাফসনের মতোই), এবং সরাসরি যেকোনো সংখ্যক চলকে কাজ করে — তাই এটি মেশিন লার্নিং মডেল ট্রেনিংয়ের (M12/L55-এ বিস্তারিত) মূল ভিত্তি।

২ · ডেমো — কনভার্জিং বনাম ডাইভার্জিং রান

টেস্ট ফাংশন হিসেবে ব্যবহার করছি f(x, y) = (x-3)² + (y+2)² + 5 — একটি সহজ 2D "বাটি" (bowl) আকৃতির ফাংশন যার প্রকৃত মিনিমাম (x, y) = (3, -2)-এ, যেখানে f = 5। গ্র্যাডিয়েন্ট: ∇f = (2(x-3), 2(y+2))। শুরুর বিন্দু উভয় রানেই (0, 0)।

import math

def f(x, y):
    return (x - 3)**2 + (y + 2)**2 + 5

def grad_f(x, y):
    return (2*(x - 3), 2*(y + 2))

def gradient_descent(x0, y0, lr, max_iter, blowup=1e6):
    x, y = x0, y0
    for i in range(max_iter + 1):
        fx = f(x, y)
        gx, gy = grad_f(x, y)
        gnorm = math.sqrt(gx**2 + gy**2)
        print(f"iter {i:3d}: x={x:12.6f}  y={y:12.6f}  f={fx:14.6f}  ||grad||={gnorm:12.6f}")
        if abs(x) > blowup or abs(y) > blowup:
            print(f"-- মান বিস্ফোরিত (blow up) হয়ে গেছে, ইটারেশন {i}-এ থামানো হলো --")
            return None
        if gnorm < 1e-6:
            print(f"-- কনভার্জ করেছে ইটারেশন {i}-এ --")
            return (x, y)
        x = x - lr * gx
        y = y - lr * gy
    return (x, y)

print("=== যুক্তিসঙ্গত লার্নিং রেট (lr = 0.1) ===")
gradient_descent(0.0, 0.0, lr=0.1, max_iter=90)

print()
print("=== অতিরিক্ত বড় লার্নিং রেট (lr = 1.5) ===")
gradient_descent(0.0, 0.0, lr=1.5, max_iter=30, blowup=1e6)