গ্রেডিয়েন্ট ডিসেন্ট — গাণিতিকভাবে

১ · কেন ঋণাত্মক গ্রেডিয়েন্টের দিকে যাওয়া উচিত

পাঠ ১৪-এ আমরা দেখেছি $\nabla f(\mathbf{x})$ সবচেয়ে দ্রুত বৃদ্ধির দিক নির্দেশ করে। তাই স্বাভাবিকভাবেই মনে হয় $-\nabla f(\mathbf{x})$ দিকে গেলে ফাংশনটি কমবে — কিন্তু "মনে হওয়া" যথেষ্ট নয়, এই পাঠে আমরা এটি কঠোরভাবে প্রমাণ করব একটি প্রথম-ক্রম Taylor অনুমান ব্যবহার করে।

একটি বিন্দু $\mathbf{x}$-এর কাছাকাছি একটি ছোট পদক্ষেপ $\Delta\mathbf{x}$ নিলে, ফাংশনের মান আনুমানিকভাবে বদলায় এভাবে (গ্রেডিয়েন্টের সংজ্ঞা থেকেই):

$$ f(\mathbf{x} + \Delta\mathbf{x}) \approx f(\mathbf{x}) + \nabla f(\mathbf{x})^T \Delta\mathbf{x} $$

এখন যদি আমরা নির্দিষ্টভাবে $\Delta\mathbf{x} = -\eta \nabla f(\mathbf{x})$ বেছে নিই (কোনো ছোট ধনাত্মক সংখ্যা $\eta > 0$-এর জন্য), তাহলে:

$$ f(\mathbf{x} - \eta \nabla f(\mathbf{x})) \approx f(\mathbf{x}) + \nabla f(\mathbf{x})^T \big(-\eta \nabla f(\mathbf{x})\big) = f(\mathbf{x}) - \eta \|\nabla f(\mathbf{x})\|^2 $$

লক্ষ করুন $\|\nabla f(\mathbf{x})\|^2 \geq 0$ সবসময়ই (এটি একটি বর্গ-দৈর্ঘ্য, পাঠ ০৫)। তাই যদি $\nabla f(\mathbf{x}) \neq \mathbf{0}$ হয়, তাহলে $\eta\|\nabla f(\mathbf{x})\|^2 > 0$, অর্থাৎ:

$$ f(\mathbf{x} - \eta \nabla f(\mathbf{x})) < f(\mathbf{x}) \quad \text{(যথেষ্ট ছোট } \eta > 0 \text{-এর জন্য)} $$

২ · আপডেট নিয়ম

এই ফলাফল থেকেই গ্রেডিয়েন্ট ডিসেন্টGradient Descentপ্রতিটি ধাপে ঋণাত্মক গ্রেডিয়েন্টের দিকে ছোট পদক্ষেপ নিয়ে একটি ফাংশনের মিনিমাম খোঁজার পুনরাবৃত্তিমূলক পদ্ধতি। অ্যালগরিদমের আপডেট নিয়ম আসে — প্রতিটি ধাপে বর্তমান অবস্থান থেকে গ্রেডিয়েন্টের বিপরীত দিকে একটি ছোট পদক্ষেপ নেওয়া:

$$ \mathbf{x}_{t+1} = \mathbf{x}_t - \eta \nabla f(\mathbf{x}_t) $$

এখানে $\eta$ (গ্রিক অক্ষর eta) হলো লার্নিং রেটLearning Rateগ্রেডিয়েন্ট ডিসেন্টের প্রতিটি ধাপে কত বড় পদক্ষেপ নেওয়া হবে তা নিয়ন্ত্রণকারী একটি হাইপারপ্যারামিটার। — প্রতিটি পদক্ষেপের আকার নিয়ন্ত্রণকারী একটি হাইপারপ্যারামিটার। এই আপডেট বারবার প্রয়োগ করলে (যতক্ষণ না $\nabla f \approx \mathbf{0}$) ফাংশনটি ক্রমাগত কমতে থাকে এবং একটি critical point-এর দিকে এগিয়ে যায়।

৩ · লার্নিং রেটের ট্রেডঅফ

উপরের প্রমাণে "যথেষ্ট ছোট $\eta$" শর্তটি গুরুত্বপূর্ণ — বাস্তবে $\eta$-এর মান বেছে নেওয়া একটি সূক্ষ্ম ভারসাম্যের কাজ:

• $\eta$ খুব বড় — Taylor অনুমান আর নির্ভরযোগ্য থাকে না (কারণ এটি শুধু ছোট পদক্ষেপের জন্য বৈধ)। বাস্তবে ফাংশনের মান কমার বদলে বেড়ে যেতে পারে, অথবা মিনিমামের চারপাশে দুলতে (oscillate) থাকতে পারে, এমনকি ডাইভার্জও করতে পারে।
• $\eta$ খুব ছোট — প্রতিটি পদক্ষেপ নিরাপদ, কিন্তু কনভার্জেন্স অত্যন্ত ধীর — মিনিমামে পৌঁছাতে অনেক বেশি ইটারেশন লাগে, যা ব্যবহারিকভাবে সময় ও কম্পিউটেশন অপচয় করে।

বাস্তব ট্রেনিংয়ে এই ভারসাম্য ঠিক করতেই মডিউল ৫-এ momentum, RMSProp ও Adam-এর মতো উন্নত অপ্টিমাইজার (পাঠ ২৩) ব্যবহৃত হয়, যা কার্যকরভাবে প্রতিটি প্যারামিটারের জন্য লার্নিং রেট মানিয়ে নেয়।

৪ · কোড দিয়ে দেখুন — একটি quadratic ফাংশনে গ্রেডিয়েন্ট ডিসেন্ট

নিচে $f(x,y) = x^2 + y^2$ (একটি সহজ, উত্তল ফাংশন, গ্রেডিয়েন্ট $\nabla f = (2x, 2y)$) মিনিমাইজ করতে গ্রেডিয়েন্ট ডিসেন্ট প্রয়োগ করা হলো, শুরুর বিন্দু $(4, 3)$ থেকে। প্রতিটি ইটারেশনে ফাংশনের মান কীভাবে দ্রুত কমে $(0,0)$-এর দিকে এগিয়ে যায় তা লক্ষ করুন।

import numpy as np

def f(v):
    return v[0]**2 + v[1]**2

def grad_f(v):
    return 2 * v  # ∇f = (2x, 2y)

x = np.array([4.0, 3.0])   # শুরুর বিন্দু
eta = 0.1                  # লার্নিং রেট
n_iters = 20

print(f"শুরু: x = {x}, f(x) = {f(x):.4f}")
for t in range(n_iters):
    x = x - eta * grad_f(x)
    if (t + 1) % 5 == 0:
        print(f"ইটারেশন {t+1:2d}: x = [{x[0]:.4f}, {x[1]:.4f}], f(x) = {f(x):.6f}")

print(f"\nচূড়ান্ত ফলাফল: x ≈ {x}, f(x) ≈ {f(x):.6f} (প্রকৃত মিনিমাম: x=(0,0), f=0)")