জ্যাকোবিয়ান ও হেসিয়ান

১ · জ্যাকোবিয়ান ম্যাট্রিক্স — যখন আউটপুট একাধিক

পাঠ ১৪-এ আমরা $f: \mathbb{R}^n \to \mathbb{R}$ (একাধিক ইনপুট, কিন্তু একটি মাত্র স্কেলার আউটপুট) ফাংশনের গ্রেডিয়েন্ট দেখেছি। কিন্তু নিউরাল নেটওয়ার্কের একটি লেয়ার সাধারণত একাধিক আউটপুট তৈরি করে — অর্থাৎ $\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m$, যেখানে $\mathbf{f} = (f_1, f_2, \dots, f_m)$। এমন ফাংশনের জন্য প্রতিটি আউটপুট $f_i$-এর প্রতিটি ইনপুট $x_j$-এর সাপেক্ষে একটি করে পার্শিয়াল ডেরিভেটিভ থাকে — এই সবগুলো একসাথে একটি ম্যাট্রিক্সে সাজালে পাওয়া যায় জ্যাকোবিয়ানJacobianএকটি ভেক্টর-মানের ফাংশনের সব প্রথম পার্শিয়াল ডেরিভেটিভের ম্যাট্রিক্স — প্রতিটি আউটপুটের জন্য একটি সারি।:

$$ J_{ij} = \frac{\partial f_i}{\partial x_j}, \qquad \mathbf{J} = \begin{pmatrix} \dfrac{\partial f_1}{\partial x_1} & \cdots & \dfrac{\partial f_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial f_m}{\partial x_1} & \cdots & \dfrac{\partial f_m}{\partial x_n} \end{pmatrix} $$

জ্যাকোবিয়ানের আকার $m \times n$ — $m$টি আউটপুট, $n$টি ইনপুট। খেয়াল করুন, প্রতিটি সারি $i$ আসলে $f_i$-এর গ্রেডিয়েন্ট (পাঠ ১৪) — অর্থাৎ জ্যাকোবিয়ান হলো একাধিক গ্রেডিয়েন্ট ভেক্টরকে সারি করে সাজানো একটি ম্যাট্রিক্স।

উদাহরণ — $\mathbf{f}(x,y) = (x^2y,\ 3x+y^2)$, অর্থাৎ $f_1=x^2y$, $f_2=3x+y^2$। তাহলে:

$$ \mathbf{J} = \begin{pmatrix} 2xy & x^2 \\ 3 & 2y \end{pmatrix} $$

২ · হেসিয়ান ম্যাট্রিক্স — দ্বিতীয় পার্শিয়াল ডেরিভেটিভ

এখন স্কেলার-মানের ফাংশন $f: \mathbb{R}^n \to \mathbb{R}$-এ ফিরে আসি, কিন্তু এবার দ্বিতীয় ডেরিভেটিভ নিতে চাই — অর্থাৎ গ্রেডিয়েন্টের গ্রেডিয়েন্ট। প্রতিটি জোড়া ভ্যারিয়েবল $(x_i, x_j)$-এর জন্য একটি করে দ্বিতীয় পার্শিয়াল ডেরিভেটিভ $\partial^2 f/\partial x_i \partial x_j$ থাকে — এই সবগুলো একসাথে একটি $n\times n$ ম্যাট্রিক্সে সাজালে পাওয়া যায় হেসিয়ানHessianএকটি স্কেলার-মানের ফাংশনের সব দ্বিতীয় পার্শিয়াল ডেরিভেটিভের বর্গাকার ম্যাট্রিক্স।:

$$ H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j}, \qquad \mathbf{H} = \begin{pmatrix} \dfrac{\partial^2 f}{\partial x_1^2} & \cdots & \dfrac{\partial^2 f}{\partial x_1 \partial x_n} \\ \vdots & \ddots & \vdots \\ \dfrac{\partial^2 f}{\partial x_n \partial x_1} & \cdots & \dfrac{\partial^2 f}{\partial x_n^2} \end{pmatrix} $$

উদাহরণ — $f(x,y) = x^2 + 3xy + y^2$।

প্রথমে গ্রেডিয়েন্ট: $\partial f/\partial x = 2x+3y$, $\partial f/\partial y = 3x+2y$। এবার প্রতিটি পার্শিয়াল ডেরিভেটিভকে আবার ডেরাইভ করি:

$\partial^2 f/\partial x^2 = 2$,   $\partial^2 f/\partial x \partial y = 3$,   $\partial^2 f/\partial y \partial x = 3$,   $\partial^2 f/\partial y^2 = 2$।

$$ \mathbf{H} = \begin{pmatrix} 2 & 3 \\ 3 & 2 \end{pmatrix} $$

৩ · হেসিয়ান কেন প্রতিসম — Clairaut/Schwarz উপপাদ্য

উপরের উদাহরণে লক্ষ করুন $\partial^2 f/\partial x \partial y = \partial^2 f/\partial y \partial x = 3$ — একই মান, ক্রম যেভাবেই ডেরাইভ করা হোক না কেন। এটি কাকতালীয় নয়। Clairaut/Schwarz উপপাদ্য বলে — যদি একটি ফাংশনের দ্বিতীয় পার্শিয়াল ডেরিভেটিভগুলো ঐ অঞ্চলে অবিচ্ছিন্ন (continuous) হয়, তাহলে মিশ্র পার্শিয়াল ডেরিভেটিভ ডেরাইভ করার ক্রম কোনো প্রভাব ফেলে না:

$$ \frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i} $$

এই উপপাদ্যের সম্পূর্ণ প্রমাণ এই কোর্সের পরিসীমার বাইরে (এটি real analysis-এর একটি ফলাফল), কিন্তু ফলাফলটি গুরুত্বপূর্ণ — ML-এ প্রায় সব ফাংশনই যথেষ্ট মসৃণ (smooth), তাই ব্যবহারিকভাবে হেসিয়ান সবসময় প্রতিসম ধরে নেওয়া যায়।

৪ · হেসিয়ান = একটি কোয়াড্রেটিক ফর্ম

পাঠ ১২-তে আমরা কোয়াড্রেটিক ফর্ম $\mathbf{x}^T\mathbf{A}\mathbf{x}$ এবং positive-definite ম্যাট্রিক্স দেখেছি। হেসিয়ান নিজেই একটি প্রতিসম ম্যাট্রিক্স, তাই একটি ফাংশনের স্থানীয় (local) আচরণ বোঝার জন্য আমরা একে একটি কোয়াড্রেটিক ফর্ম হিসেবে ব্যবহার করতে পারি — একটি critical point-এর কাছাকাছি $f$-এর দ্বিতীয়-ক্রম Taylor অনুমান হলো:

$$ f(\mathbf{x}_0 + \boldsymbol\delta) \approx f(\mathbf{x}_0) + \nabla f(\mathbf{x}_0)^T \boldsymbol\delta + \frac{1}{2}\boldsymbol\delta^T \mathbf{H} \boldsymbol\delta $$

একটি critical point-এ $\nabla f(\mathbf{x}_0) = \mathbf{0}$, তাই ফাংশনটি ঐ বিন্দুর আশেপাশে কেমন আচরণ করবে তা পুরোপুরি নির্ভর করে $\boldsymbol\delta^T \mathbf{H} \boldsymbol\delta$ পদের উপর — অর্থাৎ হেসিয়ান positive definite, negative definite, নাকি indefinite তার উপর।

৫ · কোড দিয়ে হেসিয়ান হিসাব করা

নিচে $f(x,y) = x^2+3xy+y^2$-এর হেসিয়ান NumPy দিয়ে সংখ্যাগতভাবে (finite differences) হিসাব করে অ্যানালিটিক্যাল ফলাফল $\begin{pmatrix}2&3\\3&2\end{pmatrix}$-এর সাথে মিলিয়ে দেখা হলো, এবং প্রতিসাম্যও যাচাই করা হলো।

import numpy as np

def f(v):
    x, y = v[0], v[1]
    return x**2 + 3*x*y + y**2

def numerical_hessian(func, v, step=1e-4):
    n = len(v)
    H = np.zeros((n, n))
    for i in range(n):
        for j in range(n):
            v_pp, v_pm = v.copy(), v.copy()
            v_mp, v_mm = v.copy(), v.copy()
            v_pp[i] += step; v_pp[j] += step
            v_pm[i] += step; v_pm[j] -= step
            v_mp[i] -= step; v_mp[j] += step
            v_mm[i] -= step; v_mm[j] -= step
            H[i, j] = (func(v_pp) - func(v_pm) - func(v_mp) + func(v_mm)) / (4 * step**2)
    return H

v0 = np.array([1.0, 2.0])
H_numerical = numerical_hessian(f, v0)
H_analytical = np.array([[2.0, 3.0], [3.0, 2.0]])

print("সংখ্যাগত হেসিয়ান:\n", np.round(H_numerical, 3))
print("অ্যানালিটিক্যাল হেসিয়ান:\n", H_analytical)
print("প্রতিসম কি না (H == H^T)?", np.allclose(H_numerical, H_numerical.T, atol=1e-2))