কম্পিউটেশনাল গ্রাফ ও ফরওয়ার্ড পাস

১ · কম্পিউটেশনাল গ্রাফ কী

পাঠ ১৩-১৮-তে আমরা ডেরিভেটিভ, গ্রেডিয়েন্ট ও অ্যাক্টিভেশন ফাংশন আলাদা আলাদাভাবে দেখেছি। এখন আমরা এগুলো একসাথে জোড়া লাগাব একটি পূর্ণ নিউরাল নেটওয়ার্কের গণনায়। এই গণনাকে সংগঠিত করার সবচেয়ে স্বচ্ছ উপায় হলো একটি কম্পিউটেশনাল গ্রাফComputational Graphএকটি জটিল গণনাকে ছোট ছোট প্রাথমিক অপারেশনের (যোগ, গুণ, স্কোয়ার, সিগময়েড ইত্যাদি) একটি ডিরেক্টেড অ্যাসাইক্লিক গ্রাফ (DAG) হিসেবে প্রকাশ করা। — যেখানে প্রতিটি নোড একটি একক প্রাথমিক অপারেশন (যোগ, গুণ, বিয়োগ, স্কোয়ার, সিগময়েড...), আর প্রতিটি এজ (তীর) একটি নোডের আউটপুট আরেকটি নোডের ইনপুট হিসেবে কোথায় যাচ্ছে তা দেখায়।

"ডিরেক্টেড" মানে প্রতিটি তীরের একটি নির্দিষ্ট দিক আছে (তথ্য কোন দিকে বইছে), আর "অ্যাসাইক্লিক" মানে গ্রাফে কোনো চক্র (loop) নেই — কোনো নোডের গণনা নিজের উপর নির্ভর করতে পারে না। এই কারণেই সবসময় একটি সুনির্দিষ্ট ক্রম আছে যেখানে প্রতিটি নোড গণনা করা যায়।

একটি খুব ছোট উদাহরণ দিয়ে শুরু করি — একটি একক-ইনপুট নিউরনের স্কোয়ার্ড-এরর লস $L=(wx+b-y)^2$। একে প্রাথমিক অপারেশনে ভেঙে লিখলে:

$$ u = wx, \qquad z = u + b, \qquad e = z - y, \qquad L = e^2 $$

এখানে চারটি নোড — গুণ ($u=wx$), যোগ ($z=u+b$), বিয়োগ ($e=z-y$), স্কোয়ার ($L=e^2$) — একটি চেইনে যুক্ত। এই ছোট গ্রাফটিই পাঠ ২০-তে চেইন রুল প্রয়োগের প্রথম উদাহরণ হিসেবে ফিরে আসবে। কিন্তু এই মডিউলের মূল কাজের জন্য আমাদের একটু বড় — অথচ এখনও হাতে-কলমে সম্পূর্ণ ট্র্যাক করা যায় এমন — একটি নেটওয়ার্ক দরকার।

২ · আমাদের ক্ষুদ্র নেটওয়ার্ক — পুরো মডিউল ৫ জুড়ে ব্যবহৃত হবে

নিচের নেটওয়ার্কটি এই পাঠ, পাঠ ২০ ও পাঠ ২১ — তিনটিতেই অবিকল একই সংখ্যা সহ ব্যবহৃত হবে, যাতে ফরওয়ার্ড পাস, ব্যাকওয়ার্ড ডেরিভেশন ও চূড়ান্ত সংখ্যাগত যাচাই — সব একে অপরের সাথে নিখুঁতভাবে মেলে।

নেটওয়ার্কের গঠন: ২টি ইনপুট ($x_1, x_2$) → ১টি হিডেন নিউরন (ওজন $w_1, w_2$, বায়াস $b_1$, সিগময়েড অ্যাক্টিভেশন) → ১টি আউটপুট নিউরন (ওজন $w_3$, বায়াস $b_2$, লিনিয়ার — কোনো অ্যাক্টিভেশন ছাড়া) → স্কোয়ার্ড এরর লস।

$$ z_1 = w_1 x_1 + w_2 x_2 + b_1 \qquad h = \sigma(z_1) \qquad \hat{y} = w_3 h + b_2 \qquad L = (\hat{y}-y)^2 $$

এখানে $\sigma(x) = \frac{1}{1+e^{-x}}$ পাঠ ১৮-এর সিগময়েড ফাংশন, এবং $\hat{y}$ হলো মডেলের পূর্বাভাস। আমরা নিচের পরিষ্কার সংখ্যাগুলো বেছে নিচ্ছি:

লক্ষ করুন — $w_1 x_1 + w_2 x_2 + b_1 = 0.5(1.0) + (-0.5)(2.0) + 0.5 = 0$ হয়, ফলে $z_1=0$, এবং $\sigma(0)=0.5$ ঠিক। এই সংখ্যাগুলো ইচ্ছাকৃতভাবেই এমন বেছে নেওয়া হয়েছে যাতে হাতে হিসাব সহজ থাকে এবং কোনো decimal-এর জঞ্জাল তৈরি না হয় — এটি একটি বাস্তব প্রশিক্ষণ পরিস্থিতির সরলীকৃত সংস্করণ, কিন্তু গাণিতিকভাবে সম্পূর্ণ সৎ।

৩ · ফরওয়ার্ড পাস — টপোলজিক্যাল অর্ডারে গণনা

ফরওয়ার্ড পাসForward Passকম্পিউটেশনাল গ্রাফের প্রতিটি নোড ইনপুট থেকে আউটপুটের দিকে, টপোলজিক্যাল অর্ডারে, একবার করে গণনা করা এবং প্রতিটি ইন্টারমিডিয়েট মান সংরক্ষণ করা। মানে হলো — একটি নোড গণনা করার আগে তার সব ইনপুট ইতিমধ্যে গণনা করা থাকতে হবে। আমাদের গ্রাফে এই ক্রম একেবারে স্পষ্ট: প্রথমে $z_1$ (এটির ইনপুট শুধু $x_1,x_2,w_1,w_2,b_1$ — সবই আগে থেকেই জানা), তারপর $h$ (যা শুধু $z_1$-এর উপর নির্ভর করে), তারপর $\hat{y}$ (যা $h,w_3,b_2$-এর উপর নির্ভর করে), সবশেষে $L$।

আমাদের সংখ্যা দিয়ে ধাপে ধাপে হাতে হিসাব করি:

$z_1 = (0.5)(1.0) + (-0.5)(2.0) + 0.5 = 0.5 - 1.0 + 0.5 = 0$  →  $h = \sigma(0) = \dfrac{1}{1+e^0} = \dfrac{1}{2} = 0.5$  →  $\hat{y} = (2.0)(0.5) + 0.0 = 1.0$  →  $L = (1.0 - 0.0)^2 = 1.0$

তাই এই নির্দিষ্ট ইনপুটে আমাদের নেটওয়ার্কের লস $L=1.0$। এই মানটিই পাঠ ২১-এর NumPy কোডের আউটপুটের সাথে অবিকল মিলবে — এটাই আমাদের প্রথম যাচাই-বিন্দু।

৪ · গ্রাফ, নোড ও "লোকাল গ্রেডিয়েন্ট" — পরিভাষা

পাঠ ২০-তে যাওয়ার আগে তিনটি পরিভাষা স্পষ্ট করে নেওয়া দরকার। প্রতিটি নোডের একটি লোকাল গ্রেডিয়েন্টLocal Gradientএকটি নোডের আউটপুট তার নিজের ইনপুটের সাপেক্ষে যে হারে বদলায় — বাকি গ্রাফ সম্পর্কে কিছু না জেনেই গণনাযোগ্য। আছে — নোডের আউটপুট তার নিজের ইনপুটের সাপেক্ষে কতটা বদলায়, বাকি পুরো গ্রাফ সম্পর্কে কিছু না জেনেই এটি গণনা করা যায়। যেমন, $z_1=w_1x_1+w_2x_2+b_1$ নোডের জন্য:

$$ \frac{\partial z_1}{\partial w_1} = x_1, \qquad \frac{\partial z_1}{\partial w_2} = x_2, \qquad \frac{\partial z_1}{\partial b_1} = 1 $$

এই তিনটি লোকাল গ্রেডিয়েন্ট শুধু $z_1$ নোডের সংজ্ঞা থেকেই বের করা যায় — $h$ বা $L$ কী তা না জেনেও। পাঠ ২০-তে আমরা দেখব, $L$-এর সাপেক্ষে কোনো প্যারামিটারের (যেমন $w_1$) পূর্ণ গ্রেডিয়েন্ট বের করতে হলে $L$ থেকে $w_1$ পর্যন্ত গ্রাফের পথ ধরে সব লোকাল গ্রেডিয়েন্ট একসাথে গুণ করতে হয় — এটাই মাল্টিভেরিয়েবল চেইন রুল।

নিচের কোডে আমাদের নেটওয়ার্কের ফরওয়ার্ড পাস প্রতিটি ইন্টারমিডিয়েট মান ক্যাশ করে গণনা করা হলো:

import numpy as np

# ইনপুট ও প্রকৃত লক্ষ্য
x1, x2 = 1.0, 2.0
y = 0.0

# হিডেন লেয়ার প্যারামিটার
w1, w2, b1 = 0.5, -0.5, 0.5
# আউটপুট লেয়ার প্যারামিটার
w3, b2 = 2.0, 0.0

def sigmoid(x):
    return 1.0 / (1.0 + np.exp(-x))

# ---- ফরওয়ার্ড পাস: টপোলজিক্যাল অর্ডারে, প্রতিটি মান ক্যাশ করে ----
cache = {}
cache["z1"] = w1 * x1 + w2 * x2 + b1
cache["h"]  = sigmoid(cache["z1"])
cache["yhat"] = w3 * cache["h"] + b2
cache["L"]  = (cache["yhat"] - y) ** 2

for name, val in cache.items():
    print(f"{name} = {val}")