চেইন রুল দিয়ে ব্যাকপ্রপাগেশন ডেরাইভ করা

১ · মাল্টিভেরিয়েবল চেইন রুল — পথের উপর সমষ্টি

পাঠ ১৩-তে আমরা এক-ভ্যারিয়েবলের চেইন রুল দেখেছি: $\frac{d}{dx}f(g(x))=f'(g(x))g'(x)$। একটি কম্পিউটেশনাল গ্রাফে (পাঠ ১৯) এই নিয়মের একটি সাধারণীকৃত রূপ লাগে, কারণ একটি ভ্যারিয়েবল একাধিক পথ দিয়ে চূড়ান্ত আউটপুটকে প্রভাবিত করতে পারে। সাধারণ নিয়মটি হলো:

আমাদের পাঠ ১৯-এর নেটওয়ার্কে সুবিধা হলো — এটি একটি সরল চেইন (কোনো branching নেই), তাই প্রতিটি প্যারামিটার থেকে $L$ পর্যন্ত একটিমাত্র পথ আছে। ফলে "সব পথ যোগ করা" ধাপটি এখানে দরকার পড়ে না — শুধু একটি পথ ধরে লোকাল গ্রেডিয়েন্ট গুণ করে গেলেই চলবে। (একাধিক পথের প্রকৃত উদাহরণ — যেমন একটি ভ্যারিয়েবল দুটি ভিন্ন নিউরনে ব্যবহৃত হলে — আরও জটিল নেটওয়ার্কে দেখা যায়, কিন্তু নীতিটা এখানেই সম্পূর্ণ শেখা যায়।)

২ · ব্যাকওয়ার্ড পাস শুরু — $\partial L/\partial \hat{y}$

আমরা $L$ থেকে শুরু করে পেছন দিকে হাঁটব। পাঠ ১৯-এর গ্রাফ অনুযায়ী $L=(\hat{y}-y)^2$, যেখানে $\hat{y}=w_3h+b_2$। সবচেয়ে বাইরের নোড থেকে শুরু করে, পাওয়ার রুল ও চেইন রুল প্রয়োগ করে:

$$ \frac{\partial L}{\partial \hat{y}} = 2(\hat{y}-y) $$

আমাদের সংখ্যায় ($\hat{y}=1.0$, $y=0.0$, পাঠ ১৯ থেকে): $\partial L/\partial \hat{y} = 2(1.0-0.0) = 2.0$। যেহেতু আউটপুট নিউরন লিনিয়ার ($\hat{y}=z_2$ সরাসরি, কোনো অ্যাক্টিভেশন ছাড়া), তাই $\partial \hat{y}/\partial z_2 = 1$ এবং $\partial L/\partial z_2 = \partial L/\partial \hat{y} = 2.0$ অপরিবর্তিত থাকে।

৩ · আউটপুট নিউরনের ওজন — $\partial L/\partial w_3$ ও $\partial L/\partial b_2$

$z_2 = w_3 h + b_2$ নোডের লোকাল গ্রেডিয়েন্ট:

$$ \frac{\partial z_2}{\partial w_3} = h, \qquad \frac{\partial z_2}{\partial b_2} = 1 $$

চেইন রুল প্রয়োগ করে — "আপস্ট্রিম গ্রেডিয়েন্ট" ($\partial L/\partial z_2 = 2(\hat{y}-y)$) গুণ "লোকাল গ্রেডিয়েন্ট":

$$ \frac{\partial L}{\partial w_3} = \frac{\partial L}{\partial z_2}\cdot\frac{\partial z_2}{\partial w_3} = 2(\hat{y}-y)\cdot h \qquad \frac{\partial L}{\partial b_2} = \frac{\partial L}{\partial z_2}\cdot 1 = 2(\hat{y}-y) $$

সংখ্যায় বসিয়ে ($h=0.5$, $\hat{y}-y=1.0$): $\partial L/\partial w_3 = 2.0 \times 0.5 = 1.0$, এবং $\partial L/\partial b_2 = 2.0 \times 1 = 2.0$।

৪ · হিডেন নিউরনে ফিরে যাওয়া — $\partial L/\partial h$ ও $\partial L/\partial z_1$ (পাঠ ১৮-এর সিগময়েড ডেরিভেটিভ)

এবার $h$ ভ্যারিয়েবলটি নিজেই শুধু $z_2$-এর মধ্য দিয়ে $L$-কে প্রভাবিত করে ($z_2=w_3h+b_2$ থেকে $\partial z_2/\partial h = w_3$), তাই:

$$ \frac{\partial L}{\partial h} = \frac{\partial L}{\partial z_2}\cdot\frac{\partial z_2}{\partial h} = 2(\hat{y}-y)\cdot w_3 = 2.0 \times 2.0 = 4.0 $$

এবার $h=\sigma(z_1)$-এর লোকাল গ্রেডিয়েন্ট লাগবে — পাঠ ১৮-তে ডেরাইভ করা সিগময়েডের ডেরিভেটিভ $\sigma'(z_1) = \sigma(z_1)\big(1-\sigma(z_1)\big) = h(1-h)$ ব্যবহার করে:

$$ \frac{\partial L}{\partial z_1} = \frac{\partial L}{\partial h}\cdot\frac{\partial h}{\partial z_1} = \frac{\partial L}{\partial h}\cdot h(1-h) $$

সংখ্যায়: $h(1-h) = 0.5(1-0.5) = 0.25$। তাই $\partial L/\partial z_1 = 4.0 \times 0.25 = 1.0$।

৫ · ইনপুট ওজন ও বায়াস — $\partial L/\partial w_1$, $\partial L/\partial w_2$, $\partial L/\partial b_1$

সবশেষে $z_1 = w_1x_1+w_2x_2+b_1$ নোডের লোকাল গ্রেডিয়েন্ট (পাঠ ১৯-এ প্রথম দেখা):

$$ \frac{\partial z_1}{\partial w_1}=x_1, \qquad \frac{\partial z_1}{\partial w_2}=x_2, \qquad \frac{\partial z_1}{\partial b_1}=1 $$

চেইন রুল প্রয়োগ করে, আপস্ট্রিম গ্রেডিয়েন্ট $\partial L/\partial z_1 = 1.0$ (উপর থেকে) গুণ প্রতিটি লোকাল গ্রেডিয়েন্ট:

$$ \frac{\partial L}{\partial w_1} = \frac{\partial L}{\partial z_1}\cdot x_1 = 1.0\times 1.0 = 1.0 $$

$$ \frac{\partial L}{\partial w_2} = \frac{\partial L}{\partial z_1}\cdot x_2 = 1.0\times 2.0 = 2.0 $$

$$ \frac{\partial L}{\partial b_1} = \frac{\partial L}{\partial z_1}\cdot 1 = 1.0 $$

এভাবে পাঁচটি প্যারামিটারের জন্যই আমরা $L$-এর গ্রেডিয়েন্ট পেয়ে গেলাম — প্রতিটি ধাপে একটিই প্যাটার্ন পুনরাবৃত্তি হয়েছে: আপস্ট্রিম গ্রেডিয়েন্ট গুণ লোকাল গ্রেডিয়েন্ট। এটাই সম্পূর্ণ ব্যাকপ্রপাগেশন অ্যালগরিদম — যত বড় নেটওয়ার্কই হোক না কেন, মূল নীতি ঠিক এটাই, শুধু ধাপের সংখ্যা বাড়ে।

৬ · সরাসরি ডিফারেনশিয়েশনের সাথে মিলিয়ে দেখা — sanity check

চেইন রুল ছাড়া সরাসরি $L$-কে $b_2$-এর ফাংশন হিসেবে পুরোপুরি লিখে ডিফারেনশিয়েট করলেও একই উত্তর আসা উচিত। পুরো কম্পোজিশন প্রতিস্থাপন করে লিখি:

$$ L(b_2) = \big(w_3\,\sigma(w_1x_1+w_2x_2+b_1) + b_2 - y\big)^2 $$

এখানে $b_2$ ছাড়া বাকি সবকিছু ধ্রুবক ধরে সরাসরি পাওয়ার রুল ও চেইন রুল প্রয়োগ করলে (ভেতরের রাশি $u=w_3h+b_2-y$ ধরে, $L=u^2$, $\partial L/\partial b_2 = 2u \cdot \partial u/\partial b_2 = 2u\cdot 1$):

$$ \frac{\partial L}{\partial b_2} = 2\big(w_3h+b_2-y\big) = 2(\hat{y}-y) $$

এটি ধাপে ধাপে ব্যাকওয়ার্ড পাসে পাওয়া $\partial L/\partial b_2 = 2(\hat{y}-y) = 2.0$-এর সাথে অবিকল মেলে। এই মিল কোনো কাকতালীয় ব্যাপার নয় — মাল্টিভেরিয়েবল চেইন রুল ঠিক এই কারণেই সঠিক প্রমাণিত, এটি শুধু সরাসরি ডিফারেনশিয়েশনকে ধাপে ধাপে, পুনর্ব্যবহারযোগ্য অংশে ভাগ করার একটি পদ্ধতিগত উপায়।

নিচের কোডে সম্পূর্ণ ব্যাকওয়ার্ড পাসটি বাস্তবায়ন করা হলো, উপরের প্রতিটি হাতে-হিসাব করা মানের সাথে মিলিয়ে:

import numpy as np

x1, x2 = 1.0, 2.0
y = 0.0
w1, w2, b1 = 0.5, -0.5, 0.5
w3, b2 = 2.0, 0.0

def sigmoid(x):
    return 1.0 / (1.0 + np.exp(-x))

# ---- ফরওয়ার্ড পাস (পাঠ ১৯) ----
z1 = w1 * x1 + w2 * x2 + b1
h  = sigmoid(z1)
yhat = w3 * h + b2
L = (yhat - y) ** 2

# ---- ব্যাকওয়ার্ড পাস: আপস্ট্রিম গ্রেডিয়েন্ট × লোকাল গ্রেডিয়েন্ট ----
dL_dyhat = 2 * (yhat - y)          # dL/dyhat
dL_dz2   = dL_dyhat * 1.0          # আউটপুট লিনিয়ার, তাই dyhat/dz2 = 1

dL_dw3 = dL_dz2 * h                # dz2/dw3 = h
dL_db2 = dL_dz2 * 1.0              # dz2/db2 = 1

dL_dh  = dL_dz2 * w3               # dz2/dh = w3
sigma_prime = h * (1 - h)          # পাঠ ১৮: sigma'(z1) = h(1-h)
dL_dz1 = dL_dh * sigma_prime

dL_dw1 = dL_dz1 * x1               # dz1/dw1 = x1
dL_dw2 = dL_dz1 * x2               # dz1/dw2 = x2
dL_db1 = dL_dz1 * 1.0              # dz1/db1 = 1

print("dL/dw1 =", dL_dw1)
print("dL/dw2 =", dL_dw2)
print("dL/db1 =", dL_db1)
print("dL/dw3 =", dL_dw3)
print("dL/db2 =", dL_db2)