ডেরিভেটিভ ও ঢাল — পরিবর্তনের গণিত

ReLU-র দু'টি অংশ আছে — $x < 0$-এ slope ০, $x > 0$-এ slope ১। কিন্তু $x = 0$-তে kink — প্রকৃত derivative নেই (left ও right derivatives ভিন্ন)।

কেন তবু ReLU কাজ করে:

• SubgradientSubgradientnon-differentiable বিন্দুতে derivative-এর সাধারণীকৃত রূপ। convex function-এ একটি set of slopes যা legitimate ব্যবহার করা যায়। ReLU-র $x=0$-তে subgradient $[0,1]$।: Mathematically — $x = 0$-এ যেকোনো value $[0, 1]$ থেকে নেওয়া যায়। অধিকাংশ framework $0$ বা $0.5$ চয়ন করে।
• Practical: $x = 0$ rare: Floating-point arithmetic-এ exactly $0$ পাওয়া rare. ৬৪-bit float-এ probability প্রায় ০।
• SGD's randomness: Random data shuffling ও mini-batches — exact ০-এ stuck হওয়ার সম্ভাবনা vanishingly small.

প্রকৃত সমস্যা — Dying ReLU:

• একটি neuron যদি অনেকক্ষণ negative input পায় — gradient সবসময় ০, weight update বন্ধ।
• "Dead neuron" — কখনো recover করে না।
• Large learning rate-এ এই ঝুঁকি বেশি।

সমাধান — alternative activations:

• Leaky ReLU: $\max(0.01x, x)$ — negative side-এ ছোট slope.
• PReLU: Leaky ReLU কিন্তু slope learnable parameter.
• ELU: negative side smooth exponential.
• GELU: Gaussian-based smooth approximation. GPT-৩+, BERT-এ ব্যবহৃত।
• SiLU/Swish: $x \cdot \sigma(x)$। PaLM, Llama-তে।

মূল উপলব্ধি: Pure mathematics-এ "undefined" — কিন্তু engineering-এ practical workaround. DL "rigorous calculus"-এর চেয়ে "what works" বেশি গুরুত্ব দেয়। এটাই tension গবেষণার।

এই প্রশ্ন automatic differentiation-এর দরজা খুলে দেয় — DL framework-গুলোর মূল প্রযুক্তি।

তিন ধরনের differentiation:

• Numerical (finite difference): $f'(x) \approx (f(x+h) - f(x))/h$।
  • সহজ, যেকোনো ফাংশনে কাজ করে।
  • সমস্যা: floating-point error. $h$ ছোট = roundoff error; $h$ বড় = approximation error.
  • Sweet spot: $h \approx 10^{-6}$ — কিন্তু ১,০০০,০০০+ parameters-এ অত্যন্ত slow.
• Symbolic (calculus rules): $\frac{d}{dx}(x^2) = 2x$।
  • Exact — কোনো numerical error নেই।
  • Mathematica, SymPy এই পদ্ধতি।
  • সমস্যা: complex function-এ "expression swell" — derivative formula massive হয়ে যায়।
• Automatic Differentiation (autodiff): Forward computation track + chain ruleChain Rulecomposite function-এর derivative নিয়ম: $(f(g(x)))' = f'(g(x)) \cdot g'(x)$। DL-এ backpropagation = chain rule-এর প্রয়োগ — গভীর network-এর সব layer-এ gradient pass করতে। application.
  • Numerical exactness + symbolic efficiency.
  • PyTorch, TensorFlow, JAX — সব এই পদ্ধতি।
  • "Backward mode" — ১০০ million parameters-এ ১ pass-এ সব gradients.

AI-তে কেন autodiff:

• GPT-৪-এ ১.৭৫ trillion parameters. Numerical = ১.৭৫ trillion forward-pass per gradient — অসম্ভব।
• Symbolic-এ million-line formula — programming nightmare.
• Autodiff: ১ forward pass + ১ backward pass. Gradient time ≈ forward time. Magic.

Autodiff কী করে:

• Computation graph build করে — প্রতিটি operation node.
• Forward pass-এ values এবং local derivatives store.
• Backward pass-এ chain rule apply — output থেকে input-এ gradient propagate.
• প্রতিটি ১,০০০-D vector → scalar function-এর gradient $O(\text{forward time})$।

উদাহরণ — PyTorch:

import torch
x = torch.tensor(3.0, requires_grad=True)
y = x ** 2
y.backward()
print(x.grad)  # 6.0 — exact!

মূল উপলব্ধি: "AI gradient compute" — শুধু calculus না, computer science-এর সবচেয়ে clever পদ্ধতিগুলোর একটি। Backprop (১৯৮৬) ও autodiff এই কারণেই AI-র বিপ্লবের technical heart.

এই সাদৃশ্য Gradient Descent-এর intuition-এর হৃদয়। কিন্তু সব analogy-র মতো এটিরও limit আছে।

প্রকৃত কৌশল (Gradient Descent):

1. পায়ের নিচে slope check করুন — কোন দিকে নিচের দিকে?
2. সেই দিকে একটি ছোট ধাপ নিন।
3. আবার পায়ের নিচে check.
4. Repeat যতক্ষণ না slope প্রায় ০ — মানে আপনি সমতল বিন্দুতে।

মূল sub-questions:

• ধাপের আকার (learning rate): বড় ধাপ = দ্রুত কিন্তু overshoot. ছোট ধাপ = নিরাপদ কিন্তু slow.
• কখন থামবেন: Slope প্রায় ০ মানে minimum. কিন্তু sometimes false alarm (saddle, flat plateau)।
• সব দিক একসাথে: ২-D-এ — একটি direction. ১০০-D-এ — gradient = সব directions-এর slope-এর সংমিশ্রণ।

সাদৃশ্য কোথায় ভাঙে — গুরুত্বপূর্ণ পার্থক্য:

• (১) High dimensions: পাহাড় ৩-D, কিন্তু DL ১,০০০,০০০+-D. মানুষ ৩-D অভিজ্ঞতা থেকে high-D intuition develop করে — যা প্রায়ই misleading.
• (২) Multiple minima: পাহাড়ে এক নিচু জায়গা — কিন্তু DL loss landscape-এ অনেক local minima. Pure gradient descent local-এ আটকে যেতে পারে।
• (৩) Saddle pointsSaddle Pointএকটি critical point যেখানে এক দিকে minimum, অন্য দিকে maximum (ঘোড়ার জিনের মতো)। high-D loss landscape-এ অসংখ্য — DL-এ minima-র চেয়েও বেশি common.: high-D-এ saddle (একদিক উপরে, অন্যদিক নিচে) more common than minima. Pure GD slow.
• (৪) Stochasticity: বাস্তব pose-এ pure gradient descent না — SGD (mini-batch) ব্যবহৃত। প্রতিটি ধাপ noisy.
• (৫) Loss landscape rapidly changing: Train-এ data পরিবর্তন; landscape একই না। পাহাড় static — landscape dynamic.
• (৬) Modern variants: Adam, RMSprop, momentum — শুধু slope না, slope-এর history-ও দেখে। "Heavy ball rolling down" এর ভাল analogy.

উন্নত intuitions:

• Skiing analogy: Momentum — slope বদলালেও কিছুক্ষণ আগের direction-এ চলে।
• River analogy: Loss landscape একটি river — water সবসময় downstream, কিন্তু sometimes পাশে রিভাইন।
• Drunken sailor: SGD — random direction-এ ছোট ধাপ, কিন্তু overall trend down.

মূল উপলব্ধি: "পাহাড় থেকে নামা" — সরল, কিন্তু DL reality complex. Modern optimizers (AdamW, Lion) — পাহাড়ের বদলে "intelligent navigator on a noisy fractal landscape"। কিন্তু core idea — slope-এর দিকে পদক্ষেপ — অপরিবর্তিত।

এই প্রশ্ন DL design-এর অন্যতম জটিল চ্যালেঞ্জ-এ পৌঁছায়। অনেক সমাধান কৌশল এসেছে — প্রতিটির trade-off.

Non-differentiable operations — সাধারণ:

• Discrete decisions: classification — "এটা cat না dog?"
• Argmax: "max value-র index."
• Sampling: probability থেকে discrete choice.
• Hard if-else: "if x > 0 then A else B."
• Counting, indexing: integer operations.

সমাধান কৌশল:

• (১) Smooth approximations:
  • Argmax → softmax: $\text{softmax}(x_i) = e^{x_i}/\sum e^{x_j}$। smooth, differentiable, peaks at max.
  • Hard threshold → sigmoid/tanh.
  • Hard step → smooth transition.
• (২) Reparameterization trick (VAE):
  • $z \sim N(\mu, \sigma)$ → $z = \mu + \sigma \cdot \epsilon$ where $\epsilon \sim N(0,1)$।
  • Sampling externalized — gradient $\mu, \sigma$-তে flow করতে পারে।
• (৩) Gumbel-Softmax (Jang ২০১৬):
  • Discrete sampling-এর smooth approximation.
  • Temperature parameter — $\tau \to 0$ = hard, $\tau$ বড় = uniform.
• (৪) Straight-Through Estimator (STE):
  • Forward-এ hard, backward-এ identity gradient.
  • Quantized networks (binary/int8 inference) — STE ব্যবহার।
  • Theoretically suspect, practically powerful.
• (৫) Reinforcement learning:
  • যখন function non-differentiable — REINFORCE algorithm.
  • Policy gradient — reward-based, gradient-based না।
  • RLHF (ChatGPT) এই category.
• (৬) Differentiable surrogates:
  • Sorting → SinkhornSort.
  • Top-k → softTopK.
  • Combinatorial optimization → relaxations.

আধুনিক উদাহরণ:

• Mixture of Experts (MoE): "এই token কোন expert-এ যাবে?" — discrete. Gating network — top-k routing with auxiliary load-balancing loss.
• Sparse attention: "কোন tokens-এর সাথে attend?" — discrete. Various differentiable approximations.
• Quantization-aware training: training-এ quantize simulate, STE দিয়ে gradient.
• Tool use in LLM: "calculator কখন ব্যবহার?" — RL দিয়ে train.

মূল উপলব্ধি: "AI = differentiable" এই মনে হয়। বাস্তবে — অনেক engineering যাতে পুরো system end-to-end differentiable হয়। যেগুলো নয় — RL বা creative tricks. এটি AI-এর অন্যতম ongoing research challenge.