গ্রেডিয়েন্ট — উপরে যাওয়ার দিক

এই দাবিটি যেন magic, কিন্তু আসলে directional derivative ও Cauchy-Schwarz inequality থেকে সরাসরি প্রমাণ।

Directional derivative:

• একটি unit vector $\hat{\mathbf{u}}$-এর দিকে $f$-এর পরিবর্তনের হার = $D_{\hat{u}}f = \nabla f \cdot \hat{\mathbf{u}}$।
• এটি dot product — gradient ও direction-এর।

Dot product expansion:

$\nabla f \cdot \hat{\mathbf{u}} = \|\nabla f\| \cdot \|\hat{\mathbf{u}}\| \cdot \cos\theta = \|\nabla f\| \cos\theta$

($\hat{\mathbf{u}}$ unit vector, তাই $\|\hat{\mathbf{u}}\| = 1$)

Maximize over $\theta$:

• $\cos\theta$ সর্বোচ্চ যখন $\theta = 0$ — অর্থাৎ $\hat{\mathbf{u}}$ ও $\nabla f$ একই দিকে।
• সর্বোচ্চ মান = $\|\nabla f\|$।
• সর্বনিম্ন মান যখন $\theta = 180°$ — অর্থাৎ $-\nabla f$ দিকে। মান = $-\|\nabla f\|$।

প্রভাব:

• $\nabla f$ direction-এ সর্বাধিক বৃদ্ধি।
• $-\nabla f$ direction-এ সর্বাধিক হ্রাস।
• $\nabla f$ এর বিপরীতে — সবচেয়ে দ্রুত কমার পথ।
• Perpendicular (কোণ ৯০°) — কোনো পরিবর্তন নেই (level curve-এ চলা)।

মূল উপলব্ধি: গ্রেডিয়েন্ট-এর "magic" আসলে dot product-এর geometry. এই কারণেই AI-এর প্রতিটি step gradient-এর বিপরীত দিকে — এর কোনো বিকল্প নেই (locally)।

Caveat: এই "steepest" শুধু infinitesimally সত্য। বড় ধাপে — landscape curvature কারণে পথ optimal না-ও হতে পারে। তাই Newton's method, second-order optimization-এ Hessian ব্যবহার।

এই প্রশ্ন AI computation-এর সবচেয়ে gripping engineering trick-এ পৌঁছায় — backpropagation.

Naive approach — কেন কাজ করবে না:

• Numerical: প্রতিটি parameter-এর জন্য একটি forward pass. ১.৭৫T params × forward time = অসম্ভব।
• প্রতিটি step-এ ~১০ trillion FLOPs forward. × 1.75T = 1.75 × 10²⁵ FLOPs. মহাবিশ্বের গণনাও কম।

Backprop-এর genius — chain rule:

• Computation graph: প্রতিটি operation একটি node.
• Forward pass: input → output, intermediate values store.
• Backward passBackpropagationoutput থেকে input-এর দিকে chain rule দিয়ে gradient propagate করার algorithm. DL-এর শেখার মূল engine — Rumelhart, Hinton, Williams (১৯৮৬)।: output থেকে input-এর দিকে — প্রতিটি node-এ local derivative × upstream gradient.
• একটি forward + একটি backward = সব gradients.

কেন এটি দ্রুত — Reverse-mode AutoDiff:

• Output scalar ($L$) → input vector (parameters)।
• Cost ≈ forward pass cost × constant (~৩×)।
• প্রতিটি parameter-এর gradient — independently compute নয়, একসাথে।
• এই efficiency এসে কারণ — sum-of-products structure-এ shared sub-expressions.

উদাহরণ — সরল network:

• $L = (y - W_2 \sigma(W_1 x))^2$।
• Forward: $h = W_1 x$, $a = \sigma(h)$, $\hat{y} = W_2 a$, $L = (y - \hat{y})^2$।
• Backward (chain rule):
  • $\partial L / \partial \hat{y} = -2(y - \hat{y})$।
  • $\partial L / \partial W_2 = (\partial L / \partial \hat{y}) \cdot a^T$।
  • $\partial L / \partial a = W_2^T \cdot (\partial L / \partial \hat{y})$।
  • $\partial L / \partial h = (\partial L / \partial a) \cdot \sigma'(h)$।
  • $\partial L / \partial W_1 = (\partial L / \partial h) \cdot x^T$।
• Forward + backward = total gradient. Memory cost: forward intermediates store.

Modern implementations:

• PyTorch autograd: dynamic computation graph, eager.
• JAX: functional, JIT compile-এ XLA.
• TensorFlow: static graph (older), eager (newer)।
• Activation checkpointing: memory save — recompute কিছু intermediates.
• Mixed precision (fp16): half memory, almost-same accuracy.
• Distributed training: gradient sync across GPUs (data parallel)।

মূল উপলব্ধি: Backprop শুধু "calculus" না — এটি AI-র একটি engineering miracle. ১৯৮৬-তে Rumelhart, Hinton, Williams পেপারে আনুষ্ঠানিকীকরণ। এই algorithm ছাড়া আজকের কোনো DL সম্ভব না।

High-dimensional optimization-এর geometry counterintuitive. অনেক popular ধারণা ভুল।

মিথ ১: "Many local minima"

• ২-D-এ অনেক — সত্য।
• হাই-D-এ — Choromanska et al. (২০১৪) ও পরে Dauphin et al. দেখান — DL loss surface-এ local minima বিরল, সাধারণত globally optimum-এর কাছে।
• সমস্যা — bad local minima না, saddle points.

মিথ ২: "Gradient descent gets stuck"

• Saddle point — eigenvalues mixed (positive ও negative)।
• Pure GD-এ slow escape — gradient ছোট কিন্তু ০ না।
• Stochasticity — saddle থেকে বেরিয়ে আসতে সাহায্য করে। SGD এ কারণে ভাল।

আসল চ্যালেঞ্জ:

• Plateaus: বড় flat region — gradient ~০, কিন্তু minimum না।
• Cliffs: Sharp derivative — gradient explosion.
• Curvature variation: এক direction-এ steep, অন্য direction-এ flat — pure GD struggle.
• Pathological curvature: Hessian poorly conditioned → slow.

আধুনিক optimizers — কী করে:

• Momentum (Polyak ১৯৬৪): velocity store — slow regions accelerate. $v_{t+1} = \beta v_t - \eta \nabla L$।
• Nesterov accelerated: "look ahead" — momentum direction-এ আগে থেকে gradient.
• AdaGrad/RMSprop: per-parameter learning rate — frequent updates-এ কম, rare-এ বেশি।
• AdamAdam · Adaptive Moment Estimation(২০১৪) সবচেয়ে জনপ্রিয় optimizer — momentum ও RMSprop-এর মিশ্রণ। প্রতিটি parameter-এর নিজস্ব learning rate adaptive. DL-এর default পছন্দ। (Kingma ২০১৪): momentum + RMSprop combined. DL-এ default.
• AdamW: weight decay decoupled. Modern LLM-এ standard.
• Lion (Google ২০২৩): Adam-এর simpler alternative. Memory-efficient.

SGD-র counterintuitive efficacy:

• Random mini-batches → noisy gradients.
• Noise = exploration. Saddle escape সহজ।
• Implicit regularization — generalization ভাল।
• Sharp minima vs flat minima — SGD flat-এর দিকে bias. Flat minima better generalize.

Loss landscape visualization:

• Li et al. (২০১৮) — DL loss surfaces 2D projection দেখায়।
• ResNet skip connection — landscape smoother করে।
• Wide networks — flat-এর প্রবণতা।

মূল উপলব্ধি: Pure gradient descent — old textbook. Modern AI-তে — momentum, adaptive learning rates, stochastic noise. সব মিলে — high-D rocky landscape navigate. এই কারণে DL "এত ভাল কাজ করে" — যা অপ্রত্যাশিত।

Gradient-এর direction guide করে; কিন্তু magnitude-ও তথ্য বহন করে।

Geometric meaning:

• $\|\nabla f\|$ = সেই বিন্দুতে সবচেয়ে দ্রুত পরিবর্তনের হার।
• বড় magnitude = খাড়া পাহাড়, দ্রুত পরিবর্তন।
• ছোট magnitude = সমতল area, ধীর পরিবর্তন।
• $\|\nabla f\| = 0$ = critical point (min/max/saddle)।

Training-এ practical implications:

• (১) Gradient explosion:
  • $\|\nabla L\|$ অনেক বড় → weight update বিশাল → loss diverges.
  • RNN/Transformer training-এ common.
  • Solution: Gradient clippingGradient Clippingএকটি কৌশল — gradient-এর norm threshold-এর বেশি হলে কেটে scale করা। gradient explosion প্রতিরোধে RNN ও Transformer training-এ অপরিহার্য।. Limit $\|\nabla L\| \leq c$ (typically ১.০)।
• (২) Gradient vanishing:
  • $\|\nabla L\| \to 0$ → কোনো learning না।
  • Deep network-এ — chain rule-এ small numbers multiply.
  • Sigmoid activation-এ severe. ReLU + BatchNorm + skip connection — সমাধান।
• (৩) Learning rate tuning:
  • Effective step size = $\eta \cdot \|\nabla L\|$।
  • $\|\nabla L\|$ training-এর শুরুতে বড়, শেষে ছোট।
  • তাই — learning rate schedule (warm-up, cosine decay)।
• (৪) Convergence detection:
  • $\|\nabla L\| < \epsilon$ — typically training stop criterion.
  • Practice-এ — validation loss দেখা better.

Per-parameter view:

• Adam — প্রতিটি parameter-এর gradient magnitude track.
• Frequently-updated params → smaller effective step (RMS-normalized)।
• Rarely-updated → larger step.
• এটি sparse data (NLP, recommendation)-এ critical.

Diagnostic tool:

• Training-এ gradient norm log করুন। Sudden spike → divergence risk. Slow decay → healthy convergence.
• Per-layer gradient norms — DL debugging-এ standard.
• "Healthy" training: norms ~constant scale-এ — neither growing nor vanishing.

RLHF-এ আরেক angle:

• Reward model-এ training reward gradient signal — small.
• Therefore RLHF — KL penalty, gradient clipping carefully.

মূল উপলব্ধি: Gradient direction = "where to go"। Gradient magnitude = "how confident is the signal"। দু'টিই training-এ critical. Magnitude ignore করলে — divergence বা stagnation.