Backpropagation — chain rule

AI history-র সবচেয়ে interesting story-গুলোর একটি। Backprop multiple times "rediscovered"। Linnainmaa (১৯৭০, master's thesis), Werbos (১৯৭৪, PhD), Parker (১৯৮৫) — সবাই algorithm-এর form ছিল। কিন্তু Rumelhart-Hinton-Williams (RHW) ১৯৮৬ Nature paper "Learning representations by back-propagating errors" ই DL revolution-এর spark।

RHW-র contribution কেন distinctive:

• Empirical demonstration: XOR সমাধান, simple internal representation শেখা — concrete proof।
• Connectionist framing: brain-inspired, neuro-scientific community-তে appeal।
• Clear pedagogy: notation accessible, formula reproducible।
• Right venue: Nature — wide reach। Werbos-এর PhD thesis কেউ পড়েনি।
• Right moment: Symbolic AI winter-এর সময় alternative প্রয়োজন।

কেন আগের কাজ ignored:

• Linnainmaa-এর কাজ Finnish, control theory context — AI community-এর বাইরে।
• Werbos PhD থেকে statistics/economics তে gravitate করেছিলেন।
• Computational power inadequate — large network train অসম্ভব ছিল।
• Symbolic AI dominant — "neural net" considered fringe।

RHW-র পরও দীর্ঘ winter (১৯৯৫-২০১২):

• SVM, kernel methods superior performance ছোট ডেটায়।
• Vanishing gradient — deep network train কঠিন।
• Hardware limitation — CPU-only।
• Big data + GPU + ImageNet (২০১২) — তবেই DL fly।

মূল উপলব্ধি: Scientific "discovery" শুধু algorithm-এর প্রথম formulation না — community-তে adoption, demonstration, pedagogy সব। Hinton-এর persistence ৪০ বছর — DL-এর mother। ২০১৮ Turing Award তাই।

Bangladesh-এ পাঠ: ভাল idea publish + demonstrate + accessible — এই ৩-T critical। শুধু গণিত যথেষ্ট না।

Automatic differentiation (AD) সাধারণত দু'ভাবে — forward ও reverse। দু'টোই chain rule, কিন্তু order ভিন্ন। Choice depends on input/output dimension।

Forward-mode AD:

• Input থেকে output — input-এর প্রতিটি variable-এর সাপেক্ষে derivative compute হয়।
• $f: \mathbb{R}^n \to \mathbb{R}^m$ — যদি $n$ ছোট, কার্যকর।
• প্রতি forward pass — একটি input variable-এর সব output gradient।
• মোট cost: $n \times \text{forward cost}$।

Reverse-mode AD (backprop):

• Output থেকে input — প্রতিটি output-এর সাপেক্ষে input-এর derivative।
• $m$ ছোট হলে কার্যকর।
• প্রতি backward — একটি output-এর সব input gradient।
• মোট cost: $m \times \text{forward cost}$।

DL-এ scenario:

• Input (parameters): $n = $ লক্ষ-কোটি।
• Output (loss): $m = 1$ (একটি scalar)।
• $m \ll n$ → reverse-mode বহুগুণ efficient।

উদাহরণ ResNet-50 (২৫M params):

• Forward-mode: ২৫M × forward = অকল্পনীয়।
• Reverse-mode: ১ × forward + ১ × backward ≈ ২× forward = চলবে।

Memory trade-off:

• Forward-mode — minimal memory, no activation save।
• Reverse-mode — সব intermediate activation save (memory $O(\text{depth})$)।
• সমাধান: gradient checkpointing — কিছু activation save, বাকি recompute।

কখন forward-mode useful:

• Few inputs, many outputs — যেমন physics-informed neural network।
• Jacobian-vector product (JVP) compute — JAX-এর primitive।
• Sensitivity analysis।

Hybrid approaches:

• Forward-over-reverse: Hessian-vector product।
• Reverse-over-forward: alternative second-order।
• JAX jvp, vjp, hessian — composable।

Theoretical insight:

• Backprop discovered হয়েছিল control theory ও statistics-এ — DL-এর বহু আগে।
• Reverse-mode AD = "adjoint method" নামেও পরিচিত (continuous version)।
• ODE-NN, neural ODE-তে adjoint method ব্যবহৃত।

মূল উপলব্ধি: Mode-এর choice — input/output dimension-এ। DL-এ scalar loss + millions params → reverse-mode king। Forward-mode niche but useful। AD theory DL-এর চেয়ে মৌলিক — physics, finance, optimization-এও।

২০২২-২০২৩-এ Hinton-এর "forward-forward" paper ও multiple talks DL community-তে কাঁপন তুলেছে। ৪০ বছর backprop-এর champion এখন alternatives খুঁজছেন।

Brain-এর backprop সমস্যা:

• Symmetric weights problem: backprop forward ও backward path-এ একই weight ব্যবহার করে। জীববৈজ্ঞানিকভাবে অসম্ভব — neuron-এর synapse direction-specific।
• Global error signal: backprop-এ loss একটি global signal — সারা network-এ broadcast। Brain-এ এমন mechanism নেই।
• Sequential dependency: backward pass forward pass complete-এর জন্য অপেক্ষা করতে হয়। Brain real-time, asynchronous।
• Memory storage: Backprop-এর জন্য সব intermediate activation store দরকার। Brain তা করে না।

Biologically plausible alternatives:

• Feedback alignment (Lillicrap, ২০১৬): backward path-এ random fixed weight ব্যবহার — তবু কাজ করে! Symmetric weight প্রয়োজন না।
• Direct Feedback Alignment: error সরাসরি deep layer-এ — sequential dependency কমায়।
• Equilibrium propagation: energy-based — local update only।
• Predictive coding: top-down prediction + bottom-up correction। Hierarchical Bayesian framework।
• Forward-forward (Hinton, ২০২২): দু'টি forward pass — positive (real data) ও negative (perturbed)। Layer-wise local objective।

Forward-forward-এর promise:

• No backward pass — pure forward।
• Each layer self-contained objective।
• Asynchronous, distributed-friendly।
• Sleep-cycle interpretation (positive day, negative dream)।

Forward-forward-এর সীমাবদ্ধতা:

• এখনো MNIST-এ backprop থেকে দুর্বল।
• Theoretical convergence guarantee weak।
• Large-scale (ImageNet) test হয়নি যথাযথভাবে।

তবু backprop কেন dominate:

• Empirically supreme — সব benchmark-এ।
• Hardware ও software optimized।
• Theoretical analysis well-developed।
• "AI need not be brain-like" — কিছু researcher-এর position।

Hardware perspective:

• Neuromorphic chip (Intel Loihi, IBM TrueNorth) — local update favor।
• Backprop on neuromorphic hardware কঠিন।
• If neuromorphic mainstream — alternatives essential।

মূল উপলব্ধি: Backprop "wrong" না — but possibly suboptimal long-term। Brain-inspired AI-এ alternatives রয়েছে। Hinton-এর self-questioning শেখায় — best researcher = own work-এ critical। আগামী দশকে hybrid approaches দেখব হয়তো — backprop-এর সাথে local rules-এর mix।

প্রতিটি DL practitioner-এর nightmare। NaN debugging — মৌলিক skill।

সম্ভাব্য কারণ:

• Exploding gradient: backprop-এ gradient বিশাল হয়ে যায়।
• Learning rate বেশি: বড় step, divergence।
• Bad initialization: weight scale wrong।
• Numerical instability: log(0), divide by zero।
• Mixed precision overflow: FP16 range সীমিত।
• Bad data: NaN বা Inf input।

Diagnostic steps:

• (১) Anomaly detection:

  torch.autograd.set_detect_anomaly(True)
  # কোন operation NaN cause করেছে — stack trace

• (২) Gradient norm monitor:

  for name, p in model.named_parameters():
      if p.grad is not None:
          print(name, p.grad.norm().item())

• (৩) Loss explosion track:

  # Per-step loss log
  if torch.isnan(loss) or loss > 1e6:
      print("Anomaly at step", step)

• (৪) Activation statistics:

  def hook(module, input, output):
      print(module, output.mean(), output.std(), output.max())
  model.register_forward_hook(hook)

• (৫) Data check:

  assert not torch.isnan(X).any()
  assert not torch.isinf(X).any()

Fix strategies — priority order:

• (১) Lower learning rate: 0.01 → 0.001 → 0.0001। সবচেয়ে সহজ ও effective।
• (২) Gradient clipping:

  torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

  অসাধারণ — explosion থামায় immediately।
• (৩) Better initialization:
  • Xavier — sigmoid/tanh-এর জন্য।
  • Kaiming — ReLU-এর জন্য।
  • Default PyTorch init usually decent।
• (৪) Batch Normalization বা LayerNorm: activation distribution stabilize করে।
• (৫) Residual connections: deep network-এ gradient flow improve।
• (৬) Warmup schedule:

  lr = base_lr * min(1, step / warmup_steps)

  শুরুতে gentle, পরে full speed।
• (৭) Mixed precision careful:

  scaler = torch.cuda.amp.GradScaler()
  scaler.scale(loss).backward()  # FP16 overflow protect

• (৮) Loss function fix:
  • nn.BCEWithLogitsLoss instead of BCELoss(sigmoid(x)) — numerically stable।
  • F.cross_entropy — log-softmax fused।
  • log(x + 1e-8) — small epsilon।

Architecture-specific:

• Transformer: pre-LN > post-LN (more stable)।
• RNN: gradient clipping critical। LSTM/GRU > vanilla RNN।
• GAN: separate optimizer, careful balance।

Production checklist:

• NaN detection in training loop।
• Checkpoint frequent — recovery easy।
• Gradient histogram (TensorBoard/W&B)।
• Learning rate finder (Smith ২০১৭)।

মূল উপলব্ধি: NaN debugging — systematic detective work। Lower LR + clip gradient — ৮০% case fix। বাকি — initialization, normalization, architecture। Practice দিয়েই intuition গড়ে।