BPTT — Backprop through time

এটি BPTT বুঝার সবচেয়ে subtle পয়েন্ট। উত্তর — calculus-এর chain rule-এর সরাসরি ফলাফল।

Multivariable chain rule:

• $L$ একটি function — যা $W_h$-কে multiple time use করে।
• Total derivative — প্রতিটি ব্যবহার-এর contribution-এর যোগফল।
• $\frac{\partial L}{\partial W_h} = \sum_{t} \frac{\partial L}{\partial W_h^{(t)}}$ — যেখানে $W_h^{(t)}$ হলো timestep $t$-এ "instance"।
• Constraint $W_h^{(1)} = W_h^{(2)} = \ldots = W_h$ — তাই সব contribution একই variable-এ যোগ।

কেন average না:

• Calculus rule — derivative additive, not averaging।
• $f(x) = x^2 + x^3$ — $f'(x) = 2x + 3x^2$, average না (সমষ্টি)।
• একই principle BPTT-এ।
• Average নিতে চাইলে — gradient $T$ দিয়ে ভাগ করতে পারেন (effectively learning rate scale), কিন্তু এটা design choice, calculus rule না।

Practical implication:

• Long sequence — gradient magnitude বড়, $T$-এর সমানুপাতিক।
• Learning rate adjust করতে হতে পারে।
• Gradient clipping এজন্যই critical।
• Effective batch size — sequence length অন্তর্ভুক্ত।

CNN-এর সাথে analogy:

• CNN-এ একই kernel image-এর সব position-এ। Gradient সব position-এর contribution-এর যোগ।
• Image-এ ১০০x১০০ position = ১০,০০০ contribution।
• RNN-এ $T$ timestep = $T$ contribution।
• Same mathematical principle।

Numerical analysis:

• Sum-এর কারণে — long sequence-এ effective gradient large।
• Adam-এর adaptive learning rate এই variation handle করে কিছুটা।
• SGD-তে — manual learning rate tune।

Misconception:

• "Average নিলে stable হবে" — না, calculus rule break।
• Gradient meaning বদলে যাবে।
• Convergence guarantee হারাবে।

মূল উপলব্ধি: Sum vs average — গভীর mathematical question। Calculus chain rule additive। Shared weight-এর জন্য — সব ব্যবহার-এর gradient সরাসরি যোগ। Learning rate স্পেশাল tune করুন। সরল সূত্রের পেছনে গভীর mathematical structure — DL-এ ভালভাবে বুঝে কাজ করুন।

TBPTT — practical compromise। Theoretically lossy, কিন্তু empirically powerful। Trade-off গভীর।

TBPTT কী miss করে:

• $k$-step বাইরে gradient signal নেই।
• $k+1$-step আগের information শেখা সম্ভব না।
• "৫০০ শব্দ আগে subject — verb-এ agree" — gradient miss।

তাহলে কীভাবে long-range শেখে:

• Hidden state propagation: hidden state-এ পুরো history-এর information। Forward pass-এ flow।
• Indirect learning: short-window pattern শিখে — generalize হয়।
• Cumulative effect: overlapping window — boundary থেকে boundary information leak।

Window choice trade-offs:

• ছোট ($k=10$): fast, less memory। কিন্তু long-range miss।
• মাঝারি ($k=50-100$): typical sweet spot। Balance।
• বড় ($k=500+$): long-range capture। কিন্তু memory expensive, training slow।

Domain-specific guidelines:

• Sentence-level NLP: $k$ = sentence length (~20-40)।
• Document classification: $k$ = ১০০-৫০০।
• Audio frame-level: $k$ = ৫০-২০০ frame।
• Stock price daily: $k$ = ৩০-৯০ day।
• Char-level language model: $k$ = ১০০-২৫০ char।

Hyperparameter sensitivity:

• $k$ কমালে — under-fitting risk।
• $k$ বাড়ালে — overfitting + slow।
• Loss curve plateau দেখলে — $k$ বাড়ান।
• Memory limit-এ — gradient accumulate use।

Alternative — overlapping windows:

• Window-এ overlap রাখুন (e.g., ৫০% overlap)।
• Boundary information loss কম।
• Compute slightly more।
• Practical-এ helpful।

Modern alternative — attention:

• Self-attention — direct connection across long range।
• Gradient flow $O(1)$ regardless of distance।
• Transformer eliminates TBPTT issue।
• Memory $O(n^2)$ — সমস্যা ভিন্ন।

Hybrid approach:

• RNN + attention — RNN local, attention long-range।
• Memory-augmented network।
• Hierarchical RNN — multiple time-scale।

মূল উপলব্ধি: TBPTT — practical compromise। Long-range learning indirect — hidden state forward propagate। Window choice domain-specific। Modern attention এই limitation overcome করে। RNN-এ গভীর understanding শিখলে — modern architecture-এর design choice clearer।

Gradient clipping — RNN training-এ standard practice। Choice subtle ও empirical।

Norm-based clipping:

• $\|g\|_2 > c$ হলে $g \leftarrow g \cdot c / \|g\|_2$।
• Direction preserve, magnitude cap।
• Pascanu et al. (২০১৩) recommended।

Value-based clipping:

• প্রতিটি element clip — $g_i \leftarrow \text{clamp}(g_i, -v, v)$।
• Direction বদলে যেতে পারে।
• Less common, less principled।

কেন norm better:

• Gradient direction = best descent direction।
• Magnitude শুধু "step size" determine করে।
• Direction বদলালে — wrong direction-এ যাবে।
• Norm preserve করলে — same direction, smaller step।

Threshold value কীভাবে choose:

• Start: ১.০ (most common)।
• Logging: training-এ gradient norm log করুন।
• Quantile-based: ৯০-percentile gradient norm-এর কিছুটা উপর।
• Too low — under-fitting।
• Too high — clipping ineffective।

Gradient norm patterns:

• Training শুরু — norm large (random init)।
• Mid-training — norm settle।
• Spike — exploding event। Clipping save করল।
• Logarithmic plot — pattern সহজে দেখা।

Domain-specific values:

• NLP RNN: ০.২৫-৫.০।
• Char-level: ৫.০-১০.০ (longer sequence)।
• Speech: ১.০-৫.০।
• Reinforcement learning: ০.৫।

Per-parameter clipping:

• Each layer-এ আলাদা norm।
• More fine-grained control।
• Modern practice — global norm common।

Adam-এ clipping:

• Adam adaptive — কিন্তু extreme spike-এ confused।
• Clipping + Adam — stable।
• Both compatible — different purposes।

Modern alternatives:

• Gradient noise: add noise — implicit regularization।
• Adaptive clipping: running statistics-based threshold।
• Layer norm: implicitly stabilize।

মূল উপলব্ধি: Norm-based clipping — direction preserve, magnitude cap। Value-based — direction distort। Threshold ১.০ default safe। Training metrics-এ gradient norm monitor। Combination clipping + careful init + appropriate architecture (LSTM) = stable training। Modern Transformer-ও এই lesson follow।

Practical scenario — Bangladesh-এর telecom companies (GP, Robi, Banglalink) এই problem face করে।

Data analysis:

• ১ লক্ষ message — modest size।
• Average length — ১০-৫০ token।
• Class imbalance — spam ~২-৫%, ham ~৯৫%।
• Bangla + English mix — code-switch।
• SMS-এর special vocabulary — abbreviation, slang।

Architecture choice:

• Bi-LSTM — short SMS, full BPTT possible।
• Hidden ১২৮, ২ layer, dropout ০.৩।
• Embedding ১০০-১৫০-D।
• Subword tokenization — OOV handle।

Training pipeline:

import torch
import torch.nn as nn

class SMSClassifier(nn.Module):
    def __init__(self, vocab=10000, embed=128,
                 hidden=128, num_classes=2):
        super().__init__()
        self.embed = nn.Embedding(vocab, embed,
                                   padding_idx=0)
        self.lstm = nn.LSTM(embed, hidden,
                            num_layers=2,
                            bidirectional=True,
                            dropout=0.3,
                            batch_first=True)
        self.fc = nn.Linear(hidden * 2, num_classes)

    def forward(self, x):
        emb = self.embed(x)
        _, (h, _) = self.lstm(emb)
        h = torch.cat([h[-2], h[-1]], dim=1)
        return self.fc(h)

Memory budget:

• Average length ৩০, max ১০০।
• Batch ৬৪ — ৬৪x১০০x১২৮ float = ৩.২MB activation।
• Model parameters — ~৫MB।
• GPU 4GB — comfortable।

Compute budget:

• ১ epoch — ১০০K message / ৬৪ batch = ১৫০০ batch।
• Per batch — ~১০ms GPU।
• Per epoch — ১৫ second।
• ২০ epoch — ৫ মিনিট।
• Even CPU-তে — ১ ঘণ্টা।

Class imbalance handling:

# Class-weighted loss
weights = torch.tensor([0.1, 0.9])  # ham, spam
criterion = nn.CrossEntropyLoss(weight=weights)

# Or — focal loss
def focal_loss(pred, target, gamma=2):
    ce = F.cross_entropy(pred, target, reduction='none')
    pt = torch.exp(-ce)
    return ((1 - pt) ** gamma * ce).mean()

BPTT consideration:

• SMS short (~৩০ token avg) — full BPTT fine।
• TBPTT লাগে না।
• Pad-to-max + masking।
• Pack padded sequence efficient।

Gradient clipping:

import torch.nn.utils as utils

loss.backward()
utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()

Evaluation strategy:

• Train/val/test split — ৮০/১০/১০।
• Time-based split — newer SMS validate।
• Metrics — F1 (imbalance), recall, precision।
• FP costly (legitimate SMS block) — high precision target।

Production deployment:

• Model size — ~১০MB।
• Inference latency — <১০ms per SMS।
• Telecom-এ ১M+ SMS/sec — batch processing।
• ONNX export, C++ inference।

Continuous learning:

• Spam pattern evolves।
• Daily/weekly retrain।
• Online learning option।
• Drift detection — monitor production accuracy।

Bangla-specific care:

• Banglish (English alphabet দিয়ে Bangla) — common।
• Number-token (e.g., "৫০০ tk" — money)।
• URL/phone — feature enrich।
• Cultural spam pattern — "lottery", "ব্যাংক transaction"।

Ethical consideration:

• Privacy — SMS content sensitive।
• On-device inference preferred।
• Data retention policy।
• User consent।

Realistic numbers:

• Bi-LSTM — F1 ~০.৮৫-০.৯০।
• BanglaBERT fine-tune — ~০.৯২-০.৯৫।
• Production threshold — F1 ০.৯০।
• Continuous improvement।

মূল উপলব্ধি: Bangladesh SMS spam — modest data, short sequence, full BPTT। Class imbalance critical। Bi-LSTM compact, mobile-friendly। Production — F1 prioritize, FP minimize। Continuous learning essential — adversary evolve। Bangla NLP — practical impact, telecom industry-এ direct revenue।