RNN — ক্রমিক ডেটা

Parameter sharing — RNN-এর সবচেয়ে গভীর design choice। সাদৃশ্য: CNN-এ একই kernel image-এর সব position-এ ব্যবহার। RNN-এ একই $W_h, W_x$ সব timestep-এ।

কেন sharing — তিনটি মূল কারণ:

• Variable length handle: ৫-শব্দ বা ৫০০-শব্দ বাক্য — একই network। Position-ভিত্তিক weight হলে নতুন length-এর জন্য নতুন weight train করতে হবে।
• Generalization: "আমি ভাত খাই" বনাম "সে ভাত খায়" — "ভাত" শব্দটি position ১ এবং ২-এ আছে। একই weight হলে — একই "ভাত" representation। আলাদা weight হলে — দু'টি আলাদা embedding শিখতে হবে।
• Sample efficiency: $T$ timestep-এর জন্য $T \times$ parameter — exponentially less data দরকার। Small dataset-এ critical।

Position-নির্ভর weight হলে কী হবে:

• Variable length training impossible।
• Each position separately learn — slow ও data-hungry।
• Translation invariance ভেঙে পড়বে।
• Practical-এ এটা শুধু "MLP on flattened input" — কিন্তু MLP variable length handle করে না।

Trade-off:

• Sharing = less expressive। সব timestep-এ identical "rule"।
• সমাধান — hidden state বড় করুন, যাতে context store হয়।
• Modern attention/Transformer — sharing রেখেও position information যোগ করে (positional encoding)।

Inductive bias:

• "একই rule সব timestep-এ" — একটি strong assumption।
• Most language ঠিক এই assumption মেনে চলে — grammar context-dependent কিন্তু rule আগাগোড়া same।
• Stationary process assumption।

Convolution-এর সাথে comparison:

• CNN — spatial weight sharing।
• RNN — temporal weight sharing।
• Transformer — সব position-এ weight share, কিন্তু attention pattern position-aware।
• সব modern architecture — কোনো না কোনো sharing-এর উপর দাঁড়ানো।

মূল উপলব্ধি: Parameter sharing শুধু efficiency না — এটা একটি inductive bias। Sequence-এ একই rule সর্বত্র apply হওয়ার ধারণা — language, music, time-series-এর core nature। RNN-এর শক্তির মূল উৎস। আজকের ML-এ "right inductive bias" ই সব — এই lesson lifelong।

Vanishing gradient — RNN-এর "achilles heel"। Bengio-Simard-Frasconi (১৯৯৪) এই সমস্যা প্রথম formally identify করেন।

গাণিতিক উৎপত্তি:

• $h_t = \tanh(W_h h_{t-1} + W_x x_t)$।
• $\partial h_t / \partial h_{t-1} = \tanh'(\cdot) \cdot W_h$।
• $T$-step backward — chain rule:
  $\frac{\partial L}{\partial h_1} = \prod_{t=2}^{T} \tanh'(\cdot) \cdot W_h \cdot \frac{\partial L}{\partial h_T}$।
• $\tanh' \in (0, 1]$, $W_h$-এর largest eigenvalue $\lambda$।
• Product $\to \lambda^T \cdot \prod \tanh'(\cdot)$।

দুটি case:

• $\lambda < 1$ — gradient $\to 0$ exponentially। Vanishing।
• $\lambda > 1$ — gradient $\to \infty$ exponentially। Exploding।
• $\lambda = 1$ — fragile boundary। Practical-এ rare।

Tanh-এর role:

• $\tanh$ — saturating activation। Input বড় হলে derivative $\to 0$।
• প্রতিটি timestep-এ derivative ১-এর কম — accumulate-এ vanishing accelerated।
• Sigmoid-এর চেয়ে ভাল (sigmoid' max ০.২৫), কিন্তু সমাধান নয়।

ReLU দিয়ে সমাধান হবে?

• ReLU-এর derivative = ১ (positive), ০ (negative) — saturate করে না positive side-এ।
• সমস্যা: $W_h$-এর spectral radius unbounded → exploding gradient সহজে।
• Hidden state unbounded — instability।
• IRNN (Le et al., ২০১৫): ReLU + identity init $W_h$ — কাজ করে কিন্তু sensitive।
• সাধারণ practice — vanilla RNN-এ tanh, কিন্তু আসল সমাধান architecture পরিবর্তন।

প্রকৃত সমাধান — gating:

• LSTM (১৯৯৭) — cell state additive update। Gradient pathway "highway"।
• $\partial c_t / \partial c_{t-1} = f_t$ (forget gate)। যদি forget gate ≈ ১, gradient bypass।
• GRU — similar mechanism, simpler।
• Residual connection — same idea, gradient highway।

Practical mitigation:

• Gradient clipping: exploding-এ norm cap। Pascanu et al. (২০১৩)।
• Orthogonal initialization: $W_h$ orthogonal — eigenvalues ১।
• Layer norm: hidden state stabilize।
• Truncated BPTT: short window — fewer multiplications।

Theoretical understanding:

• Hochreiter-এর PhD thesis (১৯৯১) — first identification।
• Bengio-Simard-Frasconi (১৯৯৪) — formal analysis।
• Pascanu-Mikolov-Bengio (২০১৩) — clipping ও solution-এর modern overview।

মূল উপলব্ধি: Vanishing/exploding gradient — sequence model-এর core challenge। Tanh-ই কারণ নয় — root cause হলো repeated multiplication। ReLU সাধারণ সমাধান নয় — instability। আসল সমাধান architecture (LSTM/GRU/Attention) — gradient-এর জন্য "highway" তৈরি। এই insight আধুনিক DL-এর foundational — ResNet, Transformer সব এই principle-এ।

Bangla sentiment — Bangladesh-এর জন্য practical NLP project। E-commerce review (Daraz), social media (Facebook), customer feedback — সব জায়গায় ব্যবহার।

Architecture decisions:

• Word-level vs character-level — word-level সহজ, কিন্তু OOV problem।
• Subword (BPE, SentencePiece) — Bangla-এর জন্য আদর্শ। যুক্তাক্ষর handle।
• RNN type — LSTM/GRU practical (vanilla RNN-এ vanishing)।
• Bidirectional — দু'দিকে context, sentiment-এ বেশ ভাল।

Embedding strategy:

• Random init: small data-এ poor।
• Pretrained: FastText Bangla, BanglaBERT embedding — strong start।
• FastText: subword-aware — OOV-এ গ্রহণযোগ্য।
• Fine-tune vs freeze: 10K+ data-এ fine-tune, কম data-তে freeze।

Suggested architecture:

class BanglaSentiment(nn.Module):
    def __init__(self, vocab_size, embed_dim=300,
                 hidden_size=256, num_classes=2):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, embed_dim,
                                   padding_idx=0)
        self.lstm = nn.LSTM(embed_dim, hidden_size,
                            num_layers=2,
                            bidirectional=True,
                            dropout=0.3,
                            batch_first=True)
        self.fc = nn.Linear(hidden_size * 2, num_classes)
        self.dropout = nn.Dropout(0.5)

    def forward(self, x, lengths):
        emb = self.embed(x)
        packed = pack_padded_sequence(emb, lengths,
                                       batch_first=True,
                                       enforce_sorted=False)
        _, (h, _) = self.lstm(packed)
        # Concat last forward + backward hidden
        h = torch.cat([h[-2], h[-1]], dim=1)
        return self.fc(self.dropout(h))

Data preparation:

• Source — BanglaABSA, BanglaSenti dataset।
• Cleaning — emoji, URL, code-mix English handle।
• Tokenization — bnlp library বা SentencePiece।
• Class balance — sometimes positive >> negative। SMOTE বা class-weighted loss।

Training pipeline:

• Optimizer — Adam, lr=১e-৩।
• Loss — CrossEntropyLoss (class weight সহ)।
• Batch size — ৩২-৬৪।
• Sequence length — pad/truncate at ১২৮।
• Epochs — ১০-২০, early stopping।
• Gradient clipping — max_norm=1.0।

Evaluation:

• Accuracy — overall।
• F1-score — class imbalance থাকলে ভাল metric।
• Confusion matrix — error pattern।
• Held-out test — diverse domain (review, post, comment)।

Bangla-specific challenges:

• Code-mix — "অনেক good বইটা" — English শব্দ বাংলা বাক্যে।
• Sarcasm — "চমৎকার, আবার সেই pothole" — surface-এ positive কিন্তু intent negative।
• Negation — "খারাপ না" actually positive।
• Region variation — চট্টগ্রামের শব্দ, সিলেটের শব্দ।

Production deployment:

• Model size — bidirectional LSTM ~৫MB-১৫MB।
• Inference speed — CPU-তে real-time।
• Edge deployment (mobile) — quantize, distill।
• Serving — FastAPI/Flask + REST API।

আধুনিক বিকল্প:

• BanglaBERT fine-tune — RNN-এর চেয়ে accuracy বেশি।
• Multilingual XLM-R — Bangla support ভাল।
• RNN/LSTM — যেখানে latency-critical।
• Hybrid — ছোট LSTM cache + BERT fallback।

Realistic numbers:

• 10K train data — Bi-LSTM ~৭৮-৮৩% accuracy।
• BanglaBERT — ~৮৭-৯২% accuracy।
• Production threshold — ৮৫%+।
• Domain-specific fine-tune always helps।

মূল উপলব্ধি: Bangla sentiment — practical impact। Bi-LSTM আজও legacy system-এ relevant। Pretrained embedding + LSTM + class-weighted loss + careful evaluation = production-ready। আধুনিক BanglaBERT সুপিরিয়র, কিন্তু LSTM শেখা গুরুত্বপূর্ণ — ভিত্তি বুঝতে। Bangladesh-এ NLP বাণিজ্যিক সুযোগ বিশাল।

RNN-এর "sequentiality" — এর শক্তি ও দুর্বলতা দু'টোই। Modern GPU-এর জন্য এটা bottleneck — কিন্তু ২০১৭ পর্যন্ত state-of-the-art ছিল।

Sequentiality-এর core reason:

• $h_t$ compute করতে $h_{t-1}$ লাগে।
• $h_{t-1}$ compute করতে $h_{t-2}$।
• Strict ordering — parallelize impossible across timesteps।
• Within batch — parallel, কিন্তু single sequence-এ sequential।

GPU-এর ক্ষেত্রে impact:

• GPU — thousands of cores, throughput-optimized।
• RNN — sequential operations, GPU under-utilized।
• Long sequence training — slow।
• Inference — every token wait।

Workarounds:

• Truncated BPTT: short window — gradient computation manageable।
• cuDNN RNN: NVIDIA-optimized kernel — significant speedup।
• Quasi-RNN (QRNN): partial parallelism — convolution + recurrence।
• SRU (Simple Recurrent Unit): reduce sequential dependency।

২০১৭-এ প্রবল পরিবর্তন:

• "Attention is All You Need" (Vaswani et al.) — Transformer।
• Self-attention — সম্পূর্ণ parallelize across positions।
• RNN-এর dominance শেষ NLP-তে।

Transformer vs RNN — practical:

• Training — Transformer ১০-১০০x faster।
• Memory — Transformer attention $O(n^2)$, RNN $O(n)$।
• Long sequence (>10K) — RNN-এর memory advantage।
• Short-medium — Transformer dominates।

আজকের state:

• NLP — Transformer প্রায় universal (BERT, GPT, T5)।
• Time-series — RNN/LSTM এখনো relevant (financial, IoT)।
• Speech recognition — Transformer/Conformer dominate।
• Edge deployment — small RNN/GRU compact।
• RWKV (২০২৩) — RNN-এর parallel training, retrieval-friendly inference।
• Mamba/S4 (২০২৩-২৪) — state-space model, RNN renaissance।

RNN-এর renaissance — ২০২৪:

• Transformer-এর $O(n^2)$ memory — long sequence-এ bottleneck।
• Mamba — selective state space, Transformer-competitive accuracy।
• RWKV — open-source, RNN inference efficient।
• Hybrid — Transformer + RNN (Jamba)।
• Active research area।

Bangladesh implications:

• Compute-constrained — RNN/LSTM compact, mobile-friendly।
• Edge deployment — RNN advantage।
• Educational — Transformer-এর আগে RNN শেখা mandatory (foundation)।
• State-of-the-art — Transformer/BanglaBERT।

Lesson learned:

• Hardware-software co-design crucial।
• Algorithm-এর architectural property hardware-এ pay হয়।
• "Universal best" নেই — context-dependent।
• Old idea-এর পুনরুজ্জীবন (Mamba) — স্মরণ রাখুন।

মূল উপলব্ধি: RNN-এর sequentiality — মানুষের চিন্তার "natural" representation, কিন্তু GPU-এর জন্য suboptimal। Transformer parallelism দিয়ে dominate করল। আজ Mamba/RWKV সেই RNN intuition-কে modern hardware-এ adapt করছে। DL-এর evolution — algorithm + hardware-এর dance। Foundation শক্ত করুন — fashion বদলায়, principle থাকে।