পাঠ ১০ · ৩৫-এর মধ্যে · মডিউল ২

Home / AI Courses / Computer Vision / LeNet

LeNet — প্রথম CNN

LeNet — the first practical CNN (1998)

৬ মিনিট পড়া মাঝারি · Intermediate PyTorch কোডসহ

এই পাঠে যা শিখবেন

LeNet-এর historical context
LeNet-5-এর layer-by-layer architecture
কেন LeNet revolutionary ছিল
PyTorch-এ LeNet implementation ও MNIST training

১ · Historical context — ১৯৮৯-১৯৯৮

১৯৮০-র দশকে — Backpropagation reinvent (Rumelhart 1986). ১৯৮৯-এ LeCun প্রথম CNN paper — handwritten ZIP code recognition AT&T Bell Labs-এ। ১৯৯৮-এ LeNet-5 published — current name.

সমস্যা: US Postal Service ও bank-এ প্রতিদিন লক্ষ লক্ষ চেক ও envelope-এ handwritten digit. Manual entry expensive ও error-prone.

সময়ের অন্য approach: SVM, K-NN, decision tree — hand-crafted feature-এর উপর। Maximum 95% accuracy.

কেন্দ্রীয় ধারণা

LeCun bet করেছিলেন — feature-ও শেখা যায়, hand-design করতে হয় না। Convolution + pooling + backprop combo দিয়ে। ১৯৯৮-এ এটি heretical idea ছিল।

২ · LeNet-5 architecture

Input: 32×32 grayscale digit (MNIST-এ 28×28 padded to 32×32).

C1 — Conv: 6 filters, 5×5 kernel → output 28×28×6.
S2 — Subsampling: 2×2 average pool → 14×14×6.
C3 — Conv: 16 filters, 5×5 → 10×10×16. (LeCun-এর সংযোগ pattern অদ্ভুত — কিছু output শুধু কিছু input channel দেখে)।
S4 — Subsampling: 2×2 average pool → 5×5×16.
C5 — Conv (FC-equivalent): 120 filters, 5×5 → 1×1×120.
F6 — FC: 84 neurons.
Output: 10 RBF units (digit 0-9).

Total parameters: ~60,000.

Activation: tanh (sigmoid এর variant). ReLU তখন invent হয়নি।

৩ · কেন এই specific design?

5×5 kernel: এই size-এ digit-এর local feature (curve, line) ধরা যায়।
Average pool: Max pool সেই সময় common ছিল না। Subsampling = "average + scaling".
Channel ক্রমশ বাড়া (1→6→16→120): বিচিত্র feature শেখা।
Spatial ক্রমশ কমা (32→14→10→5→1): abstract representation.
Two FC layer-এ end: classification head.

৪ · Training challenge ১৯৯৮-এ

Hardware: SGI workstation, 100 MHz CPU. Modern GPU-র billionth.
Memory: 16 MB RAM common. Batch ছোট।
Training time: ৩ দিন MNIST-এ।
Library: custom C — PyTorch/TensorFlow নেই।
Initialization: Xavier/He invent হয়নি — heuristic.

LeNet ১৯৯৮-এ — আজকের MobileNet-এর tiniest cousin. 60K parameters, MNIST-এ 99%. Modern GPU-তে এক ব্যাচ secondes-এ চলে। কিন্তু সেই সময় — academic ও industrial breakthrough.

LeNet-5 — Conv-Pool-Conv-Pool-FC pattern, যা পরবর্তী ২৫ বছরের CNN architecture-এর base.

৫ · LeNet ও MNIST

MNIST = Modified NIST. LeCun ১৯৯৪-এ assemble. 60,000 training + 10,000 test handwritten digit (0-9), 28×28 grayscale.

LeNet-5 — 0.8% error rate (১৯৯৮)।
আজ — modern CNN 0.2% error.
"Hello world" of CV — every CNN tutorial শুরু এতে।

৬ · PyTorch-এ LeNet implementation

Python · PyTorch

import torch
import torch.nn as nn

class LeNet5(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        # original — tanh activation
        self.features = nn.Sequential(
            nn.Conv2d(1, 6, kernel_size=5),    nn.Tanh(),
            nn.AvgPool2d(2),
            nn.Conv2d(6, 16, kernel_size=5),   nn.Tanh(),
            nn.AvgPool2d(2),
            nn.Conv2d(16, 120, kernel_size=5), nn.Tanh(),  # C5 fully spatial
        )
        self.classifier = nn.Sequential(
            nn.Flatten(),
            nn.Linear(120, 84), nn.Tanh(),
            nn.Linear(84, num_classes),
        )
    def forward(self, x):
        return self.classifier(self.features(x))

model = LeNet5()
x = torch.randn(8, 1, 32, 32)
y = model(x)
print("Output:", y.shape)                # (8, 10)
print("Parameters:", sum(p.numel() for p in model.parameters()))

~62K parameters. Modern GPU-তে MNIST training সেকেন্ডে। ১৯৯৮-এ ৩ দিন। Hardware-এর evolution miracle.

৭ · LeNet-এর legacy

Banking: NCR, AT&T-এর OCR — LeNet-derived.
USPS: ZIP code reading automation.
Academic seed: AlexNet (২০১২) — directly LeNet-এর scaled-up version.
Pedagogical: "Hello CNN" — every textbook.

৮ · LeNet থেকে modern CNN — কী বদলায়

Activation: tanh → ReLU.
Pool: avg → max.
Init: heuristic → Xavier/He.
Optimizer: SGD → Adam.
BatchNorm: add.
Dropout: add.
Depth: 7 layer → 100+.
Data: 60K → 14M (ImageNet).

৯ · LeNet-এর আজও practical use

Educational baseline: CNN শেখা শুরু।
Embedded device: 60K parameters — microcontroller-এ চলে।
Quick prototype: ছোট dataset (digit, signature).
OCR-light: simple character recognition.

LeNet সরল কিন্তু genius — convolution, pooling, hierarchy-র concept সবই এতে। আধুনিক CNN-এর সব কিছু বুঝতে এর architecture বোঝা ভিত্তি।

ভাবনার প্রশ্ন

প্র ০১ LeNet ১৯৯৮-এ MNIST-এ 99%. কিন্তু ২০১২ পর্যন্ত (AlexNet) CNN dominant হলো না কেন? "DL winter"-এর কারণ?

এটি AI history-র সবচেয়ে instructive case study. ১৪ বছরের delay-এর কারণ প্রযুক্তি, data, ও mindset.

Hardware bottleneck:

১৯৯৮: 100 MHz CPU, 16 MB RAM. MNIST training ৩ দিন।
ImageNet (১.৪M images) — তখনকার hardware-এ অসম্ভব।
GPU general-purpose computing ২০০৭ (CUDA).
২০১২ AlexNet — দু'টি GTX 580 GPU-তে train, ৫-৬ দিন।

Data scarcity:

ImageNet ২০০৯-এ start, ২০১২-এ mature (Fei-Fei Li-র vision).
Before — কয়েক হাজার labeled image সর্বোচ্চ।
Big data + crowdsourcing era CNN-এর অপেক্ষায় ছিল।

Algorithmic gaps:

ReLU: ২০১০ (Nair & Hinton) — vanishing gradient solved.
Dropout: ২০১২ (Hinton et al.) — overfitting tamed.
Xavier init: ২০১০।
Backprop optimizers: Adam ২০১৪।
Together — deeper network train possible.

Community skepticism (DL winter):

Symbolic AI camp NN-কে "dead end" বলত।
SVM theoretically backed — kernel method dominant ১৯৯৫-২০১০।
NeurIPS-এ deep network paper reject হতো।
LeCun, Hinton, Bengio — "lonely crusaders".

২০১২-র turning point:

AlexNet — ImageNet 2012 top-5 error: 26% → 15%.
10 percentage point gap unprecedented.
CV community stunned — within months pivot to CNN.
Industry investment, GPU vendors interest.

Lessons:

Algorithm ≠ adoption. Three things needed: algorithm + compute + data.
Visionary research (LeCun) এর timing important.
Failure-to-scale ≠ failure-of-idea.
Today's "stuck" research — tomorrow's revolution.

Modern parallel:

Transformer ২০১৭ — first NLP-এ। Vision ২০২০-এ।
Diffusion model ২০১৫ — ২০২২-এ Stable Diffusion.
Idea inception → public adoption — typically 5-10 years.

মূল উপলব্ধি: Research timeline non-linear. LeCun-এর persistence ১৪ বছর — যা CV-কে বদলে দিয়েছে। Researcher-দের long-term vision-এর শক্তি।

প্র ০২ LeNet-এ C3 layer-এ অদ্ভুত connection pattern (some output channel connected to subset of input channels). আজকের CNN-এ এটি নেই কেন?

LeNet-এর এই detail প্রায়ই tutorial-এ skip. Historical artifact কিন্তু philosophical implication আছে।

LeNet C3 connection:

S2 output: 6 channel. C3 output: 16 filter.
Standard "fully connected" conv: 16 × 6 = 96 connection.
LeCun: কিছু output শুধু 3 input channel দেখে, কিছু 4, কিছু 6.
Total connection ≈ 60% of full.

কেন এই sparse pattern?

Compute saving: ১৯৯৮-এ resource scarce. Sparsity 40% reduce.
Symmetry breaking: different filter ভিন্ন combination শিখে — diversify feature.
Inductive bias: hierarchical — "low-level → mid-level"-এ specific selection.

আজকের CNN-এ কী?

Standard conv = fully connected across channels (every output uses every input).
GPU optimized for dense matmul — sparsity overhead-এর সাথে speedup না।
Modern "sparsity" ভিন্ন নামে: group convolution.

Group convolution:

Input channels-কে $g$ group-এ ভাগ। প্রতিটি group আলাদা filter.
Group=1 = standard conv. Group=$C$ = depthwise conv.
AlexNet — 2-group (২ GPU-এ split — engineering reason, not theoretical).
ResNeXt — 32 group, accuracy gain.
MobileNet — depthwise separable. 8x cheap.
ShuffleNet — group + channel shuffle.

Sparsity philosophy:

"All connection necessary" assumption — চ্যালেঞ্জ।
Lottery ticket hypothesis (Frankle & Carbin, 2019): trained network-এর 90% weight prune করেও same accuracy possible.
LeCun-এর intuition ১৯৯৮-এ — sparsity productive.

আধুনিক sparse CNN:

Pruning post-training: 50-90% weight zero.
NAS (Neural Architecture Search) — sparse pattern auto-discover.
Mixture-of-Experts — selective activation.

মূল উপলব্ধি: "অপ্রয়োজনীয়" historical detail অনেক সময় profound idea-এর precursor. LeNet-এর hand-crafted sparsity আজকের efficient architecture-এর দিকে route.

প্র ০৩ LeNet-এ tanh, AlexNet-এ ReLU. ReLU এত সরল ($\max(0,x)$) — কেন এর introduction এত revolutionary?

ReLU history-এ প্রায়ই trivial মনে হয়। Actually — DL renaissance-এর 3-4 key enabler-এর একটি।

tanh-এর সমস্যা:

Vanishing gradient: tanh-এর derivative max 1, saturated region-এ ~0.
Deep network-এ — chain rule-এ gradient layer-wise multiply → exponentially shrink.
10-layer network-এ first layer-এর gradient nearly zero — train করতে পারে না।
1990s-এ এই কারণে network 5-7 layer-এ সীমাবদ্ধ ছিল।

ReLU-র breakthrough:

Active region-এ derivative = 1. Saturation নেই (positive side-এ)।
Gradient deep network-এ stable propagate.
Sparse activation — many neuron 0, fewer active. Information bottleneck-এর moderate.

Mathematical comparison:

$\tanh'(x) = 1 - \tanh^2(x) \le 1$, often << 1.
$\text{ReLU}'(x) = 1$ if $x>0$ else $0$।
Sigmoid $\sigma'(x) = \sigma(x)(1-\sigma(x)) \le 0.25$।

Computational cost:

tanh: exp() — expensive in hardware.
ReLU: comparison + select — single instruction.
Backward pass — branch-free, vectorizable.
GPU-এ 5-10x speedup.

Biological inspiration:

Neuron firing — typically positive only (excitatory).
Sparse activation — neuroscience-এর observation.
"Half-wave rectification" in sensory systems.

ReLU-র সমস্যা:

Dying ReLU: neuron stuck at 0 forever (negative bias).
Not zero-centered: bias activation drift.
Unbounded: activation explosion possible.

Variants:

Leaky ReLU: $\max(0.01x, x)$ — dying ReLU avoid.
PReLU: learnable slope.
ELU: exponential negative tail.
GELU: Gaussian probability — Transformer default.
Swish/SiLU: $x \cdot \sigma(x)$ — EfficientNet, modern CNN.

Adoption timeline:

২০০০ — Hahnloser et al. গভীর paper.
২০১০ — Nair & Hinton. RBM context-এ।
২০১২ — AlexNet popularize.
আজ — DL-এর default.

মূল উপলব্ধি: Simple trick → big effect. ReLU = "conceptual minimal viable activation". AI breakthroughs প্রায়ই এমন simple swap.

প্র ০৪ আজ ২০২৬-এ একটি Bangla হাতে-লেখা সংখ্যা চেনার system বানাতে — LeNet, ResNet, বা ViT-tiny কোনটা বাছবেন? Considerations?

এটি real-world Bangladesh edu-tech problem. JSC, SSC, exam OMR — handwriting recognition দরকার।

Task profile:

Bangla digits 0-9 (০-৯) recognize.
Handwriting variability — student-ভেদে বিরাট।
Deploy on basic Android phone বা scanner server.
Realtime expectation.

Option 1 — LeNet:

✅ ~60K params — extremely lightweight.
✅ Microsecond inference — embedded device OK.
✅ MNIST-style task-এ 95-98% accuracy.
❌ Bangla digit MNIST-এর তুলনায় বেশি diverse — accuracy ceiling.
Verdict: pilot study বা low-resource device-এ ভাল।

Option 2 — ResNet-18:

✅ 11M params, ImageNet-pretrained.
✅ Transfer learning থেকে ভাল accuracy (99%+).
✅ PyTorch, TF-এ ready-made.
❌ Mobile-এ inference 50-100ms — borderline realtime.
Verdict: server-side OK, edge device challenge.

Option 3 — ViT-tiny:

✅ 5M params, recent SOTA.
✅ Bigger pretrained model (DINO, MAE) থেকে fine-tune.
❌ Patch attention — small image (28×28) reflect awkward.
❌ Pretrain large image, downstream small — accuracy mid.
❌ Slower than ResNet-18 typically.
Verdict: overkill for digit task.

Bangla-specific considerations:

Dataset size: NumtaDB, BanglaLekha — ~50K labeled digits. Small for transformer.
Style diversity: Bangladesh + India + Bengali speakers — variety.
Conjuncts: digits straightforward, কিন্তু character recognition different beast.

Recommended approach:

Baseline: LeNet-modified (ReLU, BN, dropout). Quick benchmark.
Production: MobileNetV3-small ImageNet pretrained — transfer learn.
Server with budget: ResNet-18.
Augmentation aggressive: rotation ±15°, slight elastic, noise, thickness variation.
Confidence threshold: low confidence → manual review.

Architecture selection rule:

Task complexity ↑ → architecture complexity ↑।
Single-class digit recognition → LeNet/MobileNet sufficient.
Full Bangla character (50+ class) → ResNet/EfficientNet.
Sentence-level OCR → Transformer (TrOCR).

Local context:

Bornom OCR (Bengali initiative) — ResNet-based.
Bangladesh Election Commission — printed digit OK.
Educational tech (10 Minute School) — mobile-first.

মূল উপলব্ধি: "Latest architecture" নয় — task-fit architecture. Bangladesh-এর constraint-এ pragmatic choice often LeNet-spirit. MobileNet, EfficientNet — LeNet-এর grand-children.

অনুশীলন

Param count: LeNet-এ C1 (1→6 ch, 5×5) layer-এ মোট parameter (bias সহ)?

$1 \times 6 \times 5 \times 5 + 6 = 156$।

Modernize: LeNet-এ tanh → ReLU, AvgPool → MaxPool. 28×28 input থেকে শুরু (32 padding না)। PyTorch.

nn.Conv2d(1, 6, 5, padding=2),  # padding 2 যাতে output 28
nn.ReLU(), nn.MaxPool2d(2),
nn.Conv2d(6, 16, 5),
nn.ReLU(), nn.MaxPool2d(2),
# ... continue

ভাবুন: LeNet-এ FC layer (84 → 10) parameter count = 850. শুধু এই layer remove করলে কী effect? কেন এই tiny layer matter?

FC2 — final classifier. Remove করলে 120 → 10 directly. সামান্য parameter কম, কিন্তু classification capacity-ও কম। 84-D intermediate representation feature mix-এর জায়গা — abstract feature compose.