পাঠ ০৯ · ৩৫-এর মধ্যে · মডিউল ২

Home / AI Courses / Computer Vision / CNN recap

CNN পুনরাবৃত্তি — DL থেকে

CNN recap — convolution, pooling, hierarchical features

৬ মিনিট পড়া মাঝারি · Intermediate PyTorch কোডসহ

এই পাঠে যা শিখবেন

CNN-এর তিনটি মূল layer
Receptive field, parameter sharing
Hierarchical feature learning
PyTorch-এ ছোট CNN লেখা

১ · কেন CNN, MLP নয়?

Fully connected MLP — প্রতিটি input pixel প্রতিটি neuron-এর সাথে connected। 224×224×3 ছবিতে প্রথম hidden layer 1000 neuron-এ — 150M parameter। অসম্ভব train।

CNN-এর তিনটি smart constraint:

Local connectivity: প্রতি neuron শুধু ছোট patch দেখে (3×3, 5×5)।
Weight sharing: একই kernel পুরো ছবিতে slide।
Translation equivariance: object position বদলালেও feature unchanged।

কেন্দ্রীয় ধারণা

CNN = "ছবির 2D spatial structure-কে respect করা MLP"। Local pattern discover, hierarchical compose, parameter share — এই তিনটি ideas-এ ImageNet-এ revolution।

২ · Conv layer

Conv layer-এ একটি লexpand learnable kernel ছবিতে slide করে। প্রতিটি কাজ:

$$\text{out}[c, x, y] = \sum_{c', i, j} K[c, c', i, j] \cdot \text{in}[c', x+i, y+j] + b[c]$$

$c$: output channel (filter index)।
$c'$: input channel।
$(i, j)$: kernel-এর internal coordinate।

Parameter: $C_{\text{in}} \times C_{\text{out}} \times K \times K + C_{\text{out}}$ (bias)।

৩ · Pooling layer

Spatial dimension কমায় — feature map-এর উচ্চতা/প্রস্থ অর্ধেক করে।

Max pool: window-এ সর্বোচ্চ value। Sharp feature preserve।
Avg pool: গড়। Smooth।
Global pool: পুরো feature map → এক value per channel। CNN classifier-এর শেষে।

Pooling-এর তিন ভূমিকা:

Computational reduction: পরের layer-এ কম pixel।
Translation invariance: ছোট shift-এ output unchanged।
Receptive field বৃদ্ধি: পরের layer ছবির বড় portion দেখে।

৪ · Activation: ReLU

Conv-এর পরে non-linearity:

$$\text{ReLU}(x) = \max(0, x)$$

ReLU sparse activation — অনেক neuron 0, কিছু active। Sigmoid/tanh-এর চেয়ে gradient stable, training fast।

৫ · Receptive field

একটি deep neuron ছবির কোন region "দেখে" সেটাই receptive field।

প্রথম 3×3 conv → RF 3।
আরেকটি 3×3 → RF 5।
2×2 max pool (stride 2) → RF doubled।
VGG-16-এর শেষ conv layer → RF প্রায় 200।

Sufficient RF — object recognize করতে পুরো object দেখা চাই।

৬ · Hierarchical feature

CNN-এর প্রতিটি layer ভিন্ন abstraction level-এ feature শেখে। Zeiler & Fergus (২০১৪) visualization:

Layer 1: oriented edges, color blobs (Gabor-like)।
Layer 2: corners, junctions, texture patches।
Layer 3: textures, simple object parts (wheel, eye)।
Layer 4-5: object parts, dog face, car shape।
Layer 6+ (FC): whole object, scene category।

মানুষ দেখে — প্রথমে edge (V1), তারপর shape (V2-V4), শেষে object (IT cortex)। CNN ঠিক এই hierarchy পুনরুৎপাদন। Hubel-Wiesel ১৯৬২-র কাজ থেকে inspired — neurobiology + math-এর confluence।

Standard CNN — spatial dimension ক্রমশ ছোট, channel বড়; abstraction level বাড়ে।

৭ · PyTorch-এ ছোট CNN

Python · PyTorch

import torch
import torch.nn as nn

class SmallCNN(nn.Module):
    def __init__(self, num_classes=10):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv2d(3, 32, 3, padding=1),  nn.ReLU(), nn.MaxPool2d(2),
            nn.Conv2d(32, 64, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
            nn.Conv2d(64, 128, 3, padding=1),nn.ReLU(), nn.MaxPool2d(2),
        )
        self.classifier = nn.Sequential(
            nn.AdaptiveAvgPool2d(1),
            nn.Flatten(),
            nn.Linear(128, num_classes),
        )
    def forward(self, x):
        return self.classifier(self.features(x))

# 32×32 input batch
model = SmallCNN(10)
x = torch.randn(8, 3, 32, 32)
y = model(x)
print("Output:", y.shape)   # (8, 10)

# Parameter count
n_params = sum(p.numel() for p in model.parameters())
print(f"Total parameters: {n_params:,}")

মাত্র ~১০০K parameter — কিন্তু CIFAR-10-এ 70%+ accuracy পেতে পারে। MLP সমকক্ষ accuracy পেতে ১০M+ parameter দরকার।

৮ · Translation equivariance vs invariance

Equivariance: input shift হলে output same shift। Conv layer এই প্রপার্টি দেয়।
Invariance: input shift-এ output unchanged। Pooling + final FC মিলে এই achieve।

Detection-এ equivariance চাই (where object), classification-এ invariance চাই (what object)।

৯ · CNN-এর সীমাবদ্ধতা

Rotation: CNN rotation-invariant না। Augmentation দিয়ে শেখানো হয়।
Scale: partial — pyramid বা multi-scale চাই।
Long-range dependency: deep stacks দরকার — Transformer-এ better।
Reasoning: "এই কুকুর ঐ মানুষের সাথে দৌড়াচ্ছে" — pure CNN পারে না।

CNN এখনো CV-র dominant architecture। কিন্তু Vision Transformer (২০২০) থেকে — দু'টোই hybrid-এ ব্যবহৃত। Future-proof: দু'টোই বুঝুন।

ভাবনার প্রশ্ন

প্র ০১ CNN-এ Conv-Pool-Conv-Pool pattern — পুরো ছবিকে কয়েক step-এ ছোট করে। এই "downsampling" কেন না বাঁচিয়ে আরো aggressive করি না?

এটি architecture design-এর মৌলিক trade-off। Spatial resolution vs feature abstraction।

কেন downsampling:

Compute: পরের layer-এ কম pixel — fast।
Receptive field: downsample হলে effective RF বড় হয়।
Memory: activation tensor ছোট — GPU-তে fit।
Invariance: ছোট shift-এ output unchanged।

কেন aggressive downsample বিপজ্জনক:

Detail loss: small object আগেই হারায়।
Localization: detection/segmentation-এ পিক্সেল-precision চাই।
Information bottleneck: শুরুতেই compress — recovery অসম্ভব।

Empirical sweet spot:

৫ stage সাধারণ — 224 → 7×7 (32x reduction)।
প্রতি stage 2x downsample।
VGG, ResNet, EfficientNet — সবাই follow।

Detection/segmentation-এ ভিন্ন:

FPN (Feature Pyramid): multi-scale feature combine।
U-Net: encoder downsample, decoder upsample, skip connection।
HRNet: all stage-এ high resolution maintain।
DeepLab: dilated convolution — RF বাড়ায় without downsample।

Aggressive alternative:

Patch embedding (ViT) — শুরুতেই 16x downsample।
Convnext — 4x downsample stem।
Trade-off — image-level task-এ OK, dense task-এ struggle।

Stride choice:

Stride 2 conv = pool replacement। Modern arch (ResNet) এটি choose।
Pool deterministic, conv learnable — trade-off।

মূল উপলব্ধি: Architecture = task-dependent design choice। Classification-এ aggressive downsample OK, dense prediction-এ careful।

প্র ০২ 1×1 convolution — pixel-এ pixel একই থাকে, kernel size 1। এটা কী কাজ করে? পুরোপুরি অপ্রয়োজনীয় মনে হয় কিন্তু GoogLeNet, ResNet সর্বত্র ব্যবহার!

1×1 conv — first impression-এ unnecessary, কিন্তু modern CNN-এর secret weapon। Network-in-Network (Lin et al., 2013) introduce করেন।

1×1 conv আসলে কী করে?

Spatial dimension touch করে না — শুধু channel mix করে।
Per-pixel-এ একটি linear transformation across channels।
Effectively — 1×1 spatial × $C_{\text{in}} \to C_{\text{out}}$ matrix multiply।

কাজ ১ — Channel reduction (bottleneck):

256 channels → 64 channels (1×1 conv) → 256 channels।
Computation 16x কম (256² vs 256·64+64²+64·256)।
ResNet bottleneck design।

কাজ ২ — Non-linearity injection:

1×1 conv + ReLU = per-pixel MLP।
Network-in-Network: spatial conv-এর সাথে non-linear feature mix।

কাজ ৩ — Cross-channel feature integration:

Different channel-এর pattern combine করে নতুন composite feature।
3×3 conv — spatial; 1×1 conv — channel।

কাজ ৪ — Inception block-এ:

3×3 ও 5×5 conv-এর আগে dimensionality reduce।
না হলে — 5×5 conv 256→256 channels = 1.6M parameters।
1×1 64→256 + 5×5 64→64 = অনেক কম।

কাজ ৫ — Pointwise mixing (MobileNet):

Depthwise conv (per-channel spatial) + pointwise (1×1 cross-channel)।
Standard conv-এর চেয়ে 8-9x cheap।
Mobile-friendly architecture-এর key।

কাজ ৬ — Output projection:

Segmentation network-এর শেষ — feature map → class logits।
1×1 conv = "final classifier per pixel"।

Mathematical equivalence:

1×1 conv across channels = matrix multiply।
Per-pixel fully connected layer।
Just FC, but applied at every spatial location with weight sharing।

মূল উপলব্ধি: "1×1 conv trivial মনে হয়" — actually CNN modular architecture-এর key building block। ResNet, GoogLeNet, MobileNet — সব এতে দাঁড়িয়ে।

প্র ০৩ Batch normalization কী করে এবং কেন এত effective? যদি not BN, কী complications?

BN (Ioffe & Szegedy, 2015) — modern DL-এর সবচেয়ে impactful contribution-এর একটি।

BN-এর সূত্র:

$$\hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}, \quad y = \gamma \hat{x} + \beta$$

$\mu_B, \sigma_B$ — batch-এর mean, std (per channel)।
$\gamma, \beta$ — learnable parameter (scale, shift)।
Inference-এ — training-এর running statistics use।

কেন কাজ করে — original claim:

"Internal covariate shift" reduction — layer-এ input distribution stable।
Training fast, higher learning rate possible।

আধুনিক understanding:

Santurkar et al. (2018) — covariate shift theory wrong।
আসল কাজ: loss landscape smooth — gradient stable।
Lipschitz constant ছোট — large step safe।

Practical benefits:

Training fast: 10x larger learning rate।
Less sensitive to init: Xavier/He init optional।
Regularization: small noise — dropout-এর মতো।
Deeper networks: 100+ layer train possible।

BN ছাড়া complication:

Vanishing/exploding gradient।
Careful learning rate tuning।
Activation scale layer-ভেদে drift।
Deep network train অসম্ভব।

BN-এর সমস্যা:

Small batch (1-8): statistics noisy। Detection-এ অপ্রিয়।
Variable batch size inference: running stats inaccurate।
Sequential data (RNN, Transformer): batch dimension awkward।

Alternatives:

LayerNorm: Transformer default — feature-wise normalize।
GroupNorm: Wu & He (2018) — channel-grouped। Detection-এ standard।
InstanceNorm: per-image normalize — style transfer-এ।
WeightNorm: weight reparameterize।

BN ও CNN-এর marriage:

ResNet-এ BN essential — without BN deep ResNet train hard।
EfficientNet, ConvNeXt — BN/GN/LN-এর combination।
Modern conv block: Conv → BN → ReLU।

মূল উপলব্ধি: BN modern DL-এর "invisible" foundation। Without it — deep network training a struggle।

প্র ০৪ Vision Transformer (ViT) attention-based, CNN convolution-based। এদের মধ্যে কোনটা future, নাকি hybrid?

এটি ২০২৩-পরবর্তী CV community-র প্রধান বিতর্ক। Verdict — hybrid winning।

CNN-এর strength:

Inductive bias: locality + translation equivariance — natural image-এ অভিজ্ঞতা।
Data efficiency: ছোট dataset-এও কাজ করে।
Hardware optimized: conv kernel CUDA-এ extremely fast।
Hierarchical: multi-scale natural।

ViT-এর strength:

Long-range attention: ছবির এক প্রান্ত থেকে অন্য প্রান্ত direct connection।
Scale: বড় data-এ CNN-কে ছাড়িয়ে যায়।
Universal: NLP-র সাথে architecture share — multimodal সহজ।
Less inductive bias: data থেকেই pattern শিখে।

Crossover findings:

ViT — ১M+ images চাই; ImageNet-এ scratch থেকে CNN champion।
JFT-300M (Google internal) — ViT ResNet ছাড়িয়ে যায়।
ConvNeXt (2022) — modern training tricks দিয়ে CNN ViT-কে match করে।

Hybrid architectures:

Swin Transformer: local attention windows — CNN-like locality।
CoAtNet: conv + attention combined।
MobileViT: mobile-friendly hybrid।
EfficientFormer: CNN early, attention late।

Task-specific:

Image classification: ConvNeXt, MaxViT competitive।
Detection: DETR (transformer) — mainstream YOLO (CNN) থেকে accuracy ভাল কিন্তু slow।
Segmentation: Mask2Former, SAM — transformer dominant।
Generation: Diffusion U-Net (CNN) → DiT (transformer) — transition হচ্ছে।

Compute trade-off:

ViT-Large: 300M params, 60 GFLOPs।
ResNet-152: 60M params, 11 GFLOPs।
5x cheaper, often comparable accuracy with proper tricks।

Bangladesh context:

Limited GPU access — CNN preferred।
Mobile deployment — MobileNet/EfficientNet champion।
Small dataset (Bangla-specific) — CNN train possible।

Future prediction:

2030-এ — pure CNN বা pure ViT rare হবে।
Hybrid + foundation model finetune dominant।
Conv → patch attention → conv hybrid common।

মূল উপলব্ধি: Architecture wars-এ "winner" ভুল frame। Tool-এর diversity grow করছে — engineer-এর fluency in both essential।

অনুশীলন

Param count: একটি conv layer 3×3, in_channels=64, out_channels=128 — মোট parameter (bias সহ)?

$3 \times 3 \times 64 \times 128 + 128 = 73{,}856$।
Receptive field: পরপর তিনটি 3×3 conv (stride 1) — receptive field কত?

RF = $3 + (3-1) + (3-1) = 7$। তিনটি 3×3 conv ≈ একটি 7×7 conv-এর RF — কিন্তু parameter অনেক কম।
ভাবুন: Pooling-এর বদলে stride-2 conv কেন modern arch-এ বেশি use হচ্ছে?

Stride-2 conv learnable — pool fixed। Conv-এ network নিজে decide করতে পারে কোন detail বাদ দেবে। Empirically — slightly better accuracy।