Convolution — Sliding Kernel

Pure mathematics-এ convolution-এর সংজ্ঞায় kernel flip ($K[a,b] \to K[-a,-b]$) থাকে। DL-এ যেটাকে "convolution" বলে — সেটা technically cross-correlation। তবু DL practitioner ও PyTorch — সবাই "convolution" শব্দটি ব্যবহার করে।

কেন flip-এর দরকার নেই?

• True convolution-এ kernel flip — তাই signal processing-এ associativity ও Fourier theorem ভালভাবে কাজ করে।
• DL-এ kernel-এর values শেখা হয়। flipped বা not flipped — দু'ক্ষেত্রেই একই function express করা যায়, শুধু weight-এর arrangement ভিন্ন।
• তাই — flip skip করে computation সরল রাখা হয়।

কোথায় পার্থক্য মাটারে?

• Pre-defined filter (Gaussian blur, Sobel) — math-এ flip আশা করে। PyTorch-এ flip manually করতে হবে যদি signal-processing semantics চান।
• Theoretical paper পড়লে — author-এর convention check করুন।
• Fourier-domain analysis (spectral CNN) — true convolution লাগে।

Practical consequence:

• Standard image classification, segmentation — flip irrelevant।
• Custom kernel design (not learned) — খেয়াল রাখুন।
• Backprop — gradient-এর দিক flip-এ change, কিন্তু framework এটা ঠিকভাবে handle করে।

মূল উপলব্ধি: "Convolution" নামে DL-এ যা ঘটে — cross-correlation। তবু নাম convention হিসাবে stuck। শেখা framework-এ — "kernel-এর সাথে patch-এর element-wise multiply + sum" — এটাই মূল operation।

Kernel size CNN architecture-এর key design choice। আধুনিক network-এ pattern স্পষ্ট।

৩×৩ — VGG-এর gift:

• VGG (২০১৪) — দুটি ৩×৩ stack = একটি ৫×৫-এর সমান receptive fieldReceptive Fieldএকটি neuron output value calculate করতে input-এর কত বড় region দেখে। CNN-এ depth বাড়ার সাথে receptive field বাড়ে।।
• Parameter — $2 \times (3 \times 3) = 18$ vs $5 \times 5 = 25$. কম।
• দু'টি ReLU — non-linearity বেশি, expressive power বেশি।
• তাই ৩×৩ এখন de facto standard।

৫×৫ ও ৭×৭ — কখন?

• First layer: ResNet-এ ৭×৭, AlexNet-এ ১১×১১ — input image-এ বড় context capture।
• Coarse feature: low-resolution feature map-এ বড় kernel।
• Computational trade-off: বড় kernel → বেশি FLOPs।

১×১ — Network-in-Network (২০১৪):

• Spatial mixing করে না — শুধু channel-এ linear combination।
• Channel reduction (bottleneck) — Inception, ResNet-এ critical।
• Feature recombination — non-linearity-র সাথে এক ধরনের MLP per pixel।
• Parameter cheap — $C_{in} \times C_{out}$ only।

Modern variations:

• Depthwise separable (MobileNet): ৩×৩ depthwise + ১×১ pointwise — ৮-৯× কম compute।
• Dilated convolution: সাজানো গর্ত — receptive field বড়, parameter সমান।
• Large kernel CNN (ConvNeXt, RepLKNet): ৭×৭ থেকে ৩১×৩১ — Vision Transformer challenge।

Kernel size selection rule of thumb:

• Default — ৩×৩।
• Stem (first layer) — ৭×৭ stride ২।
• Channel manipulation — ১×১।
• Mobile/edge — depthwise ৩×৩।
• Bigger context চাই — dilation বা large kernel।

মূল উপলব্ধি: ৩×৩ accidentally global standard হয়নি — receptive field বনাম parameter বনাম non-linearity-র perfect balance। ১×১ — channel-এর জন্য MLP। বড় kernel বিশেষ ক্ষেত্রে। Architecture design-এ kernel size = first decision।

Inductive bias = মডেলের built-in assumption যা data-এর structure সম্পর্কে। সঠিক bias = কম data-তে ভাল generalization।

CNN-এর তিন core bias:

• Locality: nearby pixel-গুলো related — ৩×৩ window যথেষ্ট immediate context-এর জন্য।
• Parameter sharing (translation equivariance): একই pattern image-এর যে কোনো জায়গায় হতে পারে।
• Hierarchical composition: low-level (edge) → mid-level (texture) → high-level (object part) — layer-by-layer build-up।

Image-এ এই bias সঠিক:

• Pixel neighbor strongly correlated।
• একটি বিড়াল image-এর যে কোনো জায়গায় থাকতে পারে।
• Edge → curve → eye → face — natural hierarchy।

Text-এ CNN — মিশ্র:

• Local n-gram detection ভাল (sentence classification)।
• কিন্তু long-range dependency দুর্বল — RNN/Transformer ভাল।
• Word order semantics-এ critical, kernel এটা কিছুটা miss।

Tabular-এ CNN — খারাপ:

• Column-গুলোর order arbitrary — locality assumption invalid।
• Translation equivariance অর্থহীন।
• XGBoost/LightGBM/MLP — better।

Graph-এ CNN — partially:

• Regular grid graph-এ কাজ করে।
• Irregular graph (social network) — Graph Convolution Network (GCN) — generalized।

3D/video — extension:

• 3D CNN — temporal locality।
• Spatiotemporal — video, medical CT scan।

Vision Transformer — minimal bias:

• ViT (২০২০) locality drop — patches দিয়ে।
• বড় data দরকার (CNN-এর তুলনায় ৩-১০ গুণ)।
• Bias কম → flexibility বেশি, কিন্তু data hungry।

Bias-data trade-off:

• Small data — strong bias (CNN inductive bias) win।
• Large data — minimal bias (Transformer) win।
• "No free lunch" — bias দরকার কোথাও থেকে।

মূল উপলব্ধি: Inductive bias = ML practitioner-এর সবচেয়ে গুরুত্বপূর্ণ design tool। Data structure-এর সাথে match করা bias = sample-efficient model। CNN — image-এর genius match। Tabular-এ XGBoost, sequence-এ Transformer। "কোন model best?" — depends on data structure।

Practical CNN design — Bangladesh-এর context-এ। License plate Bengali numeral, formatting unique।

Input considerations:

• Camera image — 1080p (1920×1080) সাধারণ।
• Resize — 640×640 বা 800×600 অনুকূল।
• RGB — 3 channel।
• Plate ছোট hoy অনেক সময় — high resolution রাখা ভাল।

প্রথম conv layer (stem):

nn.Conv2d(
    in_channels=3,
    out_channels=64,
    kernel_size=7,
    stride=2,
    padding=3,
    bias=False,
)
# Output: 320×320×64 (640 input থেকে)

কেন এই choice?

• kernel=7: বড় receptive field — license plate-এর initial structure।
• stride=2: spatial downsample — compute কমাতে।
• padding=3: "same" feel — border feature retain।
• out=64: diverse low-level filter (edge, color)।
• bias=False: পরে BN — bias redundant।

সম্পূর্ণ stem:

self.stem = nn.Sequential(
    nn.Conv2d(3, 64, 7, 2, 3, bias=False),
    nn.BatchNorm2d(64),
    nn.ReLU(inplace=True),
    nn.MaxPool2d(3, 2, 1),  # further downsample
)
# Output: 160×160×64

License plate-specific concerns:

• Aspect ratio: Bangladeshi plate ~3:1 wide। Square input-এ distortion।
• Bengali numeral: ০, ১, ৬ visually similar — fine-grained features।
• Lighting variability: Dhaka day/night — augmentation critical।

Architecture pipeline:

• Stage 1: Detection — YOLO-style — plate bounding box।
• Stage 2: Segmentation — exact plate boundary।
• Stage 3: OCR — character recognition (CRNN বা Transformer)।

Input augmentation:

transforms = A.Compose([
    A.RandomBrightnessContrast(0.3, 0.3, p=0.5),
    A.HueSaturationValue(20, 30, 20, p=0.5),
    A.GaussianBlur(blur_limit=3, p=0.3),
    A.RandomRain(p=0.2),  # Bangladesh rainy season
    A.MotionBlur(blur_limit=5, p=0.3),
    A.Resize(640, 640),
    A.Normalize(),
])

Bangla character-specific:

• Synthetic data: font + augmentation pipeline।
• Real data labeling: Bengali OCR difficulty — careful labeling।
• Regional variation: Dhaka, Chittagong, Sylhet — slight format difference।

Compute considerations:

• Edge deployment (traffic police camera) — MobileNet/EfficientNet base।
• Cloud inference — ResNet50/Swin Transformer।
• Real-time — 30 FPS target।

Plate detection-এ specific tweaks:

• Anchor box — wide rectangular (aspect ratio 3:1)।
• Multi-scale — distance variation।
• Confidence threshold — false positive vs miss trade-off।

মূল উপলব্ধি: Conv layer hyperparameter — domain-specific choice। 7×7 stride 2 — image classification standard। কিন্তু license plate, medical imaging, satellite — কাস্টম tuning। Bangladesh license plate — Bengali numerals, aspect ratio, lighting, weather — সব মাথায় রেখে পুরো pipeline design। Compute-quality trade-off — deployment context-এ depend।