পাঠ ১১ · ৩৫-এর মধ্যে · মডিউল ২
Home / AI Courses / Computer Vision / AlexNet

AlexNet ও ImageNet

AlexNet & ImageNet — the 2012 Big Bang of deep learning
৭ মিনিট পড়া মাঝারি · Intermediate PyTorch কোডসহ

এই পাঠে যা শিখবেন

  • ImageNet ও ILSVRC competition
  • AlexNet-এর architecture ও innovations
  • ২০১২-র "ImageNet moment" — যা CV বদলে দিল
  • PyTorch-এ AlexNet

১ · ImageNet — Fei-Fei Li-র vision

ImageNetImageNet১৪M+ labeled images, ২০K+ category — Fei-Fei Li (Princeton/Stanford)-এর project, ২০০৯-এ release. CV-র benchmark dataset. Crowdsourcing (Amazon Mechanical Turk) দিয়ে annotated. — Fei-Fei Li ২০০৬-এ শুরু, ২০০৯-এ public.

  • ১৪ million+ labeled image.
  • ২০,০০০+ category (WordNet hierarchy ভিত্তিক)।
  • Crowdsourced labeling (Amazon Mechanical Turk) — million dollar project.

ILSVRC (ImageNet Large Scale Visual Recognition Challenge) — annual competition, ১,০০০ category subset-এ classification. ২০১০-২০১৭।

কেন্দ্রীয় ধারণা

AlexNet একা ছিল না — সঠিক moment-এ সঠিক tool: GPU mature, ImageNet ready, ReLU/dropout invented. সব meet করল ২০১২-এ Toronto-তে।

২ · ২০১০-২০১১ — pre-AlexNet ImageNet

  • ২০১০ winner (NEC): ৭২% accuracy. Hand-crafted SIFT + Fisher vector + SVM.
  • ২০১১ winner (Xerox): ৭৪%. ছোট improvement.
  • Community consensus: classical method-এর "ceiling" ৭৫%.

৩ · ২০১২ — AlexNet bombshell

Alex Krizhevsky (Hinton-এর PhD student), Ilya Sutskever (Hinton-এর postdoc), Geoffrey Hinton (Toronto). ${"{}"}$ submission-এ top-5 error 15.3%. Second place 26.2%.

  • 10 percentage point gap — competition-এ unprecedented.
  • CV community shocked.
  • Within months — সব team CNN-এ shift.

৪ · AlexNet architecture

Input: 227×227×3 RGB.

  1. Conv1: 96 filters, 11×11, stride 4 → 55×55×96.
  2. MaxPool, LRN: 27×27×96.
  3. Conv2: 256 filters, 5×5, padding 2 → 27×27×256.
  4. MaxPool: 13×13×256.
  5. Conv3: 384 filters, 3×3 → 13×13×384.
  6. Conv4: 384 filters, 3×3 → 13×13×384.
  7. Conv5: 256 filters, 3×3 → 13×13×256.
  8. MaxPool: 6×6×256.
  9. FC1: 4096.
  10. FC2: 4096.
  11. Output: 1000 (ImageNet class).

Total parameters: ~60 million (62.4M precisely).

৫ · চার innovation

  • ReLU activation: tanh-এর বদলে। 6x faster training.
  • Dropout: FC layer-এ 50% dropout — overfitting কমায়।
  • GPU training: দু'টি GTX 580 (3 GB). Network split. ৫-৬ দিন training.
  • Data augmentation: random crop, horizontal flip, PCA color jitter.

৬ · LRN (Local Response Normalization)

AlexNet-এ LRN — neighbor channel-এর response normalize. Brain-inspired ("lateral inhibition"). পরে BatchNorm এ replace হয়। আজকের network-এ LRN nonexistent.

৭ · Dual GPU split

২০১২-এ GPU memory ৩ GB — AlexNet ফিট হতো না। তাই network দু'টি GPU-এ split — কিছু channel এক GPU-তে, কিছু অন্য-তে। দু'টি stream কয়েক layer-এ communicate.

এই engineering hack — পরে ResNeXt-এর "group convolution" idea-র forerunner.

AlexNet — ২০১২-র CV breakthrough Input 227×227×3 Conv1 11×11/4 55×55×96 Conv2 5×5 27×27×256 Conv3-5 13×13×384 Pool 6×6×256 FC1 4096 FC2 4096 Output 1000 ৬০M parameters · ReLU · Dropout · GPU train ImageNet ILSVRC 2012 — top-5 error 15.3% (vs 26.2% second place) এই 10pp leap → DL boom, GPU industry, AI funding
AlexNet — ৮ layer, ৬০M params, ২০১২-এ ImageNet-এ অপ্রত্যাশিত leap. Modern AI-এর জন্ম।

৮ · PyTorch-এ AlexNet

Python · PyTorch 
import torch
from torchvision.models import alexnet, AlexNet_Weights

# Pretrained AlexNet — ImageNet 2012 winner
model = alexnet(weights=AlexNet_Weights.IMAGENET1K_V1)
model.eval()

x = torch.randn(1, 3, 224, 224)   # ImageNet input size
with torch.no_grad():
    out = model(x)
print("Output shape:", out.shape)        # (1, 1000)
print("Top class:", out.argmax(dim=1).item())

# Parameter count
n = sum(p.numel() for p in model.parameters())
print(f"Parameters: {n:,}")              # ~61M

    


    

      Pretrained AlexNet — Hinton-এর lab-এর original weight. আজও torchvision-এ available, transfer learning starting point.
    


    
৯ · ২০১২-এর পরে — domino effect

    
    
      
  • ২০১৩: ZFNet (Zeiler-Fergus) — visualization + AlexNet refinement.
    • 
      
  • ২০১৪: VGG (Simonyan), GoogLeNet (Szegedy).
    • 
      
  • ২০১৫: ResNet — 152 layer, surpassed human.
    • 
      
  • Industry: Google, Facebook, Microsoft DL team gear up.
    • 
      
  • Hardware: NVIDIA GPU sales explode.
    • 
      
  • Hinton-এর lab acquired by Google ($44M).
    • 
      
  • OpenAI founded ২০১৫.
    • 
      
  • Krizhevsky → Google → DeepMind, Sutskever → OpenAI co-founder.
    • 
    


    

      AlexNet আজ "deprecated" — VGG, ResNet, EfficientNet অনেক ভালো। কিন্তু এটি bridge — LeNet (১৯৯৮) থেকে modern era-এ। Historical significance অপরিসীম।
    


  


  

    
    
  


  

    
 ভাবনার প্রশ্ন


    

      
        প্র ০১
        AlexNet-এর ৬০M parameter-এর ৯৪% (~৫৬M) FC layer-এ। Conv layer-এ মাত্র ~৪M. কেন এই imbalance, পরের architecture-এ কীভাবে fix?
      
      

        

          এটি classical CNN-এর fundamental insight — যা VGG, ResNet design করেছে।
        

        

          Parameter distribution:
        

        
    
          
  • 5 conv layer total: ~3.7M params.
    • 
          
  • FC1 (9216 → 4096): 37.7M.
    • 
          
  • FC2 (4096 → 4096): 16.8M.
    • 
          
  • FC3 (4096 → 1000): 4.1M.
    • 
          
  • FC ৫৮.৬M out of 62.4M (94%).
    • 
        

        

          কেন এই imbalance:
        

        
    
          
  • Conv-এ weight sharing — 11×11×96 = 10K-ই sufficient.
    • 
          
  • FC dense — every input every output connect.
    • 
          
  • 9216 → 4096 = 37.7M parameter — এই dense connectivity-র cost.
    • 
        

        

          সমস্যা:
        

        
    
          
  • Memory-heavy — train ও inference.
    • 
          
  • Overfitting prone — dropout এই কারণে essential ছিল।
    • 
          
  • Fixed input size — FC layer rigid.
    • 
        

        

          সমাধান (post-AlexNet):
        

        
    
          
  • Network-in-Network (২০১৩): 1×1 conv + global avg pool — FC remove.
    • 
          
  • GoogLeNet (২০১৪): GAP, no FC. Parameter ৬M (10x less).
    • 
          
  • ResNet: single FC at end, parameter mostly in conv. 25M total.
    • 
          
  • EfficientNet: compound scaling, careful balance.
    • 
        

        

          Global Average Pooling (GAP):
        

        
    
          
  • Last conv → channel-wise avg → vector.
    • 
          
  • Spatial dimension fully collapse.
    • 
          
  • Parameter: 0.
    • 
          
  • Implicit regularization — overfit hard.
    • 
        

        

          Modern parameter distribution (ResNet-50):
        

        
    
          
  • Total: 25.6M.
    • 
          
  • Conv: 23.5M (92%).
    • 
          
  • FC: 2.1M (only final classifier).
    • 
          
  • Reverse of AlexNet.
    • 
        

        

          মূল উপলব্ধি: AlexNet showed CNN-এর viability; subsequent architectures showed "how to do it right". FC overuse → conv dominance — DL design philosophy-র evolution.
        

      

    


    

      
        প্র ০২
        Hinton-এর lab Microsoft, Google, Baidu-র কাছে auction-এ বিক্রি হলো ($44M). এই গল্প AI industry-র গঠন কীভাবে define করেছে?
      
      

        

          DNNresearch auction (December 2012) — DL talent war-এর সূচনা। এর consequence এখনো খুঁজে পাওয়া যায়।
        

        

          Auction setup:
        

        
    
          
  • DNNresearch — Hinton + Krizhevsky + Sutskever-এর startup (officially company).
    • 
          
  • Bidder: Google, Microsoft, Baidu, DeepMind (then independent).
    • 
          
  • Auction happened on Hinton's hotel room conference call.
    • 
          
  • Final: Google won at $44M.
    • 
        

        

          Talent positioning:
        

        
    
          
  • Hinton — Google Brain (Toronto).
    • 
          
  • Krizhevsky — Google → quit ২০১৭।
    • 
          
  • Sutskever — Google → OpenAI co-founder ২০১৫।
    • 
          
  • Hinton — Google leave ২০২৩, AI safety advocate.
    • 
        

        

          Industry consequence:
        

        
    
          
  • Talent inflation: top DL researcher salary $1M+ in years.
    • 
          
  • Lab acquisitions: DeepMind by Google ($500M, 2014), Maluuba by Microsoft, etc.
    • 
          
  • University drain: top professors moved to industry — academic CV slow.
    • 
          
  • Big tech monopoly: compute, data, talent concentration.
    • 
        

        

          OpenAI emergence:
        

        
    
          
  • ২০১৫ — Musk, Altman, Sutskever co-found.
    • 
          
  • Mission: counterbalance corporate AI dominance.
    • 
          
  • Sutskever's chief scientist role — direct lineage from AlexNet.
    • 
        

        

          Anthropic (২০২১):
        

        
    
          
  • OpenAI alums (Amodei siblings).
    • 
          
  • Same generational chain — AlexNet → OpenAI → Anthropic.
    • 
        

        

          Geopolitical:
        

        
    
          
  • Baidu-র bid — China-US AI race-এর early signal.
    • 
          
  • DeepMind acquisition — UK to US talent migration.
    • 
          
  • EU Mistral, Aleph Alpha — recent EU sovereignty push.
    • 
        

        

          Bangladesh implication:
        

        
    
          
  • Top Bangladeshi ML talent — US universities → Big Tech.
    • 
          
  • Local AI startup capability bottleneck — talent ও compute.
    • 
          
  • Open source models (Llama, Mistral) — democratization যা talent-rich nations-এ available নয়।
    • 
        

        

          মূল উপলব্ধি: Single research moment-এ industry, geopolitics, talent flow সব আকার নিয়েছিল। AI history accidents-এর সংগ্রহ।
        

      

    


    

      
        প্র ০৩
        AlexNet-এ dropout 50% — modern network-এ কম (10-20%). কেন এই difference? Modern alternative কী?
      
      

        

          Dropout (Srivastava et al., 2014) — AlexNet-এর key technique. আজ partly replaced.
        

        

          Dropout মেকানিজম:
        

        
    
          
  • Training-এ random 50% neuron activate (others zero).
    • 
          
  • Inference-এ — সব neuron, কিন্তু 0.5x scale.
    • 
          
  • Effect: stochastic ensemble training.
    • 
        

        

          AlexNet-এ 50% কেন এত aggressive?
        

        
    
          
  • ৬০M parameter, ImageNet ১.৪M images — ratio 43:1. Severe overfit risk.
    • 
          
  • FC layer-এ co-adaptation problem (neurons rely on each other).
    • 
          
  • 50% dropout — empirically optimal.
    • 
        

        

          Modern network-এ dropout কম কেন?
        

        
    
          
  • BatchNorm dominant: implicit regularization.
    • 
          
  • Less FC layer: ResNet, EfficientNet-এ minimal FC.
    • 
          
  • More data: dataset 10-100x larger.
    • 
          
  • Better init: He init — already balanced.
    • 
        

        

          Modern regularizer:
        

        
    
          
  • BatchNorm: noise injection effect.
    • 
          
  • Weight decay (L2): always essential.
    • 
          
  • Data augmentation: heavy — virtual data multiplication.
    • 
          
  • Label smoothing: overconfidence prevention.
    • 
          
  • Stochastic depth: random skip layer (ResNet).
    • 
          
  • DropPath (Vision Transformer): path-level dropout.
    • 
        

        

          Dropout still useful:
        

        
    
          
  • Final FC layer: small dataset finetune-এ।
    • 
          
  • Transformer: attention dropout, hidden dropout 0.1.
    • 
          
  • RNN (legacy): recurrent dropout.
    • 
          
  • Variational dropout: Bayesian approximation.
    • 
        

        

          মূল উপলব্ধি: Each technique-এর "best practice" architecture-এর সাথে evolve. AlexNet-এর recipe blindly copy করা ভুল হবে।
        

      

    


    

      
        প্র ০৪
        ImageNet ২০১৭-এ ILSVRC বন্ধ হয়। কেন? কোন benchmark replaced — আজকের CV "score" কোথায় measure?
      
      

        

          ILSVRC-এর retirement CV community-র maturation signal.
        

        

          কেন ILSVRC বন্ধ:
        

        
    
          
  • ২০১৫-এ ResNet — top-5 error 3.57%, human-level (5.1%) ছাড়িয়ে যায়।
    • 
          
  • ২০১৭-এ — saturate. 2.25%.
    • 
          
  • Improvements diminishing.
    • 
          
  • Overfitting to ImageNet specifically — generalization concern.
    • 
          
  • Test set leaked (Recht et al., ImageNet-V2 paper).
    • 
        

        

          Modern CV benchmark:
        

        
    
          
  • ImageNet-21K: larger 21K class — pretraining.
    • 
          
  • JFT-300M (Google internal): 300M images — foundation model.
    • 
          
  • LAION-5B: 5 billion image-text pairs — CLIP, Stable Diffusion.
    • 
          
  • COCO (detection/segmentation): 330K images, 80 class.
    • 
          
  • ADE20K: 20K scene parsing.
    • 
          
  • Cityscapes: 5000 driving image.
    • 
          
  • WIT (Wikipedia): 11.5M image-text.
    • 
        

        

          Robustness benchmark:
        

        
    
          
  • ImageNet-C: noise, blur, weather corruption.
    • 
          
  • ImageNet-A: adversarial example (real).
    • 
          
  • ImageNet-R: rendition (sketch, paint).
    • 
          
  • ObjectNet: Yale — uncontrolled poses.
    • 
        

        

          Few-shot/Transfer benchmark:
        

        
    
          
  • Meta-Dataset: 10 dataset, few-shot.
    • 
          
  • VTAB: Visual Task Adaptation Benchmark.
    • 
          
  • BIG-Bench Vision: emerging, multimodal.
    • 
        

        

          Multimodal benchmark:
        

        
    
          
  • VQA, GQA: visual question answering.
    • 
          
  • MMVet, MMBench: vision-language model.
    • 
          
  • Flickr30K, NoCaps: caption.
    • 
        

        

          Foundation model era:
        

        
    
          
  • "Single benchmark" outdated — comprehensive evaluation.
    • 
          
  • HELM-style multi-task scoring.
    • 
          
  • Real-world deployment-এর সাথে correlation important.
    • 
        

        

          মূল উপলব্ধি: Benchmark-এর evolution — CV-র goal-এর evolution. ImageNet "classification accuracy" থেকে "general visual reasoning"-এ shift.
        

      

    

  


  

    
 অনুশীলন

    
    
      
  1. 
        Conv1 param: AlexNet Conv1: 3 → 96 channel, 11×11 kernel. Total parameter (bias সহ)?
        
    
          
          
    
            
    $3 \times 96 \times 11 \times 11 + 96 = 34{,}944$।
    
          
    
        
    
      
    2. 

      
  2. 
        Pretrained: torchvision-এর pretrained AlexNet load করে একটি cat ছবিতে predict — কোডটি লিখুন।
        
    
          
          
    
            
    from torchvision.models import alexnet, AlexNet_Weights
import torch

w = AlexNet_Weights.IMAGENET1K_V1
m = alexnet(weights=w).eval()
preprocess = w.transforms()

img = Image.open('cat.jpg').convert('RGB')
x = preprocess(img).unsqueeze(0)
out = m(x).softmax(1)
top5 = out.topk(5).indices[0].tolist()
print([w.meta['categories'][i] for i in top5])
    
          
    
        
    
      
    3. 

      
  3. 
        ভাবুন: AlexNet-এ ১১×১১ kernel — পরে VGG-তে সব 3×3. এই switch-এর rationale?
        
    
          
          
    
            
    VGG: তিনটি 3×3 conv = একটি 7×7 conv-এর RF, কিন্তু (1) parameter কম (3·9 vs 49), (2) more non-linearity (3 ReLU vs 1). Smaller kernel + deeper network — accuracy বেশি।
    
          
    
        
    
      
    4. 
    

  


  

    
 আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

    

    

      কোড রানার কাজ না করলে? ব্রাউজারে কাজ না করলে
      Google Colab
      ব্যবহার করুন — Google-এর ফ্রি অনলাইন Python পরিবেশ, শুধু Gmail অ্যাকাউন্ট লাগে।
    

  







  
  
     এই পাঠে ভুল পেয়েছেন? জানান
  





  
    
 পূর্ববর্তী পাঠ

    
পাঠ ১০ · LeNet