AI-এর সীমাবদ্ধতা ও মিথ

এটি AI-র সবচেয়ে গুরুত্বপূর্ণ technical প্রশ্ন। সংক্ষেপে — hallucination "bug" নয়, "feature"-এর side effect।

কেন ঘটে — মূল কারণ:

• Training objective: LLM শেখে — "next token-এর সবচেয়ে probable choice কী"। কোনো "সত্য vs মিথ্যা" label নেই training-এ।
• Compression: trillions of tokens → কয়েকশ বিলিয়ন parameters. বিস্তারিত তথ্য lossy ভাবে compressed. retrieval-এ "fill in the blanks" — এই blanks-ই hallucination.
• Plausibility = goal: মডেল optimize হয় "মানুষ পছন্দ করে" এমন উত্তরে। ভাল-শোনানো মিথ্যা > truthful "I don't know"।
• RLHF-এর paradox: মানুষ confident-sounding answers reward করেন। মডেল শিখে — "বানিয়ে বললেও confident থাক"।

এটা কি নির্মূল করা যায়? পুরোপুরি না, current architecture-এ। কিন্তু কমানোর উপায়:

• RAG (Retrieval-Augmented Generation): উত্তর দেওয়ার আগে actual document থেকে evidence pull করুন। মডেল শুধু "rewrite" করে।
• Tool use: Calculator, search, code execution — internal reasoning-এ আসল tool ব্যবহার।
• Citation forcing: প্রতিটি claim-এর সাথে source চাইলে — মডেল কম বানাবে।
• Confidence calibration: মডেলকে "আমি নিশ্চিত নই" বলতে প্রশিক্ষণ।
• Constitutional AI / honesty training: Anthropic-এর Claude এই দিকে কাজ করছে।
• Verifier models: দ্বিতীয় মডেল প্রথম মডেলের output check করে।

আজকের অবস্থা (২০২৫-২৬): GPT-৪.৫ ও Claude 4.x-এ hallucination GPT-৩.৫-এর তুলনায় ৫-১০× কম, কিন্তু rare event-এ এখনো ঘটে। প্রকৃত নির্মূলের জন্য — সম্ভবত নতুন paradigm দরকার (world models, neuro-symbolic)।

মূল শিক্ষা: Hallucination একটি engineering reality. যেকোনো critical AI application-এ — verification layer অপরিহার্য।

এটি একটি গভীর প্রশ্ন। সমালোচকরা ভুল না — কিন্তু পরিস্থিতি জটিল। দুই দিকের যুক্তি:

"GPT-৪ common sense পারে" — সমর্থনের যুক্তি:

• "কাচ ভাঙে, পানি ভেজা" — হাজারো প্রশ্নে GPT-৪ ঠিক উত্তর দেয়।
• HellaSwag, Winogrande, ARC — common-sense benchmarks-এ ৯০%+ score.
• ২০২২-এর Yejin Choi-র paper "ChatGPT is bullshit" — কয়েক মাস পর GPT-৪ এসে অনেক অবাক করে দিল।

"আসলে বুঝে না" — Marcus/LeCun-র যুক্তি:

• Memorization vs reasoning: Internet-এ থাকা প্রশ্নগুলো মডেল মুখস্থ। সামান্য paraphrase বা novel scenario — মডেল ব্যর্থ হয়।
• Brittleness পরীক্ষা: ছবিতে "একটি গরু বরফের উপর hover করছে" — অনেক মডেল এটাকে স্বাভাবিক বলে। বাস্তব physics বুঝে না।
• Causal reasoning: "যদি X হতো, তাহলে Y হতো কি?" counterfactual reasoning দুর্বল।
• Embodiment-এর অভাব: মানুষ "ভারী" বুঝে কারণ ভারী জিনিস তুলেছে। AI কেবল text-এ "ভারী" শব্দটি দেখেছে।
• Out-of-distribution: Internet-এ rare পরিস্থিতিতে দ্রুত ভেঙে পড়ে।

সঠিক perspective:

• GPT-৪ কে যদি বলি "কেমন বুঝে?" — উত্তর: সামনের, distributional sense-এ ভাল। causal, embodied sense-এ দুর্বল।
• "Common sense" একটি spectrum — single benchmark না।
• ২০২২-এর সমালোচনা ২০২৫-এ পুরোপুরি invalid নয় — কিন্তু degree বদলেছে।

সবচেয়ে আকর্ষণীয় দিক: Reality-তে GPT-৪ এত ভাল কাজ করে যে — মানুষের "common sense" সম্পর্কেই আমরা পুনরায় ভাবতে বাধ্য হচ্ছি। হয়তো অনেকটা common sense আসলে statistical pattern-matching. এই নিজেই একটি বৈজ্ঞানিক অবদান।

সিদ্ধান্ত: ২০২৫ সালে — "AI common sense বুঝে না" এই বাক্যটি আংশিক সত্য। বাস্তব কাজে যথেষ্ট কাজ করে; কিন্তু critical decisions-এ ভরসা করা যায় না।

Adversarial examples ২০১৪-তে আবিষ্কৃত (Goodfellow et al.) — তখন থেকে AI security-র এক critical research area.

প্রকৃত উদাহরণ — গবেষণায় প্রমাণিত:

• Stop sign attack (২০১৭): Stop sign-এ কয়েকটি স্টিকার লাগিয়ে — Tesla-র মতো self-driving গাড়ির AI-কে "Speed limit 45" পড়িয়েছিল। বাস্তবে stop sign-ই থেকেছে।
• Adversarial glasses (২০১৬, CMU): বিশেষ pattern-এর চশমা পরে — facial recognition system-কে অন্য ব্যক্তি বলে ভাবিয়েছে।
• Audio adversarial (২০১৮): মানুষের কানে স্পষ্ট কণ্ঠ শোনায়, কিন্তু voice assistant-এর AI সম্পূর্ণ ভিন্ন command শুনে।
• Patch attacks: একটি বস্তুর পাশে বিশেষ patch রাখলে — AI পুরো scene ভুল বুঝে।
• Prompt injection (২০২৩+): LLM-এ malicious text inject — "ignore previous instructions" types attack.

বাস্তব ঝুঁকি কোথায়:

• Self-driving cars: stop sign, lane markings — adversarial attack প্রাণঘাতী হতে পারে।
• মুখ-চেনা security: বিমানবন্দর, ব্যাংক — adversarial attack identity bypass.
• চিকিৎসা AI: X-ray-তে subtle perturbation — ক্যান্সার "নেই" বলিয়ে মৃত্যু ঝুঁকি।
• Content moderation: hate speech-এ characters বদলে platform filter এড়ানো।
• Email spam/phishing: সামান্য word substitution — Gmail filter bypass.
• Voice cloning + attack: বিশেষ noise সহ voice command — Alexa-কে বাড়ির দরজা খুলতে বলিয়েছে।

প্রতিরক্ষা:

• Adversarial training: training-এই adversarial examples যুক্ত করা।
• Input sanitization: noise reduction, image preprocessing.
• Ensemble methods: একাধিক মডেলের সিদ্ধান্ত নেওয়া।
• Certified defenses: mathematical proof — নির্দিষ্ট perturbation-এর বিরুদ্ধে।
• Detection layer: "এটা কি adversarial input?" — আলাদা classifier.

মূল উপলব্ধি: ML systems আজও fragile. যেকোনো safety-critical application-এ — adversarial robustness testing অপরিহার্য। এটা শুধু theoretical curiosity নয়, real-world threat.

Medical AI-তে distribution shift literally জীবন-মৃত্যুর প্রশ্ন। বাংলাদেশী context-এ অনেকগুলো dimension একসাথে কাজ করে।

(১) জনসংখ্যাগত shift (Population shift):

• বেশিরভাগ মেডিকেল AI পশ্চিমা (US/EU) ডেটায় train. বাংলাদেশীদের skin tone, anatomy, body-mass distribution ভিন্ন।
• উদাহরণ: dermatology AI সাদা skin-এ ৯৫%+, brown skin-এ ৬০%। বাংলাদেশী skin diseases-এ অনেক ভুল।
• Diabetic retinopathy AI — পশ্চিমে train, কিন্তু বাংলাদেশীদের retinal vessel pattern subtly ভিন্ন।

(২) রোগের প্রকোপ shift (Prevalence shift):

• বাংলাদেশে যক্ষ্মা, dengue, typhoid — পশ্চিমে rare. AI এসব রোগ চেনার ট্রেনিং কম পেয়েছে।
• পশ্চিমে common Lyme disease, MS — বাংলাদেশে rare. False positive বেড়ে যায়।
• Co-morbidity pattern ভিন্ন — diabetes + TB একসাথে বাংলাদেশে সাধারণ, পশ্চিমে rare.

(৩) যন্ত্রপাতি shift (Equipment shift):

• Bangladesh-এর X-ray/CT-র resolution, calibration ভিন্ন। AI পশ্চিমা GE/Siemens machines-এ train.
• Bangladeshi smaller hospitals — older equipment, more noise. AI false positive বাড়ে।
• Image preprocessing pipelines-ও ভিন্ন।

(৪) ক্লিনিক্যাল practice shift:

• বাংলাদেশে রোগী দেরি করে আসেন — disease আরও advanced stage-এ। AI early-stage cases-এ train.
• চিকিৎসকের নোট বাংলায়/বাংলিশে — পশ্চিমা NLP মডেল কম বুঝে।
• Lab tests-এর availability ভিন্ন; AI-র input feature missing হতে পারে।

(৫) Demographic-time shift:

• আজ যা কাজ করে — ৫ বছরে বদলাবে (urbanization, lifestyle, medication patterns)। AI continuously retrain না হলে drift হবে।

সমাধানের পথ:

• Local fine-tuning: বাংলাদেশী হাসপাতালের ডেটায় AI fine-tune করুন।
• Local validation: deploy-এর আগে বাংলাদেশী independent dataset-এ test.
• Domain adaptation techniques: bias correction, importance weighting.
• Active monitoring: Production-এ accuracy track করুন। drift detection.
• Human-in-the-loop: AI assist করুক, কিন্তু diagnosis ডাক্তার-ই দেন।
• Local data initiatives: ICDDR,B-র মতো প্রতিষ্ঠানের সাথে partnership করে বাংলাদেশী medical datasets তৈরি।

মূল বার্তা: পশ্চিমা AI directly import করলে বাংলাদেশী রোগীরা ক্ষতিগ্রস্ত হতে পারেন। Distribution shift-এর সচেতন handling — medical AI deployment-এর প্রথম ধাপ।