ডেটাসেট কী, কোথা থেকে আসে

এই ধরনের সমস্যায় classic mistake — random row-split. তাতে massive leakage হয় কারণ একই পেশেন্টের scan train ও test দু'জায়গায় চলে যায়।

(১) ভুল পদ্ধতি (Random Split):

• ১০,০০০ scan random shuffle, ৭০/১৫/১৫।
• পেশেন্ট A-র ৭টি scan train-এ, ৩টি test-এ।
• মডেল train-এ A-র anatomy "শেখে"।
• Test-এ A-র scan দেখে — anatomy চিনে ফেলে।
• Result: ৯৮% accuracy in test, ৬০% in production!

(২) সঠিক পদ্ধতি (Patient-Level Split):

• ৭০০ পেশেন্ট train-এ, ১৫০ val, ১৫০ test.
• প্রতিটি পেশেন্ট শুধু একটি ভাগে।
• Test-এ মডেল কখনো না-দেখা পেশেন্টের scan দেখে।
• সত্যিকারের generalization measure.

(৩) আরও potential leakage:

• Hospital leak: একই hospital-এর সব scan একই grouping নিতে হবে — কারণ machine signature, lighting আলাদা।
• Time leak: পেশেন্ট A-র ২০২০-র scan train-এ, ২০২৩-এর test-এ — disease progression info leak.
• Annotator leak: একই radiologist-এর label-এ train ও test — তার bias model শিখে।

(৪) Class imbalance:

• মাত্র ২০% পেশেন্টের ক্যান্সার।
• Stratified split — প্রতি ভাগে ২০% positive অনুপাত রাখুন।
• Train-এ class weighting বা SMOTE-এর মতো oversampling.

(৫) Multi-site evaluation:

• Best practice: একটি hospital-এ train, অন্য hospital-এ test.
• "Out-of-distribution" performance বের হয়।
• Real deployment-এ এই robustness critical.

(৬) Validation strategy:

• Patient-level k-fold: $K$ বার patient-set rotate.
• Grouped k-fold (sklearn-এ GroupKFold)।
• Stratified group k-fold — best of both.

(৭) Practical pipeline:

from sklearn.model_selection import GroupShuffleSplit

splitter = GroupShuffleSplit(test_size=0.15, n_splits=1, random_state=42)
train_idx, test_idx = next(splitter.split(X, y, groups=patient_ids))
# এখানে patient_ids: প্রতিটি scan-এর পেশেন্ট ID

(৮) Real-world failure case:

• ২০২০-র Nature paper retracted — covid-19 detection AI শুধু hospital signature মুখস্থ করেছিল।
• Sick hospital-এর scan = positive, healthy hospital-এর = negative.
• Random split-এ leakage detect হয়নি।

(৯) Clinical validation:

• Hold-out test set শুধু একবার দেখুন।
• Prospective study — নতুন পেশেন্ট-এর উপর deploy করে check.
• FDA approval-এর জন্য external validation required.

(১০) Bangladesh medical context:

• সরকারি বনাম বেসরকারি hospital — ডেটা distribution আলাদা।
• Equipment vendor diversity — model robustness essential.
• Privacy: পেশেন্ট ID anonymize, কিন্তু grouping জানতে হবে।

মূল উপলব্ধি: Medical AI-তে patient-level grouping non-negotiable. Random split = useless model. Senior data scientist প্রথমে জিজ্ঞেস করেন — "data-এর hidden hierarchy কী?" তারপর split.

Low-resource language scenario — Bangla NLP-এর মূল চ্যালেঞ্জ। Strategy choice ROI-র উপর depend. প্রতিটির trade-off আলাদা।

(১) GPT-4 / Claude / Gemini Zero-shot:

• কোনো training না। Just prompt + label space.
• Test set-এ ৭০-৮৫% accuracy expected (task-নির্ভর)।
• কখন ভাল: small data, common task (sentiment, classification)।
• খরচ: API cost per inference.
• Latency: ১-৩ second/call.
• Privacy concern: data API-তে যাচ্ছে।

(২) GPT-4 Few-shot:

• Prompt-এ ৫-২০টি labeled example.
• Zero-shot-এর চেয়ে ৫-১০% better.
• Cost বেশি (long prompt)।
• ৫,০০০ example-এর ১% ব্যবহার — বাকি wasted!

(৩) Open-source LLM Fine-tuning:

• Llama-3, Mistral — Bangla-aware models.
• ৫,০০০ labels দিয়ে LoRA fine-tune সম্ভব।
• Once trained — fast, cheap inference.
• Privacy-friendly (on-prem deployment)।
• Effort: GPU + ML expertise.

(৪) Classical ML (XGBoost on TF-IDF):

• Surprising baseline — ৫০০০ data-এ competitive.
• Fast, cheap, interpretable.
• Bangla tokenization — important.
• Bangla-BERT embeddings ব্যবহার আরও improve.

(৫) Synthetic Data Augmentation:

• GPT-4 দিয়ে existing examples-এর variation generate.
• Back-translation: Bangla → English → Bangla.
• Paraphrase, word substitution.
• ৫,০০০ → ২০,০০০ labels.
• Risk: synthetic data noise বাড়ায়।

(৬) Active Learning:

• Model uncertainty-এর উপর label priority.
• সবচেয়ে confusing example human-এ label.
• ৫,০০০-এর efficient use.
• Iterative — model উন্নত হলে নতুন uncertain.

(৭) Decision Framework:

• Quick prototype, low budget: GPT-4 zero/few-shot.
• Production, high volume: Fine-tune open LLM.
• Privacy-sensitive: On-prem fine-tune.
• Interpretability needed: Classical ML.
• More data needed: Synthetic + Active learning.

(৮) Evaluation Plan:

• ৫,০০০-এর ৫০০ test set hold out.
• সব approach-এ একই test.
• Cost per inference + accuracy + latency table.
• Production trade-off explicit.

(৯) Hybrid approach (often best):

• GPT-4 দিয়ে weak labels generate (large unlabeled corpus)।
• Weak labels + ৫,০০০ gold labels = teacher-student.
• Smaller student model production-এ।
• Cost-effective + privacy-preserving.

(১০) Bangla-specific considerations:

• Tokenization: Bangla-aware (BPE)।
• Code-mixing: Bangla + English very common.
• Dialect: Dhaka, Chittagong, Sylheti.
• Script: Bangla, Romanized Bangla — উভয়ের জন্য plan.

(১১) Common pitfalls:

• "GPT-4 will solve it" — domain-specific terms-এ ফেল।
• "Just train more" — labels-এর quality > quantity.
• "Synthetic data is free" — quality control critical.

মূল উপলব্ধি: Low-resource setup-এ একটি technique-এ committed হবেন না। GPT-4 baseline → fine-tune comparison → synthetic augmentation — iterative. সবসময় cost vs accuracy trade-off measure.

এই scenario প্রায় সব ML engineer-এর career-এ একবার আসে। ৯৬% সবসময় ভাল sign না — sometimes too good to be true.

(১) প্রথম reaction: সন্দেহ!

• Sentiment-এ ৯৬% — published paper-এর state-of-art benchmark.
• সাধারণ business data — ৮০-৮৫% সাধারণ accuracy.
• ৯৬% হঠাৎ পেলে — প্রথমে leakage সন্দেহ।

(২) Sanity Check #1 — Random Baseline:

• Class distribution দেখুন।
• ৯০% positive, ১০% negative? "always positive" predictor = ৯০%।
• Confusion matrix বের করুন।
• Per-class accuracy — minority class কেমন?

(৩) Sanity Check #2 — Feature inspection:

• Most important feature কী?
• সরাসরি label-এর সাথে correlated?
• "contains_word_excellent" feature predict positive — okay.
• "customer_id" feature predict — leakage!

(৪) Sanity Check #3 — Train-Test Distribution:

• Train এবং Test feature distribution similar?
• KS-test বা PSI metric.
• Test যদি train-এর subset — leakage.

(৫) Sanity Check #4 — Duplicates:

• Exact duplicates train ও test-এ?
• Near-duplicates (cosine sim > 0.95)?
• Dedup pipeline চালান।

(৬) Sanity Check #5 — Time leakage:

• Test row-এর timestamp train-এর সব row-এর পরে?
• Random split-এ এটা হয় না — temporal split চাই।

(৭) Sanity Check #6 — Group leakage:

• একই user/product/topic দু'জায়গায়?
• Group-aware split পুনরায় করুন।
• Accuracy কি কমলো? কতটা?

(৮) Sanity Check #7 — Permutation test:

• Label random shuffle করুন।
• মডেল train, test accuracy দেখুন।
• ৫০%-এর কাছাকাছি? — ভাল।
• ৭০%? — leakage!

(৯) Sanity Check #8 — External validation:

• সম্পূর্ণ ভিন্ন source থেকে data.
• Production user-এর live feedback.
• Independent dataset.
• Performance drop = generalization issue.

(১০) Common sentiment leakage:

• "5 stars" mention text-এ — direct label leak.
• Reviewer pattern — same person same sentiment.
• Product-specific sentiment — same product overrepresented.
• Time-of-day correlation.

(১১) Acceptable scenarios:

• Movie review-এ ৯২-৯৫% achievable (IMDB benchmark)।
• Customer support ticket — ৯০% common.
• Tweet sentiment — ৭৫-৮৫%।
• Domain difficulty matters.

(১২) Documentation:

• সব leakage check document করুন।
• Reviewer/peer-এর check necessary.
• Production deploy-এর আগে stake-holder এ result honest present.

(১৩) Real example — Kaggle:

• Many competitions-এ winning solution leakage exploit.
• Subsequent disqualification.
• "Trust nothing, verify everything"।

মূল উপলব্ধি: ৯৬% accuracy = সংশয়। Senior data scientist-এর instinct — too good to be true সাধারণত is. Leakage hunting এক art. প্রতিটি high accuracy claim-এ ১০টি sanity check করুন। যদি বেঁচে থাকে — তখনই trust.

Synthetic data — AI development-এর next frontier. Real data scarce/expensive/private হলে এই road. কিন্তু সব কাজে না — limitation আছে।

(১) Synthetic Data কী?

• Computer-generated training data.
• 3 ধরন: Simulated (physics), Generative (GAN/Diffusion), Augmented (real + transform)।
• Goal: real data শেষ পর্যন্ত replace.

(২) Tesla Autopilot — সবচেয়ে বড় উদাহরণ:

• Real driving footage — billions of miles.
• Plus simulation: rare scenarios — pedestrian-এর hand sign, snow + heavy rain.
• Edge cases — real world-এ ১ লক্ষে ১বার, simulation-এ controllable.
• Andrej Karpathy: "Edge cases-ই বেশি important যেগুলো simulation-এ create"।

(৩) সফল ক্ষেত্র:

• Robotics: Sim2Real — simulation-এ million hours, real-এ deploy.
• Self-driving: Waymo, Tesla, Cruise — সবাই simulation-heavy.
• Game AI: AlphaGo self-play — কোনো human game ছাড়াই superhuman.
• Privacy-preserving: Medical imaging — synthetic patient data.
• Rare events: Fraud, defects — augment scarce positives.

(৪) যেখানে fail করে:

• Sim2Real gap: Simulation realistic না হলে — model real-এ ফেল।
• Distribution shift: Synthetic-এ train, real-এ test — distribution mismatch.
• Bias amplification: Generator যা শিখেছে সেটাই reproduce করে — bias বাড়ে।
• Human nuance: Sentiment, sarcasm, humor — simulator capture কঠিন।
• Long-tail: Generative model rare patterns reproduce-এ struggle.

(৫) Generative synthetic — pros & cons:

• Pro: scalable, customizable, privacy-friendly.
• Con: mode collapse, hallucination, distribution drift.
• Best practice: real + synthetic mix.

(৬) Domain Randomization:

• OpenAI Robot Hand — ১০,০০০ random simulations.
• Texture, lighting, friction — সব vary.
• Model "all situations"-এ robust.
• Real robot-এ zero-shot deploy.

(৭) NLP-তে synthetic data:

• GPT-4 দিয়ে label generate (data distillation)।
• Self-instruct: model নিজেই training data generate.
• Concern: model own bias amplify.
• Anthropic's Constitutional AI — synthetic preference data.

(৮) Quality control:

• Synthetic data validate — real samples-এর সাথে compare.
• FID score (image): real vs synthetic distribution distance.
• Downstream task-এ improvement check.
• "Synthetic alone" never enough — real anchor needed.

(৯) Privacy use case:

• Healthcare: synthetic patient records.
• Finance: synthetic transactions.
• Differential privacy guarantees.
• "Data sharing without sharing"।

(১০) Bangladesh applications:

• Bangla speech: limited recordings → synthetic voice + augmentation.
• Document OCR: synthetic Bangla documents (font/layout vary)।
• Agricultural disease: rare disease images via augmentation.
• Medical: privacy-aware synthetic patient data.

(১১) Recent advances:

• Stable Diffusion + DreamBooth: personalized synthetic images.
• NeRF: 3D scene synthesis থেকে novel views.
• LLM-generated tabular: realistic patient records.
• Reinforcement learning from synthetic environments.

(১২) Future trends:

• Foundation models trained mostly on synthetic data?
• Recursive: model generates own training data — self-improvement.
• Risk: model collapse — Shumailov et al. (২০২৩) দেখিয়েছেন।
• Anchor-real-data critical.

মূল উপলব্ধি: Synthetic data — powerful supplement, never full replacement (yet)। Tesla model: real data ground truth + simulation edge cases + continuous validation. Hype-এ পড়বেন না — measurement-এ trust.