scikit-learn-এর সাথে পরিচয়

২০১২-র ImageNet thunderclap-এর পর "deep learning সব problem-এ best" — এই myth ছড়াল। কিন্তু gradient boosted trees (XGBoost ২০১৪, LightGBM ২০১৬, CatBoost ২০১৭) এখনো tabular data-তে রাজা। Why?

প্রমাণ — Kaggle ও academic benchmark:

• Kaggle-এর tabular competition-এ ৭০-৮০% winning solution — XGBoost বা LightGBM।
• Shwartz-Ziv & Armon (২০২২) — "Tabular Data: Deep Learning is Not All You Need" — ১১টি dataset-এ XGBoost average-এ DL হারায়।
• Grinsztajn et al. (২০২২, NeurIPS) — ৪৫টি tabular benchmark-এ tree ensemble dominate।

কেন tree-based wins (tabular-এ):

• Heterogeneous feature: tabular-এ একটি column int (age), একটি float (price), একটি categorical (city)। Trees এ স্বাভাবিকভাবে handle। NN-এ embedding লাগে।
• Missing values: XGBoost native handle। NN-এ impute ও mask লাগে।
• Feature interaction: trees split-এ pairwise interaction শেখে। NN deep হলে শেখে — কিন্তু overkill।
• Robust to scale: tree scale-invariant। NN-এ careful scaling, BatchNorm।
• Small data efficiency: trees ১০,০০০ row-এ ভাল কাজ করে। NN-এ overfit।
• Inductive bias align: tabular-এ feature axis-aligned split-এ যথেষ্ট structure ধরা পড়ে।

Deep learning কখন wins (tabular-এও):

• বিশাল ডেটা (১০M+ row): NN scaling ভাল, GBDT memory-bound।
• Mixed modality: tabular + image + text → NN-এ unified embedding।
• Sequential structure: click stream, time-series — RNN/Transformer।
• Transfer learning: pretrained tabular foundation model (TabPFN, ২০২২) বাড়ছে।

আধুনিক tabular DL (২০২২+):

• FT-Transformer, TabNet — promising কিন্তু GBDT-কে consistently হারাতে পারছে না।
• TabPFN — small data-তে impressive, prior-data fitted network।

Production reality:

• LightGBM/XGBoost — train fast (CPU), inference fast (no GPU), interpretable (SHAP), small artifact। Production-এ DL-এর চেয়ে অনেক সহজ।
• Banking, e-commerce, ad-tech — tabular dominant; DL marginal।

সিদ্ধান্ত নিয়ম:

1. Tabular data + ১M row-এর কম → GBDT (XGBoost/LightGBM/CatBoost) প্রথম।
2. Image/text/audio → DL।
3. Mixed structure → DL দিয়ে fusion।
4. "What's interpretable?" — tree + SHAP এখনো best।

মূল উপলব্ধি: "Best algorithm" data-র structure-এর উপর নির্ভর। Tabular-এ — শতাব্দীর পুরোনো principle (gradient boosting Friedman ২০০১) আজও champion। Hype নয়, evidence-based বাছাই — সেটাই mature ML practice।

২০১১-তে Pedregosa et al.-এর JMLR paper "Scikit-learn: Machine Learning in Python" — শুধু একটি library announcement না, একটি API design philosophy। ১৫ বছর পরেও এর ছাপ সর্বত্র।

API-এর ৬টি core principle:

1. Consistency: সব estimator-এর একই interface। 60+ algorithm, একটাই pattern।
2. Inspection: hyperparameter ও learned parameter — public attribute। model.coef_, model.feature_importances_।
3. Non-proliferation: data structure NumPy ndarray + Pandas DataFrame — নতুন কাস্টম format নেই।
4. Composition: Pipeline, FeatureUnion — block বানিয়ে compose।
5. Sensible defaults: LogisticRegression() — কোনো arg ছাড়া কাজ করে।
6. Documentation: প্রতিটি class-এ docstring, example, রেফারেন্স paper।

কেন এই pattern এত contagious:

• Cognitive load কম: এক library শিখলেই সব বোঝা। RandomForest থেকে SVM switch — শুধু class বদলান।
• Tooling-friendly: GridSearchCV, cross_val_score — fit/predict-এ defined। যে কোনো মডেলে কাজ করে।
• Educational value: teaching-এ অসাধারণ — ML concept (fit, predict, score) language-level।
• Production workflow: serialize, load, deploy — uniform।

যারা এই pattern adopt করেছে:

• XGBoost / LightGBM: sklearn-compatible wrapper — ML pipeline-এ drop-in।
• Keras (২০১৫): model.fit(X, y), model.predict(X) — সরাসরি sklearn থেকে অনুপ্রাণিত।
• PyTorch Lightning: Trainer.fit(), Trainer.test() — boilerplate কমাতে scikit-style।
• Hugging Face Transformers: Trainer.train(), Trainer.evaluate()।
• fastai: learn.fit() — Jeremy Howard pedagogy।
• Spark MLlib: Pipeline + Transformer + Estimator — সরাসরি sklearn থেকে।
• cuML (NVIDIA): sklearn-compatible GPU ML — drop-in replacement।

সফল API design-এর লক্ষণ:

• Code-এর "shape" pattern চিনে — মাত্র ৩-৪ method মনে রাখলেই কাজ চলে।
• "How do I X with library Y?" — google-যোগ্য।
• Substitution test pass — "X দিয়ে যা করি, Y দিয়ে একই syntax-এ।"
• Beginner-এর জন্য সরল, expert-এর জন্য configurable।

সমালোচনা:

• Stateful API — fit object mutate করে। Functional purity নেই।
• NumPy-centric — modern stack-এ DataFrame/Tensor mix সমস্যা।
• Sparse matrix support uneven।
• Multi-output, multi-target — late-stage retrofit।

পাঠ — যেকোনো API design-এর জন্য:

• Few methods, applied broadly = power।
• Composability ছাড়া reusability নেই।
• Defaults matter বেশি, custom config matter কম।
• Documentation = library-র অর্ধেক।

মূল উপলব্ধি: sklearn-এর সাফল্য algorithm-এ না, API-এ। ১৫ বছর পরেও — fit/predict/score literally ML-এর "verb"। API design-এ এটা case study।

Andrew Ng বহুবার বলেছেন — "Data leakage is the #1 reason ML projects fail in production." ৯০% accuracy notebook-এ → ৬০% live-এ — কারণ leak। Subtle, common, expensive।

কী data leakage:

Test data বা future data-র information train phase-এ ঢুকে যাওয়া। Model artificially boost — কিন্তু production-এ এই information নেই → পতন।

(১) Preprocessing leak — সবচেয়ে common:

• ❌ scaler.fit(X) → train_test_split(X) — test-এর mean/std train phase-এ leak।
• ❌ SimpleImputer().fit(X) পুরো dataset-এ — test-এর missing pattern train-কে inform করে।
• ❌ Feature selection (e.g., SelectKBest) পুরো data-তে — target correlation দেখে select।
• ✅ Pipeline-এ scaler & imputer — শুধু train fold-এ fit, test-এ transform।

(২) Target encoding leak:

• ❌ Categorical column-কে target mean দিয়ে encode (e.g., "city → avg_purchase_per_city") — full data দিয়ে compute। Test row-এর target নিজেই avg-এ included।
• ✅ Out-of-fold target encoding বা category_encoders.TargetEncoder-এর smoothing।
• ✅ Pipeline-এ encoder → fold-aware।

(৩) Time-series leak — "future" feature:

• ❌ Random k-fold CV time-series-এ — March data দিয়ে train, January predict — impossible production-এ।
• ❌ "Mean of last 7 days" feature compute-এ আজকের data যোগ — leak।
• ✅ TimeSeriesSplit — temporal order maintain।
• ✅ Lag features — strict cutoff (t-1, t-7) এর আগের।
• ✅ Walk-forward validation।

আরও subtle leak scenario:

• ID-based leak: patient_id train+test দু'জায়গায় — same patient-এর different visit। Group-aware split (GroupKFold)।
• Duplicate row: exact বা near-duplicate train ও test-এ — model "মুখস্থ" করে। Dedup আগে।
• Future encoded in past: "user churned" target। Feature "subscription_canceled_date" — same কথা ভিন্নভাবে।
• Selection bias: sample selection process target-correlated। Sampling logic carefully।
• Image dataset leak: train ও test-এ same patient-এর different image — model patient চিনে।

Pipeline কীভাবে রক্ষা করে:

• প্রতিটি CV fold-এ — entire pipeline fresh fit। Scaler, imputer, encoder — শুধু train fold দেখে।
• Test fold-এ পুরো pipeline transform → predict। Leak structurally impossible।
• Hyperparameter search-এ GridSearchCV(pipeline, param_grid) — সব stage-এর hyperparameter একসাথে tune, leak-free।
• Production deploy — same pipeline object। Train-test mismatch ০।

Leak detect করার উপায়:

• "Too good to be true" accuracy — sanity alarm।
• Permutation importance — যদি একটি feature suspiciously high → suspect।
• Holdout set যা never touched — final check।
• Production-এ A/B test → notebook number-এর চেয়ে কম হলে leak সম্ভাবনা।

মূল উপলব্ধি: Leak = ML-এর spaghetti code। Production-এ ধরা পড়ে — ব্যয়বহুল। Pipeline + temporal split + group-aware CV = structural defense। Discipline ও tooling দু'টো লাগে। কাগ্‌জে ৯৯% — production-এ ৬০%। সেই ৪০% gap-ই leak। সম্ভবত কোম্পানি বদলায় career-এ — কিন্তু leak-এর pattern একই থাকে।

ML model-এর performance ৫০% feature, ৩০% data, ১৫% algorithm, ৫% hyperparameter — এই rule of thumb। কিন্তু সেই ৫% হাজার-ডলার-business value-এর অর্ধেক হতে পারে। GridSearchCV সেই ৫% সিস্টেমেটিকভাবে।

Pipeline + GridSearchCV কেন এত শক্তিশালী:

• Unified API: preprocessing-এর hyperparameter (e.g., n_components of PCA) ও model-এর hyperparameter (e.g., C of LogReg) একসাথে tune।
• Leak-free: প্রতি CV fold-এ entire pipeline fresh — preprocessing leak ০।
• Reproducibility: single object — train, save, load, deploy।
• Best estimator auto-extract: grid.best_estimator_ — ready to predict।

সরল উদাহরণ:

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV

pipe = Pipeline([
    ("scaler", StandardScaler()),
    ("pca",    PCA()),
    ("clf",    LogisticRegression(max_iter=1000)),
])

grid = {
    "pca__n_components": [2, 3, 4],
    "clf__C": [0.01, 0.1, 1, 10],
    "clf__penalty": ["l1", "l2"],
    "clf__solver": ["liblinear"],
}

search = GridSearchCV(pipe, grid, cv=5, scoring="accuracy",
                      n_jobs=-1, verbose=1)
search.fit(X, y)
print(search.best_params_, search.best_score_)

Compute cost calculation:

• উপরে: ৩ × ৪ × ২ = ২৪ combination × ৫ fold = ১২০টি fit।
• Realistic — ১০ hyperparameter, প্রতিটি ৫ value → ১০M combination — কয়েক দিন।
• Big data + complex model → impossible।

Cost কমানোর strategy:

(১) RandomizedSearchCV — exhaustive-এর বদলে sample:

• সমস্ত combination check না করে — random ১০০টি।
• Bergstra & Bengio (২০১২) — random ≥ grid most cases।
• Continuous parameter-এ আদর্শ।

(২) HalvingGridSearchCV (sklearn ০.২৪+):

• Successive halving — কম resource-এ অনেক candidate, পরে winner-দের বেশি resource।
• প্রায় ১০× faster, similar quality।

(৩) Bayesian optimization (Optuna, Hyperopt):

• Past trial থেকে শিখে — পরের trial smart।
• ৫-১০× কম trial-এ same quality।
• optuna — sklearn-compatible, modern best choice।

(৪) Parallelism:

• n_jobs=-1 — সব CPU core।
• Dask + dask-ml — multiple machine।
• Ray Tune — distributed hyperparameter search।

(৫) Smart search space:

• Log-scale (regularization C: 0.001 → 1000) — log-uniform।
• Domain knowledge — যৌক্তিক range।
• Iterative — coarse search → narrow → fine।

(৬) Cheaper proxy:

• Subsample data-তে quick exploration।
• Smaller model-এ trend check, full model-এ final।
• Fewer CV folds (3 instead of 10) early stage-এ।

(৭) Early stopping:

• GBDT-তে validation loss না কমলে stop।
• NN-এ patience-based early stopping।
• Optuna-র pruner — bad trial early kill।

Best practice workflow:

1. Quick baseline — default hyperparameter, ১ minute fit।
2. Coarse RandomizedSearchCV — ১০-৫০ trial।
3. Optuna fine-tune — ১০০-৫০০ trial top region-এ।
4. Final model — best params, full data refit।
5. Holdout test set — single number reporting।

Production caveat:

• Hyperparameter tune একবার না — periodically retrain।
• Monitor production performance; drift হলে retune।
• Tune cost vs business value — Pareto-rationale।

মূল উপলব্ধি: Hyperparameter search compute-এর সাথে quality-র tradeoff। GridSearchCV — pedagogically সহজ; production-এ Optuna/Bayesian + smart search space। Cost কমাতে — proxy, early stopping, parallel। সেরা ML practitioner-রা compute-এ ১০০× কম খরচ করে similar quality পান — discipline + tooling।