Machine Learning-এর মানচিত্র — AI-এর ভিত্তি থেকে কোথায় যাচ্ছি

১ · এই কোর্স কার জন্য, আর সঙ্গে কী নিয়ে আসছেন

ধরুন আপনি বাজারঘরের (এই কোর্সের কাল্পনিক অনলাইন দোকান) ডেটা দলে যোগ দিলেন। প্রথম সপ্তাহেই তিনটি প্রশ্ন এলো: কোন গ্রাহক চলে যেতে পারেন, কোন জেলায় আগামী মাসে কত অর্ডার আসবে, আর বাংলা রিভিউগুলোতে মানুষ আসলে কী নিয়ে অভিযোগ করছেন। তিনটিই machine learning-এর প্রশ্ন, কিন্তু তিনটির জন্য তিন রকম model, তিন রকম মূল্যায়ন। একটি fit আর একটি predict জানলেই এখানে কাজ চলে না। কোন model কেন, কোন ধারণার ওপর দাঁড়িয়ে, কখন ভুল করে, আর নম্বরটি কতটা বিশ্বাসযোগ্য, সেটা বুঝতে হয়। এই কোর্সের কাজ সেটাই।

কোর্সটি কয়েক রকম পাঠকের কথা ভেবে লেখা:

• যাঁরা AI-এর ভিত্তি আর Python for AI কোর্স শেষ করেছেন, বা তার বিষয়গুলো জানেন, আর এখন machine learning-এর আসল গভীরতা চান।
• CSE, EEE, ICT বা পরিসংখ্যানের শিক্ষার্থী, যাঁরা Machine Learning, Pattern Recognition, Data Mining বা Data Science পড়ছেন।
• Data scientist, data analyst, ML engineer বা AI engineer পদের ইন্টারভিউ, আর IT officer-এর লিখিত পরীক্ষার প্রার্থী।
• কর্মরত developer, analyst আর গবেষক, যাঁরা কাজে ML ব্যবহার করেন আর ভিত্তি মজবুত করতে চান।

আগের কোর্স থেকে যা সঙ্গে আনছেন

AI-এর ভিত্তি কোর্সে যা শেখানো হয়েছে, এখানে তা আবার শেখানো হবে না; দরকার হলে এক-দুই লাইনে মনে করিয়ে লিংক দেওয়া হবে। সংক্ষেপে আপনার ঝুলিতে আছে:

• Python আর ডেটার টুল: uv আর venv (AI-এর ভিত্তি কোর্সের পর্ব ৭), NumPy-র shape, broadcasting আর random (পর্ব ১৩–১৯), pandas-এর groupby আর merge (পর্ব ২০–২৭), matplotlib আর seaborn (পর্ব ২৮–৩২)।
• গণিতের প্রথম ধাপ: vector, derivative আর gradient descent (AI-এর ভিত্তি কোর্সের পর্ব ৩৪), সম্ভাবনা, distribution, পরিসংখ্যান আর entropy (পর্ব ৩৫–৩৮), Bayes আর Naive Bayes (পর্ব ৫০–৫১)।
• ML-এর প্রথম পরিচয়: শেখা কী (পর্ব ৫৫), train/validation/test আর leakage (পর্ব ৫৬), k-NN, linear আর logistic regression (পর্ব ৫৭–৫৯), metric (পর্ব ৬০), overfitting আর bias–variance (পর্ব ৬১), EDA, feature engineering আর pipeline (পর্ব ৬২–৬৪), cross-validation আর tree-forest-boosting-এর প্রথম দেখা (পর্ব ৬৬), আর একটি পুরো প্রকল্পের জীবনচক্র (পর্ব ৭৪)।

এই কোর্সে Python ভাষা নিজে শেখানো হয় না; ভাষার জন্য আছে আলাদা Python প্রোগ্রামিং কোর্স। SQL লাগলে DBMS ও SQL, আর algorithm-এর জটিলতার হিসাব লাগলে DSA কোর্স পাশে খোলা রাখতে পারেন।

আগের কোর্স থেকে এই কোর্স আলাদা কোথায়

AI-এর ভিত্তি কোর্সে প্রশ্ন ছিল “কীভাবে চালাব?” এখানে প্রশ্ন “কেন কাজ করে, কখন করে না, আর কতটা নিশ্চিত?” আগে logistic regression-এর loss-কে আপনি ব্যবহার করেছেন; এখানে তার convexity প্রমাণ করবেন, আর দেখবেন কেন gradient descent তার একমাত্র সর্বনিম্ন বিন্দুতে পৌঁছায়। আগে random forest একটি প্রার্থী ছিল; এখানে দেখবেন কেন অনেক গাছের গড় variance কমায়, আর কেন out-of-bag error একটি বিনা খরচের validation. আগে নম্বর ছিল একটি সংখ্যা; এখানে নম্বরের সঙ্গে থাকবে তার অনিশ্চয়তা।

নিচের ডায়াগ্রামে পুরো পথটি ধাপে ধাপে দেখুন। “পরে” চাপুন।

২ · নিজেকে যাচাই — শুরুর আগে একটি ছোট পরীক্ষা

নিচের আটটি প্রশ্ন কাগজ-কলমে করুন, তারপর উত্তর মেলান। প্রতিটির সঙ্গে লিংক আছে: ভুল হলে সেই পর্বটি একবার দেখে আসুন। ছয় বা তার বেশি ঠিক হলে সরাসরি এগোতে পারেন; চারের কম হলে AI-এর ভিত্তি কোর্সের মডিউল ৩, ৬ আর ১০ আগে ঝালিয়ে নেওয়া ভালো। এটা কোনো বাধা নয়, শুধু আপনার নিজের জন্য একটি মাপকাঠি।

1. Shape আর axis: a = np.arange(6).reshape(2, 3) হলে a.sum(axis=0) কী?
   [3 5 7]. a-এর সারি [0 1 2] আর [3 4 5]; axis=0 মানে সারি বরাবর নেমে যোগ, প্রতিটি কলামের একটি যোগফল। ভুল হলে AI-এর ভিত্তি কোর্সের পর্ব ১৬।

2. Broadcasting: shape (4, 3) থেকে shape (3,) বিয়োগ করলে ফল কী shape? আর shape (4,)?
   (3,) হলে ফল (4, 3): ডান দিক থেকে মেলালে 3 আর 3 মেলে। (4,) হলে error, কারণ শেষ মাত্রা 3 আর 4 মেলে না, কোনোটি 1-ও নয়। প্রতিটি কলাম থেকে তার গড় বাদ দেওয়া (X - X.mean(axis=0)) এই নিয়মেই চলে। দেখুন AI-এর ভিত্তি কোর্সের পর্ব ১৫।

3. Bayes: একটি রোগ ২% মানুষের। পরীক্ষা রোগীর ৯০% ক্ষেত্রে positive, সুস্থ মানুষের ৫% ক্ষেত্রে ভুল করে positive. Positive এলে রোগ থাকার সম্ভাবনা কত?
   0.9 × 0.02 = 0.018; 0.05 × 0.98 = 0.049; উত্তর 0.018 / 0.067 ≈ ০.২৭। রোগ বিরল বলে বেশিরভাগ positive আসলে ভুল positive. দেখুন AI-এর ভিত্তি কোর্সের পর্ব ৫০।

4. Gradient descent: f(w) = (w − 3)², শুরু w = 0, learning rate 0.1. এক ধাপ পরে w কত?
   f′(w) = 2(w − 3), তাই w = 0-তে ঢাল −6. নতুন w = 0 − 0.1 × (−6) = ০.৬, সর্বনিম্ন বিন্দু ৩-এর দিকে। দেখুন AI-এর ভিত্তি কোর্সের পর্ব ৩৪।

5. Metric: TP = 30, FP = 10, FN = 20. Precision আর recall কত?
   Precision = 30 / (30 + 10) = ০.৭৫; recall = 30 / (30 + 20) = ০.৬০। Precision প্রশ্ন করে “যাদের positive বললাম, তাদের কতজন সত্যিই positive?”, recall প্রশ্ন করে “সত্যিকারের positive-দের কতজনকে ধরলাম?” দেখুন AI-এর ভিত্তি কোর্সের পর্ব ৬০।

6. Leakage: একজন সহকর্মী পুরো ডেটায় StandardScaler fit করে তারপর train আর test ভাগ করলেন। সমস্যা কী?
   Test অংশের গড় আর ছড়ানো scaler-এর ভেতরে ঢুকে গেছে, অর্থাৎ test-এর তথ্য train-এ ফাঁস (data leakage). ঠিক উপায়: আগে ভাগ, তারপর scaler-সহ Pipeline, যাতে প্রতিটি fold-এ শুধু train অংশে fit হয়। দেখুন AI-এর ভিত্তি কোর্সের পর্ব ৫৬ আর পর্ব ৬৪।

7. Overfitting: Train accuracy ০.৯৯, validation ০.৭০। কোন সমস্যা, আর দুটি প্রতিকার কী?
   উচ্চ variance, অর্থাৎ overfitting: model train ডেটা মুখস্থ করেছে। প্রতিকার: model সরল করা বা regularization বাড়ানো (ridge-এর λ, গাছের গভীরতা কমানো), আর সম্ভব হলে আরও ডেটা। দেখুন AI-এর ভিত্তি কোর্সের পর্ব ৬১।

8. Cross-validation: ২০% positive-এর ডেটায় সাধারণ k-fold-এর বদলে StratifiedKFold কেন, আর test set কতবার দেখা উচিত?
   Stratified ভাগে প্রতিটি fold-এ positive-এর অনুপাত প্রায় ২০% থাকে, তাই fold-এর score কম লাফায়। Test set শুধু একবার, সব বাছাই শেষে; বারবার দেখলে test নিজেই validation হয়ে যায়। দেখুন AI-এর ভিত্তি কোর্সের পর্ব ৬৬।

কোডে ঝালাই: আগে অনুমান, তারপর চালান

নিচের ব্লকে পাঁচটি ছোট লাইন। প্রতিটি লাইনের আউটপুট কী হবে, আগে কাগজে লিখুন, তারপর Run চাপুন। ব্লকটি এই পাতাতেই, আপনার ব্রাউজারে চলে (Pyodide: WebAssembly-তে compile করা আসল CPython). প্রথমবার Python আর scikit-learn নামতে প্রায় ১০ সেকেন্ড লাগতে পারে; পরের ব্লকগুলো দ্রুত চলে।

import sys
import numpy as np, pandas as pd, scipy, sklearn
from sklearn.metrics import precision_score, recall_score
from sklearn.preprocessing import StandardScaler

print("Python", sys.version.split()[0], "| numpy", np.__version__, "| pandas", pd.__version__,
      "| scipy", scipy.__version__, "| sklearn", sklearn.__version__)
a = np.arange(6).reshape(2, 3)
print("1)", a.sum(axis=0), a.mean(axis=1))                 # কোন axis-এ কী?
print("2)", (a - a.mean(axis=0)).shape, a.dtype)           # broadcasting আর dtype

df = pd.DataFrame({"district": ["ঢাকা", "খুলনা", "ঢাকা", "সিলেট", "খুলনা"],
                   "orders": [3, 1, 5, 2, 4]})
print("3)", df.groupby("district")["orders"].mean().to_dict())

y_true = [1, 1, 1, 0, 0, 0, 0, 1]
y_pred = [1, 0, 1, 1, 0, 0, 0, 0]
print("4)", round(precision_score(y_true, y_pred), 3), recall_score(y_true, y_pred))

s = StandardScaler().fit(np.array([[1.0], [2.0], [3.0]]))
print("5)", s.transform([[4.0]]).ravel().round(3))         # sd কোন সূত্রে?

Python 3.14.2 | numpy 2.4.6 | pandas 3.0.2 | scipy 1.18.0 | sklearn 1.8.0
1) [3 5 7] [1. 4.]
2) (2, 3) int32
3) {'খুলনা': 2.5, 'ঢাকা': 4.0, 'সিলেট': 2.0}
4) 0.667 0.5
5) [2.449]

৩ · ১৪ মডিউলের মানচিত্র

নিচের মানচিত্রে ১৪টি মডিউল রঙ অনুযায়ী ছয়টি স্তরে ভাগ করা। ওপর থেকে নিচে পড়ুন: প্রতিটি স্তর আগের স্তরের ভাষা ব্যবহার করে। তবে পথটি পুরো সরলরেখা নয়। যেমন মডিউল ১২-এর SQL বা A/B test মডিউল ৬–৯ ছাড়াই পড়া যায়, আর মডিউল ১৪ যেকোনো সময় ঝালাইয়ের জন্য খুলতে পারেন।

কয়েকটি নির্ভরতা মনে রাখার মতো। SVM-এর dual problem (পর্ব ২৮) বুঝতে Lagrange আর KKT (পর্ব ১৬) লাগবে। PCA থেকে recommender পর্যন্ত অনেক কিছু দাঁড়িয়ে আছে SVD-র ওপর (পর্ব ৯)। Gradient boosting (পর্ব ৩৫) আসলে function-এর জগতে gradient descent, তাই পর্ব ১৩ আগে পড়া থাকলে সহজ হবে। আর Bayesian linear regression (পর্ব ৪৫) পড়ার আগে multivariate Gaussian (পর্ব ১৯) জানা চাই।

এই কোর্সের পরে কী

এই কোর্সে neural network ইচ্ছা করেই খুব কম। ABCL TECH-এ নতুন করে তৈরি হতে থাকা পরের কোর্সগুলো সেই দিকগুলো নেবে: Deep Learning (network-এর training, CNN, RNN, Transformer, বড় model চালানো), NLP (ভাষার model আর বাংলা লেখার প্রক্রিয়া), Generative AI (LLM দিয়ে অ্যাপ, RAG, মূল্যায়ন), Computer Vision, Reinforcement Learning, MLOps (deploy, নজরদারি আর retrain-এর পুরো ব্যবস্থা), Data Engineering আর AI Ethics. এই কোর্সের গণিত, optimization আর মূল্যায়নের অভ্যাস সেগুলোর সবগুলোতে কাজে লাগবে।

৪ · ML পদ্ধতির পরিবার — কে কখন মানায়

শত শত অ্যালগরিদমের নাম শুনে ঘাবড়ানোর কারণ নেই। বেশিরভাগই অল্প কয়েকটি পরিবারের সদস্য, আর প্রতিটি পরিবারের একটি মূল অনুমান আছে: পৃথিবী দেখতে কেমন, সে বিষয়ে model আগে থেকে কী ধরে নেয়। এই আগাম অনুমানকে বলে inductive bias. কোন পরিবার আপনার ডেটায় ভালো করবে, তা অনেকটা নির্ভর করে তার inductive bias ডেটার আসল গঠনের সঙ্গে কতটা মেলে।

টেবিলের “সাধারণত” শব্দটি গুরুত্বপূর্ণ। এগুলো প্রবণতা, নিয়ম নয়। No free lunch-এর ফলাফল বলে, সব সম্ভাব্য সমস্যার গড় নিলে কোনো শেখার পদ্ধতিই অন্যটির চেয়ে ভালো নয় (AI-এর ভিত্তি কোর্সের পর্ব ৫৫-এ এর পরিচয় আছে, আর পর্ব ৩ “শেখার তত্ত্ব”-এ আরও গভীরে)। বাস্তবের সমস্যা অবশ্য সব সম্ভাব্য সমস্যার গড় নয়; বাস্তবের ডেটার কিছু নিয়মিত গঠন থাকে, আর সেই গঠনের সঙ্গে মেলানোই model বাছাইয়ের শিল্প।

ডেটা আর লক্ষ্য দেখে প্রার্থী বাছাই

নতুন সমস্যায় সরাসরি সবচেয়ে জনপ্রিয় model-এ ঝাঁপ না দিয়ে কয়েকটি প্রশ্ন করুন। নিচের ডায়াগ্রামে বাজারঘরের churn সমস্যায় প্রশ্নগুলো একটি একটি করে চলছে। এখানে churn মানে: একজন গ্রাহক পরের ৬০ দিনে আর কোনো অর্ডার দেননি।

y = churn (০ বা ১)
→ supervised
→ binary classification

n = 800 গ্রাহক, p = 7 কলাম
সব কলাম সংখ্যা, একটি টেবিল
churn-এর হার প্রায় ২০%

৪৫ দিন চুপ → ঝুঁকি লাফিয়ে বাড়ে
দেরি × অভিযোগ → একসঙ্গে খারাপ
অর্ডার বাড়লে ঝুঁকি কমে

কাজ: কাকে আগে ফোন
→ ক্রম দরকার → ROC AUC
সম্ভাবনা লাগলে → calibration

logistic  : সরল, ব্যাখ্যা সহজ
RBF SVM   : মসৃণ বাঁকা সীমানা
hist gb   : threshold, interaction
baseline  : কিছু না শিখে কত?

একই StratifiedKFold(5)
গড় ± ছড়ানো, fold ধরে পার্থক্য
তারপর learning curve

৫ · প্রথম তুলনা — বাজারঘরের churn-এ তিন পরিবার, একই fold-এ

ডেটা পুরো বানানো, seed 42 দিয়ে, যাতে সব পাঠক হুবহু একই সংখ্যা পান। ৮০০ জন কাল্পনিক গ্রাহক, সাতটি কলাম: কত মাস ধরে গ্রাহক (tenure), গত ৯০ দিনে অর্ডার, শেষ অর্ডারের পর কত দিন (recency), গড় বাস্কেট (টাকা), দেরিতে পৌঁছানো অর্ডারের ভাগ, অভিযোগের সংখ্যা, আর অ্যাপ ব্যবহার করেন কি না। Churn-এর পেছনের লুকোনো নিয়মও আমাদের লেখা: ৪৫ দিনের বেশি চুপ থাকলে ঝুঁকি লাফিয়ে বাড়ে, অর্ডার আর পুরোনো সম্পর্ক ঝুঁকি কমায়, অ্যাপ ব্যবহারকারীরা কম চলে যান, আর দেরি ও অভিযোগ একসঙ্গে থাকলে ঝুঁকি অনেক বাড়ে। তার ওপর এলোমেলোতা।

প্রত্যেক প্রার্থী একই StratifiedKFold-এর একই ৫টি ভাগে মাপা হয় (cross-validation, AI-এর ভিত্তি কোর্সের পর্ব ৬৬)। Logistic আর SVM দূরত্ব বা ওজনের মাপে সংবেদনশীল, তাই তাদের আগে standardization, pipeline-এর ভেতরে; গাছের তা লাগে না। কোনো model-এর সেটিং খোঁজা হয়নি, প্রায় সবই default: এটি প্রথম দেখা, প্রতিযোগিতা নয়।

import numpy as np, pandas as pd
from sklearn.model_selection import StratifiedKFold, cross_validate
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.dummy import DummyClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import HistGradientBoostingClassifier

rng = np.random.default_rng(42)                      # বাজারঘরের ৮০০ জন কাল্পনিক গ্রাহক
n = 800
tenure, orders = rng.integers(1, 49, n), rng.poisson(2.5, n)   # কত মাসের গ্রাহক; ৯০ দিনে অর্ডার
recency = np.round(rng.exponential(30, n)) + 1       # শেষ অর্ডারের পর কত দিন
basket = np.round(rng.lognormal(7.0, 0.5, n), -1)    # গড় বাস্কেট, টাকা
late, complaints = np.round(rng.beta(2, 6, n), 2), rng.poisson(0.4, n)   # দেরির ভাগ; অভিযোগ
app = (rng.random(n) < 0.5).astype(int)              # অ্যাপ ব্যবহার করেন কি না
z = (-0.3 + 2.2 * (recency > 45) - 0.45 * orders - 0.03 * tenure
     + 3.5 * late * (complaints > 0) - 0.6 * app + 0.15 * np.log(basket / 1100))
y = (rng.random(n) < 1 / (1 + np.exp(-z))).astype(int)   # 1 = পরের ৬০ দিনে অর্ডার নেই
X = pd.DataFrame({"tenure": tenure, "orders_90d": orders, "recency": recency, "basket": basket,
                  "late_share": late, "complaints": complaints, "app": app})
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)   # সবার জন্য একই ৫টি fold
models = {"baseline": DummyClassifier(),
          "logistic": make_pipeline(StandardScaler(), LogisticRegression()),
          "svm rbf": make_pipeline(StandardScaler(), SVC()),
          "hist gb": HistGradientBoostingClassifier(max_depth=3, learning_rate=0.05, random_state=42)}
print("X", X.shape, "| churn rate", round(y.mean(), 3))
auc = {}
for name, m in models.items():
    r = cross_validate(m, X, y, cv=cv, scoring=["roc_auc", "accuracy"])
    auc[name] = r["test_roc_auc"]
    print(f"{name:8s} AUC {auc[name].mean():.3f} ± {auc[name].std():.3f} | acc {r['test_accuracy'].mean():.3f}")
d = auc["hist gb"] - auc["logistic"]
print("hist gb - logistic, fold by fold:", d.round(3), "| wins", (d > 0).sum(), "of 5")

X (800, 7) | churn rate 0.201
baseline AUC 0.500 ± 0.000 | acc 0.799
logistic AUC 0.757 ± 0.037 | acc 0.815
svm rbf  AUC 0.716 ± 0.058 | acc 0.816
hist gb  AUC 0.773 ± 0.040 | acc 0.826
hist gb - logistic, fold by fold: [ 0.025  0.026 -0.002  0.014  0.012] | wins 4 of 5

৬ · ছবিতে পার্থক্য — decision boundary আর learning curve

সংখ্যা বলে কে কতটা ভালো; ছবি বলে কেন। একটি model ইনপুটের জায়গাকে যে রেখা দিয়ে “churn” আর “থাকবেন” অংশে ভাগ করে, তাকে বলে decision boundary. সাত মাত্রার জায়গা আঁকা যায় না, তাই নিচের ব্লক শুধু দুটি feature নেয়: শেষ অর্ডারের পর কত দিন, আর গত ৯০ দিনে কতটি অর্ডার। তিন পরিবারকে এই দুটি দিয়েই নতুন করে fit করে, আর প্রতিটির decision_function-এর মান রঙে আঁকে: লাল মানে churn-এর দিকে, নীল মানে থাকার দিকে, কালো রেখা শূন্যের সীমানা। কালো ক্রস হলো সত্যিকারের churn গ্রাহক।

import numpy as np
import matplotlib.pyplot as plt
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import HistGradientBoostingClassifier

X2 = X[["recency", "orders_90d"]].to_numpy(dtype=float)   # শুধু দুটি feature, যাতে আঁকা যায়
fam = {"logistic regression": make_pipeline(StandardScaler(), LogisticRegression()),
       "RBF SVM": make_pipeline(StandardScaler(), SVC()),
       "hist gradient boosting": HistGradientBoostingClassifier(max_depth=3, learning_rate=0.05, random_state=42)}
gx, gy = np.meshgrid(np.linspace(0, 240, 241), np.linspace(-0.5, 10, 106))
grid = np.c_[gx.ravel(), gy.ravel()]
probe = np.array([[20, 1], [50, 1], [80, 1], [80, 5]], dtype=float)   # চারজন কাল্পনিক গ্রাহক
jit = np.random.default_rng(0).uniform(-0.25, 0.25, len(y))          # শুধু ছবিতে বিন্দু ছড়াতে
ch = y == 1
fig, axes = plt.subplots(1, 3, figsize=(10, 3.4), sharey=True, layout="constrained")
for ax, (name, m) in zip(axes, fam.items()):
    s = m.fit(X2, y).decision_function(grid).reshape(gx.shape)   # s > 0 মানে churn অনুমান
    ax.contourf(gx, gy, s, levels=np.linspace(-4, 4, 17), cmap="RdBu_r", extend="both")
    ax.contour(gx, gy, s, levels=[0], colors="k", linewidths=1.5)
    ax.scatter(X2[~ch, 0], X2[~ch, 1] + jit[~ch], s=4, c="white", alpha=0.7)
    ax.scatter(X2[ch, 0], X2[ch, 1] + jit[ch], s=12, c="black", marker="x", linewidths=0.8)
    ax.set_title(name, fontsize=10); ax.set_xlabel("days since last order")
    print(f"{name:22s} score:", m.decision_function(probe).round(2))
axes[0].set_ylabel("orders in last 90 days")
plt.show()

logistic regression    score: [-1.1  -0.53  0.04 -1.72]
RBF SVM                score: [-1.06 -0.36  0.23 -0.82]
hist gradient boosting score: [-2.18  1.28  0.2  -1.87]

Learning curve — ডেটা বাড়লে ক্রম বদলায়

একটি learning curve দেখায়, train ডেটা বাড়ালে validation score কীভাবে বদলায় (AI-এর ভিত্তি কোর্সের পর্ব ৬১-এ এর পরিচয়)। নিচের ব্লক আগের ব্লকের models, X, y আর cv ব্যবহার করে (data-shared), আর একই ৫টি fold-এর প্রতিটির train অংশ থেকে ৬০, ১৫০, ৩০০ আর ৬৪০ জন নিয়ে তিন পরিবার শেখায়। মোট ৬০টি fit, তাই কয়েক সেকেন্ড লাগতে পারে।

import matplotlib.pyplot as plt
from sklearn.model_selection import learning_curve

sizes = [60, 150, 300, 640]                          # train-এ কতজন গ্রাহক
plt.figure(figsize=(6, 3.6), layout="constrained")
for name in ["logistic", "svm rbf", "hist gb"]:      # আগের ব্লকের models, X, y, cv
    sz, tr, va = learning_curve(models[name], X, y, cv=cv, scoring="roc_auc",
                                train_sizes=sizes, shuffle=True, random_state=0)
    print(f"{name:8s} val AUC {va.mean(axis=1).round(3)} | train AUC {tr.mean(axis=1).round(3)}")
    plt.plot(sz, va.mean(axis=1), "o-", label=name)
plt.xlabel("training customers"); plt.ylabel("mean validation ROC AUC")
plt.title("Learning curves on the same 5 folds"); plt.legend(fontsize=8)
plt.show()

logistic val AUC [0.683 0.742 0.748 0.757] | train AUC [0.815 0.772 0.765 0.768]
svm rbf  val AUC [0.666 0.667 0.699 0.716] | train AUC [0.96  0.936 0.886 0.843]
hist gb  val AUC [0.64  0.73  0.743 0.773] | train AUC [0.877 0.967 0.941 0.908]

৭ · টুল আর version — পাতায় কী চলে, ডেস্কটপে কী

এই কোর্সের প্রধান টুল আপনার ব্রাউজারেই চলে। চালানো যায় এমন প্রতিটি Python ব্লক Pyodide-এ চলে, তাতে NumPy, SciPy, pandas, scikit-learn, matplotlib আর statsmodels আছে; কিছুই install করতে হয় না। কিছু টুল পাতায় চলে না, বা চললেও ভারী: XGBoost, LightGBM, CatBoost, SHAP, Optuna, MLflow, FastAPI, Streamlit, Polars, DuckDB. এগুলো আমরা ডেস্কটপে সত্যিই চালিয়ে আউটপুট পাতায় দিই, “সত্যিকারের run” লেখাসহ। কোনো কিছু চালানো না গেলে তা স্পষ্ট লেখা থাকবে, আর অনুমানের আউটপুটে লেখা থাকবে “নমুনা”।

পাতা আর ডেস্কটপের scikit-learn-এর version আলাদা (1.8.0 বনাম 1.9.1), তাই একই কোডের শেষ দশমিকে মাঝে মাঝে তফাত হতে পারে। API-ও বদলায়: যেমন scikit-learn 1.9-এ SVC(probability=True) deprecated হয়েছে, ভবিষ্যতে সরানো হবে বলে ঘোষণা আছে; এই পর্বের ছবিতে তাই SVM-এর decision_function ব্যবহার হয়েছে। নিজের কম্পিউটারে একই পরিবেশ বানাতে uv (AI-এর ভিত্তি কোর্সের পর্ব ৭):

uv venv --python 3.14
uv pip install numpy pandas scipy scikit-learn matplotlib statsmodels
uv pip install xgboost lightgbm catboost shap optuna

নিচে সেই venv-এ একটি সত্যিকারের run (Windows-এর ডেস্কটপ, Python 3.14.4). স্ক্রিপ্টটি পাতার হুবহু একই ৮০০ জন গ্রাহক আর একই ৫টি fold নেয়, আর তিনটি জনপ্রিয় boosting library চালায়, প্রায় একই সেটিংয়ে (২০০টি গাছ, অগভীর, learning rate 0.05). এরা কী, কোথায় আলাদা, তা পর্ব ৩৬-এ; এখানে শুধু দেখা যে পাতার বাইরের টুলও একই কাঠামোয় মাপা হয়।

~/bazarghar-ml$ python boosters.py
Python 3.14.4
  numpy        2.5.4
  pandas       3.1.1
  scikit-learn 1.9.1
  xgboost      3.4.1
  lightgbm     4.7.0
  catboost     1.2.10
  shap         0.54.1
  optuna       5.0.0
  statsmodels  0.15.0
xgboost   AUC 0.774 ± 0.036
lightgbm  AUC 0.767 ± 0.030
catboost  AUC 0.779 ± 0.029

তিনটিই পাতার HistGradientBoostingClassifier-এর ০.৭৭৩-এর আশেপাশে, ±০.০৩-এর মধ্যে। এই ডেটায় library বদলে প্রায় কিছুই লাভ নেই; বড় ডেটা, category-ভরা কলাম বা গতির প্রশ্নে পার্থক্য আসে। এটি একটি ডেটাসেটে একবারের স্থানীয় run, সাধারণ ফলাফল নয়।

৮ · একটি পর্ব কীভাবে সাজানো, আর কীভাবে পড়বেন

এই কোর্সের প্রতিটি পর্ব একই ছাঁচে তৈরি, যাতে আপনি জানেন কোথায় কী পাবেন, আর কোন অংশ নিজের স্তর অনুযায়ী আগে-পরে পড়বেন। নিচের ডায়াগ্রামে ছাঁচটি, আর প্রতিটি অংশ পড়ার পরামর্শ।

গণিতের গতি আর অভ্যাস

• প্রথম পড়ায় সব প্রমাণ নয়। মডিউল ২–৪-এর কোনো derivation আটকে গেলে আগে তার ফলটি একটি ছোট সংখ্যার উদাহরণে যাচাই করুন, তারপর প্রমাণে ফিরুন। ফল কী বলে তা জানলে প্রমাণ অনেক সহজ লাগে।
• সপ্তাহে তিন-চারটি পর্ব যথেষ্ট। প্রতিদিন অল্প, নিয়মিত পড়া এক দিনে অনেক পড়ার চেয়ে ভালো কাজ করে। মডিউল শেষে ভাবনার প্রশ্নগুলো আবার ঝালিয়ে নিন।
• নিজের খাতা রাখুন। প্রতিটি নতুন সূত্র, তার প্রতিটি চিহ্নের মানে, আর একটি করে হাতে করা উদাহরণ। পরীক্ষা বা ইন্টারভিউর আগে এই খাতাটিই সবচেয়ে কাজের।
• নিজের ডেটায় চালান। বাজারঘরের ডেটা আমাদের বানানো; প্রতিটি মডিউলের পর একটি খোলা ডেটাসেটে (যেমন scikit-learn-এর সঙ্গে আসা load_breast_cancer বা California housing) একই কাজ চালালে শেখা পাকা হয়।

৯ · AI-এর যুগে — AI assistant দিয়ে ML কাজ, যাচাইসহ

এই কোর্সের কোড AI assistant দিয়েও লেখানো যায়, আর অনেক কাজে তা সময় বাঁচায়। কিন্তু ML-এর কোডে AI-এর ভুল প্রায়ই চুপচাপ হয়: কোড চলে, নম্বর আসে, আর নম্বরটি ভুল। যেমন, AI প্রায়ই পুরোনো API দেয় (সরানো scikit-learn parameter, পুরোনো XGBoost বা LightGBM-এর argument, pandas-এর append), এমন function বা hyperparameter বানায় যা নেই, test set-এ tuning করে, train বা একটি মাত্র ভাগের score-কে চূড়ান্ত বলে, class imbalance আর calibration উপেক্ষা করে, SHAP-এর মানকে কারণ বলে পড়ে, আর বিশ্বাসযোগ্য দেখতে কিন্তু ভুল derivation লেখে।

AI-এর লেখা ML কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজের version-এর অফিশিয়াল docs-এ প্রতিটি অচেনা function আর parameter মিলিয়েছি, আর কোড চালিয়ে দেখেছি কোনো warning আসে না
• ডেটা আগে ভাগ করেছি, test set তালাবন্ধ; scaling, feature বাছাই আর tuning সব fold-এর ভেতরে
• ভাগ করার পর shape আর কয়েকটি সারি নিজে দেখেছি, label-এর অনুপাত মিলিয়েছি
• একটি সরল baseline-এর সঙ্গে তুলনা করেছি, কয়েকটি seed বা fold-এ, গড়ের পাশে ছড়ানোসহ
• Imbalance থাকলে accuracy-র বদলে উপযুক্ত metric নিয়েছি; সম্ভাবনা ব্যবহার করলে calibration দেখেছি
• AI-এর দেওয়া কোনো সূত্র বা derivation একটি ছোট সংখ্যার উদাহরণে নিজে হিসাব করে মিলিয়েছি
• গ্রাহকের আসল ডেটা, নাম, ফোন নম্বর বা কোনো গোপন তথ্য AI-তে পেস্ট করিনি; শুধু কলামের নাম আর বানানো উদাহরণ দিয়েছি