AI প্রকল্পের জীবনচক্র — সমস্যা বাছাই থেকে maintenance আর পরের পথ

শেখানোর অংশের শেষ পর্ব এটি; এরপর মডিউল ১৪ পুরোটাই পরীক্ষা আর ইন্টারভিউর প্রস্তুতি। পর্ব ৭৩ (ক্যাপস্টোন — বাংলা পণ্য-রিভিউ থেকে একটি পূর্ণ AI প্রকল্প)-এ হাতে-কলমে একটি প্রকল্প শেষ হয়েছে; এখানে ক্যামেরা পেছনে সরে: প্রকল্প কোথা থেকে আসে, deploy-এর পরে কী হয়, কবে বন্ধ হয়। চলমান উদাহরণ বাজারঘরের (কাল্পনিক অনলাইন দোকান) “ফেরত-ঝুঁকি” প্রকল্প; সব ডেটা seed দেওয়া কোডে বানানো, কোনো আসল প্রতিষ্ঠান বা মানুষের নয়।

চালানো যায় এমন চারটি ব্লক পাতাতেই চলে (ব্রাউজারের Python; pandas 3.0.2, scipy 1.18.0, scikit-learn 1.8.0). প্রথমবার scikit-learn নামতে প্রায় ১০ সেকেন্ড লাগে। ব্লক ২ আর ৪ পাতার ভেতরে রাখা bazar_returns.py module ব্যবহার করে।

১ · জীবনচক্রের মানচিত্র — ধারণা থেকে অবসর

অনেক টিউটোরিয়াল শুরু হয় “এই নিন ডেটা, model বানান” দিয়ে, আর শেষ হয় একটি accuracy সংখ্যায়। বাস্তবে এই অংশটি ছোট। আগে প্রশ্ন: কোন সমস্যাটি সমাধানের যোগ্য? পরে প্রশ্ন: চালু model কে দেখবেন, আর কবে সেটি বদলাবেন বা বন্ধ করবেন? এই পুরো পথই প্রকল্পের জীবনচক্র (lifecycle); deploy-এর পরের কাজ দায়বদ্ধভাবে চালানোর অভ্যাস আর হাতিয়ারকে বলা হয় MLOps.

ছবিটি চক্র: retrain-এর পর নতুন model আবার পরীক্ষার ধাপ পেরোয়। আরও পেছনে ফিরে যাওয়াও সাধারণ, যেমন ডেটা দেখে বোঝা গেল label-এর সংজ্ঞাই ভুল (ধাপ ২)।

নিচের stepper বাজারঘরের ফেরত-ঝুঁকিকে সাতটি ধাপে নিয়ে যায়; সংখ্যাগুলো এই পাতার ব্লকের আসল আউটপুট।

return_risk   impact 4.0 × feasible 4.25 = 17.00
eid_demand    4.5 × 3.25 = 14.62
chatbot       4.0 × 2.00 =  8.00
সিদ্ধান্ত: আগে ফেরত-ঝুঁকি

label  : ডেলিভারির ৭ দিনের মধ্যে ফেরত
         বা দরজায় প্রত্যাখ্যান = 1
সিদ্ধান্ত: ঝুঁকি বেশি হলে পাঠানোর আগে ফোনে নিশ্চিত
ব্যবসার মাপ: প্রতি ১০০ অর্ডারে ফেরতের খরচ

ডেটা   : ৩ মাসে ২,৪০০ অর্ডার, ফেরত ৪৫.৩%
label  : জানা যায় প্রায় এক মাস পরে
গোপনীয়তা: ফোন নম্বর শুধু ডেলিভারি নিশ্চিত করতে
build  : নিজে, ছোট model; কেনা সেবা লাগবে না

run 1  rule_cloth      val_auc 0.7047
run 2  logreg C=1.0    val_auc 0.7824  ← বাছাই
run 3  tree depth 8    val_auc 0.6982
test AUC (একবারই খোলা) 0.7664

সপ্তাহ ১–২: shadow — শুধু score লেখা, কোনো ফোন নয়
সপ্তাহ ৩  : canary — ১০% অর্ডারে ফোন
এরপর      : A/B test, ফেরতের খরচ তুলনা
rollback   : আগের নিয়মে এক ধাপে ফেরা

input PSI (দাম)    0.012, 0.013  → শান্ত
accuracy, মাস ৬    0.586
accuracy, মাস ৭    0.529  (baseline 0.599)
ট্রিগার: পরপর দুই মাস 0.65-এর নিচে

retrain: মাস ৬–৭-এর ১,৬০০ অর্ডারে
মাস ৮ accuracy: পুরোনো 0.480 → নতুন 0.670
অবসর কবে: ফেরত এত কমে যে সরল নিয়মই যথেষ্ট,
          বা সিদ্ধান্তটিই আর নেওয়া হয় না

২ · কোন সমস্যা সমাধানের যোগ্য — impact × feasibility, আর কখন ML নয়

বাজারঘরের সভায় পাঁচটি ধারণা এসেছে:

• ফেরত-ঝুঁকি (return_risk): কোন অর্ডার ফেরত আসার সম্ভাবনা বেশি, তা আগে অনুমান করা, যাতে পাঠানোর আগে গ্রাহককে ফোনে নিশ্চিত করা যায়।
• রিভিউ বাছাই (review_triage): বাংলা রিভিউয়ের মধ্যে অভিযোগগুলো (ভাঙা পণ্য, দেরি) আলাদা করে গ্রাহকসেবার সারিতে আগে পাঠানো; পর্ব ৬৭-এর classifier এর কাছাকাছি।
• ঈদের আগে চাহিদার পূর্বাভাস (eid_demand): কোন পণ্য কত পিস মজুত রাখবেন; পর্ব ৫৪-এর “ঈদের আগে ১০০ না ২০০ পিস” প্রশ্নটির ডেটা-চালিত রূপ।
• Chatbot: গ্রাহকের প্রশ্নের স্বয়ংক্রিয় উত্তর, একটি ভাষা model দিয়ে (পর্ব ৭০)।
• প্রতারণার সংকেত (fraud_flag): ভুয়া অর্ডার আগে ধরা (পর্ব ৬০-এর উদাহরণ)।

সবগুলোই আকর্ষণীয়, কিন্তু দল ছোট। একটি সরল হাতিয়ার impact × feasibility ছক: প্রতিটি ধারণাকে দুই অক্ষে নম্বর দেওয়া। Impact মানে সফল হলে লাভ কত আর কতজনের কাজে লাগে। Feasibility মানে কতটা করা সম্ভব: ডেটা আছে কি না, label কতটা ভরসাযোগ্য, ভুল হলে ক্ষতি কত, আর কাজ কত। নম্বরগুলো মাপা সত্য নয়, দলের আলোচনার অনুমান; ছকের আসল কাজ আলোচনাকে খোলা আর লিখিত রাখা।

import pandas as pd
import matplotlib.pyplot as plt
pd.set_option("display.width", 90)
# ১–৫ নম্বর: দলের আলোচনায় দেওয়া অনুমান (কাল্পনিক), মাপা সংখ্যা নয়
ideas = pd.DataFrame({
    "idea":   ["return_risk", "review_triage", "eid_demand", "chatbot", "fraud_flag"],
    "value":  [4, 3, 5, 3, 5],    # সফল হলে ব্যবসার লাভ
    "reach":  [4, 3, 4, 5, 2],    # কত অর্ডার/মানুষের কাজে লাগে
    "data":   [5, 4, 2, 2, 3],    # ডেটা আছে কি না, কত দিনের
    "labels": [4, 3, 4, 2, 2],    # label কত ভরসাযোগ্য ও কত দ্রুত আসে
    "safety": [4, 4, 4, 2, 2],    # ভুল হলে ক্ষতি কম = বেশি নম্বর
    "effort": [4, 4, 3, 2, 3],    # কাজ কম = বেশি নম্বর
}).set_index("idea")
ideas["impact"] = ideas[["value", "reach"]].mean(axis=1)
ideas["feasible"] = ideas[["data", "labels", "safety", "effort"]].mean(axis=1)
ideas["priority"] = ideas.impact * ideas.feasible
print(ideas.sort_values("priority", ascending=False).round(2).to_string())
w = {"data": 0.4, "labels": 0.3, "safety": 0.2, "effort": 0.1}   # অন্য ওজনে কি ক্রম বদলায়?
alt = ideas.impact * sum(ideas[k] * v for k, v in w.items())
print("\nডেটা-ভারী ওজনে ক্রম:", alt.sort_values(ascending=False).round(2).to_dict())
ax = ideas.plot.scatter(x="feasible", y="impact", s=60, figsize=(5.6, 4.0),
                        xlim=(1, 5.2), ylim=(1, 5.2), title="Impact x feasibility (team estimates)")
for name, r in ideas.iterrows():
    ax.annotate(name, (r.feasible, r.impact), xytext=(5, 4), textcoords="offset points")
ax.axvline(3, ls="--", c="gray"); ax.axhline(3, ls="--", c="gray")
ax.set_xlabel("feasibility (1-5)"); ax.set_ylabel("impact (1-5)"); plt.show()

               value  reach  data  labels  safety  effort  impact  feasible  priority
idea
return_risk        4      4     5       4       4       4     4.0      4.25     17.00
eid_demand         5      4     2       4       4       3     4.5      3.25     14.62
review_triage      3      3     4       3       4       4     3.0      3.75     11.25
fraud_flag         5      2     3       2       2       3     3.5      2.50      8.75
chatbot            3      5     2       2       2       2     4.0      2.00      8.00

ডেটা-ভারী ওজনে ক্রম: {'return_risk': 17.6, 'eid_demand': 13.95, 'review_triage': 11.1, 'fraud_flag': 8.75, 'chatbot': 8.0}

কখন ML নয় — নিয়ম, SQL, বা কাজের ধারা ঠিক করা

ছকে ওঠার আগেই একটি প্রশ্ন: সমস্যাটির জন্য শেখা model কি আদৌ দরকার? অনেক সময় উত্তর “না”, আর সেটিই সবচেয়ে সস্তা, দ্রুত আর ব্যাখ্যাযোগ্য উত্তর।

সরল পরীক্ষা: উত্তরটি লিখে ফেলা যায়? নিয়ম। শুধু গোনা? Query. ডেটার জটিল, বদলাতে থাকা প্যাটার্নে লুকোনো, আর সিদ্ধান্ত অনেক? তখনই ML. Martin Zinkevich-এর বহুল-পঠিত “Rules of Machine Learning”-এর প্রথম নিয়মও প্রায় এমন: ML ছাড়া পণ্য চালু করতে ভয় পাবেন না। নিয়মটিই পরে আপনার baseline হয়।

৩ · Framing আর সম্ভাব্যতা — label, সিদ্ধান্ত, metric, ডেটা আর baseline

Label-এর সংজ্ঞা আর তার দ্ব্যর্থতা

“ফেরত” শব্দটি সহজ শোনায়। কিন্তু খাতায় অন্তত পাঁচ রকম ঘটনা আছে: দরজায় প্রত্যাখ্যান (ক্যাশ অন ডেলিভারিতে খুব সাধারণ), হাতে পেয়ে সাত দিনের মধ্যে ফেরত, সাইজ বদল (exchange), অর্ধেক পণ্য ফেরত, আর courier-এর হারানো পার্সেল। কোনটি label-এ ১ হবে? সাইজ বদলকে ফেরত ধরলে model পোশাককে খুব ঝুঁকিপূর্ণ ভাববে; courier-এর হারানো পার্সেলকে ধরলে model আসলে courier-এর মান শিখবে, গ্রাহকের আচরণ নয়, যা পর্ব ৭২-এর label bias-এর মতো ফাঁদ। সময়ের জানালাও সংজ্ঞার অংশ। এই পর্বে label = “ডেলিভারির সাত দিনের মধ্যে ফেরত বা দরজায় প্রত্যাখ্যান”.

Model কোন সিদ্ধান্তে কাজে লাগবে, আর ভুলের দাম

একটি score নিজে কিছু করে না; তার পরের কাজটি গুরুত্বপূর্ণ। বাজারঘরের সিদ্ধান্ত: ঝুঁকি বেশি হলে পাঠানোর আগে একজন কর্মী গ্রাহককে ফোন করে অর্ডার নিশ্চিত করবেন। তাহলে দুই রকম ভুলের দাম আলাদা। False positive: অকারণ একটি ফোন, কর্মীর কয়েক মিনিট আর হয়তো একটু বিরক্ত গ্রাহক। False negative: ফেরতের পরিবহন খরচ আর নষ্ট সময়। এই অসমতা থেকে threshold ঠিক হয়, ০.৫ থেকে নয়: পর্ব ৬০-এর cost matrix আর পর্ব ৫৪-এর expected cost এখানে সরাসরি কাজে লাগে। সিদ্ধান্ত “অর্ডার বাতিল” হলে false positive অনেক দামি, আর threshold অনেক উঁচু লাগত।

Offline metric বনাম ব্যবসার মাপ

Validation set-এ মাপা AUC বা accuracy একটি offline metric: পুরোনো ডেটায় model কতটা ভালো সাজায়। ব্যবসা জানতে চায় অন্য কিছু, একটি business metric: প্রতি ১০০ অর্ডারে ফেরতের খরচ কি কমল, আর ফোনের খরচ যোগ করেও কি লাভ থাকল? দুটি এক নয়: ফোন পেয়ে কিছু গ্রাহক এমন অর্ডারও বাতিল করতে পারেন যা রাখতেন। আসল প্রভাব জানার নির্ভরযোগ্য উপায় একটি A/B test: ঝুঁকিপূর্ণ অর্ডারের এলোমেলো অর্ধেকে ফোন, বাকিতে নয়, তারপর মোট খরচ তুলনা (হিসাব পর্ব ৩৭-এ)।

সম্ভাব্যতার যাচাই, কোড লেখার আগে

Build বনাম buy-এর উত্তর কাজভেদে আলাদা। রিভিউ বাছাইয়ে একটি pretrained model নিজের লেবেল করা রিভিউতে যাচাই করে ব্যবহার করা যুক্তিসংগত হতে পারে, লাইসেন্স আর model card পড়ে (পর্ব ৭১)। Chatbot-এ কেনা সেবা দ্রুত, কিন্তু গ্রাহকের কথা বাইরের সার্ভারে যায়, খরচ ব্যবহারের সঙ্গে বাড়ে, আর ভুল উত্তরের দায় তবু আপনার।

Baseline আগে, জটিলতা পরে

প্রথম model কখনো জটিল হওয়া উচিত নয়। ক্রম: (১) একটি সরল নিয়ম, যেমন “পোশাক হলে ঝুঁকি”; (২) একটি linear model, যেমন logistic regression; (৩) জটিল model শুধু যদি তা validation-এ স্থির উন্নতি দেয় আর বাড়তি খরচ পুষিয়ে দেয়। Baseline ছাড়া “AUC ০.৭৮”-এর অর্থ নেই: নিয়মটি ০.৭৭ দিলে model প্রায় কিছুই যোগ করেনি। পর্ব ৬৬-এর DummyClassifier সবচেয়ে নিচের তাক, ব্যবসার নিয়ম তার ওপরে।

৪ · Experiment tracking — seed, config, ডেটার version আর ফলের খাতা

তিন সপ্তাহ পরে কেউ জিজ্ঞেস করলেন: “গত মাসের ০.৭৮ AUC কোন ডেটায়, কোন সেটিংয়ে এসেছিল?” খাতা না থাকলে উত্তর অনুমান। Experiment tracking মানে প্রতিটি run-এর জন্য অন্তত এগুলো লিখে রাখা: কোডের version (Git commit), ডেটার version (একটি hash বা তারিখ), config (model আর hyperparameter), seed, package-এর version, আর ফল। ফোল্ডার, lockfile আর ডেটার version-এর ভিত্তি পর্ব ১২-এ; validation আর test-এর নিয়ম পর্ব ৫৬ ও পর্ব ৬৬-এ।

সবচেয়ে সরল খাতা একটি JSON Lines ফাইল: প্রতিটি run এক লাইনের একটি JSON. যোগ করা সহজ, Git-এ পার্থক্য দেখা যায়, pandas এক লাইনে পড়ে। নিচের ডেটা আসে পাতার ভেতরের এই module থেকে:

def make_orders(n=2000, seed=42, change=0.0):
    """change 0 = পুরোনো অবস্থা; 1 = নতুন নিয়ম পুরো চালু (concept drift)"""
    rng = np.random.default_rng(seed)
    price = rng.lognormal(7.0, 0.6, n).round()           # অর্ডারের দাম, টাকা
    cloth = (rng.random(n) < 0.4).astype(int)             # পোশাক কি না
    cod = (rng.random(n) < 0.6).astype(int)               # ক্যাশ অন ডেলিভারি
    first = (rng.random(n) < 0.3).astype(int)             # প্রথম অর্ডার
    w_cloth = 1.8 - 3.2 * change                          # সাইজ চার্টে পোশাকের ফেরত কমে
    w_cod = 0.3 + 1.6 * change                            # নতুন courier: দরজায় ফেরত বাড়ে
    z = (-1.3 + w_cloth * cloth + w_cod * cod + 0.7 * first
         + 0.8 * np.log(price / 1100))
    returned = (rng.random(n) < 1 / (1 + np.exp(-z))).astype(int)
    return pd.DataFrame({"price": price, "cloth": cloth, "cod": cod,
                         "first": first, "returned": returned})

শুরুতে (change = 0) পোশাক আর দামি অর্ডারে ফেরত বেশি; change লাগবে অংশ ৭-এ। ব্লকটি তিনটি run চালায়: নিয়ম-baseline, logistic regression আর গভীর decision tree. Test শুরুতেই তালাবদ্ধ; বাছাই validation দেখে, তারপর বিজয়ীর test একবার।

import json, hashlib
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score
from bazar_returns import make_orders

df = make_orders(n=3000, seed=42)                    # কাল্পনিক অর্ডার, ফেরত = 1
data_ver = hashlib.sha256(df.to_csv(index=False).encode()).hexdigest()[:10]
dev, test = train_test_split(df, test_size=0.2, random_state=0, stratify=df.returned)
tr, va = train_test_split(dev, test_size=0.25, random_state=42, stratify=dev.returned)
X = lambda d: d[["cloth", "cod", "first"]].assign(logp=np.log(d.price))
configs = [{"model": "rule_cloth"}, {"model": "logreg", "C": 1.0},
           {"model": "tree", "max_depth": 8}]
models = {}
with open("runs.jsonl", "w", encoding="utf-8") as f:   # এক run = এক লাইন JSON
    for i, cfg in enumerate(configs, start=1):
        if cfg["model"] == "rule_cloth":                # baseline নিয়ম: পোশাক = ঝুঁকি
            m, s = None, va.cloth.to_numpy()
        else:
            m = (LogisticRegression(C=cfg["C"]) if cfg["model"] == "logreg" else
                 DecisionTreeClassifier(max_depth=cfg["max_depth"], random_state=42))
            s = m.fit(X(tr), tr.returned).predict_proba(X(va))[:, 1]
        models[i] = m
        run = {"run": i, "seed": 42, "data": data_ver, "n_train": len(tr), **cfg,
               "val_auc": round(float(roc_auc_score(va.returned, s)), 4)}
        f.write(json.dumps(run) + "\n")
lines = open("runs.jsonl", encoding="utf-8").read().splitlines()
print("\n".join(lines))
runs = pd.DataFrame([json.loads(l) for l in lines])
best = int(runs.loc[runs.val_auc.idxmax(), "run"])
p = models[best].predict_proba(X(test))[:, 1]          # test খোলা হলো একবারই
print(f"বাছাই: run {best} | test AUC (একবার) = {roc_auc_score(test.returned, p):.4f}")

{"run": 1, "seed": 42, "data": "71ee2acb4e", "n_train": 1800, "model": "rule_cloth", "val_auc": 0.7047}
{"run": 2, "seed": 42, "data": "71ee2acb4e", "n_train": 1800, "model": "logreg", "C": 1.0, "val_auc": 0.7824}
{"run": 3, "seed": 42, "data": "71ee2acb4e", "n_train": 1800, "model": "tree", "max_depth": 8, "val_auc": 0.6982}
বাছাই: run 2 | test AUC (একবার) = 0.7664

একই কাজ MLflow দিয়ে (ডেস্কটপে সত্যিকারের run)

দল বড় হলে বা run শত শত হলে হাতের JSON খাতার বদলে একটি tracking server সুবিধাজনক। MLflow একটি open-source হাতিয়ার: প্রতিটি run-এর parameter, metric, tag আর ফাইল একটি database-এ রাখে, আর একটি ওয়েব পাতায় তুলনা দেখায়। ব্রাউজারের Python-এ এটি চলে না, তাই একটি ডেস্কটপ venv-এ একই ডেটা আর split দিয়ে চালানো হলো (লেখার সময়ের version: Python 3.14.4, MLflow 3.18.0, scikit-learn 1.9.1; শুধু CPU).

# ডেটা, dev/test আর tr/va ভাগ, X: ব্লক ২-এর মতোই
import mlflow
mlflow.set_tracking_uri("sqlite:///mlflow.db")       # এই ফোল্ডারে একটি ছোট database
mlflow.set_experiment("return-risk")
for name, m in [("logreg_C1", LogisticRegression(C=1.0)),
                ("tree_d8", DecisionTreeClassifier(max_depth=8, random_state=42))]:
    with mlflow.start_run(run_name=name):
        mlflow.log_params({"seed": 42, "data_version": data_ver, **m.get_params()})
        m.fit(X(tr), tr.returned)
        mlflow.log_metric("val_auc", roc_auc_score(va.returned, m.predict_proba(X(va))[:, 1]))
        mlflow.set_tag("stage", "experiment")
runs = mlflow.search_runs(experiment_names=["return-risk"], order_by=["metrics.val_auc DESC"])
print(runs[["tags.mlflow.runName", "params.data_version", "metrics.val_auc"]]
      .round(4).to_string(index=False))

~/bazarghar-ai$ python track_mlflow.py
… INFO mlflow.store.db.utils: Creating initial MLflow database tables...
… INFO mlflow.store.db.utils: Updating database tables
… INFO mlflow.tracking.fluent: Experiment with name 'return-risk' does not exist. Creating a new experiment.
tags.mlflow.runName params.data_version  metrics.val_auc
          logreg_C1          4674300605           0.7824
            tree_d8          4674300605           0.6982

AUC পাতার খাতার সঙ্গে হুবহু মেলে (তারিখ-সময় আর কিছু INFO লাইন “…” দিয়ে ছাঁটা)। কিন্তু ডেটার hash আলাদা: ব্রাউজারে 71ee2acb4e, ডেস্কটপে 4674300605. Hash লেখার প্রতিটি অক্ষর ধরে, আর NumPy বা pandas-এর ভিন্ন version-এ CSV-র লেখা সামান্য আলাদা হতে পারে; তাই ডেটার version একই পরিবেশে তুলনা করুন, বা সংরক্ষিত ফাইলের byte থেকেই hash নিন। mlflow ui এখানে চালানো হয়নি। হাতিয়ার খাতাকে সহজ করে, কিন্তু commit, ডেটার version আর seed লেখার শৃঙ্খলা আপনার।

৫ · Deploy — batch না API, latency ও খরচের বাজেট, shadow আর canary

Deployment মানে model-কে এমন জায়গায় বসানো যেখান থেকে আসল সিদ্ধান্তে তার অনুমান ব্যবহার হয়। দুটি মূল ধরন:

প্রথম প্রশ্ন সবসময়: সিদ্ধান্তটি কত তাড়াতাড়ি দরকার? উত্তর “কাল সকালে” হলে batch; “এই মুহূর্তে” হলে API. নকশার বিস্তারিত এই সাইটের System Design কোর্সের batch ও stream processing আর REST API design পর্বে; Python-এ একটি ছোট API লেখার উদাহরণ Full-Stack কোর্সের FastAPI পর্বে, আর নির্ধারিত কাজের ধরন background jobs পর্বে। Model ফাইল সংরক্ষণ, joblib-এর ঝুঁকি আর version মিলিয়ে রাখার কথা পর্ব ৬৪-এ।

Latency আর খরচের বাজেট

Online হলে আগে একটি latency বাজেট লিখুন: checkout-এর পুরো উত্তরের সময়ের একটি ছোট অংশ model পাবে, আর মাপবেন গড় নয়, সবচেয়ে ধীর অনুরোধগুলো (p95, p99; latency ও throughput). বাজেট ভাঙলে সরল নিয়মে উত্তর, অর্ডার আটকানো নয়। খরচের বাজেটও তেমন: সবসময় চালু সার্ভার না রাতের ছোট job, তা আপনার পরিমাণ আর দামের ওপর নির্ভর করে।

নীরব ফাঁদ: training-এ দাম টাকায়, অ্যাপে পয়সায় এলে model চুপচাপ ভুল করে। প্রতিকার দুই জায়গায় একই pipeline কোড।

Shadow আর canary — ঝুঁকি কমিয়ে চালু করা

• Shadow deployment: নতুন model আসল অর্ডারে পাশাপাশি চলে আর score লেখে, কোনো ফোন হয় না; label এলে ঝুঁকি ছাড়াই তার আসল মান দেখা যায়।
• Canary release: তারপর ধরুন ১০% অর্ডারে সত্যিকারের সিদ্ধান্ত; সব ঠিক থাকলে ধাপে ধাপে বাড়ানো।
• Rollback: ভুল দেখলে এক ধাপে আগের নিয়ম বা model-এ ফেরা; আগের ফাইল, config আর একটি সুইচ প্রস্তুত রাখা।

এগুলো software-এর পরিচিত ধারণা; কৌশলগুলোর তুলনা Cloud ও DevOps কোর্সের deployment strategies আর System Design-এর deployment ও release পর্বে। Model-এর বাড়তি জটিলতা: তার ভুল দেখা যায় label আসার পরে।

৬ · নজরদারি — data drift, PSI, KS test, prediction drift আর label delay

Deploy-এর দিন model যা জানে, তা training-এর মাসগুলোর জগৎ। জগৎ বদলায়: দাম বাড়ে, ঈদ আসে, নতুন courier আসে। Model monitoring-এ চার স্তর দেখা হয়, সহজ থেকে কঠিন:

1. ব্যবস্থা: job কি সময়মতো চলেছে, API-র latency আর error কত (observability).
2. ডেটা: missing value, অসম্ভব মান (ঋণাত্মক দাম), আর data drift: input-এর বণ্টন সরে যাওয়া। Label লাগে না, তাই সঙ্গে সঙ্গে পাওয়া যায়।
3. অনুমান: prediction drift, যেমন হঠাৎ অনেক বেশি অর্ডারকে ঝুঁকিপূর্ণ বলা। এটিও সঙ্গে সঙ্গে পাওয়া যায়।
4. ফল: আসল accuracy বা ব্যবসার মাপ। এর জন্য label লাগে, আর label আসে দেরিতে: label delay. ফেরত চূড়ান্ত হতে প্রায় এক মাস; প্রতারণা ধরা পড়তে কখনো আরও বেশি।

PSI — বণ্টন কতটা সরল, একটি সংখ্যায়

Population Stability Index (PSI) ঋণ-scoring-এর চর্চা থেকে আসা একটি সরল মাপ। পুরোনো (reference) ডেটাকে কয়েকটি bin-এ ভাগ করুন, সাধারণত quantile দিয়ে যাতে প্রতিটি bin-এ সমান ভাগ থাকে। তারপর প্রতিটি bin-এ পুরোনো ভাগ e আর নতুন ভাগ a তুলনা করুন:

PSI = ∑ (a_i − e_i) × ln(a_i ÷ e_i)

প্রতিটি পদ শূন্য বা ধনাত্মক, কারণ (a − e) আর ln(a ÷ e)-এর চিহ্ন সবসময় একই। প্রচলিত হাতের নিয়ম: ০.১-এর কম “স্থির”, ০.১–০.২৫ “নজরে রাখুন”, ০.২৫-এর বেশি “বড় পরিবর্তন”। সীমাগুলো চর্চা থেকে আসা, কোনো একক উৎস থেকে নয়, আর bin-এর সংখ্যা ও নমুনার আকারে PSI বদলায়; নিজের ডেটায় যাচাই করুন। খালি bin-এ ln(০) অসীম, তাই ভাগগুলোকে ছোট একটি সংখ্যায় (যেমন ০.০০০১) নিচে আটকানো হয়।

দ্বিতীয় হাতিয়ার দুই নমুনার Kolmogorov–Smirnov test (১৯৩০-এর দশকে Andrey Kolmogorov আর Nikolai Smirnov-এর কাজ থেকে)। এটি দুই নমুনার ECDF পাশাপাশি এঁকে সবচেয়ে বড় উল্লম্ব ফাঁক D মাপে, আর “দুটি একই বণ্টন থেকে এসেছে” এই ধারণার বিপরীতে একটি p-value দেয় (পর্ব ৩৭)। scipy-তে scipy.stats.ks_2samp. নিচের ব্লক ১২ মাসের দাম বানায়: মাস ৪ ঈদ (ঝুড়ি বড়, সাময়িক), আর মাস ৮ থেকে দাম ধীরে বাড়ে।

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.stats import ks_2samp

rng = np.random.default_rng(42)
ref = rng.lognormal(7.0, 0.6, 3000)                  # training-এর মাসের অর্ডারের দাম
edges = np.quantile(ref, np.linspace(0, 1, 11))      # ১০টি সমান-ভাগ bin, ref থেকে
edges[0], edges[-1] = -np.inf, np.inf
def psi(e, a, edges=edges):
    pe = np.histogram(e, edges)[0] / len(e)
    pa = np.histogram(a, edges)[0] / len(a)
    pe, pa = np.clip(pe, 1e-4, None), np.clip(pa, 1e-4, None)   # log(0) এড়াতে
    return float(np.sum((pa - pe) * np.log(pa / pe)))
rows = []
for m in range(1, 13):
    shift = 0.30 if m == 4 else 0.0                  # মাস ৪ = ঈদ: বড় ঝুড়ি, সাময়িক
    shift += 0.06 * max(0, m - 7)                    # মাস ৮ থেকে দাম বাড়ছে
    cur = rng.lognormal(7.0 + shift, 0.6, 600)
    ks = ks_2samp(ref, cur)
    p = psi(ref, cur)
    rows.append({"month": m, "median_tk": int(np.median(cur)), "PSI": round(p, 3),
                 "KS_D": round(float(ks.statistic), 3), "KS_p": float(ks.pvalue),
                 "flag": "ALERT" if p >= 0.25 else ("watch" if p >= 0.10 else "")})
t = pd.DataFrame(rows)
t["KS_p"] = t.KS_p.map(lambda v: f"{v:.1e}")
print(t.to_string(index=False))
ax = t.plot(x="month", y="PSI", marker="o", figsize=(6.4, 3.2), legend=False,
            title="Order value drift: PSI vs training month (simulated)")
ax.axhline(0.10, ls=":", c="gray"); ax.axhline(0.25, ls="--", c="red")
ax.set_ylabel("PSI"); ax.set_xticks(range(1, 13)); plt.show()

 month  median_tk   PSI  KS_D    KS_p  flag
     1       1129 0.017 0.036 5.2e-01
     2       1055 0.018 0.031 7.1e-01
     3       1101 0.013 0.028 8.1e-01
     4       1478 0.267 0.218 2.4e-21 ALERT
     5       1177 0.012 0.057 7.9e-02
     6       1076 0.033 0.048 1.9e-01
     7       1059 0.031 0.030 7.4e-01
     8       1079 0.024 0.035 5.5e-01
     9       1242 0.072 0.106 2.5e-05
    10       1337 0.130 0.146 1.1e-09 watch
    11       1264 0.119 0.125 3.2e-07 watch
    12       1472 0.258 0.226 7.3e-23 ALERT

Prediction drift আর label delay: label আসার আগের মাসে সবচেয়ে কাজের সংকেত ঝুঁকিপূর্ণ বলা অর্ডারের ভাগ। এটি হঠাৎ দ্বিগুণ হলে প্রায়ই কোনো feature-এর ভুল (একটি কলাম ফাঁকা) ধরা পড়ে। তবে পরের অংশ দেখাবে, input আর অনুমান শান্ত থাকলেও model নষ্ট হতে পারে।

৭ · Concept drift আর retraining — মান কমা, ট্রিগার, feedback loop আর rollback

Concept drift মানে input আর উত্তরের সম্পর্কটাই বদলে যাওয়া; input-এর বণ্টন একই থাকতে পারে (তুলনায় data drift বা covariate shift-এ শুধু input সরে)। গল্প: মাস ৫ থেকে বাজারঘর পোশাকের পাতায় সাইজ চার্ট আর ভিডিও কলে মাপ নেওয়া চালু করল, তাই পোশাকের ফেরত কমল; একই সময়ে নতুন courier এল, যার কাছে দরজায় প্রত্যাখ্যান বেশি, তাই ক্যাশ অন ডেলিভারির ফেরত বাড়ল। পরিবর্তন ধীরে, মাস ৫ থেকে ৯-এর মধ্যে পুরোটা। অর্ডারের ধরন (দাম, পোশাকের ভাগ, COD-এর ভাগ) একই থাকে।

নিয়ম কোডে লেখা: label এক মাস দেরিতে আসে, তাই মাস m-এর শুরুতে শুধু মাস m−১ পর্যন্ত accuracy জানা। যদি চালু model-এর শেষ দুই জানা মাসের accuracy দুটিই ০.৬৫-এর নিচে হয়, শেষ দুই মাসের ডেটায় retrain.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from bazar_returns import make_orders

X = lambda d: d[["cloth", "cod", "first"]].assign(logp=np.log(d.price))
fit = lambda d: LogisticRegression().fit(X(d), d.returned)
acc = lambda m, d: float((m.predict(X(d)) == d.returned).mean())
change = {m: min(1.0, max(0.0, (m - 4) / 5)) for m in range(-2, 13)}   # মাস ৫–৯-এ নতুন নিয়ম
month = {m: make_orders(n=800, seed=200 + m, change=change[m]) for m in range(-2, 13)}
old = fit(pd.concat([month[m] for m in (-2, -1, 0)]))   # deploy-এর আগের ৩ মাসে train
live, known, rows = old, [], []
for m in range(1, 13):
    note = ""
    # label আসে এক মাস দেরিতে: মাস m-এর শুরুতে শুধু m-1 পর্যন্ত accuracy জানা
    if len(known) >= 2 and max(known[-2:]) < 0.65:      # ট্রিগার: পরপর দুই মাস 0.65-এর নিচে
        live = fit(pd.concat([month[m - 2], month[m - 1]]))   # সাম্প্রতিক জানালা: শেষ ২ মাস
        known, note = [], f"retrain (মাস {m-2}–{m-1})"
    a = acc(live, month[m])
    known.append(a)
    rows.append({"month": m, "change": change[m], "acc_old": acc(old, month[m]),
                 "acc_live": a, "baseline": float((month[m].returned == 0).mean()),
                 "note": note})
t = pd.DataFrame(rows).round(3)
print(t.to_string(index=False))
cols = X(month[1]).columns
print("পুরোনো ওজন:", dict(zip(cols, old.coef_[0].round(2).tolist())))
print("শেষ ওজন:   ", dict(zip(cols, live.coef_[0].round(2).tolist())))
ax = t.plot(x="month", y=["acc_old", "acc_live", "baseline"], marker="o",
            figsize=(6.4, 3.2), ylim=(0.4, 0.8), title="Concept drift and triggered retraining (simulated)")
ax.axhline(0.65, ls=":", c="gray"); ax.set_ylabel("accuracy"); plt.show()

 month  change  acc_old  acc_live  baseline              note
     1     0.0    0.725     0.725     0.545
     2     0.0    0.696     0.696     0.531
     3     0.0    0.730     0.730     0.574
     4     0.0    0.680     0.680     0.569
     5     0.2    0.655     0.655     0.519
     6     0.4    0.586     0.586     0.552
     7     0.6    0.529     0.529     0.599
     8     0.8    0.480     0.670     0.570 retrain (মাস 6–7)
     9     1.0    0.439     0.644     0.584
    10     1.0    0.436     0.671     0.609
    11     1.0    0.429     0.669     0.610
    12     1.0    0.416     0.635     0.552
পুরোনো ওজন: {'cloth': 1.82, 'cod': 0.26, 'first': 0.6, 'logp': 0.79}
শেষ ওজন:    {'cloth': 0.17, 'cod': 1.18, 'first': 0.63, 'logp': 0.93}

লক্ষ করুন, input শান্ত: মাস ৬ আর ৭-এ দামের PSI ০.০১২ আর ০.০১৩ (একই কোডে আলাদা করে মাপা), পোশাক আর COD-এর ভাগ training-এর মতোই, ঝুঁকিপূর্ণ বলা অর্ডারের ভাগও (০.৩৮–০.৪৩) স্পষ্ট কিছু বলে না। Concept drift ধরেছে শুধু দেরিতে আসা label; তাই label-এর পথ প্রথম দিনেই ঠিক করা দরকার।

Retraining-এর নীতি — নিয়মিত না ট্রিগারে

Retraining-এর জানালাও সিদ্ধান্ত: ছোট জানালা দ্রুত শেখে কিন্তু নমুনা কম; বড় জানালা স্থির কিন্তু পুরোনো সম্পর্ক টেনে আনে। যাচাই ছাড়া retrain কখনো চালু নয়।

Feedback loop আর incident

ফোন পেয়ে কিছু গ্রাহক অর্ডার বাতিল করেন; তখন সেগুলো “ফেরত হতো কি না” আর জানা যায় না, আর পরের training-এ ভুল ছবি ঢোকে। এটি feedback loop আর selective labels, যা পর্ব ৭২-এ দেখেছেন। প্রতিকার: একটি ছোট এলোমেলো holdout-এ model-এর সিদ্ধান্ত প্রয়োগ না করা, আর প্রভাবিত সারি চিহ্নিত রাখা।

ভুল হলে কী করবেন, তা আগে লেখা থাকা চাই (incident response): (১) ক্ষতি থামানো, দরকারে rollback; (২) প্রভাব মাপা; (৩) মূল কারণ; (৪) স্থায়ী সমাধান; (৫) দোষারোপ ছাড়া লিখিত শিক্ষা। বিস্তারিত Cloud ও DevOps কোর্সের incident management পর্বে।

৮ · মানুষ, খরচ, নথি আর অবসর — এক পাতার checklist

কে কী করেন

ছোট দলে একজনই অনেক ভূমিকা নেন; সাধারণ ভাগটি এমন:

খরচ — শুধু সার্ভার নয়

• Compute: train আর অনুমানের খরচ। ছোট tabular model-এ সাধারণত সামান্য; বড় ভাষা model বা সবসময় চালু API-তে উল্লেখযোগ্য হতে পারে। নিজের পরিমাণে হিসাব করুন (FinOps).
• মানুষ: প্রায়ই সবচেয়ে বড় খরচ, আর deploy-এর পরেও চলে।
• Label: খাতায় নিজে থেকে label না এলে মানুষকে লেবেল করতে হয়, নির্দেশিকা লিখে আর মান যাচাই করে।

D. Sculley ও সহকর্মীদের ২০১৫ সালের প্রবন্ধ “Hidden Technical Debt in Machine Learning Systems” (NeurIPS) এই খরচের একটি বড় অংশকে technical debt বলে ব্যাখ্যা করে: আসল ব্যবস্থায় model-এর কোড ছোট একটি অংশ, চারপাশে ডেটা সংগ্রহ, যাচাই, feature, নজরদারি আর জোড়াতালির কোড অনেক বড়।

নথি — model card, datasheet আর decision log

তিন রকম নথি যথেষ্ট: model card (উদ্দেশ্য, নিষিদ্ধ ব্যবহার, দলভিত্তিক ফল, সীমা, মালিক), datasheet (ডেটা কোথা থেকে, label কী মাপে, জানা সমস্যা); দুটির বিস্তারিত নমুনা পর্ব ৭২-এ। তৃতীয়টি decision log: বড় সিদ্ধান্ত, তারিখ, বিকল্প, কারণ আর কে নিলেন। ছয় মাস পরে নতুন সহকর্মী যখন জিজ্ঞেস করবেন “threshold ০.৬ কেন?”, উত্তর খাতায় থাকবে।

# বাজারঘর ফেরত-ঝুঁকি — decision log (কাল্পনিক)
D1  label = ৭ দিনের মধ্যে ফেরত বা দরজায় প্রত্যাখ্যান; সাইজ বদল বাদ
    কারণ: সাইজ বদলে খরচ কম, আর তা আলাদা সমস্যা (সাইজ চার্ট)
D2  বাছাই: logistic regression (val AUC 0.7824), tree বাদ (0.6982)
    কারণ: নিয়মের (0.7047) চেয়ে ভালো, আর ওজন পড়ে কারণ বলা যায়
D3  deploy: ঘণ্টায় একবার batch; API নয়, পাঠানো হয় পরের সকালে
D4  retrain-এর ট্রিগার: পরপর দুই জানা মাস accuracy 0.65-এর নিচে
D5  মাস ৮: retrain (মাস ৬–৭); কারণ সাইজ চার্ট আর নতুন courier

Model-এর অবসর

প্রতিটি model একদিন বন্ধ হয়; অবসর পরিকল্পিত হলে ক্ষতি কম। কখন: সমস্যাটি আর নেই, সরল নিয়ম সমান কাজ করছে, ভালো বিকল্প এসেছে, বা মেরামতের খরচ লাভের চেয়ে বেশি। কীভাবে: বিকল্প আগে চালু; যাঁরা score পড়েন তাঁদের খুঁজে জানানো (Sculley ও সহকর্মীদের “undeclared consumers”); ফাইল, log আর ডেটা নিয়মমতো রাখা বা মোছা; card-এ কারণ ও তারিখ।

৯ · AI-এর যুগে — AI assistant দিয়ে প্রকল্পের পরিকল্পনা আর নজরদারির কোড

AI assistant পরিকল্পনা, MLflow-এর কোড বা drift-এর ড্যাশবোর্ড দ্রুত লিখে দেয়। সাধারণ ভুল: পুরোনো API (যেমন pandas-এর append, NumPy-র np.float), অস্তিত্বহীন function বা parameter (MLflow বা scipy-র এমন argument যা আপনার version-এ নেই), test set দেখে model বাছাই, training ডেটায় metric জানানো, PSI-র সীমাকে “মানদণ্ড” বলে চালানো, KS-এর ছোট p-value-কে বড় সমস্যা বলা, warning চাপা দেওয়া, আর baseline ছাড়া “উন্নতি” দাবি।

AI-এর লেখা পরিকল্পনা বা নজরদারির কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• একটি ছোট হাতে-গোনা উদাহরণে PSI আর accuracy নিজে বের করে কোডের সঙ্গে মিলিয়েছি
• প্রতিটি function আর argument নিজের version-এর অফিসিয়াল docs-এ (scipy, pandas, MLflow) মিলিয়েছি, আর কোডটি চালিয়ে দেখেছি
• Test set শুরুতেই আলাদা, বাছাই validation দিয়ে, আর metric train-এ নয়
• প্রতিটি “উন্নতি” একটি সরল baseline-এর পাশে রেখে দেখেছি
• সতর্কতার সীমা নিজের ডেটায় যাচাই করেছি; ঋতু আর label-এর দেরি হিসাবে নিয়েছি
• কোনো warning বা error চাপা দেওয়া হয়নি; কোনো আসল ব্যক্তিগত ডেটা AI-কে দিইনি

১০ · পরের পথ — এই কোর্সে যা শিখলেন, এরপর কী পড়বেন, আর portfolio

মডিউল ধরে এক নজরে

কোথায় আরও গভীরে যাবেন

ABCL TECH-এ তৈরি হতে থাকা পরবর্তী কোর্সগুলো আরও গভীরে যাবে: Machine Learning (আরও অ্যালগরিদম, ensemble, তত্ত্ব), Deep Learning (network, training, CNN, Transformer), NLP (ভাষার model, বাংলা লেখার প্রক্রিয়া), Generative AI (LLM দিয়ে অ্যাপ, RAG, মূল্যায়ন), MLOps (এই পর্বের deploy, নজরদারি আর retrain বিস্তারিত), Data Engineering (ডেটার pipeline, warehouse) আর AI Ethics (নীতি, আইন, সমাজ)।

এখনই পাশে পড়া যায় এমন সম্পূর্ণ কোর্স

• Python প্রোগ্রামিং: ভাষাটি নিজে, test, packaging আর web backend.
• DBMS ও SQL: ডেটা আসে database থেকে; query, index আর data warehouse.
• Software Engineering ও Git: Git, test, code review, technical debt.
• Cloud ও DevOps: container, CI/CD, deployment strategy, নজরদারি, খরচ।
• System Design: batch ও stream, API, latency, observability.
• Cybersecurity: privacy engineering, AI নিরাপত্তা, incident response.

ক্যাপস্টোন থেকে একটি সৎ portfolio

পর্ব ৭৩ (ক্যাপস্টোন — বাংলা পণ্য-রিভিউ থেকে একটি পূর্ণ AI প্রকল্প)-এর কাজটিকে এভাবে একটি portfolio প্রকল্প বানাতে পারেন:

1. README-তে সমস্যা আর framing: কী সিদ্ধান্তে কাজে লাগবে, label-এর সংজ্ঞা, কেন ML লাগল।
2. পুনরুৎপাদনযোগ্যতা: lockfile, seed, ডেটা কীভাবে বানানো বা কোথা থেকে, এক কমান্ডে পুরো ফল (পর্ব ১২)।
3. Baseline আর run log: নিয়ম বা TF-IDF baseline-এর পাশে আপনার model; JSON Lines খাতাটি repo-তে।
4. সৎ মূল্যায়ন: test একবার, ব্যবধানসহ, error analysis, আর যেখানে model ভালো করে না।
5. Model card আর একটি নজরদারির পরিকল্পনা: কী মাপবেন, কোন সীমায় retrain, কবে অবসর।
6. গোপনীয়তা: কোনো আসল ব্যক্তিগত ডেটা নয়; বানানো বা উন্মুক্ত লাইসেন্সের ডেটা, উৎসসহ।