দায়িত্বশীল AI-এর অভ্যাস — bias যাচাই, গোপনীয়তা আর নথিপত্র

মডিউল ১২-এর শেষ পর্ব এটি। এই কোর্সে বারবার বলা হয়েছে, “দলভিত্তিক ভুলের হার মাপতে হবে”: পর্ব ৬০-এ সামগ্রিক FPR ছোট হলেও একটি দলের জন্য বড় হওয়া, পর্ব ৫৫-এ অতীতের অন্যায্যতা শিখে নেওয়া, পর্ব ৬-এ “problem of many hands”. এবার সেগুলো হাতে-কলমে: একটি model, কিছু সংখ্যা, কোড আর কয়েকটি নথি। নৈতিকতা, আইন আর নীতির গভীর আলোচনা পরে এই সাইটের একটি আলাদা AI Ethics কোর্সে আসবে।

চালানো যায় এমন চারটি ব্লক পাতাতেই চলে (ব্রাউজারের Python, scikit-learn 1.8.0); প্রথমবার scikit-learn নামতে প্রায় ১০ সেকেন্ড লাগে। ব্লক ১ আর ২ একই namespace ভাগ করে (data-shared), তাই ব্লক ২ আগে চালালে ব্লক ১ নিজে থেকে আগে চলে।

১ · কাজটি — “পরে টাকা দিন” model আর খাতার লুকোনো অতীত

বাজারঘর কিছু গ্রাহককে “পরে টাকা দিন” সুবিধা দেয়: পণ্য হাতে পেয়ে সাত দিনের মধ্যে bKash বা Nagad-এ টাকা পাঠানো। কাকে দেওয়া হবে, তা ঠিক করে একটি logistic regression model. Input: আগের অর্ডারের সংখ্যা (orders), ফেরতের হার (ret), area code (১–৬) আর জেলা। Label: পুরোনো খাতার “সময়মতো দিয়েছেন” (১) বা “দেরি” (০)। সম্ভাবনা ০.৫ বা বেশি হলে অনুমোদন; বাকিরা ক্যাশ অন ডেলিভারিতে কেনেন।

সব ডেটা কাল্পনিক, seed দেওয়া কোড দিয়ে বানানো (নিচে)। দুটি “জেলা”: A (অনেকগুলো জেলা মিলিয়ে) আর B, যাকে এই পর্বে বলব নদীচর, একটি কাল্পনিক নদী-তীরের জেলা। ডেটায় ইচ্ছা করে একটি অতীতের ভুল রাখা হয়েছে, যা বাস্তবেও সহজেই ঘটতে পারে।

এই ধরনের ভুলকে বলা হয় historical bias, আর এখানে তার নির্দিষ্ট রূপ label bias: যা মাপতে চাই (গ্রাহক কি সময়মতো দেন?) আর খাতায় যা লেখা (টাকা কি সময়মতো দোকানে পৌঁছেছে?) এক নয়। Simulation-এ নদীচরের সময়মতো দেওয়া গ্রাহকদের প্রায় ৩০% খাতায় “দেরি”. বাস্তবে আসল সত্য (repaid) কেউ জানে না; simulation-এ জানি বলেই ক্ষতি মাপতে পারছি। বাস্তবে আপনার হাতে থাকে শুধু খাতা।

যে বৈশিষ্ট্যের ভিত্তিতে বৈষম্য করা উচিত নয় (এখানে জেলা; অন্য প্রসঙ্গে লিঙ্গ, ধর্ম, বয়স), তাকে বলে protected attribute. জেলা আইনত সুরক্ষিত না-ও হতে পারে, কিন্তু পিছিয়ে থাকা এলাকার মানুষকে নিয়মিত বাদ দেওয়া ন্যায্যতার প্রশ্ন তোলে।

ব্লকগুলো পাতার ভেতরে রাখা bazar_credit.py module import করে; পড়ার জন্য তার কোড:

def make_data(n=4000, seed=42, b_share=0.3, b_delay=0.3, b_new=0.0):
    rng = np.random.default_rng(seed)
    b = b_share > rng.random(n)                   # True = নদীচর জেলা (কাল্পনিক)
    pa = [.24, .24, .24, .24, .02, .02]            # জেলা A-র area code 1-6
    pb = [.03, .03, .02, .02, .45, .45]            # নদীচরের বেশিরভাগ 5 আর 6
    area = np.where(b, rng.choice(np.arange(1, 7), n, p=pb),
                       rng.choice(np.arange(1, 7), n, p=pa))
    lam = np.where(b, 4.0, 5.0) * np.where(b_new * b > rng.random(n), 0.3, 1.0)
    orders = rng.poisson(lam)                      # আগের অর্ডার
    ret = rng.beta(2, 12, n)                       # ফেরতের হার
    p_true = 1 / (1 + np.exp(-(-0.6 + 0.45 * orders - 6 * ret)))
    repaid = (p_true > rng.random(n)).astype(int)  # আসল সত্য: সময়মতো দিয়েছেন?
    late_mark = b & (repaid == 1) & (b_delay > rng.random(n))
    label = np.where(late_mark, 0, repaid)         # খাতায় লেখা label
    return pd.DataFrame({"district": np.where(b, "B", "A"), "area": area,
                         "orders": orders, "ret": ret.round(3),
                         "repaid": repaid, "label": label})

খেয়াল করুন: আসল টাকা দেওয়ার সম্ভাবনা p_true দুই জেলায় একই সূত্রে, শুধু orders আর ret থেকে। নদীচরে গড়ে আগের অর্ডার একটু কম (Poisson-এর গড় ৪ বনাম ৫), কারণ সেখানে অনলাইন কেনাকাটা নতুন; তাই সেখানে আসল base rate একটু কম হওয়াটা ডেটার একটি সত্যিকারের পার্থক্য। বাকি সব পার্থক্য খাতার ভুল থেকে।

ডান পাশের লাল তীরটি feedback loop: যাঁরা অনুমোদন পান না, তাঁদের “পরে টাকা দিন”-এর কোনো নতুন রেকর্ড তৈরি হয় না, তাই পরের বছরের খাতাও ভুল ধারণা শুধরানোর সুযোগ পায় না। আমরা শুধু অনুমোদিতদের ফল দেখি; একে বলে selective labels সমস্যা। ভাঁজগুলো এক এক করে খুলব।

২ · দলভিত্তিক মাপ হাতে — selection rate, parity আর equal opportunity

ক্রিকেটের স্কোরকার্ডে দলের মোট রান দেখে বোঝা যায় না কে ব্যর্থ হয়েছেন। Fairness-এর মাপও তেমন: একই confusion matrix (পর্ব ৬০) প্রতিটি দলের জন্য আলাদা। “Positive” মানে অনুমোদন (ŷ = ১), আর y = ১ মানে গ্রাহক সত্যিই সময়মতো দেন। চারটি প্রচলিত মাপ:

• Selection rate: দলের কত ভাগ আবেদন অনুমোদিত, P(ŷ = ১ | দল)।
• Demographic parity: সব দলের selection rate সমান; মাপা হয় পার্থক্য (বড় − ছোট) আর অনুপাত (ছোট ÷ বড়) দিয়ে। যুক্তরাষ্ট্রের কর্মী-নিয়োগের ১৯৭৮ সালের Uniform Guidelines-এর “চার-পঞ্চমাংশ নিয়ম”: অনুপাত ০.৮-এর কম হলে disparate impact-এর প্রাথমিক ইঙ্গিত। এটি সেই দেশের একটি নির্দেশিকা, বাংলাদেশের আইন নয়, আর চূড়ান্ত প্রমাণ নয়, শুধু সংকেত।
• Equal opportunity: যাঁরা সত্যিই সময়মতো দেন, তাঁদের মধ্যে অনুমোদনের হার সব দলে সমান। এই হার হলো true positive rate (TPR, অর্থাৎ recall). Moritz Hardt, Eric Price আর Nathan Srebro ২০১৬ সালের প্রবন্ধে এই নাম দেন।
• Equalised odds: TPR আর FPR (দেরি করবেন এমনদের কত ভাগ অনুমোদন পান) দুটিই সব দলে সমান (একই প্রবন্ধ)। Fairlearn-এর “equalized odds difference” দুই ফাঁকের বড়টি।

নিচের খুদে টেবিলে প্রতিটি দলে ১০টি আবেদন। দল A: ৭ জন সত্যিই সময়মতো দেন, ৩ জন দেন না; model ৬ জনকে অনুমোদন দিয়েছে, যার ৫ জন ভালো গ্রাহক (TP) আর ১ জন নয় (FP). দল B: ৬ জন ভালো, ৪ জন নয়; অনুমোদন ৩ জনকে, তিনজনই ভালো গ্রাহক।

৩ · কোডে মাপা — অনুমোদন, TPR, FPR আর দলের ভেতরে calibration

এবার পুরো ৪,০০০টি আবেদন: অর্ধেকে train, অর্ধেকে test (জেলা অনুযায়ী stratify). পুরোনো দলের model জেলাও দেখত। report() প্রতিটি দলের আসল হার, খাতার হার, গড় সম্ভাবনা, অনুমোদন, TPR আর FPR ছাপে; TPR আর FPR আসল ফল (repaid) ধরে, যা শুধু simulation-এ জানা। তারপর calibration: একই ঝুড়িতে দুই দলের আসল হার কি এক?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from bazar_credit import make_data

df = make_data()                                   # ৪০০০ কাল্পনিক আবেদন
tr, te = train_test_split(df, test_size=0.5, random_state=42, stratify=df.district)
def feats(d, use):                                 # use: কোন কলাম model দেখবে
    X = pd.get_dummies(d[["orders", "ret"]].assign(area=d.area.astype(str)), dtype=float)
    X = X if "area" in use else X[["orders", "ret"]]
    return X.assign(is_B=(d.district == "B") * 1.0) if "district" in use else X
def report(p, yhat, d=te):
    rows = {}
    for g in "AB":
        s = (d.district == g).to_numpy(); y = d.repaid.to_numpy()[s]; h = yhat[s]
        rows[g] = {"সত্যি_দেন": y.mean(), "লেবেল_হার": d.label[s].mean(), "গড়_p": p[s].mean(),
                   "অনুমোদন": h.mean(), "TPR": h[y == 1].mean(), "FPR": h[y == 0].mean()}
    t = pd.DataFrame(rows).T
    sa, sb = t.loc["A", "অনুমোদন"], t.loc["B", "অনুমোদন"]
    print(t.round(3).to_string(), f"\nDP পার্থক্য {sa - sb:.3f} | অনুপাত B/A {sb / sa:.3f}"
          f" | TPR ফাঁক {t.TPR.A - t.TPR.B:.3f} | FPR ফাঁক {t.FPR.A - t.FPR.B:.3f}")
    return t
use = ["district", "area"]                         # পুরোনো দলের model: জেলাও দেখে
m1 = LogisticRegression(C=1e10, max_iter=1000).fit(feats(tr, use), tr.label)
p1 = m1.predict_proba(feats(te, use))[:, 1]
print("test-এ আবেদন:", te.district.value_counts().to_dict())
t1 = report(p1, (p1 >= 0.5).astype(int))
bins = pd.cut(p1, [0, .3, .5, .7, 1])
print(te.assign(bin=bins).groupby(["district", "bin"], observed=True)
        [["label", "repaid"]].mean().round(2).unstack(0).to_string())
ax = t1[["অনুমোদন", "TPR", "FPR"]].set_axis(["approval rate", "TPR", "FPR"], axis=1).T.plot.bar(
    rot=0, figsize=(6.4, 3.2), ylim=(0, 1), title="Approval model by district (test set, true outcomes)")
ax.legend(["district A", "district B"]); plt.show()

test-এ আবেদন: {'A': 1390, 'B': 610}
   সত্যি_দেন  লেবেল_হার  গড়_p  অনুমোদন    TPR    FPR
A      0.640      0.640  0.662    0.781  0.890  0.586
B      0.543      0.384  0.409    0.316  0.453  0.154
DP পার্থক্য 0.464 | অনুপাত B/A 0.405 | TPR ফাঁক 0.437 | FPR ফাঁক 0.432
           label       repaid
district       A     B      A     B
bin
(0.0, 0.3]  0.20  0.25   0.20  0.33
(0.3, 0.5]  0.36  0.40   0.36  0.54
(0.5, 0.7]  0.57  0.47   0.57  0.73
(0.7, 1.0]  0.83  0.62   0.83  0.91

সতর্কতা: test set-এ নদীচরের ৬১০টি আবেদন। ছোট দলে মাপ বেশি নড়ে; প্রতিটি দলের n লিখুন, দরকারে bootstrap ব্যবধান দিন (পর্ব ৬০)।

৪ · জেলার কলাম মুছলেই কি পক্ষপাত যায়? — proxy

প্রথম যে প্রতিকার মাথায় আসে: “model-কে জেলা দেখতে দেব না” (fairness through unawareness). সমস্যা হলো, অন্য কলাম প্রায়ই জেলার কথা বলে দেয়। সুরক্ষিত বৈশিষ্ট্যের সঙ্গে ঘনিষ্ঠভাবে জড়িত এমন feature-কে বলে proxy: পোস্ট কোড, স্কুলের নাম, মোবাইল অপারেটর, এমনকি কেনাকাটার সময়। Solon Barocas আর Andrew Selbst ২০১৬ সালের “Big Data’s Disparate Impact” প্রবন্ধে একে “redundant encoding” বলে আলোচনা করেন।

একটি অস্বস্তিকর উপসংহার: পক্ষপাত মাপতে protected attribute জানতে হয়। কলামটি পুরো ফেলে দিলে আপনি আর মাপতেও পারতেন না। প্রচলিত পথ হলো একে model-এর input থেকে আলাদা রেখে, সীমিত প্রবেশাধিকারে শুধু মূল্যায়নের জন্য রাখা; এটি নিজেই গোপনীয়তার সিদ্ধান্ত (অংশ ৭)।

একই মাপ ডেস্কটপে Fairlearn দিয়ে যাচাই (Microsoft-এর শুরু করা, এখন সম্প্রদায় পরিচালিত একটি খোলা Python লাইব্রেরি)। MetricFrame যেকোনো metric দলে দলে ভাগ করে হিসাব করে। সত্যিকারের run, লেখার সময়ের version:

from fairlearn.metrics import (MetricFrame, selection_rate, true_positive_rate,
                               false_positive_rate, demographic_parity_difference,
                               demographic_parity_ratio, equalized_odds_difference)
m2 = LogisticRegression(C=1e10, max_iter=1000).fit(feats(tr, ["area"]), tr.label)
yhat = m2.predict(feats(te, ["area"]))
mf = MetricFrame(metrics={"selection": selection_rate, "TPR": true_positive_rate,
                          "FPR": false_positive_rate},
                 y_true=te.repaid, y_pred=yhat, sensitive_features=te.district)
print(mf.by_group.round(3))
kw = dict(sensitive_features=te.district)
print("DP difference", round(demographic_parity_difference(te.repaid, yhat, **kw), 3))
print("DP ratio     ", round(demographic_parity_ratio(te.repaid, yhat, **kw), 3))
print("EO difference", round(equalized_odds_difference(te.repaid, yhat, **kw), 3))

~/bazarghar-ai$ python fairness_check.py
Python 3.14.4 | scikit-learn 1.8.0 | fairlearn 0.15.0
          selection    TPR    FPR
district
A             0.759  0.873  0.556
B             0.372  0.526  0.190
DP difference 0.387
DP ratio      0.49
EO difference 0.366

সংখ্যাগুলো পাতার নিজের report()-এর সঙ্গে হুবহু মেলে (ব্লক ২-এর প্রথম টেবিল দেখুন)। EO difference = max(TPR ফাঁক ০.৩৪৭, FPR ফাঁক ০.৩৬৬) = ০.৩৬৬. লাইব্রেরি ব্যবহার করুন বা নিজে লিখুন, একটি হাতে বানানো ছোট উদাহরণে দুটিকে আগে মিলিয়ে নিন (অনুশীলন ৪)।

৫ · সংজ্ঞাগুলো কেন একসঙ্গে মেলে না — base rate আর অসম্ভাব্যতা

ধরুন বাজারঘর বলল, “আমরা সব সংজ্ঞা একসঙ্গে মানব।” ২০১৬ সালের COMPAS বিতর্কে (ভাবনার প্রশ্ন ১) এক পক্ষ সমান FPR চেয়েছিল, অন্য পক্ষ calibration দেখিয়েছিল, আর দুই পক্ষের সংখ্যাই মোটামুটি ঠিক ছিল বলে পরে বিশ্লেষকেরা দেখান।

Jon Kleinberg, Sendhil Mullainathan আর Manish Raghavan (২০১৬ সালে প্রকাশিত, পরে ITCS ২০১৭) আর আলাদাভাবে Alexandra Chouldechova (Big Data, ২০১৭) গাণিতিকভাবে দেখান: দুই দলের base rate আলাদা হলে, আর model নিখুঁত না হলে, দলের ভেতরে calibration (বা সমান PPV) আর সমান ভুলের হার (সমান FPR ও FNR) একসঙ্গে রাখা অসম্ভব। Chouldechova-র রূপটি একটি সরল অভেদ থেকে আসে। p = দলের base rate হলে:

FPR = (p ÷ (1 − p)) × ((1 − PPV) ÷ PPV) × TPR

এখানে PPV অনুমোদিতদের মধ্যে ভালো গ্রাহকের ভাগ, TPR ভালো গ্রাহকদের মধ্যে অনুমোদনের ভাগ। দুই দলে PPV আর TPR সমান রাখলে FPR-কে p অনুযায়ী বদলাতেই হবে। একটি হাতে-গোনা উদাহরণ, প্রতিটি দলে ১০০ জন, দুই দলেই PPV = ০.৮ আর TPR = ০.৮:

সূত্রে যাচাই: A-তে (০.৬ ÷ ০.৪) × (০.২ ÷ ০.৮) × ০.৮ = ১.৫ × ০.২৫ × ০.৮ = ০.৩০; B-তে (০.৩ ÷ ০.৭) × ০.২৫ × ০.৮ ≈ ০.০৮৬. দুটি দলের FPR সমান করতে চাইলে (ধরুন A-র FPR কমিয়ে ০.০৮৬) A-তে FP হবে প্রায় ৩.৪, তখন A-র PPV ≈ ৪৮ ÷ ৫১.৪ ≈ ০.৯৩, B-র ০.৮: সমান PPV ভেঙে গেল। Selection rate-ও আলাদা (০.৬০ বনাম ০.৩০), তাই demographic parity-ও নেই। Base rate সমান হলে বা model নিখুঁত হলে তবেই সব একসঙ্গে সম্ভব।

৬ · প্রতিকার আর তার দাম — re-weighting, দলভিত্তিক সীমা, ভালো ডেটা, না চালানো

চারটি পথ, প্রতিটির নিজস্ব দাম:

পরের ব্লক ব্লক ১-এর namespace ব্যবহার করে: জেলা মুছে proxy-র প্রভাব, তারপর re-weighting আর দলভিত্তিক সীমা, শেষে পাঁচটি বিকল্প পাশাপাশি। Accuracy দুইভাবে: আসল ফল ধরে (acc_সত্যি, শুধু simulation-এ জানা) আর খাতার label ধরে (acc_লেবেল, বাস্তবে মাপা যায়)।

def fit(use, w=None):
    m = LogisticRegression(C=1e10, max_iter=1000).fit(feats(tr, use), tr.label, sample_weight=w)
    return m, m.predict_proba(feats(te, use))[:, 1]
m2, p2 = fit(["area"])                             # জেলার কলাম মুছে দিলাম, area রইল
print("জেলা ছাড়া, area আছে:"); t2 = report(p2, (p2 >= 0.5).astype(int))
print("area 5 বা 6-এ থাকেন:", (te.area >= 5).groupby(te.district).mean().round(2).to_dict())
print("area 1-6-এর ওজন:", m2.coef_[0][2:].round(2).tolist())

g, y = tr.district, tr.label                       # re-weighting: w = P(g)·P(y) / P(g, y)
pg, py, pgy = g.value_counts(normalize=True), y.value_counts(normalize=True), \
              pd.crosstab(g, y, normalize="all")
w = np.array([pg[a] * py[b] / pgy.loc[a, b] for a, b in zip(g, y)])
print("ওজন:", {(a, b): round(float(pg[a] * py[b] / pgy.loc[a, b]), 3) for a in "AB" for b in (0, 1)})
m3, p3 = fit(["area"], w)

def thr(p, tA, tB):                                # দলভিত্তিক সীমা
    return (p >= np.where(te.district == "B", tB, tA)).astype(int)
rows = []
for name, yhat in [("জেলা + area, সীমা 0.5", (p1 >= .5) * 1), ("শুধু area, সীমা 0.5", (p2 >= .5) * 1),
                   ("area + re-weighting", (p3 >= .5) * 1), ("area, সীমা A 0.5 / B 0.35", thr(p2, .5, .35)),
                   ("orders + ret শুধু", (fit([])[1] >= .5) * 1)]:
    s = {k: yhat[(te.district == k).to_numpy()] for k in "AB"}
    yt = {k: te.repaid[te.district == k].to_numpy() for k in "AB"}
    tpr = {k: s[k][yt[k] == 1].mean() for k in "AB"}
    rows.append([name, (yhat == te.repaid).mean(), (yhat == te.label).mean(),
                 s["A"].mean() - s["B"].mean(), tpr["A"] - tpr["B"]])
print(pd.DataFrame(rows, columns=["model", "acc_সত্যি", "acc_লেবেল", "DP_ফাঁক", "TPR_ফাঁক"])
      .round(3).to_string(index=False))

জেলা ছাড়া, area আছে:
   সত্যি_দেন  লেবেল_হার  গড়_p  অনুমোদন    TPR    FPR
A      0.640      0.640  0.649    0.759  0.873  0.556
B      0.543      0.384  0.440    0.372  0.526  0.190 
DP পার্থক্য 0.387 | অনুপাত B/A 0.490 | TPR ফাঁক 0.347 | FPR ফাঁক 0.366
area 5 বা 6-এ থাকেন: {'A': 0.04, 'B': 0.9}
area 1-6-এর ওজন: [0.09, -0.11, 0.2, 0.3, -0.53, -0.65]
ওজন: {('A', 0): 1.199, ('A', 1): 0.894, ('B', 0): 0.726, ('B', 1): 1.37}
                    model  acc_সত্যি  acc_লেবেল  DP_ফাঁক  TPR_ফাঁক
    জেলা + area, সীমা 0.5      0.692      0.690    0.464     0.437
      শুধু area, সীমা 0.5      0.700      0.690    0.387     0.347
      area + re-weighting      0.708      0.680    0.126     0.093
area, সীমা A 0.5 / B 0.35      0.702      0.673    0.151     0.124
        orders + ret শুধু      0.708      0.686    0.170     0.130

দলভিত্তিক সীমার বিতর্ক: একপক্ষ বলেন, দল দেখে আলাদা নিয়ম মানেই বৈষম্য। অন্যপক্ষ বলেন, ডেটা নিজেই একটি দলের বিরুদ্ধে ঝুঁকে থাকলে সবার জন্য এক সীমাই অন্যায় ফল দেয়। কিছু দেশের ঋণ ও নিয়োগ আইনে protected attribute সরাসরি ব্যবহারে কড়া সীমা আছে বলে আইন-গবেষকেরা আলোচনা করেন। নিরাপদ পথ: আগে মূল কারণ (label) ঠিক করা, আর যেকোনো দলভিত্তিক সমন্বয় আইনি পরামর্শ, লিখিত কারণ আর সময়সীমাসহ।

৭ · গোপনীয়তা — কম নেওয়া, “বেনামি”-র সীমা আর differential privacy

“পরে টাকা দিন” model-এর জন্য বাজারঘর কী রাখবে? প্রথম নীতি data minimisation: যতটুকু দরকার, তার বেশি নয়; আগের অর্ডারের সংখ্যা আর ফেরতের হার যথেষ্ট, contact list বা সামাজিক মাধ্যমের প্রোফাইল নয়। দ্বিতীয় নীতি purpose limitation: ডেলিভারির জন্য নেওয়া ডেটা বিজ্ঞাপনে ব্যবহার করতে আলাদা ভিত্তি আর সাধারণত সম্মতি লাগে। ছবি আর chart-এ লুকোনো ব্যক্তিগত তথ্যের কথা পর্ব ১৮ আর পর্ব ৩১-এ; এখানে টেবিল।

নাম মুছলেই কি মানুষ হারিয়ে যান?

বাজারঘর একটি বিপণন সংস্থাকে মার্চ মাসের অর্ডারের একটি টেবিল দিল, নাম আর ফোন নম্বর মুছে: শুধু জেলা, বয়সের দল, অর্ডারের তারিখ আর পণ্য। একে সাধারণ ভাষায় “বেনামি” বলা হয়, কিন্তু প্রকৃত anonymisation মানে যুক্তিসংগত চেষ্টাতেও কাউকে আর চেনা যায় না। নাম মোছা বা নামের বদলে একটি কোড বসানোকে বলে pseudonymisation: কোডের তালিকা কারও কাছে থাকলে, বা অন্য তথ্য জুড়ে দিলে, মানুষকে আবার চেনা যায়। যে কলামগুলো একা পরিচয় নয় কিন্তু একসঙ্গে প্রায় পরিচয়ের কাজ করে (জেলা, বয়স, তারিখ, লিঙ্গ), তাদের বলে quasi-identifier.

এদিকে বাজারঘরের ফেসবুক পাতায় মার্চের “লাকি ড্র” বিজয়ীদের পোস্ট: নাম, জেলা, বয়স আর কোন দিন অর্ডার করে জিতেছেন। দুটি টেবিল একই quasi-identifier দিয়ে জুড়লে (পর্ব ২৫-এর merge) কী হয়, একে বলে linkage attack. সব নাম আর অর্ডার কাল্পনিক।

import numpy as np
import pandas as pd
pd.set_option("display.width", 90)
rows = """ঢাকা,25-34,03-02,ডায়াবেটিস স্ট্রিপ|ঢাকা,25-34,03-02,চার্জার|ঢাকা,25-34,03-05,শাড়ি
ঢাকা,35-44,03-02,প্রেসার মেশিন|রাজশাহী,25-34,03-03,প্রেগন্যান্সি টেস্ট কিট|রাজশাহী,45-54,03-03,বই
সিলেট,18-24,03-04,হেডফোন|সিলেট,18-24,03-04,মোবাইল কভার|খুলনা,35-44,03-06,ডায়াবেটিস স্ট্রিপ
খুলনা,35-44,03-07,জুতা|নদীচর,25-34,03-05,ইনহেলার|নদীচর,55+,03-05,চাল"""
orders = pd.DataFrame([r.split(",") for r in rows.replace("\n", "|").split("|")],
                      columns=["district", "age", "date", "item"])   # নাম-ফোন মোছা "বেনামি" টেবিল
winners = pd.DataFrame({"name": ["রুমানা", "তানভীর", "সাবরিনা", "জামিল"],
                        "district": ["রাজশাহী", "খুলনা", "ঢাকা", "নদীচর"],
                        "age": ["25-34", "35-44", "25-34", "25-34"],
                        "date": ["03-03", "03-06", "03-02", "03-05"]})  # ফেসবুকের লাকি ড্র পোস্ট
QI = ["district", "age", "date"]                   # quasi-identifier
hit = winners.merge(orders, on=QI, how="left")
hit["মিল"] = hit.groupby("name")["item"].transform("size")
print(hit[["name", "district", "date", "item", "মিল"]].to_string(index=False))
k = orders.groupby(QI).size()
print("\nk-anonymity: k =", k.min(), "| নিজের দলে একা:", (k == 1).sum(), "সারি, মোট", len(orders))

gen = orders.assign(age=orders.age.map(lambda a: "18-34" if a[:2] in ("18", "25") else "35+"),
                    date="মার্চ")                  # সাধারণীকরণ: বয়সের বড় দল, শুধু মাস
kg = gen.groupby(QI)["item"].agg(["size", "nunique"])
print("\nসাধারণীকরণের পরে:\n", kg.to_string())
print("k =", kg["size"].min(), "| k ≥ 2 রাখতে বাদ দিতে হয়:", kg["size"][kg["size"] < 2].sum(), "সারি")

rng = np.random.default_rng(42)                    # differential privacy: Laplace শব্দ
true_count = 37                                    # নদীচরে মার্চে ইনহেলার কিনেছেন
for eps in [0.1, 0.5, 1.0, 2.0]:
    noisy = true_count + rng.laplace(0, 1 / eps, 5)            # count-এর sensitivity = 1
    mae = np.abs(rng.laplace(0, 1 / eps, 100_000)).mean()
    print(f"ε = {eps:<4} প্রকাশ: {np.round(noisy).astype(int)}  গড় ভুল ≈ {mae:.2f}")

name district  date                    item  মিল
 রুমানা  রাজশাহী 03-03 প্রেগন্যান্সি টেস্ট কিট    1
 তানভীর    খুলনা 03-06      ডায়াবেটিস স্ট্রিপ    1
সাবরিনা     ঢাকা 03-02      ডায়াবেটিস স্ট্রিপ    2
সাবরিনা     ঢাকা 03-02                 চার্জার    2
  জামিল    নদীচর 03-05                 ইনহেলার    1

k-anonymity: k = 1 | নিজের দলে একা: 8 সারি, মোট 12

সাধারণীকরণের পরে:
                       size  nunique
district age   date                
খুলনা    35+   মার্চ     2        2
ঢাকা     18-34 মার্চ     3        3
         35+   মার্চ     1        1
নদীচর    18-34 মার্চ     1        1
         35+   মার্চ     1        1
রাজশাহী  18-34 মার্চ     1        1
         35+   মার্চ     1        1
সিলেট    18-34 মার্চ     2        2
k = 1 | k ≥ 2 রাখতে বাদ দিতে হয়: 5 সারি
ε = 0.1  প্রকাশ: [45 36 50 42 20]  গড় ভুল ≈ 10.00
ε = 0.5  প্রকাশ: [38 40 39 36 37]  গড় ভুল ≈ 2.00
ε = 1.0  প্রকাশ: [37 35 37 38 37]  গড় ভুল ≈ 1.00
ε = 2.0  প্রকাশ: [37 36 37 38 36]  গড় ভুল ≈ 0.50

ধারণাটি Cynthia Dwork, Frank McSherry, Kobbi Nissim আর Adam Smith-এর ২০০৬ সালের প্রবন্ধ থেকে। প্রতিশ্রুতি: একজন মানুষের তথ্য থাকুক বা না থাকুক, প্রকাশিত ফলের বণ্টন প্রায় একই (সর্বোচ্চ e^ε গুণ পার্থক্য), আক্রমণকারীর হাতে যত বাইরের তথ্যই থাকুক। দাম: ছোট count প্রায় অর্থহীন হয় (৩৭-এর পাশে ±১০), আর প্রতিটি নতুন প্রশ্ন budget খরচ করে, কারণ একই প্রশ্ন বারবার করে শব্দ গড় করা যায়। বিস্তারিত নকশা আর GDPR-এর সারকথা এই সাইটের Cybersecurity কোর্সের privacy engineering পর্বে।

৮ · নথিপত্র — model card আর datasheet লেখা

ওষুধের মোড়কের কাগজে থাকে কী রোগে, কত মাত্রায়, কাদের জন্য নয়। Model card একটি model-এর জন্য সেই কাগজ (Margaret Mitchell ও সহকর্মী, FAT* ২০১৯); ডেটাসেটের জন্য Timnit Gebru ও সহকর্মীদের datasheets for datasets (খসড়া ২০১৮, Communications of the ACM ২০২১)। অন্যের model-এর card পড়া পর্ব ৭১ (Pretrained model ব্যবহার — Hugging Face, model card আর লাইসেন্স)-এ; এখানে নিজের card. সংখ্যাগুলো ব্লক ২-এর re-weighting model-এর (দলভিত্তিক মান ডেস্কটপে একই কোডে মাপা)।

# Model card — বাজারঘর "পরে টাকা দিন" অনুমোদন, v2.0 (কাল্পনিক)
## উদ্দেশ্য
- ৫,০০০ টাকা পর্যন্ত অর্ডারে "পরে টাকা দিন" প্রস্তাব করা হবে কি না
- প্রত্যাখ্যান মানে ক্যাশ অন ডেলিভারি; কোনো গ্রাহককে কেনা থেকে আটকানো নয়
- সীমার কাছের score (0.40–0.60) মানুষ দেখবেন
## যে কাজে ব্যবহার নিষেধ
- ঋণ, চাকরি, ভাড়া বা বিমার সিদ্ধান্ত; অন্য প্রতিষ্ঠানকে score দেওয়া
## Model আর ডেটা
- LogisticRegression (scikit-learn 1.8.0); input: orders, ret, area 1–6
- জেলা input নয়; শুধু মূল্যায়নের জন্য আলাদা, সীমিত প্রবেশাধিকারে রাখা
- Training: 2,000 আবেদন, re-weighting (জেলা × label); datasheet দেখুন
## দলভিত্তিক ফল (test, n: A 1390, নদীচর 610)
- অনুমোদন   A 0.699 │ নদীচর 0.574
- TPR       A 0.827 │ নদীচর 0.734
- FPR       A 0.472 │ নদীচর 0.384
- accuracy (আসল ফল) 0.708; খাতার label ধরে 0.680
## জানা সীমা
- খাতার label নদীচরে পক্ষপাতদুষ্ট (courier-এর দেরি); নতুন label নীতি চলছে
- area code নদীচরের proxy; ওজন মাসে একবার পর্যালোচনা
- নতুন গ্রাহক (আগের অর্ডার কম) ভালো গ্রাহক হলেও কম অনুমোদন পান
## নজরদারি আর যোগাযোগ
- প্রতি মাসে দলভিত্তিক অনুমোদন; অনুপাত ভিত্তির 0.10 নিচে দুই মাস → পর্যালোচনা
- মালিক: ঝুঁকি-দল; ঠিকানা: responsible-ai@bazarghar.example

কার্ডে ভালো খবর কম, সীমা বেশি: যিনি ব্যবহার করবেন বা যাঁর ওপর ব্যবহার হবে, তিনি যেন জানেন কোথায় ভরসা নেই। বাস্তবে কার্ডে থাকবে খাতার label-এর মাপ আর তার উৎস নিয়ে সতর্কবার্তা।

Datasheet ডেটাসেটের জন্মবৃত্তান্ত। Gebru ও সহকর্মীদের প্রশ্নগুলো সাতটি ভাগে সাজানো; বাজারঘরের জন্য সংক্ষেপে:

“সংগ্রহ” সারিটিই এই পর্বের পুরো গল্প: শুরুতে কেউ “label ঠিক কী মাপে?” জিজ্ঞেস করলে নদীচরের ক্ষতি আগেই ধরা পড়ত। পর্ব ৬২-এর EDA রিপোর্টের “খোলা প্রশ্ন” অংশ এখানে কাজে লাগে।

৯ · Deploy-এর পরে — মানুষের তত্ত্বাবধান, নজরদারি আর ঘটনা সামলানো

প্রত্যাখ্যাত গ্রাহক কী করতে পারেন

মানুষের তত্ত্বাবধান মানে নকশায় লেখা থাকা কে, কখন, কোন ক্ষমতায় সিদ্ধান্ত বদলাতে পারেন। বাজারঘরের আপিলের পথ:

1. কারণ জানানো: সহজ ভাষায় প্রধান দুটি কারণ, ওজন × মান থেকে (পর্ব ৫৯)। “Area code” কারণ হিসেবে দেখাতে অস্বস্তি হলে, feature-টি থাকা উচিত নয়।
2. বিকল্প: ক্যাশ অন ডেলিভারি বা আগাম পরিশোধ, কোনো অতিরিক্ত খরচ ছাড়া।
3. মানুষের পর্যালোচনা: অ্যাপে একটি বোতাম; একজন কর্মী নির্দিষ্ট সময়ে (ধরুন তিন কর্মদিবস) দেখবেন, সিদ্ধান্ত বাতিলের ক্ষমতাসহ।
4. তথ্য শোধরানো: bKash/Nagad-এর লেনদেনের প্রমাণে খাতা ঠিক করা; প্রতিটি সফল আপিল নতুন, ভালো label.
5. গোনা: জেলাভেদে আপিল আর সফলতার হার মাসে মাসে; কোনো দলে সফল আপিল বেশি মানে model সেখানে ভুল করছে।

একজন কর্মী দিনে ৫০০টি সিদ্ধান্তে শুধু “ঠিক আছে” চাপলে তত্ত্বাবধান শুধু কাগজে (automation bias); তিনি কতবার model-এর বিপরীতে গেলেন, তা-ও মাপুন।

নজরদারি: ১২ মাসের simulation

Deploy-এর দিন ভালো model পরে খারাপ হতে পারে (concept drift, covariate shift; পর্ব ৫৬)। ধরুন নতুন label নীতিতে শুধু orders আর ret দিয়ে model বানানো হলো, আর মাস ৬ থেকে নদীচরে প্রচারণায় অনেক নতুন গ্রাহক এলেন, যাঁদের আগের অর্ডার প্রায় নেই। নিয়ম: প্রথম তিন মাসের গড় অনুপাত ভিত্তি; অনুপাত তার ০.১০-এর বেশি নিচে পরপর দুই মাস থাকলে সতর্কতা।

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from bazar_credit import make_data

base = make_data(n=4000, seed=7, b_delay=0.0)      # নতুন, পরিষ্কার label-এ train
model = LogisticRegression(C=1e10, max_iter=1000).fit(base[["orders", "ret"]], base.repaid)
log, streak, ref = [], 0, None
for m in range(1, 13):                             # deploy-এর পরের ১২ মাস
    new = 0.0 if m <= 5 else min(0.8, 0.16 * (m - 5))   # মাস ৬ থেকে নদীচরে প্রচার: নতুন গ্রাহক
    d = make_data(n=800, seed=100 + m, b_new=new)
    d["ok"] = (model.predict_proba(d[["orders", "ret"]])[:, 1] >= 0.5).astype(int)
    sel = d.groupby("district")["ok"].mean()
    tpr = d[d.repaid == 1].groupby("district")["ok"].mean()
    ratio = sel["B"] / sel["A"]
    if m == 3: ref = np.mean([r["ratio"] for r in log] + [ratio])   # প্রথম ৩ মাসের ভিত্তি
    streak = streak + 1 if m > 3 and ratio < ref - 0.10 else 0
    log.append({"month": m, "new_B": new, "sel_A": sel["A"], "sel_B": sel["B"],
                "ratio": ratio, "TPR_gap": tpr["A"] - tpr["B"],
                "alert": "সতর্কতা!" if streak >= 2 else ""})
mon = pd.DataFrame(log).round(3)
print(mon.to_string(index=False), f"\nভিত্তি অনুপাত {ref:.3f}, সতর্কতার রেখা {ref - 0.10:.3f}")
ax = mon.plot(x="month", y=["ratio", "TPR_gap"], marker="o", figsize=(6.4, 3.2),
              title="Monthly fairness monitoring (simulated)")
ax.axhline(ref - 0.10, ls="--", c="gray"); ax.set_xlabel("month after deployment")
ax.legend(["selection ratio B/A", "TPR gap A - B", "alert line"]); plt.show()

month  new_B  sel_A  sel_B  ratio  TPR_gap    alert
     1   0.00  0.769  0.656  0.852    0.130         
     2   0.00  0.774  0.654  0.846    0.132         
     3   0.00  0.768  0.656  0.855    0.069         
     4   0.00  0.784  0.609  0.776    0.125         
     5   0.00  0.794  0.629  0.792    0.121         
     6   0.16  0.765  0.580  0.758    0.156         
     7   0.32  0.761  0.462  0.608    0.146         
     8   0.48  0.805  0.407  0.505    0.330 সতর্কতা!
     9   0.64  0.791  0.327  0.413    0.380 সতর্কতা!
    10   0.80  0.759  0.284  0.374    0.335 সতর্কতা!
    11   0.80  0.746  0.253  0.339    0.419 সতর্কতা!
    12   0.80  0.789  0.271  0.343    0.423 সতর্কতা! 
ভিত্তি অনুপাত 0.851, সতর্কতার রেখা 0.751

একটি incident note

সতর্কতা বাজলে কী করবেন, তা ঘটনার আগে লেখা থাকা চাই (incident response). নিচের নোটটি মাস ৮-এর সতর্কতার পর লেখা, কাল্পনিক:

# ঘটনা: নদীচরে "পরে টাকা দিন" অনুমোদন কমে যাওয়া
সনাক্ত: মাস ৮, মাসিক নজরদারি (অনুপাত 0.608 → 0.505, রেখা 0.751)
প্রভাব: নদীচরের নতুন গ্রাহক; ক্ষতি = সুবিধা না পাওয়া, কেনা আটকায়নি
তাৎক্ষণিক পদক্ষেপ: আগের অর্ডার ২-এর কম এমন আবেদন মানুষের পর্যালোচনায়
মূল কারণ: প্রচারণায় নতুন গ্রাহক বেড়েছে; model "অর্ডারের ইতিহাস"-কে
           বিশ্বস্ততার একমাত্র সংকেত ধরে, নতুনদের জন্য তথ্য নেই
স্থায়ী সমাধান: নতুন গ্রাহকের জন্য আলাদা নিয়ম (প্রথম অর্ডার ছোট সীমায়);
               প্রচারণার আগে ঝুঁকি-দলকে জানানো বাধ্যতামূলক
শিক্ষা: ব্যবসার সিদ্ধান্তও ডেটার বণ্টন বদলায়; নজরদারি কাজ করেছে, তবে ২ মাস দেরিতে

চালু করার আগের checklist

Generative AI-এর বাড়তি ঝুঁকি, সংক্ষেপে

গ্রাহকসেবায় ভাষা model ব্যবহার করলে (পর্ব ৭০, LLM কীভাবে কাজ করে — token, পরের শব্দের অনুমান আর সীমা) তিনটি ঝুঁকি যোগ হয়। Hallucination: model আত্মবিশ্বাসের সঙ্গে ভুল নীতি বলতে পারে, তাই নীতির উত্তর অফিসিয়াল নথি থেকে, আর অনিশ্চিত হলে মানুষের কাছে। Prompt injection: বার্তা বা রিভিউয়ে লুকোনো নির্দেশ model-এর আচরণ বদলাতে পারে, আর এটি এখনও পুরো সমাধান হয়নি বলে মনে করা হয়; বিস্তারিত Cybersecurity কোর্সের AI নিরাপত্তা পর্বে। Training ডেটার copyright আর সম্মতি: বড় model-এর training-এ লেখক-শিল্পীদের সম্মতি ছিল কি না, তা নিয়ে কয়েকটি দেশে মামলা আর বিতর্ক চলছে; ফল অমীমাংসিত, আইন দেশভেদে আলাদা। গ্রাহকের চ্যাট দিয়ে model উন্নত করতে চাইলে সেটিও purpose limitation-এর প্রশ্ন।

১০ · AI-এর যুগে — AI assistant-এর লেখা fairness আর privacy কোড যাচাই

“আমার model-এর bias check করে দাও” বললে AI assistant দ্রুত কোড আর একটি আশ্বাসজনক সংখ্যা দেয়। সাধারণ ভুল: protected attribute মুছেই “ন্যায্য” ঘোষণা, train set-এ মাপা, TPR আর FPR গুলিয়ে ফেলা, label-কে প্রশ্নাতীত ধরা, hash করে “বেনামি” বলা, ধারা নম্বরসহ আইনের নিশ্চিত দাবি।

AI-এর লেখা fairness বা privacy কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• একটি ছোট হাতে-গোনা টেবিলে selection rate, TPR, FPR নিজে বের করে কোডের সঙ্গে মিলিয়েছি
• মাপগুলো test set-এ, প্রতিটি দলের n আর ব্যবধানসহ, train-এ নয়
• Label কীভাবে তৈরি তা জেনেছি, আর proxy খুঁজতে প্রতিটি feature দিয়ে দল অনুমান করে দেখেছি
• প্রতিকারের আগে-পরে accuracy আর fairness দুটিই একই ভাগে মেপেছি, আর baseline রেখেছি
• “বেনামি” দাবির জন্য quasi-identifier গুনে k দেখেছি; কোনো আসল ব্যক্তিগত ডেটা AI-কে দিইনি
• লাইব্রেরির API নিজের version-এর অফিসিয়াল docs-এ মিলিয়েছি; আইনি দাবি অফিসিয়াল লেখায় যাচাই করেছি