বাস্তবে AI — কোথায় কাজ করে, কোথায় ভুল করে আর দায় কার

১ · AI কোথায় ভালো কাজ করে — আর কেন

আগের পর্বগুলোতে আপনি দেখেছেন AI কী, এর ইতিহাস কেমন, আর AI কোন ধরনের সমস্যা সমাধান করে। এবার মাটিতে নামার পালা। প্রশ্নটা সোজা: আজকের AI আসলে কোথায় নির্ভর করার মতো, আর কোথায় নয়?

আপনার ফোনে বা কম্পিউটারে প্রতিদিন কয়েকটি AI চুপচাপ কাজ করে। ইমেইলের spam folder-এ যে বিজ্ঞাপন জমা হয়, সেটি একটি classifier বাছাই করেছে। ফোনে কথা বললে যে লেখা আসে, তার পেছনে আছে speech recognition. কোনো অনলাইন দোকানে “আপনার পছন্দ হতে পারে” তালিকা দেখায় একটি recommender system. ব্যাংক বা মোবাইল ওয়ালেটে অস্বাভাবিক লেনদেন হলে যে সতর্কবার্তা আসে, সেটিও প্রায়ই একটি model-এর সিদ্ধান্ত। স্ক্যান করা কাগজ থেকে লেখা তুলে আনে OCR.

এই কাজগুলোর মধ্যে মিল কোথায়? তিনটি শর্ত প্রায় সবখানে আছে।

একটি সতর্কতা শুরুতেই রাখি। “AI ভালো কাজ করে” কথাটি সবসময় শর্তসাপেক্ষ: কোন ডেটায়, কোন মাপকাঠিতে, কাদের জন্য। কোনো model-এর accuracy ৯৫% শুনলে প্রথম প্রশ্ন হওয়া উচিত — কোন ডেটায় মাপা হয়েছে? সেই ডেটা কি আপনার বাস্তব ব্যবহারকারীদের মতো? এই পর্বের বাকিটা মূলত এই প্রশ্নেরই বিস্তার। Accuracy, precision আর recall-এর মতো মাপকাঠি বিস্তারিত আসবে পর্ব ৬০-এ।

২ · Distribution shift — অন্য জেলা, অন্য ঋতু

এই কোর্সের চলমান উদাহরণ “বাজারঘর”, একটি কাল্পনিক অনলাইন দোকান। ধরুন বাজারঘর একটি model বানাল, যা আগে থেকে বলে দেবে কোন ডেলিভারি দেরিতে পৌঁছাবে। Model শেখানো হলো একটি কাল্পনিক জেলা “নতুনপুর”-এর ডেটায়। নতুনপুর নিচু এলাকা — বৃষ্টি হলেই রাস্তায় পানি জমে, তাই সেখানে দূরত্ব আর বৃষ্টি দুটোই দেরির কারণ।

Model ভালো চলল। তারপর বাজারঘর ব্যবসা বাড়াল আরেক কাল্পনিক জেলা “পাহাড়গঞ্জ”-এ। সেখানে পানি নিষ্কাশন ভালো, বৃষ্টিতে রাস্তা প্রায় আটকায় না। কিন্তু model তো জানে “বৃষ্টি মানেই দেরি”! ফলে পাহাড়গঞ্জে বৃষ্টির দিনে সে একের পর এক ভুল সতর্কবার্তা দিতে লাগল।

এটিই distribution shift: যে ডেটায় model শিখেছে আর যে ডেটায় সে কাজ করছে, তাদের পরিসংখ্যানগত চেহারা আলাদা। এর তিনটি সাধারণ রূপ আছে:

এবার এটি নিজের চোখে দেখা যাক। নিচের কোডে seed দেওয়া কাল্পনিক ডেটা তৈরি হয়, তাই প্রতিবার একই সংখ্যা আসবে। প্রতিটি অর্ডারের দুটি feature: দূরত্ব (কিলোমিটার) আর বৃষ্টি (মিলিমিটার)। নতুনপুরে দেরির “আসল নিয়ম” হলো 0.3×দূরত্ব + 0.08×বৃষ্টি + noise > 5; পাহাড়গঞ্জে বৃষ্টির ওজন শূন্য। Model হিসেবে নেওয়া হয়েছে scikit-learn-এর logistic regression — এর ভেতরের গণিত পর্ব ৫৯-এ আসবে, এখন শুধু জানুন এটি দুটি feature-কে ওজন দিয়ে যোগ করে “দেরি/সময়মতো” বলে।

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(42)

def district(n, rain_w):
    dist = rng.uniform(1, 20, n)            # km
    rain = rng.uniform(0, 60, n)            # mm
    score = 0.3 * dist + rain_w * rain + rng.normal(0, 1, n)
    late = (score > 5).astype(int)          # 1 = late delivery
    return np.column_stack([dist, rain]), late

# Notun-pur: low land, rain floods roads
X_tr, y_tr = district(800, rain_w=0.08)
X_te, y_te = district(400, rain_w=0.08)
# Pahar-ganj: good drainage, rain barely matters
X_new, y_new = district(400, rain_w=0.0)

model = LogisticRegression().fit(X_tr, y_tr)
w = model.coef_[0]
print("weights  dist=%.2f  rain=%.2f" % (w[0], w[1]))
print("late rate  A=%.2f  B=%.2f" % (y_te.mean(), y_new.mean()))
print("accuracy, District A test:", round(model.score(X_te, y_te), 3))
print("accuracy, District B     :", round(model.score(X_new, y_new), 3))

pred_B = model.predict(X_new)
false_late = ((pred_B == 1) & (y_new == 0)).sum()
print("B: predicted late but on time:", false_late, "of", len(y_new))

weights  dist=0.54  rain=0.15
late rate  A=0.60  B=0.20
accuracy, District A test: 0.873
accuracy, District B     : 0.618
B: predicted late but on time: 147 of 400

নিচের ডায়াগ্রামে একই ঘটনা ধাপে ধাপে দেখুন। প্রতিটি সংখ্যা উপরের কোডের আসল run (আর একই seed-এ একটি বাড়তি local হিসাব) থেকে নেওয়া।

দেরির হার = 0.60
ওজন: dist = 0.54
     rain = 0.15
← বৃষ্টি মানে দেরি

accuracy = 0.873
একই জেলা, একই নিয়ম → model ভালো

দেরির হার = 0.20
accuracy  = 0.618
বৃষ্টির ওজন এখানে আসলে 0

model: P(দেরি) ≈ 0.75
       → "দেরি হবে"
নতুনপুরের নিয়মে:
  0.3×8 + 0.08×40 = 5.6 > 5
পাহাড়গঞ্জের নিয়মে:
  0.3×8 + 0 = 2.4 < 5
noise বাদে: সময়মতো

পাহাড়গঞ্জের ২০০টি নতুন অর্ডারে
আলাদা model শেখালে, পাহাড়গঞ্জে
accuracy ≈ 0.865

বাস্তবে shift আসে নানা দিক থেকে: ঋতু বদল (বর্ষা বনাম শীত), উৎসব (ঈদের আগের কেনাকাটা), নতুন ফোন বা ক্যামেরা, নতুন আইন, এমনকি মহামারির মতো বড় ঘটনা। আবহাওয়ার পূর্বাভাসের মডেলও পুরোনো বছরের ডেটায় শেখে, তাই অস্বাভাবিক বছরে তার ভুল বাড়ে। কোনো model চালু করার পর “একবার বানালাম, চিরকাল চলবে” — এই ধারণাটিই সবচেয়ে বড় ভুল। Train, validation আর test ভাগ করার সঠিক নিয়ম পর্ব ৫৬-এ বিস্তারিত দেখবেন।

৩ · Shortcut learning — বরফ দেখে “তাজা মাছ”

Distribution shift-এর একটি বিশেষ, চতুর রূপ আছে। Model অনেক সময় আসল কারণ না শিখে এমন কিছু শেখে, যা training data-তে কাকতালীয়ভাবে উত্তরের সঙ্গে মিলে যায়। একে বলে spurious correlation (ভুয়া সম্পর্ক), আর model-এর এই সহজ পথ বেছে নেওয়াকে বলে shortcut learning.

বাংলাদেশি একটি উপমা নিন। বাজারঘর মাছের ছবি দেখে “তাজা/বাসি” বলার একটি model বানাতে চায়। Training ছবিগুলো এসেছে কয়েকজন পুরোনো বিক্রেতার কাছ থেকে, যাঁরা তাজা মাছ সবসময় বরফের ওপর রেখে ছবি তোলেন। Model দেখল: বরফ থাকলেই প্রায় সবসময় “তাজা”। কানকোর রঙ (আসল লক্ষণ) দেখার চেয়ে বরফ দেখা অনেক সহজ! তারপর নতুন বিক্রেতারা এলেন, যাঁদের কেউ বাসি মাছও বরফে রাখেন।

নিচের খেলনা-উদাহরণে দুটি feature: gill (কানকোর লালচে ভাব — আসল কিন্তু noise-ভরা সংকেত) আর ice (ছবিতে বরফ আছে কি না)। Training-এ বরফ ৯৫% ক্ষেত্রে উত্তরের সঙ্গে মেলে; নতুন বিক্রেতাদের ছবিতে মাত্র ৫০% — অর্থাৎ এলোমেলো।

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(7)

def photos(n, ice_match):
    fresh = rng.integers(0, 2, n)                  # 1 = fresh fish
    gill = fresh * 1.0 + rng.normal(0, 0.8, n)     # real but noisy signal
    same = rng.random(n) < ice_match               # does ice follow the label?
    ice = np.where(same, fresh, 1 - fresh)         # 1 = ice in the photo
    return np.column_stack([gill, ice]), fresh

X_tr, y_tr = photos(1000, ice_match=0.95)   # sellers of fresh fish used ice
X_te, y_te = photos(1000, ice_match=0.50)   # new sellers: ice is random

model = LogisticRegression().fit(X_tr, y_tr)
print("weights  gill=%.2f  ice=%.2f" % tuple(model.coef_[0]))
print("train accuracy:", round(model.score(X_tr, y_tr), 3))
print("test accuracy :", round(model.score(X_te, y_te), 3))

gill_only = LogisticRegression().fit(X_tr[:, :1], y_tr)
print("gill-only model, test:", round(gill_only.score(X_te[:, :1], y_te), 3))

stale_on_ice = (y_te == 0) & (X_te[:, 1] == 1)
fooled = (model.predict(X_te)[stale_on_ice] == 1).mean()
print("stale fish on ice called fresh: %.0f%%" % (100 * fooled))

weights  gill=1.26  ice=5.63
train accuracy: 0.958
test accuracy : 0.547
gill-only model, test: 0.743
stale fish on ice called fresh: 98%

বাস্তবে shortcut চেনার উপায় কী? এক, model কোন feature-এ ভর দিচ্ছে তা দেখা (ব্যাখ্যা-পদ্ধতি, feature-এর ওজন)। দুই, ভিন্ন উৎসের ডেটায় যাচাই — অন্য বিক্রেতা, অন্য হাসপাতাল, অন্য জেলা। তিন, ডোমেইন বিশেষজ্ঞকে জিজ্ঞেস করা: “এই feature কি সত্যিই কারণ, নাকি শুধু সঙ্গী?” ডাক্তার যেমন রোগনির্ণয়ে লক্ষণ দেখেন, রোগী কোন হাসপাতালের কাগজে রিপোর্ট এনেছেন তা দেখে নয়।

৪ · আরও তিন রকম ভুল — adversarial, hallucination আর feedback loop

Adversarial example — চোখে না পড়া কারসাজি

Adversarial example হলো এমন input, যাতে ইচ্ছে করে খুব সামান্য পরিবর্তন করা হয়েছে, যাতে model ভুল করে — অথচ মানুষের চোখে প্রায় কোনো পার্থক্যই নেই। ২০১৩–১৪ সালে Szegedy ও সহকর্মীদের “Intriguing properties of neural networks” এবং পরে Goodfellow ও সহকর্মীদের কাজ এই ঘটনাকে ব্যাপকভাবে পরিচিত করে। Goodfellow-দের প্রবন্ধের একটি প্রায়ই উদ্ধৃত ছবিতে, একটি panda-র ছবিতে অদৃশ্যপ্রায় noise যোগ করার পর classifier সেটিকে উচ্চ আত্মবিশ্বাসে অন্য প্রাণী বলে। বাস্তব জগতে এমন আক্রমণ কতটা সহজ, তা পরিস্থিতিভেদে অনেক আলাদা — গবেষণায় যা দেখা যায়, মাঠে সবসময় তা হুবহু ঘটে না। তবু শিক্ষাটা স্পষ্ট: model-এর “দেখা” মানুষের দেখার মতো নয়। এর রক্ষণাত্মক দিক নিয়ে ABCL TECH-এর Cybersecurity কোর্স-এ আলোচনা আছে।

Hallucination — আত্মবিশ্বাসী, সাবলীল, কিন্তু ভুল

ChatGPT-এর মতো বড় ভাষা-model (LLM) মূলত শেখে “এর পরে কোন শব্দ আসার সম্ভাবনা বেশি”। তাই সে এমন বাক্য বানাতে পারে, যা শুনতে নিখুঁত কিন্তু তথ্যগতভাবে ভুল — অস্তিত্বহীন বই, ভুল সাল, বানানো উদ্ধৃতি। একে বলা হয় hallucination. শব্দটি নিয়ে বিতর্কও আছে, কারণ এটি model-কে মানুষের মতো “দেখা”র গুণ দেয়; কেউ কেউ “confabulation” বা সোজা “বানানো উত্তর” বলতে পছন্দ করেন। কারণ যা-ই বলুন, বাস্তব ঝুঁকি হলো: সাবলীল ভাষা পাঠককে বিশ্বাস করতে প্ররোচিত করে। পরীক্ষার খাতায় আত্মবিশ্বাসী হাতের লেখা দেখে নম্বর দেওয়া যায় না — উত্তর মিলিয়ে দেখতে হয়। LLM কীভাবে কাজ করে আর কেন এমন হয়, তা পর্ব ৭০-এ দেখবেন।

Feedback loop — নিজের ভুলকে নিজেই বাড়িয়ে তোলা

কিছু AI-এর সিদ্ধান্ত ভবিষ্যতের training data-কেই বদলে দেয়। বাজারঘরের recommender যদি শুধু সেই পণ্যগুলো দেখায়, যেগুলো আগে বেশি click পেয়েছে, তাহলে যা দেখানো হয় না, তা কখনো click পায় না — আর click না পেলে আবারও দেখানো হয় না। একে বলে feedback loop. প্রথম দিনের সামান্য কাকতালীয় পার্থক্য কয়েক সপ্তাহে স্থায়ী “সত্য” হয়ে যায়।

নিচের simulation-এ পাঁচটি category. প্রতিটির একটি “আসল” click-সম্ভাবনা আছে — Phone সবচেয়ে জনপ্রিয় (০.৩০)। প্রথম round-এ সব category ২০ বার করে দেখানো হয়; তারপর থেকে শুধু মোট click-এ এগিয়ে থাকা দুটি category ৫০ বার করে।

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(1)
cats = ["Saree", "Books", "Phone", "Spice", "Toys"]
like = np.array([0.22, 0.20, 0.30, 0.24, 0.21])  # true click chance
clicks = np.zeros(5)
share = []

for rnd in range(30):
    if rnd == 0:
        shown = np.full(5, 20)                    # round 1: show all
    else:
        top = np.argsort(-clicks)[:2]             # then only the top 2
        shown = np.zeros(5, dtype=int)
        shown[top] = 50
    clicks += rng.binomial(shown, like)
    share.append(clicks / clicks.sum())

share = np.array(share)
for r in [0, 1, 4, 29]:
    print("round %2d share:" % (r + 1), np.round(share[r], 2))
print("best-liked item is", cats[like.argmax()],
      "| top-2 at the end:", [cats[i] for i in np.argsort(-clicks)[:2]])

fig, ax = plt.subplots(figsize=(6, 3.2))
for i, c in enumerate(cats):
    ax.plot(range(1, 31), share[:, i], label=c)
ax.set_xlabel("Round")
ax.set_ylabel("Share of all clicks")
ax.set_title("Feedback loop: what is shown gets clicked")
ax.legend(fontsize=8)
plt.tight_layout()
plt.show()

round  1 share: [0.15 0.27 0.15 0.31 0.12]
round  2 share: [0.08 0.32 0.08 0.46 0.06]
round  5 share: [0.04 0.36 0.04 0.54 0.03]
round 30 share: [0.01 0.45 0.01 0.53 0.  ]
best-liked item is Phone | top-2 at the end: ['Spice', 'Books']

Feedback loop শুধু দোকানে নয়। যেখানে AI-এর সিদ্ধান্ত ঠিক করে কোথায় নজর দেওয়া হবে — কোন এলাকায় পরিদর্শন, কোন লেনদেন পরীক্ষা, কোন আবেদন আগে দেখা — সেখানে নজর বেশি পড়লে “সমস্যা” বেশি ধরা পড়ে, আর সেই ডেটা আবার নজর বাড়ায়। ২০১৮ সালে Ensign ও সহকর্মীরা “Runaway Feedback Loops in Predictive Policing” প্রবন্ধে গাণিতিকভাবে এমন একটি চক্র বিশ্লেষণ করেন।

৫ · মানুষের দিকের ভুল — automation bias আর human-in-the-loop

এতক্ষণ যন্ত্রের ভুল দেখলাম। কিন্তু অনেক দুর্ঘটনায় শেষ ধাপটি মানুষের। Automation bias হলো যন্ত্রের পরামর্শকে যাচাই না করে মেনে নেওয়ার প্রবণতা — যন্ত্র ভুল বললেও, এমনকি নিজের চোখের সামনের প্রমাণ উল্টো বললেও। বিমান চালনা আর চিকিৎসার মানব-কারণ (human factors) গবেষণায় বিষয়টি বহু বছর ধরে আলোচিত; ২০১০ সালে Parasuraman ও Manzey-র একটি বহুল উদ্ধৃত পর্যালোচনা এই প্রবণতা আর “নিশ্চিন্ত হয়ে যাওয়া” (complacency)-কে একসঙ্গে বিশ্লেষণ করে।

এর বিপরীতে প্রায়ই বলা হয় human-in-the-loop — চূড়ান্ত সিদ্ধান্তের আগে একজন মানুষ যাচাই করবেন। ধারণাটি ভালো, কিন্তু শুধু নাম দিলেই কাজ হয় না। একজন কর্মীকে যদি ঘণ্টায় ৫০০টি সতর্কবার্তা “অনুমোদন” করতে হয়, তিনি কার্যত রাবার স্ট্যাম্প। কার্যকর human-in-the-loop-এর জন্য দরকার:

• সময় ও সংখ্যা: যাচাইকারী যেন সত্যিই যাচাই করতে পারেন — কাজের চাপ বাস্তবসম্মত।
• তথ্য: শুধু “model বলছে ঝুঁকিপূর্ণ” নয়; কেন বলছে, কোন feature কাজ করেছে, model কতটা অনিশ্চিত।
• ক্ষমতা: model-এর বিরুদ্ধে গেলে যাচাইকারী যেন শাস্তি বা জবাবদিহির ভয় না পান।
• ফিডব্যাক: মানুষের সংশোধন যেন রেকর্ড হয় আর পরের model উন্নত করতে কাজে লাগে।
• আপিলের পথ: যাঁর ওপর সিদ্ধান্ত পড়ল, তিনি যেন জানতে ও আপত্তি জানাতে পারেন।

৬ · বাংলা আর কম-সম্পদের ভাষা

বাংলা বিশ্বের বহুল-কথিত ভাষাগুলোর একটি, অথচ AI-এর হিসাবে প্রায়ই একে low-resource language বলা হয়। কারণ ভাষাভাষীর সংখ্যা নয় — যন্ত্রে পড়ার মতো, পরিষ্কার, label দেওয়া ডিজিটাল ডেটা, যেমন হাতে-যাচাই করা অনুবাদ-জোড়া, লেখা-সহ কথার রেকর্ডিং, অনুভূতি-চিহ্নিত রিভিউ। ইংরেজির তুলনায় এমন ডেটা সাধারণত অনেক কম, যদিও গত কয়েক বছরে গবেষক ও ওপেন-সোর্স সম্প্রদায়ের কাজে পরিস্থিতি ধীরে ধীরে বদলাচ্ছে। নিখুঁত তুলনামূলক সংখ্যা এখানে দিচ্ছি না, কারণ মাপার পদ্ধতিভেদে তা অনেক আলাদা আসে।

বাজারঘরের রিভিউ-বাক্সে কী আসে, একবার ভাবুন:

"পণ্যটা ভালো, কিন্তু ডেলিভারি লেট"
"product ta valo na, taka ferot chai"
"Delivery fast chilo 👍 kintu packet chhera"
"মাল ঠিক আছে, দাম বেশি"

• মিশ্র লিপি আর Banglish: একই মানুষ কখনো বাংলা হরফে, কখনো রোমান হরফে বাংলা লেখেন, মাঝে ইংরেজি শব্দ ঢোকান। একে বলে code-mixing. “valo”, “bhalo”, “vlo” — একই শব্দের বহু বানান।
• আঞ্চলিক ভাষা: চট্টগ্রাম, সিলেট, নোয়াখালী বা অন্য অঞ্চলের কথ্য রূপ শব্দ, উচ্চারণ আর বাক্যগঠনে প্রমিত বাংলা থেকে অনেক আলাদা হতে পারে (কিছু রূপকে ভাষাবিদেরা আলাদা ভাষা হিসেবেও দেখেন)। প্রমিত বাংলায় শেখা speech model এখানে প্রায়ই দুর্বল — এটি আবার সেই distribution shift.
• লেখার কারিগরি সমস্যা: একই “য়” Unicode-এ এক অক্ষরেও লেখা যায়, আবার “য” + নুকতা মিলিয়েও। চোখে একই, যন্ত্রের কাছে আলাদা। পুরোনো non-Unicode ফন্টে লেখা নথি সরাসরি পড়লে অর্থহীন অক্ষর আসে। এগুলো পর্ব ১০ আর পর্ব ২৩-এ হাতে-কলমে দেখবেন।
• অনুবাদ-নির্ভর মূল্যায়ন: ইংরেজি benchmark যন্ত্রে অনুবাদ করে বাংলা model যাচাই করলে অনুবাদের ভুলও মাপের ভেতরে ঢুকে যায়।

৭ · Fairness, bias আর গোপনীয়তা

একটি model গড়ে ভালো হতে পারে, অথচ নির্দিষ্ট কোনো দলের জন্য অনেক খারাপ। এখানে bias মানে ব্যবস্থাগত ঝোঁক — কোনো দলের প্রতি নিয়মিতভাবে বেশি বা ভিন্ন রকম ভুল। আর fairness হলো সেই প্রশ্ন: ভুলগুলো দলগুলোর মধ্যে কীভাবে ভাগ হচ্ছে, আর সেটি কি গ্রহণযোগ্য?

ভুল দলভেদে কীভাবে আলাদা হয়, তা দেখার মূল যন্ত্র confusion matrix — চার ঘরের একটি টেবিল: সঠিক “না” (TN), ভুল সতর্কবার্তা (FP), ধরা না-পড়া (FN), সঠিক ধরা (TP). এ থেকে দুটি হার:

FPR = FP ÷ (FP + TN)   ·   FNR = FN ÷ (FN + TP)

এখানে FPR (false positive rate) মানে নির্দোষদের মধ্যে কত ভাগকে ভুল করে সন্দেহ করা হলো; FNR (false negative rate) মানে আসল ঘটনাগুলোর মধ্যে কত ভাগ ধরা পড়ল না। নিচের খেলনা-উদাহরণে বাজারঘরের একটি fraud-সতর্কতা model. দল ১ শহরের ক্রেতা, অনেক ডেটা; দল ২ গ্রামের ক্রেতা, মাত্র ১০০টি অর্ডার, আর তাঁরা স্বাভাবিকভাবেই একসঙ্গে বড় অর্ডার দেন (পাইকারি কেনা)।

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix

rng = np.random.default_rng(3)

def orders(n, shift):
    amount = rng.normal(5 + shift, 2, n)       # order size (thousand taka)
    night = rng.random(n)                      # share of orders at night
    risk = 0.6 * (amount - shift) + 3 * night + rng.normal(0, 1, n)
    fraud = (risk > 6).astype(int)
    return np.column_stack([amount, night]), fraud

# Group 1: city customers, lots of data. Group 2: rural, little data,
# and they normally place bigger (bulk) orders.
X1, y1 = orders(900, shift=0)
X2, y2 = orders(100, shift=3)
model = LogisticRegression().fit(np.vstack([X1, X2]), np.concatenate([y1, y2]))

for name, X, y in [("Group 1", X1, y1), ("Group 2", X2, y2)]:
    tn, fp, fn, tp = confusion_matrix(y, model.predict(X)).ravel()
    print(name, "TN=%d FP=%d FN=%d TP=%d" % (tn, fp, fn, tp))
    print("   false-alarm rate (FPR) = %.2f" % (fp / (fp + tn)))
    print("   missed-fraud rate (FNR) = %.2f" % (fn / (fn + tp)))

Group 1 TN=687 FP=20 FN=112 TP=81
   false-alarm rate (FPR) = 0.03
   missed-fraud rate (FNR) = 0.58
Group 2 TN=49 FP=29 FN=2 TP=20
   false-alarm rate (FPR) = 0.37
   missed-fraud rate (FNR) = 0.09

গোপনীয়তা আর ডেটা সুরক্ষা — একটি ইঙ্গিত

AI-এর জ্বালানি ডেটা, আর সেই ডেটার বড় অংশ মানুষের: নাম, ফোন নম্বর, ঠিকানা, কেনাকাটার ইতিহাস, কণ্ঠ, ছবি। কয়েকটি মূলনীতি প্রায় সব আধুনিক ডেটা-সুরক্ষা চিন্তায় পাওয়া যায়: যতটুকু দরকার ততটুকুই সংগ্রহ (data minimisation), যে উদ্দেশ্যে নেওয়া সেই উদ্দেশ্যেই ব্যবহার, সম্মতি, নিরাপদে রাখা, আর দরকার ফুরোলে মুছে ফেলা। ইউরোপীয় ইউনিয়নের GDPR (২০১৮ থেকে কার্যকর) এ ধরনের আইনের একটি বহুল আলোচিত উদাহরণ। বাংলাদেশে ব্যক্তিগত ডেটা সুরক্ষা নিয়ে আইন ও নীতিমালা কয়েক বছর ধরে আলোচনা আর পরিবর্তনের মধ্যে আছে; কোনো প্রকল্প শুরুর আগে সরকারি সর্বশেষ সূত্র আর প্রয়োজনে আইনজ্ঞের পরামর্শ নিন — এই পর্ব কোনো আইনি পরামর্শ নয়। একটি ব্যবহারিক নিয়ম মনে রাখুন: ব্যক্তিগত ডেটা কখনো অনলাইন AI chatbot-এ পেস্ট করবেন না।

৮ · দায় কার — ডেটা, model, deployment আর মানুষ

AI ভুল করলে প্রথম প্রতিক্রিয়া প্রায়ই “অ্যালগরিদমের দোষ”। কিন্তু অ্যালগরিদম কোনো আইনি বা নৈতিক ব্যক্তি নয়; সিদ্ধান্তগুলো নিয়েছেন মানুষ — কোন ডেটা নেওয়া হবে, কোন মাপকাঠিতে model বাছাই হবে, কোথায় চালু হবে, কে নজর রাখবেন। নিচের ছবিতে একটি AI সিস্টেমের জীবনের চারটি ধাপ, প্রতিটিতে কোন ভুল ঢোকে, আর কার প্রশ্ন করা উচিত।

বাস্তব দুর্ঘটনায় প্রায়ই দেখা যায়, দোষ একজনের নয় — অনেক হাতে ছোট ছোট ফাঁক মিলে বড় ক্ষতি। নৈতিকতার আলোচনায় একে “problem of many hands” বলা হয়: সবাই একটু একটু দায়ী, তাই শেষে কেউই দায় নেন না। এর প্রতিকার হলো আগে থেকেই লিখে রাখা — কোন ধাপের মালিক কে, কোন সংখ্যা খারাপ হলে কে থামাবেন। Model-এর উদ্দেশ্য, ডেটা, সীমা আর দলভিত্তিক মাপ এক জায়গায় লিখে রাখার একটি প্রচলিত রূপ model card (Mitchell ও সহকর্মী, ২০১৯); ডেটার জন্য একই ধরনের নথি “datasheets for datasets” (Gebru ও সহকর্মী)। এগুলো হাতে-কলমে বানাবেন পর্ব ৭১ আর পর্ব ৭২-এ।

কোনো AI feature চালুর আগে — ব্যবহারিক চেকলিস্ট

• সমস্যাটি এক বাক্যে লিখেছি, আর AI ছাড়া একটি সহজ বিকল্প (নিয়ম, গড়, মানুষ) কত ভালো তা মেপেছি
• Training data কোথা থেকে, কবেকার, কাদের — লিখে রেখেছি; ব্যক্তিগত ডেটা থাকলে অনুমতি আর প্রয়োজনীয়তা যাচাই করেছি
• Test data আলাদা রেখেছি, আর যেখানে চালু হবে সেখানকার মতো ডেটায় (অন্য জেলা, অন্য ঋতু) আলাদা করে মেপেছি
• শুধু গড় accuracy নয় — দলভিত্তিক FPR ও FNR দেখেছি (অঞ্চল, ভাষা, নতুন বনাম পুরোনো ব্যবহারকারী)
• Model কোন feature-এ ভর দিচ্ছে দেখেছি, আর ডোমেইন-জানা মানুষকে জিজ্ঞেস করেছি সেটি যুক্তিসংগত কি না
• ভুল হলে কার কী ক্ষতি — FP আর FN-এর দাম আলাদা করে লিখেছি
• চালুর পরে কী নজরে রাখব (input-এর বণ্টন, বাস্তব ফল), আর কোন সংখ্যায় থামাব বা আগের অবস্থায় ফিরব — ঠিক করেছি
• মানুষের যাচাই আর আপিলের পথ আছে; প্রতিটি ধাপের একজন দায়িত্বপ্রাপ্ত মানুষের নাম লেখা আছে

৯ · সৎ সীমা — এই পর্ব কী বলে না

যে পর্ব AI-এর সীমা নিয়ে, তার নিজের সীমাও স্পষ্ট বলা দরকার।

• খেলনা ডেটা: এই পর্বের প্রতিটি কোড ছোট, কাল্পনিক, seed দেওয়া ডেটায় চলে। সংখ্যাগুলো (৮৭% থেকে ৬২%, ৩৭% বনাম ৩%) শুধু এই খেলনা-উদাহরণের, কোনো বাস্তব সিস্টেম বা সাধারণ নিয়মের মাপ নয়। ভিন্ন seed বা ভিন্ন ডেটায় সংখ্যা বদলাবে, যদিও প্রবণতা একই থাকার কথা।
• সরল model: সবখানে logistic regression ব্যবহার করা হয়েছে যাতে ওজন পড়া যায়। Deep learning model-এ shortcut আরও লুকানো থাকে, খোঁজাও কঠিন।
• সমাধান সহজ নয়: “আরও ডেটা আনুন”, “মানুষ রাখুন” — বাস্তবে এগুলোর খরচ, সময় আর নিজস্ব ঝুঁকি আছে। কোনো একটি কৌশল সব সমস্যা সারায় না।
• বিতর্ক আছে: recommender কতটা মানুষের রুচি সংকুচিত করে (“filter bubble”) — এ নিয়ে গবেষণার ফল মিশ্র। fairness-এর কোন সংজ্ঞা ঠিক, তাতেও সবাই একমত নন।
• আইন ও নৈতিকতা: এখানে শুধু ইঙ্গিত দেওয়া হয়েছে। AI নৈতিকতা নিয়ে এই সাইটে পরে একটি আলাদা AI Ethics কোর্স আসবে; আর এই কোর্সে দায়িত্বশীল AI-এর হাতে-কলমে অভ্যাস (bias যাচাই, গোপনীয়তা, নথিপত্র) আসবে পর্ব ৭২-এ।

১০ · AI-এর যুগে — AI সহকারী দিয়ে ডেটা ও AI-এর কাজ

মজার ব্যাপার হলো, AI-এর ভুল নিয়ে কাজ করতে গিয়েও আপনি সম্ভবত AI সহকারীর সাহায্য নেবেন — কোড লেখাতে, ব্যাখ্যা চাইতে। সেখানেও এই পর্বের শিক্ষাগুলো খাটে। AI সহকারী প্রায়ই যে ভুলগুলো করে:

AI সহকারীর উত্তর হাতে পেলে — যাচাইয়ের চেকলিস্ট

• কোডটি নিজে চালিয়েছি, আর ডেটার shape ও কয়েকটি নমুনা সারি দেখে মিলিয়েছি
• প্রতিটি function ও parameter আমার version-এর অফিসিয়াল docs-এ আছে কি না দেখেছি
• Split সবার আগে হয়েছে; scaling বা encoding শুধু training অংশে fit হয়েছে
• Metric test ডেটায়, আর একটি সহজ baseline-এর পাশাপাশি দেখেছি
• কোনো warning চাপা দেওয়া হয়নি; প্রতিটির কারণ বুঝেছি
• কোনো গ্রাহকের নাম, ফোন নম্বর বা ঠিকানা AI chatbot-এ পেস্ট করিনি