সরাসরি পর্বে যান
পর্ব ৭১ · ৮২-এর মধ্যে · মডিউল ১২

Data pipeline আর ML model-এর testing — data check, model test আর drift

Testing Data Pipelines and ML Models — Data Checks, Model Tests and Drift

Taught in Bangla, this lesson tests data and models even when there is no exact answer. A real pandera run catches 23 bad rows in a 404-row order batch, three pytest tests catch a pipeline that doubles rows on rerun, and a sentiment model fails an invariance test when a place name changes. It puts confidence intervals on slice accuracy, shows leakage inflating scores, and uses PSI and KS to tell drift from data errors before deciding on retraining.

এই পর্বে যা শিখবেন

  • Data-র মানের মাত্রা চিনে একটি ব্যাচের জন্য data contract আর check লেখা
  • Pipeline-এর কোডের idempotency, reconciliation আর দেরিতে আসা data-র test করা
  • উত্তর জানা না থাকলেও ML model-এর minimum functionality, invariance আর directional test লেখা
  • Slice ধরে মান মাপা, confidence interval দিয়ে gate বসানো, আর leakage ও reproducibility যাচাই
  • PSI আর KS দিয়ে drift ধরা, আর retrain করা হবে কি না সেই সিদ্ধান্ত ধাপে ধাপে নেওয়া

১ · Data আর model — কোড ঠিক, তবু system ভুল

চালের আড়তে ট্রাক থেকে বস্তা নামার সময় একজন কর্মচারী ওজন দেখেন, বস্তা ভেজা কি না দেখেন, এক মুঠো চাল হাতে নিয়ে পোকা খোঁজেন। রান্নাঘরে যত ভালো রাঁধুনিই থাকুন, পচা চালে ভালো ভাত হয় না। সফটওয়্যারেও তাই। বাজারঘরের রিপোর্ট, সুপারিশ আর রিভিউর বিশ্লেষণ চলে data pipeline-এর ওপর: app আর payment থেকে প্রতিদিন data আসে, একটি job তা পরিষ্কার করে টেবিলে তোলে, আর একটি machine learning (ML) model সেই data থেকে শেখে। এখানে ভুল তিন জায়গায় হতে পারে: আসা data-য়, pipeline-এর কোডে, আর model-এর শেখা আচরণে।

প্রথম দুটি সাধারণ testing-এর কাছাকাছি। Data-র নিয়ম লেখা যায় (“পরিমাণ ১ থেকে ২০”), আর pipeline-এর কোড সাধারণ কোড। তৃতীয়টি আলাদা। পর্ব ০১-এর (Software testing কী) test oracle, অর্থাৎ সঠিক উত্তর কোথা থেকে আসবে, ML-এ প্রায়ই নেই। “এই রিভিউটি ভালো না খারাপ?” প্রশ্নের নিশ্চিত উত্তর কোনো spec-এ লেখা থাকে না; model ৯২% ঠিক হলে বাকি ৮% ভুল প্রত্যাশিত. তাই এখানে test-এর প্রশ্ন বদলায়: “উত্তর কি ঠিক?” নয়, “আচরণ কি যুক্তিসঙ্গত, আর মান কি নির্দিষ্ট সীমার ওপরে?”

মেশিন লার্নিং কোর্সের পর্ব ৬৯-এ এই বিষয় ML engineer-এর চোখে আছে। এই পর্ব tester-এর চোখে: কোন test কোথায় gate হিসেবে বসে, ব্যর্থতা কীভাবে পড়বেন, আর কোন সংখ্যা বিশ্বাস করা যায়। উদাহরণ বাজারঘরের order-এর ব্যাচ আর মডিউল ৩-এর “রিভিউ আর রেটিং” feature-এর রিভিউ; সব data seed দিয়ে বানানো, কোনো আসল মানুষের তথ্য নেই।

বাজারঘরের data আর model-এর পথ, আর প্রতিটি ধাপের পাহারা

Left: the data path · right: the test gate at that step · dashed: the retrain loop

Data path from source to live model, with four test gates: data check, pipeline test, model test, drift monitoring; a retrain loop goes back from the live model to training উৎস app, payment, রিভিউ ব্যাচ আসে প্রতিদিন ৪০০+ সারি Pipeline load, transform, মোট Model শেখা train, যাচাই চালু model রোজ অনুমান ① data check contract, pandera ② pipeline test rerun, মিলিয়ে দেখা ③ model test MFT, INV, DIR, slice ④ নজরদারি drift, label এলে মান ↺ retrain: নতুন data, আবার ①–③
ছবি ৭১.১ — প্রতিটি ধাপ আলাদাভাবে ভাঙতে পারে, তাই প্রতিটির পাশে আলাদা পাহারা। ① আর ② প্রতিটি ব্যাচে আর প্রতিটি কোড-বদলে চলে; ③ প্রতিটি নতুন model-এ; ④ চালু অবস্থায় রোজ। Retrain-এর পরে নতুন model-কে আবার একই পাহারা পেরোতে হয়।

২ · Data-র মানের মাত্রা আর data contract

পর্ব ৩৩-এ (Database testing) data quality-র পাঁচটি মাত্রা দেখেছেন: পূর্ণতা, অনন্যতা, বৈধতা, সামঞ্জস্য আর সময়োপযোগিতা, একটি চালু database-এর ভেতরে। Pipeline-এ নতুন প্রশ্ন আসে, কারণ data বাইরে থেকে ব্যাচে আসে, অন্য দলের কাছ থেকে, আর আপনার হাতে তা বদলানোর উপায় থাকে না। প্রতিটি ব্যাচে যে নিয়মগুলো যাচাই হয়:

মাত্রাপ্রশ্নবাজারঘরের order ব্যাচে নিয়ম
Schemaকলাম আর dtype ঠিক?ঠিক ৮টি কলাম, quantity পূর্ণসংখ্যা; অচেনা কলাম এলেও ব্যর্থ
Nullযা থাকার কথা, আছে?district ফাঁকা নয়
সীমা ও ধরনমান বৈধ?পরিমাণ ১–২০; ফোন ১১টি ইংরেজি অঙ্ক, 01 দিয়ে শুরু, তৃতীয়টি 3–9
অনন্যতাযা একবার থাকার কথা, একবারই?order_id পুনরাবৃত্তি নয়
Referential integrityউল্লেখ করা জিনিস আছে?প্রতিটি customer_id ক্রেতার টেবিলে আছে
সামঞ্জস্যসারির ভেতরের হিসাব মেলে?amount_tk = পরিমাণ × একক দাম
FreshnessData যথেষ্ট নতুন, আর ঠিক দিনের?১৪ নভেম্বরের ব্যাচে শুধু ১৪ তারিখের order
Volumeসারির সংখ্যা স্বাভাবিক?৩০০–৬০০; হঠাৎ অর্ধেক বা দ্বিগুণ মানে volume anomaly

এই নিয়মগুলো যখন data পাঠানো দল আর ব্যবহারকারী দলের মধ্যে লিখিত চুক্তি হয়, তখন তার নাম data contract. ধারণাটি পর্ব ৩২-এর (Contract testing) consumer-driven contract-এর আত্মীয়: সেখানে API-র উত্তর, এখানে টেবিল বা ফাইল। চুক্তিতে দুটি জিনিস স্পষ্ট থাকা দরকার। ভাঙা বদল: কলামের নাম বদলানো বা মুছে ফেলা ভাঙা বদল; নতুন ঐচ্ছিক কলাম সাধারণত নয়। একক: amount_tk একদিন পয়সায় এলে dtype আর নাম একই থাকে, তবু প্রতিটি হিসাব ১০০ গুণ ভুল। এটি সাধারণ schema drift-এর চেয়েও বিপজ্জনক, কারণ কোনো schema check তা দেখে না।

নিয়মগুলো আসলে সাধারণ কোড। নিচের ব্লকে standard library দিয়ে একটি ছোট data-check lab: আটটি সারির CSV আর সাতটি নিয়ম। প্রথমবার ব্রাউজারে Pyodide নামতে কয়েক সেকেন্ড লাগে।

import csv, io, re
from collections import Counter

BATCH = """order_id,customer_id,district,phone,qty,amount_tk,order_day
710001,5109,Dhaka,01712345678,2,240,2026-11-14
710002,5297,Khulna,01898765432,1,880,2026-11-14
710003,5094,Sylhet,0191234567৮,3,540,2026-11-14
710004,5021,,01556677889,1,65,2026-11-14
710005,9001,Rangpur,01311223344,2,900,2026-11-14
710006,5150,Dhaka,01612121212,-1,-210,2026-11-14
710002,5297,Khulna,01898765432,1,880,2026-11-14
710007,5188,Barishal,01799887766,2,360,2026-11-12"""
CUSTOMERS = set(range(5001, 5301))
DAY, MIN_ROWS = "2026-11-14", 5
PHONE = re.compile(r"01[3-9][0-9]{8}", re.ASCII)

rows = list(csv.DictReader(io.StringIO(BATCH)))
ids = Counter(r["order_id"] for r in rows)
RULES = {
    "not null district": lambda r: r["district"] != "",
    "qty 1..20":         lambda r: 1 <= int(r["qty"]) <= 20,
    "unique order_id":   lambda r: ids[r["order_id"]] == 1,
    "known customer":    lambda r: int(r["customer_id"]) in CUSTOMERS,
    "phone ASCII 11":    lambda r: PHONE.fullmatch(r["phone"]) is not None,
    "same day (fresh)":  lambda r: r["order_day"] == DAY,
}
print(f"rows: {len(rows)} (minimum {MIN_ROWS})", "OK" if len(rows) >= MIN_ROWS else "FAIL")
bad = set()
for name, ok in RULES.items():
    fails = [r["order_id"] for r in rows if not ok(r)]
    bad.update(i for i, r in enumerate(rows) if not ok(r))
    print(f"{'FAIL' if fails else 'ok  '}  {name:18} {', '.join(fails)}")
print(f"clean rows: {len(rows) - len(bad)} of {len(rows)}")

আসল আউটপুট:

rows: 8 (minimum 5) OK
FAIL  not null district  710004
FAIL  qty 1..20          710006
FAIL  unique order_id    710002, 710002
FAIL  known customer     710005
FAIL  phone ASCII 11     710003
FAIL  same day (fresh)   710007
clean rows: 1 of 8

আটটির মধ্যে সাতটি সারিতে অন্তত একটি নিয়ম ভেঙেছে, প্রতিটি বসানো ভুল ধরা পড়েছে। তিনটি জিনিস লক্ষ করুন। প্রথমত, নকল 710002-এর দুটি কপিই চিহ্নিত: অনন্যতার নিয়ম বলতে পারে না কোনটি আসল, সেই সিদ্ধান্ত মানুষের বা পরের নিয়মের। দ্বিতীয়ত, 0191234567৮-এর শেষ অঙ্কটি বাংলা; চোখে ধরা কঠিন, আর re.ASCII ছাড়া Python-এর [0-9] নয়, কিন্তু \d বাংলা অঙ্কও মেনে নিত (পর্ব ৫৬-এর Localization testing-এ এই ফাঁদ বিস্তারিত)। তৃতীয়ত, প্রতিটি নিয়ম সব সারিতে চলে আর সব ব্যর্থতা একসাথে জানায়; প্রথম ভুলেই থামলে পাঠানো দলকে সাতবার ফেরত পাঠাতে হতো। BATCH-এ একটি সারি বদলে চালিয়ে দেখুন।

৩ · সত্যিকারের run — pandera দিয়ে বাজারঘরের order ব্যাচ

বাস্তবে নিয়ম হাতে না লিখে একটি library-তে ঘোষণা করা হয়। pandera (MIT licence) pandas-এর DataFrame-এর জন্য schema আর check লেখার একটি Python library. Lab-এ একটি ছোট generator (numpy-র seed 71) এক দিনের ৪০০টি order বানায়; bad=True দিলে তাতে জেনে-বুঝে ভুল বসায়: ৩টি ঋণাত্মক পরিমাণ, ৫টি ফোনে বাংলা অঙ্ক (২টি পুরো বাংলা, ৩টির শেষ অঙ্ক), ৪টি আবার পাঠানো সারি, ২টি অচেনা ক্রেতা, আর ৫টি দুই দিন আগের order, যা দেরিতে এসেছে। Schema-টি এমন:

schema = pa.DataFrameSchema(
    {"order_id": pa.Column(int, unique=True),
     "customer_id": pa.Column(int, pa.Check(lambda s: s.isin(KNOWN), name="known_customer")),
     "district": pa.Column(str, pa.Check.isin(DISTRICTS)),
     "phone": pa.Column(str, pa.Check.str_matches(r"(?a)^01[3-9][0-9]{8}$")),
     "quantity": pa.Column(int, pa.Check.in_range(1, 20)),
     "unit_price_tk": pa.Column(int, pa.Check.gt(0)),
     "amount_tk": pa.Column(int, pa.Check.in_range(1, 20_000)),
     "order_time": pa.Column("datetime64[ns]", pa.Check(
         lambda s: s.dt.normalize() == DAY, element_wise=False, name="same_day"))},
    checks=[pa.Check(lambda d: d.amount_tk == d.quantity * d.unit_price_tk,
                     name="amount=qty*price"),
            pa.Check(lambda d: 300 <= len(d) <= 600, name="volume_300_600")],
    strict=True)                                   # unknown column -> fail

schema.validate(orders())                          # clean batch: no exception
try:
    schema.validate(orders(bad=True), lazy=True)   # lazy: collect every failure
except pa.errors.SchemaErrors as e:
    rows = e.failure_cases.groupby("check", sort=False)["index"].nunique()
    print(rows.rename("bad rows").to_string())

সত্যিকারের run (ডেস্কটপ, Python 3.14.4, pandera 0.36.0, pandas 3.1.1; project বানানো uv init --vcs none --author-from none দিয়ে; চালানোর আগে pandera-র source খুঁজে দেখা হয়েছে, এতে কোনো network বা ব্যবহার-তথ্য পাঠানোর কোড নেই):

$ uv run python check_orders.py
pandera 0.36.0 | pandas 3.1.1
clean batch: OK
check
amount=qty*price                        3
field_uniqueness                        8
str_matches('(?a)^01[3-9][0-9]{8}$')    5
known_customer                          2
same_day                                5
in_range(1, 20)                         3
rows in batch: 404 | distinct bad rows: 23

পরিষ্কার ব্যাচে কোনো exception নেই; এটিও জরুরি test, কারণ যে check ভালো data-তেও বাজে, দল তাকে দ্রুত উপেক্ষা করতে শেখে। খারাপ ব্যাচে প্রতিটি বসানো ভুল ধরা পড়েছে। নকল ID-তে ৮টি সারি: ৪টি আসল আর ৪টি কপি, দুটিই গোনা। ঋণাত্মক পরিমাণের ৩টি সারি দুই নিয়মে ধরা পড়েছে, সীমায় আর amount=qty*price-এ, কারণ পরিমাণ বদলেছে কিন্তু মোট টাকা নয়। Volume-এর নিয়ম পাস: ৪০৪টি সারি সীমার মধ্যে; এই নিয়ম বড় ভুল ধরে (অর্ধেক ফাইল), ছোট নয়। মোট ২৩টি আলাদা সারি খারাপ।

এরপর সিদ্ধান্ত: পুরো ব্যাচ আটকানো, নাকি খারাপ সারি আলাদা করা? কোনটি কখন, তা contract-এ আগে থেকে লেখা থাকা উচিত। Schema ভাঙা, volume-এর বড় পতন বা পুরোনো ফাইলে পুরো ব্যাচ quarantine-এ যায়; হালকা ভুলে খারাপ সারি আলাদা টেবিলে যায় আর পাঠানো দল তালিকা পায়। যা কখনো নয়: খারাপ সারি চুপচাপ মুছে বাকিটা চালানো, কারণ তাতে বড় সমস্যা লুকিয়ে যায়।

  1. ব্যাচ404 rowsschema, volume
  2. অনন্যorder_id৮ সারি
  3. ফোনASCII 11৫ সারি
  4. ক্রেতাknown২ সারি
  5. সীমাqty 1..20৩ সারি
  6. দিনsame_day৫ সারি
ব্যাচ ১৪ নভেম্বর৪০৪ সারি
columns : 8, strict ✓
dtypes  : ✓
volume  : 404 in 300..600 ✓
# কাঠামো ঠিক, এবার সারি ধরে
field_uniqueness৮ সারি
710011 710012 710013 710014
প্রতিটি দুবার এসেছে
# ৪টি আসল + ৪টি কপি
phone৫ সারি
710006 710061  পুরো বাংলা অঙ্ক
710009 710091 710151
শেষ অঙ্কটি বাংলা
known_customer২ সারি
710031 → customer 9001
710032 → customer 9002
ক্রেতার টেবিলে নেই
in_range + amount৩ সারি
710004 qty -1
710018 qty -2
710042 qty -1
# amount=qty*price-ও ভাঙে
same_dayমোট ২৩ সারি
710201..710205 → 2026-11-12
২৩টি আলাদা খারাপ সারি
# ব্যাচ quarantine, তালিকা পাঠানো
  1. কাঠামো আগে। ৪০৪টি সারি, ঠিক ৮টি কলাম, প্রতিটির dtype ঠিক, আর সারির সংখ্যা ৩০০–৬০০-এর মধ্যে। Schema ভাঙলে পরের নিয়মগুলোর মানে থাকে না, তাই এগুলো আগে।
  2. অনন্যতা। চারটি order দুবার এসেছে, সম্ভবত পাঠানো দলের job একবার ভেঙে আবার চলেছিল। pandera দুই কপিই গোনে, তাই সংখ্যা ৮; কোনটি রাখবেন, তা নিয়মের বাইরের সিদ্ধান্ত।
  3. ফোনের ধরন। দুটিতে সব অঙ্ক বাংলা, তিনটিতে শুধু শেষ অঙ্ক। মেশানো অঙ্ক চোখে প্রায় অদৃশ্য; নিয়মটি শুধু ইংরেজি অঙ্ক মানে, আর রূপান্তর pipeline-এর আলাদা ধাপের কাজ।
  4. Referential integrity. দুটি order-এর ক্রেতা ৯০০১ আর ৯০০২, যাঁরা ক্রেতার টেবিলে নেই। এই সারিগুলো পরে join করলে হয় হারিয়ে যায়, নয়তো ফাঁকা নামের ক্রেতা দেখায়।
  5. সীমা আর সামঞ্জস্য। তিনটি order-এ পরিমাণ ঋণাত্মক। একই সারিতে amount_tk পুরোনোই রয়ে গেছে, তাই সারির ভেতরের হিসাবও মেলে না: এক ভুল, দুই নিয়মে।
  6. ঠিক দিনের data আর রায়। পাঁচটি order ১২ নভেম্বরের, দেরিতে এসেছে। মোট ২৩টি আলাদা সারি খারাপ; contract-এর নিয়মে ব্যাচটি quarantine-এ গেল, আর পাঠানো দল সারির তালিকাসহ একটি রিপোর্ট পেল।

প্রচলিত tool — কোনটি কোথায়

ToolLicenceধরন
panderaMITPython-এ DataFrame-এর schema আর check; unit test-এর মতো কোডে থাকে
Great ExpectationsApache-2.0“expectation”-এর সংগ্রহ, যাচাইয়ের HTML রিপোর্ট; বড় দলে প্রচলিত
Soda CoreApache-2.0YAML-ধাঁচের ভাষায় check, সরাসরি database বা warehouse-এর ওপর
dbt-র testApache-2.0SQL-এর মডেলের সাথে unique, not_null, accepted_values, relationships
DeequApache-2.0Apache Spark-এর ওপর বিপুল data-র জন্য, Scala-তে; Amazon-এর গবেষকদের তৈরি

এই পর্বে শুধু pandera চালানো হয়েছে, কারণ এটি হালকা আর নেটওয়ার্কে কিছু পাঠায় না। Great Expectations, Soda Core আর dbt-র কিছু version নাম-পরিচয়হীন ব্যবহার-তথ্য পাঠায় বলে তাদের নথিতে উল্লেখ আছে; ব্যবহার করলে প্রথম run-এর আগে নথি দেখে তা বন্ধ করুন আর যাচাই করুন। Tool যা-ই হোক, ভেতরের ধারণা উপরের আটটি মাত্রা।

৪ · Pipeline-এর কোডও কোড — rerun, মিলিয়ে দেখা আর দেরিতে আসা data

ভালো data-ও খারাপ কোডে নষ্ট হয়। ETL (extract, transform, load) job-এর কিছু ভুল একবারের run-এ দেখা যায় না; দেখা যায় দ্বিতীয়বার চালালে, দুই দিনের data মেশালে, বা উৎসের সাথে মেলালে। তিনটি প্রশ্ন প্রায় প্রতিটি pipeline-এ লাগে।

আবার চালালে কী হয়? Job মাঝপথে ভাঙলে কেউ সেটি আবার চালাবেনই। একই ব্যাচ দুবার চালালে ফল একবারের মতো থাকা উচিত; এটিই idempotent আচরণ। উৎসের সাথে মেলে? উৎসে যতগুলো আলাদা order আর যত টাকা, গন্তব্যেও ঠিক ততগুলো; এই মিলিয়ে দেখাকে reconciliation বলে। দেরিতে আসা data কোন দিনে যায়? একটি order কখন ঘটেছে (event time) আর কখন আমাদের কাছে এসেছে (load time), দুটি আলাদা। দৈনিক বিক্রির হিসাব order-এর নিজের দিনে হওয়া উচিত; একে late-arriving data-র সমস্যা বলে, আর পুরোনো দিনের হিসাব আবার করাকে backfill.

Lab-এ বাজারঘরের রাতের load-এর দুটি version, একটি SQLite টেবিলে। প্রথম version সরল: প্রতিটি সারি INSERT করে, আর দৈনিক মোট load-এর দিন ধরে। দ্বিতীয় version একই order_id-এর পুরোনো সারি মুছে নতুনটি লেখে, আর মোট হিসাব করে order-এর দিন ধরে। Test-গুলো একই, fixture-এর params দিয়ে দুটি version-এর ওপরেই চলে:

@pytest.fixture(params=["v1", "v2"])
def etl(request):
    return VERSIONS[request.param]                    # (load, daily) functions

def test_rerun_is_idempotent(etl):
    load, daily = etl
    con, batch = P.connect(), orders()
    load(con, batch, LOAD_DAY)
    first = con.execute("SELECT COUNT(*), SUM(amount_tk) FROM orders").fetchone()
    load(con, batch, LOAD_DAY)                        # the job is re-run after a crash
    again = con.execute("SELECT COUNT(*), SUM(amount_tk) FROM orders").fetchone()
    assert again == first

def test_reconciles_with_source(etl):
    load, daily = etl
    con, batch = P.connect(), orders(bad=True)        # has 4 re-sent rows
    load(con, batch, LOAD_DAY)
    src = batch.drop_duplicates("order_id")
    got = con.execute("SELECT COUNT(*), SUM(amount_tk) FROM orders").fetchone()
    assert got == (len(src), int(src.amount_tk.sum()))

def test_late_order_counted_on_its_own_day(etl):
    load, daily = etl
    con, batch = P.connect(), orders()
    batch.loc[:4, "order_time"] -= pd.Timedelta(days=2)   # 5 orders from 12 Nov
    load(con, batch, LOAD_DAY)
    assert daily(con).get("2026-11-12") == int(batch.amount_tk[:5].sum())

সাথে একটি চতুর্থ test: বাংলা অঙ্কের ফোন রূপান্তরের ধাপ, যা " ০১৭১২৩৪৫৬৭৮ "-কে 01712345678 বানায়। সত্যিকারের run (pytest 9.2.0; ফোল্ডারের পথ ছোট করা, শতাংশের কলাম বাদ):

$ uv run pytest -v --tb=no -rf tests/test_pipeline.py
collected 7 items
tests/test_pipeline.py::test_phone_digits_normalized PASSED
tests/test_pipeline.py::test_rerun_is_idempotent[v1] FAILED
tests/test_pipeline.py::test_rerun_is_idempotent[v2] PASSED
tests/test_pipeline.py::test_reconciles_with_source[v1] FAILED
tests/test_pipeline.py::test_reconciles_with_source[v2] PASSED
tests/test_pipeline.py::test_late_order_counted_on_its_own_day[v1] FAILED
tests/test_pipeline.py::test_late_order_counted_on_its_own_day[v2] PASSED
== short test summary info ==
FAILED ...test_rerun_is_idempotent[v1] - assert (800, 717940) == (400, 358970)
FAILED ...test_reconciles_with_source[v1] - assert (404, 360185) == (400, 358970)
FAILED ...test_late_order_counted_on_its_own_day[v1] - AssertionError: assert None == 3690
== 3 failed, 4 passed in 0.34s ==

প্রতিটি ব্যর্থতার বার্তা নিজেই গল্প বলে। দ্বিতীয়বার চালানোর পরে সারি ৪০০ থেকে ৮০০ আর টাকা ঠিক দ্বিগুণ: প্রতিটি order দুবার। Reconciliation-এ ৪০৪ বনাম ৪০০ সারি আর ১,২১৫ টাকা বেশি: আবার পাঠানো ৪টি সারি সরাসরি টেবিলে ঢুকেছে। আর ১২ নভেম্বরের দিনে কিছুই নেই (None), যেখানে থাকার কথা ৩,৬৯০ টাকা; প্রথম version সব টাকা load-এর দিন, ১৪ তারিখে, গুনেছে। কোনো test জটিল নয়; শক্তি আসে ঠিক প্রশ্ন থেকে। দ্বিতীয় version-এ তিনটিই পাস।

Reconciliation কাকে বলে, সেটিও test-এর অংশ: উপরের test উৎসকে আগে drop_duplicates করেছে, অর্থাৎ “আলাদা order”-এর সাথে মিলিয়েছে। যদি contract বলে “পাঠানো প্রতিটি সারি একটি ঘটনা”, তাহলে প্রত্যাশা বদলায়। প্রত্যাশা লিখিত নিয়ম থেকে নিন, কোডের বর্তমান আচরণ থেকে নয়; নইলে test শুধু ভুলটির ছবি তুলে রাখে।

৫ · ML model-এর test — উত্তর জানা নেই, তবু নিয়ম আছে

এবার model. বাজারঘর চায় রিভিউ পড়ে আপনাআপনি বুঝতে, ক্রেতা খুশি না অখুশি, যাতে অখুশি রিভিউ দ্রুত সহায়তা দলের কাছে যায়। Lab-এ ৩,০০০টি বানানো বাংলা রিভিউ, যেমন “চাল খুব ভালো। ঢাকায় সময়মতো পেয়েছি।”, আর একটি ছোট model: TF-IDF দিয়ে লেখাকে সংখ্যায় বদলে logistic regression; library scikit-learn 1.9.1, licence BSD-3-Clause. এটি bag-of-words ধাঁচের: শব্দ আর শব্দজোড়া গোনে, বাক্যের অর্থ বোঝে না। Data-য় একটি বাস্তব ঝোঁকও আছে: ঢাকার বাইরে ডেলিভারি বেশি দেরিতে হয়, তাই সেখান থেকে অখুশি রিভিউ বেশি (খুশির সম্ভাবনা ঢাকায় ০.৭০, বাইরে ০.৪৫)।

Model-এর রায়ের নিশ্চিত oracle নেই, কিন্তু কিছু আচরণ নিশ্চিতভাবে আশা করা যায়। Marco Tulio Ribeiro ও সহকর্মীরা ২০২০ সালে ACL সম্মেলনে CheckList নামে NLP model-এর behavioural testing-এর একটি পদ্ধতি প্রকাশ করেন, যা সেই বছরের সেরা প্রবন্ধের পুরস্কার পায় বলে উল্লেখ করা হয়। এর তিন ধরনের test:

MFT — ন্যূনতম সামর্থ্য

Minimum functionality test: সহজ, স্পষ্ট উদাহরণে ঠিক উত্তর। “মান খারাপ” অখুশি হতেই হবে; “চাল ভালো না”-ও।

INV — অপরিবর্তন

Invariance test: যা রায় বদলানোর কথা নয় (নাম, জায়গা, বানানের ছোট ভুল), তা বদলালে রায় একই থাকবে।

DIR — প্রত্যাশিত দিক

Directional expectation test: একটি অভিযোগ যোগ করলে খুশির সম্ভাবনা বাড়বে না; বড়জোর সামান্য, নির্দিষ্ট সহনসীমার মধ্যে।

এগুলো পর্ব ৫৮-এর (Property-based testing) metamorphic testing-এর ঘনিষ্ঠ আত্মীয়: একটি input-এর সঠিক উত্তর না জেনেও দুটি সম্পর্কিত input-এর উত্তরের সম্পর্ক যাচাই। Test ফাইলের মূল অংশ; fixture দুটি model বানায়: v1 লেখা যেমন আছে তেমন পড়ে, v2 জায়গার নাম <place> দিয়ে ঢেকে দেয়।

def test_mft_negation(model):
    p = proba(model, "চাল ভালো না। ঢাকায় সময়মতো পেয়েছি।")[0]
    assert p < 0.5, f"'ভালো না' scored {p:.2f} positive"

def test_inv_place_name(model):
    d = TE[TE.district == "Dhaka"].text
    a, b = model(d) >= 0.5, model(d.str.replace("ঢাকায়", "রংপুরে")) >= 0.5
    assert (a == b).all(), f"{(a != b).sum()} of {len(d)} labels flipped"

def test_dir_complaint_never_raises(model):
    more = TE.text.str.replace("। ", ", ডালে পোকা ছিল। ", n=1, regex=False)
    rise = model(more) - model(TE.text)
    assert rise.max() <= 0.10, f"max rise {rise.max():.3f}"

সাথে আরও আছে: দুটি স্পষ্ট MFT, ঢাকা আর ঢাকার বাইরের slice-এর test (পরের অংশে), train আর test-এ একই লেখা নেই, আর একই seed-এ একই model. সত্যিকারের run (Python 3.14.4, pytest 9.2.0, scikit-learn 1.9.1):

$ uv run pytest -v --tb=no -rf tests/test_model.py
collected 14 items
tests/test_model.py::test_mft_clear_cases[v1] PASSED
tests/test_model.py::test_mft_negation[v1] FAILED
tests/test_model.py::test_inv_place_name[v1] FAILED
tests/test_model.py::test_dir_complaint_never_raises[v1] PASSED
tests/test_model.py::test_slice_accuracy_lower_bound[v1-Dhaka] PASSED
tests/test_model.py::test_slice_accuracy_lower_bound[v1-outside] PASSED
tests/test_model.py::test_mft_clear_cases[v2] PASSED
tests/test_model.py::test_mft_negation[v2] FAILED
tests/test_model.py::test_inv_place_name[v2] PASSED
tests/test_model.py::test_dir_complaint_never_raises[v2] PASSED
tests/test_model.py::test_slice_accuracy_lower_bound[v2-Dhaka] PASSED
tests/test_model.py::test_slice_accuracy_lower_bound[v2-outside] PASSED
tests/test_model.py::test_no_text_in_train_and_test PASSED
tests/test_model.py::test_same_seed_same_model PASSED
== short test summary info ==
FAILED ...test_mft_negation[v1] - AssertionError: 'ভালো না' scored 0.73 positive
FAILED ...test_inv_place_name[v1] - AssertionError: 4 of 157 labels flipped
FAILED ...test_mft_negation[v2] - AssertionError: 'ভালো না' scored 0.75 positive
== 3 failed, 11 passed in 1.20s ==

সামগ্রিক accuracy ০.৯২৫, যা শুনতে ভালো; তবু দুটি আসল দুর্বলতা বেরোল। Negation: “চাল ভালো না”-কে model ৭৩% খুশি ভাবে। Model-এর ওজন খুলে দেখলে কারণ স্পষ্ট: “ভালো”-র ওজন +২.৫০, “না”-র −২.১৪, আর শব্দজোড়া “ভালো না”-র ওজন শূন্য, কারণ training data-য় এই জোড়া একবারও ছিল না। এটি কোডের bug নয়, data-র ফাঁক; সমাধান negation-সহ রিভিউ সংগ্রহ আর label করা। জায়গার নাম: শুধু “ঢাকায়” থেকে “রংপুরে” বদলালে ১৫৭টির ৪টির রায় উল্টায়। নিচের stepper-এ একটি উদাহরণ ধাপে ধাপে।

1t = "… ঢাকায় সময়মতো …"2p1 = model(t)3p2 = model(swap(t))4assert (p1>=.5)==(p2>=.5)5v2: mask(t) আগে
model-এর হিসাব
score
রায়
জায়গার ওজন
  1. একটি মিশ্র রিভিউ। পুরো লেখা: “ওজন ঠিক ছিল, ওজন কম দিয়েছে। ঢাকায় সময়মতো পেয়েছি।” এক অংশ খুশি, এক অংশ অখুশি। এমন রিভিউয়ে রায় সীমার কাছাকাছি থাকে, আর ছোট প্রভাবও তাকে উল্টে দিতে পারে; invariance test ঠিক এই জায়গা খোঁজে।
  2. আসল লেখায় score ০.৬০৫. সীমা ০.৫, তাই রায় “খুশি”. Test এখানে রায় ঠিক কি না জানতে চায় না; এই রিভিউয়ের সঠিক উত্তর তর্কসাপেক্ষ। শুধু পরের ধাপের সাথে তুলনা হবে।
  3. শুধু জায়গা বদল। swap “ঢাকায়”-কে “রংপুরে” করে, বাকি লেখা হুবহু এক। Score নামল ০.৩৬১-এ, রায় “অখুশি”. কারণ model-এর শেখা ওজন: “ঢাকায়” +০.৯৩, “রংপুরে” +০.২৭. Model শিখেছে, ঢাকা থেকে রিভিউ সাধারণত খুশি।
  4. পুরো slice-এ। ঢাকার ১৫৭টি test রিভিউয়ে একই বদল: ৪টির রায় উল্টাল, তাই test FAIL. ওজনের তালিকায় “বরিশালে” −০.৭২ আর “ময়মনসিংহে” −০.৬৫; অর্থাৎ ওই জেলার কোনো ক্রেতার মিশ্র রিভিউ শুধু জেলার কারণে বেশি “অখুশি” দেখাতে পারে।
  5. সংশোধন আর আবার test. v2-এর mask শেখা আর অনুমান, দুই ধাপেই জায়গার নাম <place> দিয়ে ঢাকে। একই test-এ ০টি উল্টাল, আর accuracy ৫৫০টির ৫০৯ থেকে ৫১২. সমস্যার মূল কারণ ছিল data-র ঝোঁক; ঢেকে দেওয়া একটি সাধারণ, পরীক্ষিত প্রতিকার।

এটি ন্যায্যতারও প্রশ্ন: রিভিউ কতটা খারাপ, তা লেখার ওপর নির্ভর করার কথা, লেখকের জেলার ওপর নয়। দলভিত্তিক ন্যায্যতার মাপ আর প্রতিকার মেশিন লার্নিং কোর্সের পর্ব ৬০-এ। আর DIR test দুটিতেই পাস, কিন্তু সংখ্যা দেখুন: অভিযোগ যোগ করলে কিছু রিভিউয়ের খুশির সম্ভাবনা v1-এ সর্বোচ্চ ০.০৭০ বাড়ে, v2-এ ০.০৯৯, সীমার একেবারে কাছে। TF-IDF প্রতিটি লেখার ওজন দৈর্ঘ্যে ভাগ করে, তাই নতুন শব্দ এলে আগের নেতিবাচক শব্দের ওজন একটু কমে। সহনসীমা ০ হলে test কখনো পাস করত না; ০.১০ একটি লিখিত, সচেতন সিদ্ধান্ত।

৬ · Slice, confidence interval, leakage আর reproducibility

“Accuracy ৯২.৫%” একটি সংখ্যা, কিন্তু কোন দলের জন্য? Slice evaluation মানে আগে থেকে ঠিক করা উপদলে আলাদা করে মান মাপা: ঢাকা আর বাইরের রিভিউ, নতুন ক্রেতা, বাংলিশে লেখা রিভিউ। আর প্রতিটি slice-এর সংখ্যার সাথে তার অনিশ্চয়তা, কারণ ছোট slice-এ accuracy অনেক নড়ে। এখানে Wilson interval ব্যবহার হয়েছে, Edwin B. Wilson-এর ১৯২৭ সালের একটি পদ্ধতি, যা ছোট নমুনায় সাধারণ “p ± 1.96 × SE” সূত্রের চেয়ে ভালো আচরণ করে। Gate-এর নিয়ম: প্রতিটি slice-এর confidence interval-এর নিচের প্রান্ত ০.৮৫ বা বেশি।

from math import sqrt

def wilson(k, n, z=1.96):
    """95% Wilson interval for an accuracy of k correct out of n."""
    p = k / n
    mid = (p + z * z / (2 * n)) / (1 + z * z / n)
    half = z * sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / (1 + z * z / n)
    return mid - half, mid + half

GATE = 0.85                       # rule: every slice must be at least 85% accurate
SLICES = [("all", 509, 550),      # (slice, correct, total) from the desktop run
          ("Dhaka", 146, 157),
          ("outside Dhaka", 363, 393),
          ("Banglish (invented)", 18, 20)]

print(f"{'slice':20} {'acc':>5}  95% interval   point  interval")
for name, k, n in SLICES:
    lo, hi = wilson(k, n)
    point = "PASS" if k / n >= GATE else "FAIL"
    strict = "PASS" if lo >= GATE else "NOT SURE"
    print(f"{name:20} {k / n:5.3f}  {lo:.3f}-{hi:.3f}  {point:5}  {strict}")

for n in (20, 100, 400, 1600):    # how wide is the interval at 90% accuracy?
    lo, hi = wilson(round(0.9 * n), n)
    print(f"n={n:5}: 0.900 -> {lo:.3f}-{hi:.3f} (width {hi - lo:.3f})")

আসল আউটপুট:

slice                  acc  95% interval   point  interval
all                  0.925  0.900-0.945  PASS   PASS
Dhaka                0.930  0.879-0.960  PASS   PASS
outside Dhaka        0.924  0.893-0.946  PASS   PASS
Banglish (invented)  0.900  0.699-0.972  PASS   NOT SURE
n=   20: 0.900 -> 0.699-0.972 (width 0.273)
n=  100: 0.900 -> 0.826-0.945 (width 0.119)
n=  400: 0.900 -> 0.867-0.926 (width 0.059)
n= 1600: 0.900 -> 0.884-0.914 (width 0.029)

প্রথম তিনটি সারি ডেস্কটপের v1 model-এর আসল গণনা। শেষেরটি একটি কাল্পনিক ছোট slice: বাংলিশে লেখা ২০টি রিভিউ, ১৮টি ঠিক। শুধু point estimate দেখলে চারটিই “PASS”. কিন্তু ২০টি নমুনায় ০.৯০-এর interval ০.৬৯৯ থেকে ০.৯৭২: আসল accuracy ৭০% হলেও এমন ফল আসা অস্বাভাবিক নয়। সৎ রায় “NOT SURE”: আরও রিভিউ label করুন। শেষ চার লাইন বলে, ৯০% accuracy-তে interval-এর প্রস্থ নমুনা ৪ গুণ করলে প্রায় অর্ধেক হয় (০.২৭৩ → ০.১১৯ → ০.০৫৯ → ০.০২৯)। ঢাকার slice-ও ১৫৭টিতে টেনেটুনে পাস (নিচের প্রান্ত ০.৮৭৯)।

Leakage — test-এর প্রশ্ন আগেই ফাঁস

পরীক্ষার আগের রাতে প্রশ্ন ফাঁস হলে সবাই ভালো নম্বর পায়, কিন্তু তাতে কে কতটা জানে তা বোঝা যায় না। Model-এর data leakage একই জিনিস: test set-এর তথ্য কোনোভাবে training-এ ঢুকে যাওয়া। সবচেয়ে সাধারণ রূপ হুবহু একই লেখা দুই দিকে। নিচের সত্যিকারের run-এ একই রিভিউ data দুইভাবে ভাগ করা হয়েছে, আর একই seed দুবার এবং পাঁচটি ভিন্ন split-এর seed-ও চালানো হয়েছে:

$ uv run python leak_repro.py
reviews 3000, distinct texts 1831
no dedupe: 425 of 900 test rows also in train; acc 0.937 (seen 0.946, unseen 0.928)
dedupe:    train 1281, test 550, acc 0.925
same seed twice, identical scores: True
split seed 0-4: 0.925 0.911 0.916 0.925 0.947 | spread 0.036

৩,০০০টি রিভিউয়ের মাত্র ১,৮৩১টি আলাদা লেখা; ছোট রিভিউ বাস্তবেও প্রায়ই হুবহু মেলে (“ভালো পণ্য”)। এলোমেলো ভাগে test-এর ৯০০টির ৪২৫টি training-এ আগেই ছিল, আর সেগুলোতে accuracy বেশি (০.৯৪৬ বনাম ০.৯২৮)। রিপোর্টে আসত ০.৯৩৭, অথচ নতুন লেখায় আসল মান ০.৯২৫-এর কাছাকাছি। বানানো data-য় পার্থক্য ছোট; বাস্তবের data-য় এমন ফাঁস অনেক বড় মিথ্যা আশা দিতে পারে। তাই suite-এ একটি test থাকে: train আর test-এ কোনো লেখা একসাথে নয়। আরও প্রশ্ন: একই ক্রেতার রিভিউ দুই দিকে? ভবিষ্যতের তথ্য feature-এ?

Reproducibility-র দুটি দিক দেখা গেল। একই seed-এ দুবার শেখালে score হুবহু এক; seed না দিলে model-এর test নিজেই পর্ব ৪০-এর (Flaky test) মতো অস্থির হতে পারে। কিন্তু শুধু split-এর seed বদলালে accuracy ০.৯১১ থেকে ০.৯৪৭; তাই একটি split-এ “নতুন model ২ শতাংশ-বিন্দু ভালো” দাবি এখানে noise-এর ভেতরেই পড়ে। তুলনার সঠিক পদ্ধতি, যেমন bootstrap, মেশিন লার্নিং কোর্সের পর্ব ২১-এ।

৭ · Drift — PSI, KS আর retrain-এর সিদ্ধান্ত

Model চালুর পরে পৃথিবী বদলায়: নতুন পণ্য, উৎসব, বন্যায় ধীর ডেলিভারি। Input-এর বণ্টন সরে গেলে তাকে data drift বলে; model-এর রায়ের বণ্টন সরে গেলে prediction drift; আর input থেকে উত্তরের সম্পর্কই বদলে গেলে concept drift. মুশকিল হলো, আসল মান মাপতে label লাগে, যা প্রায়ই দেরিতে আসে (label delay); তাই আগে মাপা হয় বণ্টন। দুটি প্রচলিত মাপ: PSI, যা পুরোনো আর নতুন বণ্টনকে কয়েকটি ভাগে (bin) তুলনা করে, আর KS test, যা দুটি cumulative বণ্টনের সবচেয়ে বড় ফাঁক D মাপে। এদের পরিসংখ্যান আর সীমাবদ্ধতা মেশিন লার্নিং কোর্সের পর্ব ৫৯-এ; নিচের ব্লকে দুটিই শুধু standard library দিয়ে, যাতে ভেতরটা দেখা যায়।

import math, random
random.seed(71)

def psi(ref, new, bins=5):
    """Population Stability Index with bin edges from the reference quantiles."""
    s = sorted(ref)
    edges = [s[len(s) * i // bins] for i in range(1, bins)]
    def shares(xs):
        c = [0] * bins
        for x in xs:
            c[sum(x >= e for e in edges)] += 1
        return [max(v / len(xs), 1e-4) for v in c]
    return sum((n - r) * math.log(n / r) for r, n in zip(shares(ref), shares(new)))

def ks(a, b):
    """Two-sample KS statistic D and its asymptotic p-value."""
    pts = sorted(set(a) | set(b))
    d = max(abs(sum(x <= t for x in a) / len(a) - sum(x <= t for x in b) / len(b)) for t in pts)
    en = math.sqrt(len(a) * len(b) / (len(a) + len(b)))
    lam = (en + 0.12 + 0.11 / en) * d
    p = 2 * sum((-1) ** (k - 1) * math.exp(-2 * k * k * lam * lam) for k in range(1, 101))
    return d, min(max(p, 0.0), 1.0)

# invented delivery hours: last month vs this week (outside Dhaka orders)
ref = [random.gammavariate(4, 9) for _ in range(300)]
same = [random.gammavariate(4, 9) for _ in range(300)]
slow = [random.gammavariate(4, 11) for _ in range(300)]       # flood week: slower
print(f"ref median {sorted(ref)[150]:.1f} h")
for name, new in [("same process", same), ("slower week", slow)]:
    d, p = ks(ref, new)
    print(f"{name:13} median {sorted(new)[150]:5.1f} h  PSI {psi(ref, new):.3f}"
          f"  KS D {d:.3f}  p {p:.3g}")

আসল আউটপুট:

ref median 33.7 h
same process  median  35.2 h  PSI 0.019  KS D 0.087  p 0.2
slower week   median  38.5 h  PSI 0.145  KS D 0.173  p 0.000201

একই প্রক্রিয়ার দুটি নমুনাতেও PSI শূন্য নয় (০.০১৯): এটি স্বাভাবিক ওঠানামা। ধীর সপ্তাহে PSI ০.১৪৫ আর p প্রায় ০.০০০২. প্রচলিত হাতের নিয়মে PSI ০.১-এর নিচে “স্থির”, ০.১–০.২৫ “নজর দিন”, ০.২৫-এর ওপরে “বড় বদল”; সীমাগুলো ক্রেডিট স্কোরিংয়ের চর্চা থেকে এসেছে বলে উল্লেখ করা হয়, গাণিতিক নিয়ম নয়। নিজের কোডও test করুন: একই নমুনায় scipy-র ks_2samp ডেস্কটপে হুবহু একই D দেয় (০.০৮৭ আর ০.১৭৩); p-value একটু আলাদা (০.২১ আর ০.০০০২৪), কারণ scipy এই আকারে আরও নিখুঁত পদ্ধতি ব্যবহার করে।

Drift আর data-র ভুল এক জিনিস নয়

ডেস্কটপে বাজারঘরের order-এর amount_tk-এ তিনটি দিন: একটি স্বাভাবিক দিন, একটি সেলের দিন (প্রতিটি order-এ একটি করে বেশি পণ্য), আর একটি দিন যেখানে প্রতি দশম সারির টাকা পয়সায় এসেছে। Reference ১৪টি স্বাভাবিক দিনের ৫,৬০০টি সারি। সত্যিকারের run (scipy 1.18.1, BSD-3-Clause):

$ uv run python drift.py
scipy 1.18.1 | reference rows 5600
normal day  max   4400  PSI 0.034  KS D 0.045  p 0.42
sale day    max   5280  PSI 0.619  KS D 0.174  p 2.3e-10
paisa bug   max 440000  PSI 0.046  KS D 0.100  p 0.0011

সেলের দিন PSI ০.৬১৯, সবচেয়ে বড় সতর্কতা, অথচ কোনো ভুল নেই, শুধু পৃথিবী বদলেছে। আর আসল bug, পয়সার দিন, PSI-তে মাত্র ০.০৪৬, “স্থির”! PSI দেখে প্রতিটি ভাগে কত শতাংশ সারি; ১০% সারি সবচেয়ে ওপরের ভাগে সরলে সেই হিসাব সামান্যই বদলায়, সংখ্যা যত বড়ই হোক। KS-এর p ০.০০১১ কিছু বলে, কিন্তু বড় নমুনায় KS প্রায় সব ছোট বদলেই ছোট p দেয়। অথচ অংশ ৩-এর schema-র সাধারণ নিয়ম, amount_tk ১ থেকে ২০,০০০, ৪,৪০,০০০ দেখেই ধরে। শিক্ষা: drift-এর মাপ data check-এর বদলি নয়।

এবার রিভিউয়ের model v2. দুটি নতুন সপ্তাহ: প্রচারণার সপ্তাহে ক্রেতার ৮৫% ঢাকার বাইরের; আরেক সপ্তাহে বাজারঘর মধু বিক্রি শুরু করেছে, অর্ধেক রিভিউ নতুন শব্দে (“মধুতে চিনি মেশানো”)। প্রতি সপ্তাহের ২০০টি রিভিউ হাতে label করা ধরা হয়েছে। সত্যিকারের run:

$ uv run python drift_reviews.py
test set      unknown 0.0%  positive 0.50
campaign week unknown 0.0%  PSI(score) 0.061  acc on 200 labelled 0.935
honey launch  unknown 23.2%  PSI(score) 0.386  acc on 200 labelled 0.830
fresh rows also in test set: 49
live v2       acc on 174 new unseen 0.833  DIR max rise 0.099
retrained v3  acc on 174 new unseen 0.954  DIR max rise 0.122

প্রচারণার সপ্তাহে ক্রেতার মিশ্রণ বদলেছে, কিন্তু অচেনা শব্দ শূন্য, score-এর PSI ০.০৬১, accuracy ০.৯৩৫: কিছু করার নেই। মধুর সপ্তাহে শব্দের ২৩.২% model আগে দেখেনি; লেখার model-এর জন্য অচেনা শব্দের ভাগ একটি সস্তা, শক্তিশালী সংকেত। ৬০০টি নতুন label-করা রিভিউ দিয়ে retraining-এর পরে অদেখা ১৭৪টিতে accuracy ০.৮৩৩ থেকে ০.৯৫৪. কিন্তু গল্প এখানে শেষ নয়; stepper-এর শেষ দুই ধাপ দেখুন।

  1. সংকেতPSI 0.386অচেনা শব্দ
  2. ভুল?data checkনা পৃথিবী?
  3. মাপ166/200gate 0.85
  4. Retrainv3ফাঁস বাদ
  5. তুলনা0.954১৭৪ অদেখা
  6. SuiteDIR 0.122FAIL
সাপ্তাহিক নজরscore · শব্দ
campaign  PSI 0.061   0.0%
honey     PSI 0.386  23.2%
# শেষ কলাম: অচেনা শব্দ
অচেনা শব্দ খুলে দেখাbug?
মধু 169 · ঘ্রাণ 91 · দানা 84
চিনি 82 · মধুতে 82 …
# নতুন পণ্যের শব্দ, ভাঙা লেখা নয়
২০০টি হাতে labelWilson 95%
campaign 187/200 = 0.935
honey    166/200 = 0.830
         0.772 – 0.876 < 0.85
নতুন ৬০০ labelleakage check
600 rows fresh
49 rows already in test set
→ removed, train on 1281 + 551
১৭৪টি নতুন অদেখাaccuracy
live v2       0.833
retrained v3  0.954
# মধুর রিভিউয়ে স্পষ্ট উন্নতি
একই test suiteDIR ≤ 0.10
v2  max rise 0.099  PASS
v3  max rise 0.122  FAIL
# release আটকে, কারণ খোঁজা
  1. সংকেত। প্রতি সপ্তাহে label ছাড়াই দুটি সংখ্যা: model-এর score-এর PSI আর অচেনা শব্দের ভাগ। প্রচারণার সপ্তাহ শান্ত; মধুর সপ্তাহে দুটিই বেজেছে: PSI ০.৩৮৬ আর অচেনা শব্দ ২৩.২ শতাংশ।
  2. আগে প্রশ্ন: ভুল, না বদল? পয়সার ঘটনায় উত্তর ছিল “ভুল”, আর সমাধান pipeline সারানো, retrain নয়; ভুল data-য় retrain করলে model ভুলটাই শিখত। এখানে সবচেয়ে বেশি আসা অচেনা শব্দ গুনে দেখা হলো: মধু ১৬৯ বার, ঘ্রাণ ৯১, দানা ৮৪. নতুন পণ্যের শব্দ, ভাঙা লেখা নয়; তাই আসল বদল।
  3. Label দিয়ে মাপ। ২০০টি রিভিউ হাতে label করে accuracy ০.৮৩০, অর্থাৎ ১৬৬টি ঠিক। Wilson interval ০.৭৭২–০.৮৭৬, আর gate ০.৮৫-এর নিচে point estimate. প্রচারণার সপ্তাহে ১৮৭/২০০ = ০.৯৩৫, কোনো কাজ নেই।
  4. Retrain, ফাঁস বাদ দিয়ে। ৬০০টি নতুন label-করা রিভিউয়ের ৪৯টি সারির লেখা test set-এ হুবহু আছে। এগুলো সরানো না হলে পুরোনো test set-এ নতুন model-এর মান মিথ্যা ভালো দেখাত; leakage-এর test এখানেও চলে।
  5. তুলনা নতুন, অদেখা data-য়। ১৭৪টি মধু-যুগের রিভিউ, যা দুটির কোনো model দেখেনি: চালু v2 ০.৮৩৩, নতুন v3 ০.৯৫৪. উন্নতি স্পষ্ট আর বড়।
  6. পুরো suite আবার। নতুন model-কে পুরোনো সব test পেরোতে হয়। DIR test-এ অভিযোগ যোগ করলে খুশির সম্ভাবনা সর্বোচ্চ ০.১২২ বাড়ে, সীমা ০.১০; FAIL. Accuracy ভালো হলেও release আটকে থাকল, কারণ খোঁজা আর সিদ্ধান্ত লেখা হবে, তারপর canary.

শেষ ধাপটিই সবচেয়ে জরুরি অভ্যাস। “নতুন model বেশি accurate” আর “নতুন model release করা নিরাপদ” দুটি আলাদা দাবি। Release-এর পথ পর্ব ৬৬-এর (Production-এ testing) মতোই: প্রথমে চুপচাপ পাশে চলা (shadow), তারপর ছোট ভাগে canary release. চালু অবস্থায় model monitoring চলে: data check, বণ্টন, আর label এলে slice ধরে আসল মান।

৮ · কোন test কখন চলে — gate, দায়িত্ব আর গোপনীয়তা

এত ধরনের test একসাথে সাজাতে একটি টেবিল কাজে আসে। প্রতিটি সারি একটি quality gate: শর্ত না মিললে কাজ পরের ধাপে যায় না।

কখনকী চলেব্যর্থ হলে
প্রতিটি কোড-বদলে (CI)Transform-এর unit test, pipeline test (rerun, reconciliation, দেরিতে আসা data), ছোট data-য়Merge আটকে যায়
প্রতিটি ব্যাচেData contract: schema, null, সীমা, অনন্যতা, referential integrity, freshness, volumeব্যাচ বা সারি quarantine, পাঠানো দলকে রিপোর্ট
প্রতিটি নতুন model-এMFT, INV, DIR, slice-এর gate (interval-সহ), leakage, reproducibility, আগের model-এর সাথে তুলনাRelease আটকে, কারণসহ রিপোর্ট
চালু অবস্থায় রোজData check, PSI ও অচেনা শব্দ, score-এর বণ্টন; label এলে slice ধরে মানসতর্কতা; আগে data-র ভুল খোঁজা, তারপর retrain-এর প্রশ্ন

দায়িত্বও ভাগ করা। Contract-এর নিয়ম দুই দল একসাথে ঠিক করে; tester প্রশ্ন তোলেন (“এই কলাম কি কখনো পয়সায় আসতে পারে?”), ভুল বসিয়ে দেখেন নিয়ম আসলে ধরে কি না, আর ব্যর্থতার রিপোর্ট পরিষ্কার রাখেন। Model-এর test-এর তালিকা data scientist-এর সাথে বসে লেখা হয়, কারণ কোন আচরণ “প্রত্যাশিত”, তা ব্যবসার জ্ঞান। আর গোপনীয়তা: test-এ কখনো আসল ক্রেতার রিভিউ, নাম বা ফোন নয়। আসল data-র কাছাকাছি কিছু লাগলে পর্ব ৬৫-এর (Test environment আর test data) data masking বা synthetic data-র পথ নিন; মনে রাখুন, রিভিউয়ের লেখার ভেতরেও ফোন নম্বর লুকিয়ে থাকতে পারে।

আরও গভীরে: D. Sculley ও সহকর্মীদের ২০১৫ সালের NIPS প্রবন্ধ “Hidden Technical Debt in Machine Learning Systems” দেখায়, বাস্তব ML system-এ model-এর কোড ছোট একটি অংশ, চারপাশের data আর যাচাইয়ের কাঠামোই বড়। Eric Breck ও সহকর্মীরা ২০১৭ সালে “ML Test Score” নামে data, model, অবকাঠামো আর নজরদারির test-এর একটি নম্বর-তালিকা প্রস্তাব করেন, আর ২০১৯ সালে SysML-এ বড় পরিসরে data যাচাইয়ের অভিজ্ঞতা লেখেন। Sebastian Schelter ও সহকর্মীদের ২০১৮ সালের VLDB প্রবন্ধ Deequ-এর পেছনের ধারণা, “data-র unit test”, বর্ণনা করে। Testing-এর গবেষণায় ML system-কে প্রায়ই “oracle ছাড়া program”-এর উদাহরণ ধরা হয়, আর metamorphic testing তার প্রধান হাতিয়ারগুলোর একটি।

পরীক্ষা ও ইন্টারভিউতে:

  • Data quality-র কয়েকটি মাত্রা বলুন। Schema, পূর্ণতা (null), বৈধতা (সীমা, ধরন), অনন্যতা, referential integrity, সামঞ্জস্য, freshness আর volume.
  • Pipeline idempotent কি না কীভাবে test করবেন? একই ব্যাচ দুবার চালিয়ে সারির সংখ্যা আর যোগফল একবারের সাথে মেলানো।
  • Invariance আর directional test-এর পার্থক্য? Invariance-এ অপ্রাসঙ্গিক বদলে রায় একই থাকে; directional-এ প্রাসঙ্গিক বদলে রায় প্রত্যাশিত দিকে যায় বা অন্তত উল্টো দিকে নয়।
  • Model-এর accuracy ৯২% হলে যথেষ্ট? না; slice ধরে, interval-সহ দেখতে হয়, আর behavioural test ও leakage যাচাই লাগে।
  • Drift ধরা পড়লে কি সাথে সাথে retrain? না; আগে data-র ভুল কি না দেখা, তারপর label দিয়ে মান মাপা, retrain হলে নতুন model-কে পুরো suite পেরোতে হয়।

৯ · AI-এর যুগে — AI-এর লেখা data আর model test যাচাই

AI সহকারী কয়েক সেকেন্ডে একটি pandera schema বা model test লিখে দেয়, আর তার চেনা ভুলগুলো নীরব: test পাস করে, কিন্তু কিছু ধরে না। সাধারণ ভুল: শুধু সুখী পথের (happy path) data, খারাপ ব্যাচ কখনো চালানো হয় না; বর্তমান data-র max থেকে সীমা, ফলে পয়সার ভুলও বৈধ; কল্পিত বা পুরোনো API, যেমন পুরোনো import pandera as pa; training data-য় accuracy মেপে “৯৯%”; seed ছাড়া split; interval ছাড়া slice; abs(p1 - p2) < 0.5-এর মতো ঢিলা invariance; আর না চালিয়েই “সব test পাস”.

AI-কে স্পষ্ট নিয়ম, বানানো data আর যাচাইয়ের দাবি দিন:

তুমি একজন অভিজ্ঞ QA engineer. বাজারঘরের রিভিউ-sentiment model-এর জন্য pytest-এ behavioural test লিখবে। নিচে model-এর function-এর নাম আর আমাদের নিয়ম দিলাম। নিয়ম: ১. তিন ধরনের test: MFT (সহজ উদাহরণ, negation-সহ), INV (জায়গা আর মানুষের নাম বদলালে রায় একই), DIR (একটি অভিযোগ যোগ করলে খুশির সম্ভাবনা ০.১০-এর বেশি বাড়বে না)। ২. Test শুধু বানানো বাংলা রিভিউ ব্যবহার করবে; কোনো আসল নাম, ফোন বা ঠিকানা নয়। ৩. Slice: ঢাকা আর ঢাকার বাইরে; accuracy-র Wilson 95% interval-এর নিচের প্রান্ত ০.৮৫ বা বেশি। ৪. Train আর test-এ একই লেখা থাকবে না, এমন একটি test রাখবে; সব random-এ seed. ৫. প্রতিটি assertion-এর বার্তায় কতগুলো সারি ব্যর্থ, তা লিখবে। ৬. তুমি কিছু চালাওনি; "সব পাস করবে" দাবি করবে না, আর কোনো library-র function বানাবে না। [এখানে model-এর function আর data-র কলামের নাম]

AI-এর লেখা data বা model test হাতে পেলে — চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।

প্র ০১১৯৮২ সালে একজন গবেষক কিছু program-কে “test করা যায় না” বলেছিলেন। ML model কি সেই দলে পড়ে, আর tester তবু কী করতে পারেন?

Elaine Weyuker ১৯৮২ সালে The Computer Journal-এ “On Testing Non-testable Programs” নামে একটি প্রবন্ধ লেখেন। তাঁর যুক্তি ছিল, testing-এর পুরো ধারণা দাঁড়িয়ে আছে একটি অনুমানের ওপর: কোনো একটি input-এর সঠিক উত্তর আমরা জানি, বা অন্তত চিনতে পারি। কিছু program-এ এই oracle নেই, যেমন জটিল বৈজ্ঞানিক হিসাব, যার উত্তর জানতেই program লেখা হয়েছে। তিনি এমন program-কে “non-testable” বলেন, আর বিকল্প পথের কথা বলেন: অন্য একটি স্বাধীন implementation-এর সাথে তুলনা, সহজ input-এ জানা উত্তর, আর ফলের এমন বৈশিষ্ট্য যাচাই, যা সঠিক হলে থাকতেই হবে।

ML model এই দলের একটি স্পষ্ট উদাহরণ। “এই রিভিউটি খুশির?” প্রশ্নের উত্তরের জন্যই model; প্রতিটি নতুন রিভিউয়ের সঠিক উত্তর আমাদের হাতে থাকলে model-এর দরকারই হতো না। আরও একটি পার্থক্য: সাধারণ program একটি ভুল উত্তর দিলে তা bug, কিন্তু model-এর কিছু ভুল উত্তর প্রত্যাশিত। তাই “একটি ভুল পাওয়া গেছে” দিয়ে model বাতিল হয় না।

তবু Weyuker-এর তিনটি পথই এখানে খাটে, নতুন নামে। সহজ input-এ জানা উত্তর হলো CheckList-এর MFT: “মান খারাপ” অখুশি হতেই হবে। ফলের আবশ্যিক বৈশিষ্ট্য হলো INV আর DIR, যা metamorphic testing-এর ধারণা: দুটি input-এর উত্তরের সম্পর্ক জানা, যদিও কোনোটির উত্তর জানা নেই। আর স্বাধীন implementation-এর সাথে তুলনা এই পর্বেই এসেছে: নিজের KS কোড scipy-র সাথে মেলানো। এর সাথে যোগ হয় পরিসংখ্যান: পুরো label-করা test set-এ মান মাপা, interval-সহ, আর সীমা আগে থেকে লেখা। এই পর্বের run দেখিয়েছে, ৯২.৫% accuracy-র model-ও দুটি আচরণের test-এ ব্যর্থ হতে পারে, যা শুধু গড়ের সংখ্যায় কখনো ধরা পড়ত না।

মূল উপলব্ধি: Oracle না থাকা মানে test অসম্ভব নয়; উত্তর যাচাইয়ের বদলে আচরণ, সম্পর্ক আর পরিসংখ্যানের সীমা যাচাই করতে হয়, আর এই কৌশলগুলো চার দশক ধরে testing-এর গবেষণায় পরিচিত।

প্র ০২১৯৯৯ সালে একটি মহাকাশযান হারানোর পেছনে ছিল দুই দলের মধ্যে এককের অমিল। Data contract-এর চোখে এই ঘটনা কী শেখায়?

NASA-র Mars Climate Orbiter ১৯৯৯ সালের সেপ্টেম্বরে মঙ্গলের কক্ষপথে ঢোকার সময় হারিয়ে যায়। তদন্ত বোর্ডের প্রতিবেদনে মূল কারণ হিসেবে বলা হয়: পৃথিবীর একটি software, যা একটি ঠিকাদার দলের তৈরি, thruster-এর ধাক্কার একটি হিসাব imperial এককে (pound-force seconds) দিচ্ছিল, যেখানে দুই দলের মধ্যে লেখা interface-এর নিয়মে metric একক (newton seconds) চাওয়া ছিল। সংখ্যাগুলো দেখতে স্বাভাবিক ছিল, ফাইলের ধরন ঠিক ছিল, শুধু অর্থ ভুল। মাসের পর মাস ছোট ছোট ভুল জমে যানটি পরিকল্পনার চেয়ে অনেক নিচু পথে চলে যায়।

এই পর্বের পয়সার উদাহরণ একই ধরনের ভুল, ছোট আকারে। amount_tk-এর dtype পূর্ণসংখ্যা, নাম একই, schema check খুশি। Drift-এর মাপও প্রায় চুপ: PSI ০.০৪৬. কেন? কারণ বণ্টনের মাপ প্রশ্ন করে “আকার কি বদলেছে?”, “অর্থ কি ঠিক আছে?” নয়। যে নিয়ম ধরেছে, তা ব্যবসার জ্ঞান থেকে লেখা একটি সীমা: একটি order ২০,০০০ টাকার বেশি হয় না।

Data contract-এর জন্য শিক্ষা তিনটি। এক, একক চুক্তির অংশ, আর তা কলামের নামে বা বর্ণনায় স্পষ্ট লেখা থাকা উচিত (amount_tk, amount_paisa নয়)। দুই, চুক্তি কাগজে থাকলেই হয় না; তার যাচাই প্রতিটি ব্যাচে স্বয়ংক্রিয়ভাবে চলতে হয়, ঠিক যেমন Mars Climate Orbiter-এর ক্ষেত্রে নিয়ম লেখা ছিল কিন্তু ভাঙা ধরা পড়েনি। তিন, সীমার নিয়মে ব্যবসার বাস্তব জ্ঞান লাগে, শুধু পরিসংখ্যান নয়; “গত মাসের সর্বোচ্চ” থেকে সীমা নিলে ভুল একক একবার ঢুকে গেলে সেটিই নতুন স্বাভাবিক হয়ে যায়।

মূল উপলব্ধি: Data-র সবচেয়ে বিপজ্জনক ভুল ধরনে নয়, অর্থে; একক আর সীমা লিখিত contract-এ থাকা আর প্রতিটি ব্যাচে যন্ত্র দিয়ে যাচাই হওয়া দরকার, কারণ বণ্টনের মাপ অর্থের ভুল প্রায়ই দেখে না।

প্র ০৩২০২০ সালে একটি দেশের জনস্বাস্থ্য সংস্থার হাজার হাজার রোগীর ফল একটি ফাইলের সারির সীমায় হারিয়ে যায়। Volume check আর reconciliation কেন জরুরি?

২০২০ সালের অক্টোবরে ইংল্যান্ডের জনস্বাস্থ্য সংস্থা জানায়, সেপ্টেম্বরের শেষ থেকে অক্টোবরের শুরুর এক সপ্তাহে প্রায় ১৬ হাজার পজিটিভ COVID-19 ফল দৈনিক হিসাবে আসেনি। প্রকাশিত ব্যাখ্যা অনুযায়ী, পরীক্ষাগারের CSV ফাইল একটি পুরোনো spreadsheet ফরম্যাটে (XLS) রূপান্তর হচ্ছিল, যার একটি sheet-এ সারির সর্বোচ্চ সংখ্যা ৬৫,৫৩৬; সীমা ছাড়ানো সারিগুলো কোনো error ছাড়াই বাদ পড়ছিল। ফলে সেই রোগীদের সংস্পর্শে আসা মানুষদের খোঁজার কাজও দেরি হয়।

লক্ষ করুন, কোনো সারি-ধরা নিয়ম এটি ধরত না। যে সারিগুলো এসেছে, সেগুলো পুরোপুরি বৈধ: নাম, তারিখ, ফল সব ঠিক। সমস্যা যা আসেনি, তাতে। এই ধরনের ভুল দুটি check ধরে।Volume check: আজকের সারির সংখ্যা স্বাভাবিক সীমায় কি না; একটি চূড়ান্ত সংখ্যায় (যেমন ঠিক ৬৫,৫৩৬ বা তার কাছাকাছি) বারবার আটকে থাকা নিজেই একটি সতর্কসংকেত। Reconciliation: উৎসে কতগুলো ফল ছিল আর গন্তব্যে কতগুলো পৌঁছাল, দুটি গোনা মেলানো। এই পর্বের pipeline test ঠিক এটিই করেছে: ৪০৪ বনাম ৪০০.

আরও একটি শিক্ষা: নীরব ছাঁটাই সবচেয়ে বিপজ্জনক আচরণ। একটি tool বা ধাপ যখন সীমা ছাড়ালে error না দিয়ে চুপচাপ বাদ দেয়, তখন তার ওপরের প্রতিটি ধাপ ভুল data-কে সঠিক ধরে নেয়। Tester-এর প্রশ্ন তাই প্রতিটি ধাপে: “সীমা ছাড়ালে এই ধাপ কী করে?” আর boundary value-র চিন্তা (পর্ব ০৮) এখানেও খাটে: ঠিক সীমায়, সীমার এক বেশিতে কী হয়, তা test করা।

মূল উপলব্ধি: সারি-ধরা নিয়ম শুধু যা এসেছে তা দেখে; যা আসেনি তা ধরতে volume check আর উৎস-গন্তব্যের reconciliation লাগে, আর প্রতিটি ধাপের সীমায় আচরণ test করতে হয়।

প্র ০৪২০১৮ সালের একটি গবেষণায় মুখ চেনার কয়েকটি বাণিজ্যিক system-এর ভুলের হার দলভেদে বহুগুণ আলাদা পাওয়া যায়। Slice evaluation কেন শুধু ন্যায্যতার নয়, testing-এরও প্রশ্ন?

Joy Buolamwini আর Timnit Gebru ২০১৮ সালে “Gender Shades” নামের গবেষণায় তিনটি বাণিজ্যিক মুখ-বিশ্লেষণ system-কে লিঙ্গ শনাক্তের কাজে পরীক্ষা করেন, আর ফল ভাগ করে দেখান গায়ের রং আর লিঙ্গের দল ধরে। প্রকাশিত ফলে হালকা গায়ের রঙের পুরুষদের ক্ষেত্রে ভুলের হার ১%-এর কম, আর গাঢ় গায়ের রঙের নারীদের ক্ষেত্রে কোনো কোনো system-এ ৩০%-এর বেশি বলে উল্লেখ করা হয়। সামগ্রিক accuracy প্রতিটি system-এর জন্যই উঁচু দেখাত; গড় পুরো ছবি লুকিয়ে রেখেছিল।

এটি testing-এর একটি পুরোনো শিক্ষার নতুন রূপ। Equivalence partitioning (পর্ব ০৭) বলে, input-কে এমন দলে ভাগ করুন, যেখানে system-এর আচরণ আলাদা হতে পারে, আর প্রতিটি দল আলাদা করে test করুন। Slice evaluation ঠিক এটিই, শুধু ফল একটি pass/fail নয়, একটি হার। আর পার্থক্যও এখানে: প্রতিটি slice-এর হার একটি অনুমান, যার অনিশ্চয়তা নমুনার আকারে নির্ভর করে। এই পর্বের ২০টি রিভিউর slice-এ ০.৯০ accuracy-র interval ০.৬৯৯–০.৯৭২; ছোট দলের জন্য “পাস” বলার মতো প্রমাণ জোগাড় করাই সবচেয়ে কঠিন, আর প্রায়ই ঠিক সেই দলগুলোই ঝুঁকিতে থাকে।

Tester-এর কাজ তিনটি। এক, slice-গুলো আগে থেকে ঠিক করা, ফল দেখে বাছাই নয়; নইলে অনেক slice ঘেঁটে কাকতালীয় “সমস্যা” বা “নিরাপত্তা” পাওয়া যায়। দুই, প্রতিটি slice-এ যথেষ্ট label-করা নমুনা দাবি করা, interval-সহ রিপোর্ট আর “NOT SURE”-কে বৈধ রায় হিসেবে মানা। তিন, invariance test দিয়ে সরাসরি জিজ্ঞেস করা: শুধু দলের পরিচয় বদলালে রায় বদলায় কি? এই পর্বের জেলার নামের test তার একটি উদাহরণ।

মূল উপলব্ধি: গড় accuracy একটি দলের খারাপ অভিজ্ঞতা লুকাতে পারে; partition-এর পুরোনো চিন্তা, interval-সহ slice আর invariance test মিলে ন্যায্যতার প্রশ্নকে একটি পরীক্ষাযোগ্য প্রশ্নে বদলায়।

প্র ০৫জনপ্রিয় ছবির ডেটাসেটের test set-এ training-এর প্রায় হুবহু কপি পাওয়া গেছে বলে একটি গবেষণা জানায়। Leakage কেন model-এর মূল্যায়নকে নিঃশব্দে ভুল করে, আর test suite কীভাবে পাহারা দেয়?

Björn Barz আর Joachim Denzler ২০২০ সালের একটি প্রবন্ধে (“Do We Train on Test Data? Purging CIFAR of Near-Duplicates”) দেখান, বহুল ব্যবহৃত CIFAR-10 আর CIFAR-100 ডেটাসেটের test set-এর কিছু ছবির প্রায় হুবহু কপি training set-এ আছে; CIFAR-10-এ কয়েক শতাংশ, CIFAR-100-এ প্রায় দশ শতাংশ, এমনটি তাঁরা জানান। তাঁরা এই কপিগুলো বদলে একটি পরিষ্কার test set প্রকাশ করেন আর দেখান, model-গুলোর মান সেখানে কিছুটা কমে। বছরের পর বছর অনেক প্রবন্ধ তাই আংশিক “মুখস্থ” প্রশ্নে নম্বর তুলনা করেছিল।

এই পর্বের রিভিউ data-য় একই ঘটনা স্পষ্ট দেখা গেছে: ৩,০০০টি রিভিউয়ের মাত্র ১,৮৩১টি আলাদা লেখা, আর এলোমেলো ভাগে test-এর ৯০০টির ৪২৫টি training-এ আগেই ছিল। আরও শিক্ষণীয় হলো retrain-এর ধাপ: নতুন ৬০০টি রিভিউয়ের ৪৯টি সারি পুরোনো test set-এর সাথে মিলে গেল। অর্থাৎ শুরুতে একবার ভাগ পরিষ্কার করলেই হয় না; প্রতিবার নতুন data যোগ হলে ফাঁস আবার ঢুকতে পারে। Leakage-এর রূপও অনেক: হুবহু কপি, একই মানুষের আলাদা রিভিউ দুই দিকে, সময়ের হিসাবে ভবিষ্যতের তথ্য, বা label-এর ছদ্মবেশী কলাম।

Test suite-এর পাহারা তাই স্থায়ী হতে হয়। একটি সরল test (train আর test-এর লেখার ছেদ শূন্য) প্রতিটি নতুন model-এর আগে চলে; সময়ের data-য় split সময় ধরে হয়, এলোমেলো নয়; আর একটি “holdout” অংশ রাখা হয়, যা কেউ কখনো tuning-এ ব্যবহার করে না। Seed দেওয়া split আর একই seed-এ একই model test-কে নিজেই নির্ভরযোগ্য রাখে, আর split-এর seed বদলে ফলের ওঠানামা মাপা (এখানে ০.০৩৬) বলে, কোন পার্থক্য noise-এর ভেতরে।

মূল উপলব্ধি: Leakage কোনো error দেয় না, শুধু নম্বর সুন্দর করে; তাই train আর test-এর ছেদ খোঁজা একটি স্থায়ী test, যা প্রতিটি নতুন data আর প্রতিটি retrain-এর পরে আবার চলে।

অনুশীলন

উত্তর দেখার আগে কাগজে নিজে করুন।

  1. Contract থেকে test case: বাজারঘরের ডেলিভারি দল প্রতি রাতে একটি ফাইল পাঠায়। চুক্তি: “কলাম order_id, district, charge_tk, delivered_at; order_id অনন্য আর order-এর টেবিলে থাকতে হবে; ডেলিভারি চার্জ ঢাকার ভেতরে ৬০ বা ০ (২,০০০ টাকা বা বেশির order), বাইরে ১২০ বা Plus সদস্যদের ৬০; delivered_at ফাইলের দিনের; দিনে ২০০–৮০০ সারি।” অন্তত ছয়টি test case লিখুন, প্রতিটিতে ভুল data আর প্রত্যাশিত ফল।

    একটি সম্ভাব্য সেট:

    TC1 clean file, 500 rows            -> all checks pass
    TC2 an extra column "note"          -> schema FAIL (strict)
    TC3 same order_id twice             -> uniqueness FAIL, both rows listed
    TC4 order_id not in orders table    -> referential integrity FAIL
    TC5 Dhaka, charge 120               -> allowed-values FAIL (Dhaka: 60 or 0)
    TC6 outside Dhaka, charge 0         -> FAIL (outside: 120 or 60)
    TC7 delivered_at = yesterday        -> freshness FAIL (late row)
    TC8 150 rows                        -> volume FAIL (below 200)
    TC9 charge "৬০" in Bangla digits    -> dtype/format FAIL

    TC1 নিশ্চিত করে check ভালো data-তে চুপ থাকে। TC2–TC4 কাঠামো আর সম্পর্ক; TC5–TC6 জেলা আর চার্জের জোড়া। ফাইলে order-এর মোট টাকা বা Plus সদস্যপদ নেই, তাই “ঢাকায় ০” সঠিক কি না এই ফাইল একা বলতে পারে না; সেটি order টেবিলের সাথে join করা সামঞ্জস্যের check-এর কাজ, আর এই প্রশ্ন তোলাও উত্তরের অংশ। TC7 দেরিতে আসা সারি, TC8 volume, TC9 বাংলা অঙ্ক।

  2. ব্যর্থতা পড়ুন: একটি রাতের load-এর pytest রিপোর্টে তিনটি লাইন: (ক) test_rerun_is_idempotent - assert (800, 717940) == (400, 358970); (খ) test_reconciles_with_source - assert (404, 360185) == (400, 358970); (গ) test_late_order_counted_on_its_own_day - assert None == 3690. প্রতিটি থেকে কী বোঝা যায়, আর কোডে সম্ভাব্য সমাধান কী?

    (ক) দ্বিতীয়বার চালানোর পরে সারি আর টাকা দুটোই ঠিক দ্বিগুণ (৮০০ = ২ × ৪০০, ৭,১৭,৯৪০ = ২ × ৩,৫৮,৯৭০): load প্রতিবার নতুন করে যোগ করে, আগের সারি দেখে না। সমাধান: order_id-কে key ধরে upsert, বা পুরো দিনের partition মুছে আবার লেখা। (খ) ৪টি বেশি সারি আর ১,২১৫ টাকা বেশি: উৎসের আবার পাঠানো সারিগুলো সরাসরি ঢুকেছে; গড়ে প্রতিটি প্রায় ৩০৪ টাকা, যা একটি সাধারণ order-এর মতো, তাই এগুলো নকল order, অন্য কিছু নয়। সমাধান একই key-ভিত্তিক upsert, বা load-এর আগে উৎসে অনন্যতার check. (গ) ১২ নভেম্বরের দিনে কোনো যোগফলই নেই (None), অথচ থাকার কথা ৩,৬৯০ টাকা: দৈনিক মোট load-এর দিন ধরে হচ্ছে, order-এর দিন ধরে নয়। সমাধান: event time ধরে group করা, আর দেরিতে আসা সারি এলে সেই দিনের হিসাব আবার করা, যাকে backfill বলে।তিনটি বার্তাই প্রত্যাশিত মান আর পাওয়া মান পাশাপাশি দেখায়; ভালো assertion-এর এটিই গুণ।

  3. এই model test-এ ভুল খুঁজুন: একজন সহকর্মীর লেখা; অন্তত পাঁচটি সমস্যা খুঁজুন।
    df = pd.read_csv("real_reviews_export.csv")      # live customer reviews
    train, test = train_test_split(df, test_size=0.3)
    model.fit(train.text, train.label)
    
    def test_accuracy():
        assert accuracy(model, train) > 0.9
    
    def test_dhaka_slice():
        s = test[test.district == "Dhaka"].head(20)
        assert accuracy(model, s) >= 0.85
    
    def test_name_invariance():
        p1 = model.predict_proba(["রহিম বললেন চাল ভালো"])[0, 1]
        p2 = model.predict_proba(["করিম বললেন চাল ভালো"])[0, 1]
        assert abs(p1 - p2) < 0.5

    (১) আসল ক্রেতার রিভিউ: test-এ আসল ব্যক্তিগত data; লেখার ভেতরে নাম, ফোন বা ঠিকানা থাকতে পারে। বানানো বা masked data লাগে। (২) Seed নেই: train_test_split-এ random_state নেই, তাই প্রতিটি run-এ ভাগ আলাদা, ফল অস্থির। (৩) Training data-য় accuracy: model যা দেখেছে তাতেই মাপা, তাই প্রায় সবসময় বেশি; মাপতে হবে test-এ। (৪) Leakage-এর পাহারা নেই: একই লেখা দুই দিকে থাকতে পারে; ভাগের আগে dedupe আর ছেদ-শূন্যের test. (৫) ২০টির slice, interval নেই: head(20) খুব ছোট আর বাছাই এলোমেলো নয়; ২০টিতে ০.৯০-এর interval ০.৬৯৯–০.৯৭২. (৬) ঢিলা invariance: < 0.5 মানে প্রায় কিছুই ব্যর্থ হবে না, এমনকি রায় উল্টে গেলেও; তুলনা হওয়া উচিত রায়ের (সীমার কোন দিকে), বা খুব ছোট সহনসীমায়, আর একটি নয়, অনেক বাক্যে। (৭) ব্যর্থতার বার্তা নেই: FAIL হলে কতগুলো, কোনটি, তা জানা যাবে না।

  4. Drift-এর হিসাব আর রায়: বাজারঘরের একটি feature-এর reference বণ্টন তিনটি bin-এ ০.৫, ০.৩ আর ০.২; এই সপ্তাহে ০.৩, ০.৩ আর ০.৪. (ক) PSI হাতে হিসাব করুন। (খ) প্রচলিত হাতের নিয়মে এটি কোন শ্রেণির? (গ) এরপর কী কী করবেন, ক্রমসহ?

    (ক) PSI = Σ (নতুন − পুরোনো) × ln(নতুন ÷ পুরোনো)। প্রথম bin: (০.৩ − ০.৫) × ln(০.৬) = (−০.২) × (−০.৫১১) ≈ ০.১০২. দ্বিতীয়: ০. তৃতীয়: (০.৪ − ০.২) × ln(২) = ০.২ × ০.৬৯৩ ≈ ০.১৩৯. মোট ≈ ০.২৪১ (scratch script-এ যাচাই করা: ০.২৪০৮)। (খ) ০.১ থেকে ০.২৫-এর মধ্যে, “নজর দিন”, বড় বদলের সীমার ঠিক নিচে; মনে রাখুন, এই সীমা হাতের নিয়ম, আইন নয়। (গ) ক্রম: প্রথমে data contract-এর check আর pipeline-এর সাম্প্রতিক বদল দেখা, এটি data-র ভুল কি না; তারপর ব্যবসার কোনো জানা ঘটনা (সেল, নতুন পণ্য, বন্যা) আছে কি না; তারপর label-করা একটি নমুনায় আসল মান মাপা, interval-সহ, slice ধরে; মান gate-এর নিচে হলে নতুন data দিয়ে retrain, ভাগের আগে ফাঁস বাদ দিয়ে; নতুন model-কে পুরো test suite পেরোনো; শেষে shadow আর canary-তে release.

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমএকটি চালু model-এ drift-এর সংকেত আসার পরে যুক্তিসঙ্গত ক্রম সাজান (▲▼ চেপে সরান)

  1. Drift-এর সংকেত দেখা — PSI বা অচেনা শব্দের ভাগ সীমা ছাড়িয়েছে
  2. Data contract আর pipeline দেখে নিশ্চিত হওয়া, এটি data-র ভুল নয়
  3. Label-করা একটি নমুনায় interval-সহ আসল মান মাপা
  4. নতুন data দিয়ে retrain, ভাগের আগে test set-এর সাথে মেলা সারি বাদ দিয়ে
  5. নতুন model-কে পুরো test suite (MFT, INV, DIR, slice) পেরোনো
  6. Shadow আর canary-তে ধাপে ধাপে release, নজরদারিসহ

একটি order-এর ব্যাচে নিয়ম: “প্রতিটি customer_id ক্রেতার টেবিলে থাকতে হবে।” এটি data quality-র কোন মাত্রা?

  • Freshness
  • অনন্যতা (uniqueness)
  • Referential integrity
  • Volume

একটি রাতের load job মাঝপথে ভাঙার পরে আবার চালানো হলো; টেবিলে সারি ৪০০ থেকে ৮০০ আর মোট টাকা দ্বিগুণ। কোন বৈশিষ্ট্যের অভাব, আর কোন test এটি ধরে?

  • Idempotency; একই ব্যাচ দুবার চালিয়ে সারি আর যোগফল মেলানোর test
  • Freshness; দিনের তারিখ যাচাইয়ের test
  • Schema; strict কলামের test
  • Data drift; PSI-র test

একটি রিভিউ-sentiment model-এ “ঢাকায় সময়মতো পেয়েছি” বদলে “রংপুরে সময়মতো পেয়েছি” করলে কিছু রিভিউয়ের রায় খুশি থেকে অখুশি হয়। CheckList-এর কোন ধরনের test এটি ধরে?

  • Minimum functionality test (MFT)
  • Invariance test (INV)
  • Directional expectation test (DIR)
  • Slice evaluation

একটি ছোট slice-এ ২০টি রিভিউয়ের ১৮টি ঠিক (০.৯০); ৯৫% Wilson interval ০.৬৯৯–০.৯৭২. Gate-এর নিয়ম: interval-এর নিচের প্রান্ত ০.৮৫ বা বেশি। সঠিক রায় কোনটি?

  • PASS, কারণ ০.৯০ > ০.৮৫
  • FAIL, model এই slice-এ খারাপ প্রমাণিত
  • Slice ছোট, তাই এটি উপেক্ষা করা যায়
  • প্রমাণ যথেষ্ট নয়; আরও label-করা নমুনা লাগবে

একটি দিনে order-এর প্রতি দশম সারির amount_tk পয়সায় এসেছে (১০০ গুণ)। মাপ: PSI ০.০৪৬, KS-এর p ০.০০১১, সর্বোচ্চ মান ৪,৪০,০০০ টাকা, যেখানে স্বাভাবিক সর্বোচ্চ ৪,৪০০. কোন check এটি সবচেয়ে সরাসরি আর নির্ভরযোগ্যভাবে ধরে?

  • PSI-র সীমা ০.১
  • KS-এর p < ০.০১
  • Contract-এর সীমার নিয়ম, যেমন amount_tk ১ থেকে ২০,০০০
  • Strict schema check

Retrain করা নতুন model নতুন, অদেখা ১৭৪টি রিভিউয়ে accuracy ০.৮৩৩ থেকে ০.৯৫৪ করেছে, কিন্তু একটি directional test-এ ব্যর্থ: অভিযোগ যোগ করলে খুশির সম্ভাবনা সর্বোচ্চ ০.১২২ বাড়ে, সীমা ০.১০. সঠিক পদক্ষেপ কোনটি?

  • Accuracy অনেক ভালো, তাই test উপেক্ষা করে সবার জন্য release
  • Release আটকে কারণ খোঁজা; সমাধান বা লিখিত সিদ্ধান্তের পরে shadow ও canary
  • Test-এর সীমা ০.১৫ করে দেওয়া, যাতে পাস করে
  • নতুন model চিরতরে বাতিল, পুরোনোটিই রাখা

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. প্রতিটি ব্যাচে contract: schema, null, সীমা, অনন্যতা, referential integrity, সামঞ্জস্য, freshness আর volume; pandera ৪০৪ সারির ব্যাচে ২৩টি খারাপ সারি ধরল, আর ভালো ব্যাচে চুপ থাকল।
  2. Pipeline-এর তিন প্রশ্ন: আবার চালালে একই ফল? উৎসের সাথে মেলে? দেরিতে আসা order নিজের দিনে যায়? প্রথম version তিনটিতেই ব্যর্থ।
  3. Oracle ছাড়া model test: MFT, INV আর DIR; জায়গার নামে ১৫৭টির ৪টি রায় উল্টাল, “ভালো না” ৭৩% খুশি। ব্যর্থতা কোড নয়, data-র ঝোঁক আর ফাঁক দেখাল।
  4. সংখ্যার সাথে interval আর পরিচ্ছন্ন ভাগ: ২০টির slice-এ ০.৯০ মানে ০.৬৯৯–০.৯৭২; train আর test-এ একই লেখা থাকলে নম্বর মিথ্যা ভালো; seed ছাড়া test অস্থির।
  5. Drift-এ আগে ভুল খুঁজুন: পয়সার bug-এ PSI ০.০৪৬, সীমার নিয়ম ধরে; নতুন পণ্যে PSI ০.৩৮৬, retrain-এ ০.৮৩৩ → ০.৯৫৪, তবু পুরো suite আবার, আর DIR FAIL-এ release আটকে।

পরের পর্বে: LLM আর AI app-এর testing — উত্তর প্রতিবার আলাদা হলে কীভাবে golden set, eval-এর মাপ আর guardrail দিয়ে test করবেন, আর prompt injection-এর বিরুদ্ধে নিজের app-এর প্রতিরক্ষা যাচাই।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান