Prompt পরীক্ষা — eval set, regression আর failure mode

এই পর্বের desktop run-এ দুটি model: Qwen/Qwen2.5-0.5B-Instruct আর Qwen/Qwen2.5-1.5B-Instruct (দুটিই Apache 2.0, token ছাড়া নামানো যায়), torch 2.15.0, transformers 5.22.2, Python 3.12, লেখার সময়ে। পাতায় script ছোট করে দেখানো, আউটপুট হুবহু। Eval set-টি এই পর্বের জন্য হাতে লেখা বাজারঘর-এর নমুনা, আসল গ্রাহকের নয়। সব সংখ্যা একটি স্থানীয় run-এর, ছোট model আর ছোট set-এ; বড় কোনো পণ্য একই পরীক্ষায় অন্যরকম আচরণ করতে পারে। CI, জোড়া তুলনা আর বিচারক model-এর পক্ষপাতের মূল কথা পর্ব ৫৮-এ; এখানে সেগুলো ব্যবহার করব, আবার শেখাব না।

১ · Prompt-এর test কেন লাগে

রান্নাঘরে নতুন বাবুর্চি এলে রেসিপিতে একটু লবণ কম, একটু মশলা বেশি করেন। মালিক কী করেন? পাঁচটি চেনা পদ রাঁধিয়ে চেখে দেখেন, আর আগের বাবুর্চির খাতার সঙ্গে মেলান। শুধু একটি পদ চাখলে বিরিয়ানি ভালো হলেও ডাল নষ্ট হয়েছে কি না জানা যায় না।

Prompt বদলানো ঠিক এমন। পর্ব ৬০-এ দেখেছেন, ছোট শব্দ-বদলেও ফল নড়ে (prompt sensitivity). কিন্তু সাধারণ কোডের মতো এখানে compiler নেই, type check নেই। একটি নির্দেশ যোগ করলে হিসাবের প্রশ্ন ঠিক হতে পারে, আর একই সঙ্গে ইংরেজি প্রশ্নে উত্তর ইংরেজিতে চলে যেতে পারে। চোখে দু-তিনটি উদাহরণ দেখে এটি ধরা যায় না।

সমাধান সফটওয়্যারের পুরনো অভ্যাস: test. Software Engineering কোর্সের পর্ব ৪৭-এ equivalence partitioning আর boundary value দিয়ে test case বানানো দেখেছেন; এখানে একই চিন্তা, শুধু “প্রত্যাশিত আউটপুট” হুবহু লেখা যায় না বলে মাপকাঠি একটু নরম। লেখার সময়ে (নভেম্বর ২০২৬) OpenAI-এর evaluation best practices নথি একে বলে “eval-driven development” আর পরামর্শ দেয় প্রতিটি বদলে eval চালাতে (“run evals on every change”); পরিবর্তন হতে পারে। পুরো চক্রটি নিচের ছবিতে।

২ · Eval set নকশা — ছক আগে, প্রশ্ন পরে

পরীক্ষার প্রশ্নপত্র যিনি বানান, তিনি আগে একটি ছক করেন: কোন অধ্যায় থেকে কত নম্বর, কতটি সহজ, কতটি কঠিন। তারপর প্রশ্ন লেখেন। Eval set-ও তেমন। প্রথমে coverage ছক: এক দিকে কাজের ধরন, আরেক দিকে ভাষা, আর প্রতিটি ঘরে কোন edge case থাকবে। Edge case মানে কিনারার প্রশ্ন, যেখানে ভুলের সম্ভাবনা বেশি: ঠিক ২০০০ টাকার অর্ডার, জেলার নাম দিয়ে প্রশ্ন (“রাজশাহী” মানে ঢাকার বাইরে), রাগী গ্রাহক।

বাজারঘরের support bot-এর জন্য পাঁচটি ধরন: তথ্য (চার্জ, সময়, ফেরত, পেমেন্ট), হিসাব (দাম + চার্জ), অজানা (দোকানের প্রশ্ন, কিন্তু নিয়মে নেই), মানুষ (ভাঙা পণ্য, টাকা ফেরত, মানুষ চাওয়া) আর বাইরের বিষয়। প্রতিটি ধরন তিন ভাষায়, প্রতি ঘরে ৪টি: মোট ৬০টি প্রশ্ন। নিচে একটি একটি সারি যোগ করার সিদ্ধান্ত।

ছক বানানোর পর যন্ত্র দিয়ে ফাঁক খোঁজা সহজ। নিচের coverage checker পুরো ৬০টি প্রশ্ন পড়ে (ফাইলটি এই পাতাতেই রাখা), ধরন × ভাষার গণনা দেখায়, আর আগে লেখা edge case-এর তালিকার সঙ্গে মেলায়। তালিকাটি ইচ্ছা করে ফল দেখার আগে লেখা, আর তাতে এমন কয়েকটি edge আছে যা set-এ রাখা হয়নি।

import pandas as pd
ev = pd.read_csv("bazar_eval.csv")          # এই পর্বের হাতে লেখা বাজারঘর set
print(len(ev), "টি প্রশ্ন")
print(pd.crosstab(ev.cat, ev.lang, margins=True, margins_name="মোট"))

# প্রতিটি ধরনে কোন edge case থাকা উচিত, তা আগে লেখা (ফল দেখার আগে)
NEED = {"info": ["district", "boundary", "synonym", "typo"],
        "calc": ["district", "boundary", "multi", "typo"],
        "unk":  ["abroad", "typo"], "esc": ["human", "angry", "long"],
        "oos":  ["number", "injection"]}
for cat, edges in NEED.items():
    have = ev[ev.cat == cat]
    for e in edges:
        langs = sorted(have[have.edge == e].lang)
        miss = sorted({"bn", "bl", "en"} - set(langs))
        if miss:
            print(f"ফাঁক: {cat:4} {e:9} নেই এই ভাষায়: {', '.join(miss)}")

ev["bn_digit"] = ev.question.str.contains("[০-৯]")
ev["latin_digit"] = ev.question.str.contains("[0-9]")
print(ev.groupby("lang")[["bn_digit", "latin_digit"]].sum())
dup = ev.question.str.lower().str.replace(r"\W", "", regex=True).duplicated()
print("একই প্রশ্ন দুবার:", int(dup.sum()))

60 টি প্রশ্ন
lang  bl  bn  en  মোট
cat                  
calc   4   4   4   12
esc    4   4   4   12
info   4   4   4   12
oos    4   4   4   12
unk    4   4   4   12
মোট   20  20  20   60
ফাঁক: info typo      নেই এই ভাষায়: bl, bn, en
ফাঁক: calc typo      নেই এই ভাষায়: bl, bn, en
ফাঁক: unk  abroad    নেই এই ভাষায়: bl
ফাঁক: unk  typo      নেই এই ভাষায়: bl, bn, en
ফাঁক: esc  long      নেই এই ভাষায়: bl, bn, en
ফাঁক: oos  injection নেই এই ভাষায়: bl, bn, en
      bn_digit  latin_digit
lang                       
bl           0            7
bn           6            0
en           0            6
একই প্রশ্ন দুবার: 0

৩ · প্রতিটি কাজের মাপকাঠি — exact match থেকে rubric

সব প্রশ্নে এক মাপকাঠি চলে না। ডাক্তার জ্বর মাপেন থার্মোমিটারে, কিন্তু রোগীর ব্যথা মাপেন প্রশ্ন করে। যেখানে উত্তর নির্দিষ্ট, সেখানে কোড দিয়ে কড়া মাপ; যেখানে উত্তর খোলা, সেখানে লিখিত নিয়ম আর বিচারক।

Field-level F1, একটি হিসাব। অর্ডার থেকে চারটি field বের করার কথা: জেলা, পণ্য, দাম, পরিমাণ। Model দিল জেলা ঠিক, পণ্য ঠিক, দাম ভুল, আর একটি বাড়তি field “রং” যা চাওয়া হয়নি; পরিমাণ দেয়নি। ঠিক = ২, দেওয়া = ৪ (জেলা, পণ্য, দাম, রং), চাওয়া = ৪. Precision = ২/৪ = ০.৫০, recall = ২/৪ = ০.৫০, F1 = ২ × ০.৫ × ০.৫ ÷ (০.৫ + ০.৫) = ০.৫০. পুরো উত্তরের exact match এখানে ০, কিন্তু F1 বলে অর্ধেক কাজ হয়েছে, আর কোন field-এ ভুল, তা-ও। F1-এর মূল সংজ্ঞা পর্ব ৪৫-এ।

বিচারক model. খোলা উত্তরে একটি LLM-কে rubric দিয়ে নম্বর দেওয়ানো যায়। পর্ব ৫৮-এ মেপেছেন, ছোট বিচারক ক্রম বদলালেই রায় বদলায় (position bias), আর লম্বা উত্তরের দিকে হেলে (verbosity bias). লেখার সময়ে OpenAI-এর নথিও দৈর্ঘ্য নিয়ন্ত্রণ, pairwise বা pass/fail রায় আর মানুষের লেবেলের সঙ্গে মিলিয়ে তবেই বড় পরিসরে চালানোর কথা বলে; Anthropic-এর নথি বলে যে model উত্তর বানিয়েছে, বিচারে অন্য model নেওয়া সাধারণত ভালো। এই পর্বে বিচারক model নেই: সব মাপ কোডে, যাতে প্রতিবার একই রায় আসে আর ভুলগুলো হাতে মেলানো যায়।

মাপকাঠি prompt-এর ওপর নির্ভর করবে না। Prompt v1 আর v2 যা-ই বলুক, eval-এর চাহিদা একটি: উত্তর ট্যাগ দিয়ে শুরু, বাংলায়, ৪৫ শব্দের মধ্যে, নিয়মের বাইরের সংখ্যা নয়। Prompt বদলের সঙ্গে মাপকাঠিও বদলালে তুলনার অর্থ থাকে না।

৪ · সত্যিকারের run — তিনটি prompt, দুটি model

System prompt-এর তিনটি version, তিনটিতেই একই নিয়মের তালিকা (চার্জ ৬০/১২০, ২০০০ বা বেশিতে চার্জ ০, সময়, ফেরত ৭ দিন, পেমেন্ট):

• v1 (hash 684847f7): নিয়ম, আর এক লাইনে “শুরুতে একটি ট্যাগ দিন, বাংলায় উত্তর দিন”। প্রথম খসড়া যেমন হয়।
• v2 (fafdd1e2): শিরোনামে ভাগ, প্রতিটি ট্যাগের মানে আর “লিখুন: …” দিয়ে নির্দিষ্ট বাক্য, ভাষা আর দৈর্ঘ্যের নিয়ম, হিসাবের সূত্র, দুটি উদাহরণ।
• v3 (1e44fbed): v2-এর ভুলগুলো পড়ে লেখা। “লিখুন:”-এর বদলে “উত্তর হুবহু:”, চারটি উদাহরণ (বাংলিশ, ইংরেজি, অজানা, বাইরের), আর শেষে ভাষার নিয়ম আবার।

প্রতিটি version ৬০টি প্রশ্নে, তিনভাবে: greedy, আর temperature=0.7, top_p=0.9-এ দুটি sampling run (s1, s2; প্রশ্ন ধরে seed, যেমন 101000 + id), max_new_tokens=120. Generation GPU-তে, float16-এ; একটি run ১.৫B-তে ৭৩ থেকে ১২৩ সেকেন্ড, মাপা সর্বোচ্চ GPU memory বরাদ্দ ৩.২২ GB (০.৫B-তে ১.০৬ GB). মূল লুপ (ছোট করে দেখানো):

# মূল লুপ, একটু ছোট করে (সত্যিকারের run.py থেকে)
sysmsg = PROMPTS[pid]                                  # v1 বা v2
out = {"model": model_id, "prompt": pid, "mode": mode,
       "sha": hashlib.sha256(sysmsg.encode()).hexdigest()[:8], "rows": []}
for (i, cat, lang, edge, q, exp) in ITEMS:              # ৬০টি প্রশ্ন
    msgs = [{"role": "system", "content": sysmsg}, {"role": "user", "content": q}]
    ids = tok.apply_chat_template(msgs, add_generation_prompt=True,
                                  return_tensors="pt", return_dict=True)
    kw = dict(max_new_tokens=120, do_sample=False)      # greedy
    if mode != "greedy":
        torch.manual_seed(SEEDS[mode] * 1000 + i)       # প্রতি প্রশ্নে আলাদা seed
        kw.update(do_sample=True, temperature=0.7, top_p=0.9)
    g = model.generate(**ids, **kw)
    a = tok.decode(g[0, ids["input_ids"].shape[1]:], skip_special_tokens=True).strip()
    out["rows"].append({"id": i, "answer": a, "new_tokens": ...})
json.dump(out, open(f"outs/{short}__{pid}__{mode}.json", "w"), ensure_ascii=False)

~/bazarghar-dl$ uv run python summary.py      # সত্যিকারের run-এর ফল, প্রতিটি সারি ৬০টি প্রশ্ন
model prompt mode   pass format ignore invent  wrong langua verbos
0.5B  v1/6848 greedy    0     60      0      5     22     37     20
0.5B  v1/6848 s1        0     59      1      3     24     39     24
0.5B  v1/6848 s2        0     59      1      6     20     36     29
0.5B  v2/fafd greedy    0     60      0      7     20     36     27
0.5B  v2/fafd s1        0     60      0     12     24     36     30
0.5B  v2/fafd s2        0     60      0      6     20     37     31
0.5B  v3/1e44 greedy    2     56      1      4     21     37     14
0.5B  v3/1e44 s1        1     56      1      7     23     34     23
0.5B  v3/1e44 s2        1     56      2      7     21     35     25
1.5B  v1/6848 greedy    0     57      2      6     16     35     25
1.5B  v1/6848 s1        0     57      2      6     18     31     32
1.5B  v1/6848 s2        0     58      1      9     18     30     37
1.5B  v2/fafd greedy    3     30      8      7     15     28     10
1.5B  v2/fafd s1        1     33      6     11     17     29     15
1.5B  v2/fafd s2        3     33      5      8     18     29     14
1.5B  v3/1e44 greedy    7     42      1      3     16     32     21
1.5B  v3/1e44 s1        4     45      1     11     18     31     25
1.5B  v3/1e44 s2        4     46      0      5     18     35     24

৫ · Failure mode — ভুলের নাম দেওয়া আর গোনা

ডাক্তার শুধু “রোগী অসুস্থ” লেখেন না; রোগের নাম লেখেন, কারণ চিকিৎসা নামের ওপর নির্ভর করে। Failure mode-এর তালিকা একই কাজ করে। এই পর্বের checker ছয়টি নাম দেয়:

এখানে checker-টি পাতাতেই রাখা (checker.py, নিচে দেখানো)। নিচের block এটি দিয়ে ১.৫B-এর তিনটি greedy run-এর ১৮০টি উত্তর গোনে, তারপর ট্যাগের ভুল ধরন ধরে আর ভাষার ভুল প্রশ্নের ভাষা ধরে ভাগ করে।

import re
BN = str.maketrans("০১২৩৪৫৬৭৮৯", "0123456789")
ALLOWED = {"0", "60", "120", "2000", "2", "3", "5", "7"}      # নিয়মের সংখ্যা
WANT = {"info": "INFO", "calc": "INFO", "unk": "UNKNOWN", "esc": "ESCALATE", "oos": "OOS"}
TAG = re.compile(r"^\s*\[(INFO|ESCALATE|UNKNOWN|OOS)\]")

def nums(s):                     # সংখ্যাগুলো ক্রমে, বাংলা অঙ্ক আর কমা normalise করে
    return re.findall(r"\d+", s.translate(BN).replace(",", ""))

def check(cat, q, expected, a, new_tokens):
    """একটি উত্তরের failure mode-এর তালিকা; খালি তালিকা = পাশ"""
    f, m = [], TAG.match(a)
    body = TAG.sub("", a)
    if not m or "লিখুন:" in a:                       # ট্যাগ নেই, বা prompt-এর লেখা নকল
        f.append("format")
    elif m.group(1) != WANT[cat]:
        guess = cat == "unk" and m.group(1) == "INFO" and "তথ্য নেই" not in a
        f.append("invented" if guess else "ignored")
    if cat in ("info", "unk", "esc") and set(nums(body)) - ALLOWED - set(nums(q)):
        if "invented" not in f: f.append("invented")
    if cat in ("info", "calc"):
        exp = [e for e in str(expected).split(";") if e]
        if not exp[0].isdigit():
            ok = any(w in a for w in exp)               # শব্দ: যেকোনো একটি
        elif cat == "calc":
            ok = nums(body)[-1:] == exp                 # হিসাব: শেষ সংখ্যাই উত্তর
        else:
            ok = set(exp) <= set(nums(body))            # তথ্য: সব সংখ্যা আছে
        if not ok:
            f.append("wrong")
    bn = len(re.findall("[\u0980-\u09FF]", body))
    en = len(re.findall("[A-Za-z]", body))
    if bn / max(1, bn + en) < 0.6:
        f.append("language")
    if new_tokens >= 120 or len(body.split()) > 45:
        f.append("verbose")
    return f

import json
import pandas as pd
from checker import check
ev = pd.read_csv("bazar_eval.csv").set_index("id")
RUNS = json.load(open("bazar_runs.json", encoding="utf-8"))   # সত্যিকারের run-এর উত্তর
MODES = ["format", "ignored", "invented", "wrong", "language", "verbose"]

rows = []
for v in ["v1", "v2", "v3"]:                          # Qwen2.5-1.5B, greedy
    for i, n, a in RUNS[f"{v}|greedy"]["rows"]:
        f = check(ev.cat[i], ev.question[i], ev.expected[i], a, n)
        rows.append({"v": v, "lang": ev.lang[i], "cat": ev.cat[i],
                     "pass": not f, **{m: m in f for m in MODES}})
df = pd.DataFrame(rows)
print(df.groupby("v")[["pass"] + MODES].sum())

print("\nট্যাগ ঠিক নেই (format বা ignored), ধরন ধরে, প্রতি ঘরে ১২টি:")
df["tag_bad"] = df.format | df.ignored
print(df.pivot_table(index="cat", columns="v", values="tag_bad", aggfunc="sum")
        .loc[["info", "calc", "unk", "esc", "oos"]])
print("\nভুল ভাষা, ভাষা ধরে, প্রতি ঘরে ২০টি:")
print(df.pivot_table(index="lang", columns="v", values="language", aggfunc="sum")
        .loc[["bn", "bl", "en"]])

    pass  format  ignored  invented  wrong  language  verbose
v                                                            
v1     0      57        2         6     16        35       25
v2     3      30        8         7     15        28       10
v3     7      42        1         3     16        32       21

ট্যাগ ঠিক নেই (format বা ignored), ধরন ধরে, প্রতি ঘরে ১২টি:
v     v1  v2  v3
cat             
info  11   6  11
calc  12   0   1
unk   12   9  12
esc   12  11   7
oos   12  12  12

ভুল ভাষা, ভাষা ধরে, প্রতি ঘরে ২০টি:
v     v1  v2  v3
lang            
bn     0   1   1
bl    15   9  15
en    20  18  16

৬ · Regression harness — version ধরে উত্তর জমা আর diff

পরীক্ষার খাতা দেখার পর শিক্ষক শুধু মোট নম্বর লেখেন না; প্রতিটি প্রশ্নের নম্বর রাখেন, যাতে পরের পরীক্ষায় দেখা যায় কোন অধ্যায়ে উন্নতি, কোথায় পিছিয়ে। Regression harness তা-ই করে: প্রতিটি version-এর প্রতিটি উত্তর hash-সহ জমা রাখে, আর দুটি version প্রশ্ন ধরে মেলায়। মূল প্রশ্ন একটি: কোন প্রশ্ন আগে পাশ করত, এখন ফেল?

import json
import pandas as pd
from checker import check
ev = pd.read_csv("bazar_eval.csv").set_index("id")
RUNS = json.load(open("bazar_runs.json", encoding="utf-8"))   # সত্যিকারের run-এর উত্তর

def grade(key):                          # একটি version-এর প্রতিটি উত্তরে failure mode
    return {i: check(ev.cat[i], ev.question[i], ev.expected[i], a, n)
            for i, n, a in RUNS[key]["rows"]}

store = {}                               # version ধরে ফল জমা
for key in ["v2|greedy", "v3|greedy"]:
    store[key] = grade(key)
    ok = sum(not f for f in store[key].values())
    print(f"{key}  sha {RUNS[key]['sha']}  পাশ {ok}/60")

old, new = store["v2|greedy"], store["v3|greedy"]
ans = {i: a for i, n, a in RUNS["v3|greedy"]["rows"]}
print("\nনতুন পাশ:", [i for i in old if old[i] and not new[i]])
print("নতুন ফেল:")
for i in [i for i in old if not old[i] and new[i]]:
    print(f"  #{i} {ev.cat[i]}/{ev.lang[i]} {new[i]}: {ans[i][:38]}")
print("দুবারই ফেল, কিন্তু কারণ বদলেছে:",
      sum(1 for i in old if old[i] and new[i] and old[i] != new[i]))

t = pd.DataFrame({"v2": {i: not f for i, f in old.items()},
                  "v3": {i: not f for i, f in new.items()}}).join(ev.cat)
print(t.groupby("cat")[["v2", "v3"]].sum().T)

v2|greedy  sha fafdd1e2  পাশ 3/60
v3|greedy  sha 1e44fbed  পাশ 7/60

নতুন পাশ: [24, 37, 40, 44, 45, 46]
নতুন ফেল:
  #1 info/bn ['format']: ডেলিভারি চার্জ ঢাকার বাইরে ১২০ টাকা।
  #2 info/bn ['format', 'wrong', 'verbose']: রাজশাহীতে পণ্য পৌঁছাতে ঢাকার ভেতরে ৬০ 
দুবারই ফেল, কিন্তু কারণ বদলেছে: 25
cat  calc  esc  info  oos  unk
v2      1    0     2    0    0
v3      2    5     0    0    0

~/bazarghar-dl$ uv run python promptdiff.py v2 v3   # সত্যিকারের run, difflib, প্রথম অংশ
--- prompts/v2.txt
+++ prompts/v3.txt
@@ -10,11 +10,5 @@
-## ট্যাগ: উত্তরের প্রথম শব্দ, ঠিক এই চারটির একটি
-[INFO] নিয়ম থেকে উত্তর, বা দামের হিসাব।
-[ESCALATE] পণ্য ভাঙা বা ভুল, টাকা ফেরত, বা মানুষ চাইলে। লিখুন: একজন কর্মী শিগগির যোগাযোগ করবেন।
-[UNKNOWN] দোকানের প্রশ্ন, কিন্তু নিয়মে নেই। লিখুন: এ বিষয়ে আমার কাছে তথ্য নেই, একজন কর্মী জানাবেন।
-[OOS] দোকানের বাইরের বিষয়। লিখুন: দুঃখিত, আমি শুধু বাজারঘরের বিষয়ে সাহায্য করতে পারি।
-
-## ভাষা আর দৈর্ঘ্য
-গ্রাহক ইংরেজি বা বাংলিশে লিখলেও উত্তর সবসময় বাংলায়, দুই বাক্যের মধ্যে।
-
-## হিসাব
-মোট = পণ্যের দাম + ডেলিভারি চার্জ; দাম ২০০০ টাকা বা বেশি হলে চার্জ ০।
+## উত্তরের ধরন: প্রথমে একটি ট্যাগ, তারপর বাংলায় এক বা দুই বাক্য
+[INFO] নিয়ম থেকে উত্তর বা দামের হিসাব। হিসাবের শেষে মোট টাকা লিখুন।
+[ESCALATE] পণ্য ভাঙা বা ভুল, টাকা ফেরত, অথবা মানুষ চাইলে। উত্তর হুবহু: দুঃখিত, একজন কর্মী শিগগির যোগাযোগ করবেন।
+[UNKNOWN] দোকানের প্রশ্ন, কিন্তু নিয়মে নেই। উত্তর হুবহু: এ বিষয়ে আমার কাছে তথ্য নেই, একজন কর্মী জানাবেন।
+[OOS] দোকানের বাইরের যেকোনো বিষয়, অঙ্ক বা অনুবাদও। উত্তর হুবহু: দুঃখিত, আমি শুধু বাজারঘরের বিষয়ে সাহায্য করতে পারি।
…

৭ · দুটি prompt-এর জোড়া তুলনা — paired bootstrap

দুটি version একই ৬০টি প্রশ্নে চলেছে, তাই তুলনা হবে জোড়ায়: প্রতিটি bootstrap নমুনায় একই প্রশ্নগুলো দুই পাশে, তারপর পার্থক্য (paired bootstrap; তত্ত্ব মেশিন লার্নিং কোর্সের পর্ব ২১-এ, McNemar পর্ব ২২-এ, আর LLM-এ প্রয়োগ পর্ব ৫৮-এ)। নতুন যা যোগ হচ্ছে: একই তুলনা তিনটি decoding-এ, কারণ sampling-এ ফল seed-ভেদে নড়ে। শেষ লাইনে ইচ্ছা করে ভুল পথটিও দেখানো হলো: দুই পাশে আলাদা সূচক।

import json
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.stats import binomtest
from checker import check
ev = pd.read_csv("bazar_eval.csv").set_index("id")
RUNS = json.load(open("bazar_runs.json", encoding="utf-8"))   # সত্যিকারের run-এর উত্তর

def passed(key):                          # প্রতিটি প্রশ্নে পাশ = 1, ফেল = 0
    return np.array([not check(ev.cat[i], ev.question[i], ev.expected[i], a, n)
                     for i, n, a in RUNS[key]["rows"]], dtype=int)

rng = np.random.default_rng(66)
idx = rng.integers(0, 60, size=(10000, 60))           # একই সূচক দুই পাশে: জোড়া
ci = lambda d: np.percentile(d, [2.5, 97.5]).round(3)
fig, ax = plt.subplots(figsize=(6, 3))
for mode in ["greedy", "s1", "s2"]:
    a, b = passed(f"v2|{mode}"), passed(f"v3|{mode}")
    d = (b[idx] - a[idx]).mean(1)
    only_b, only_a = int(((b == 1) & (a == 0)).sum()), int(((a == 1) & (b == 0)).sum())
    p = binomtest(only_b, only_b + only_a).pvalue
    print(f"{mode:6} v2 {a.sum()} v3 {b.sum()} | শুধু v3 {only_b}, শুধু v2 {only_a}"
          f" | জোড়া CI {ci(d)} | McNemar p={p:.3f}")
    ax.hist(d, bins=np.arange(-0.15, 0.25, 1 / 60), alpha=0.5, label=mode)
a, b = passed("v2|greedy"), passed("v3|greedy")
idx2 = rng.integers(0, 60, size=(10000, 60))          # ভুল পথ: দুই পাশে আলাদা সূচক
print("greedy, জোড়া ছাড়া CI", ci(b[idx2].mean(1) - a[idx].mean(1)))
ax.axvline(0, color="black", lw=1)
ax.set_xlabel("pass rate difference v3 - v2 (paired bootstrap)")
ax.set_ylabel("count"); ax.legend(title="decoding")

greedy v2 3 v3 7 | শুধু v3 6, শুধু v2 2 | জোড়া CI [-0.017  0.167] | McNemar p=0.289
s1     v2 1 v3 4 | শুধু v3 3, শুধু v2 0 | জোড়া CI [0.    0.117] | McNemar p=0.250
s2     v2 3 v3 4 | শুধু v3 4, শুধু v2 3 | জোড়া CI [-0.067  0.1  ] | McNemar p=1.000
greedy, জোড়া ছাড়া CI [-0.033  0.167]

৮ · Model বদল — গড় বাড়ে, নতুন ভুল লুকায়

এবার prompt একই (v3), বদলাচ্ছে model: Qwen/Qwen2.5-0.5B-Instruct থেকে Qwen/Qwen2.5-1.5B-Instruct (দুটিই Apache 2.0). বাস্তবে এটি সবচেয়ে সাধারণ বদলগুলোর একটি: “বড় model নিলে ভালো হবে”। Harness-এ একই set, একই checker; শুধু model-এর নাম বদল। নিচে প্রতিটি ঘরে ঠিক উত্তরের সংখ্যা (প্রতি ধরনে ১২টির মধ্যে), চারটি মাপকাঠিতে আলাদা: ট্যাগ, বিষয় (ভুল উত্তর বা বানানো নীতি নেই), ভাষা, দৈর্ঘ্য।

~/bazarghar-dl$ uv run python analyze.py 0.5B v3 1.5B v3 greedy   # সত্যিকারের run
0.5B/v3 -> 1.5B/v3: pass 2 -> 7 / 60 | only 1.5B/v3 6, only 0.5B/v3 1, McNemar p=0.125 | diff CI [+0.000, +0.167]
  category       info       calc        unk        esc        oos
  tag         0->1       1->11      0->0       2->5       0->0    
  content     1->5       2->3      11->10     12->12     12->12   
  lang        2->5       6->8       4->3       6->8       5->4    
  len         8->6       8->11      9->5      11->9      10->8    
  newly failing on tag: 1 ['41:esc/bl']
  newly failing on content: 3 ['22:calc/en', '29:unk/bl', '30:unk/bl']
  newly failing on lang: 2 ['28:unk/bn', '56:oos/bl']
  newly failing on len: 16 ['2:info/bn', '4:info/bn', '10:info/en', '12:info/en', …
s1: 0.5B/v3 -> 1.5B/v3: pass 1 -> 4 / 60 | only 1.5B/v3 4, only 0.5B/v3 1, McNemar p=0.375 | diff CI [-0.017, +0.117]
s2: 0.5B/v3 -> 1.5B/v3: pass 1 -> 4 / 60 | only 1.5B/v3 3, only 0.5B/v3 0, McNemar p=0.250 | diff CI [+0.000, +0.117]

[#29 unk/bl] credit card e EMI hobe?
  0.5B: No, credit cards and EMIs are not related to the concept of a "bajrang har ghar." A bajrang har ghar is a type …
  1.5B: Yes, you can get an EMI on a credit card. Here's how it works: ⏎  ⏎ 1. You apply for the credit card and agree to  …
[#30 unk/bl] order er sathe gift card dite parben?
  0.5B: I'm sorry, but I can't assist with that.
  1.5B: Yes, you can order a Gift Card after placing an order. Here's how: ⏎  ⏎ 1. Go to the checkout page of your online  …
[#22 calc/en] An order of 3000 taka inside Dhaka. What is the total?
  0.5B: The total amount for an order of 3000 taka in Dhaka would be: ⏎  ⏎ 3000 taka ⏎  ⏎ This is a straightforward calculatio …
  1.5B: The total amount for an order of 3000 taka in Dhaka would be: ⏎  ⏎ \[ \text{Total} = 3000 + 1200 = 4200 \] ⏎  ⏎ So, th …

এখন সিদ্ধান্ত। নিয়মটি ফল দেখার আগে লেখা থাকা চাই, নইলে পছন্দের ফলের পক্ষে যুক্তি খোঁজা সহজ। নিচের stepper-এ বাজারঘরের release gate, v3 + ১.৫B-কে v2 + ১.৫B-এর জায়গায় চালু করা হবে কি না।

৯ · Prompt versioning আর ছয়টি প্রতিষ্ঠানের নথি

দোকানের হিসাবের খাতায় প্রতিটি পাতায় তারিখ থাকে, কাটাকাটি করলে পাশে সই। Prompt-এরও তেমন খাতা লাগে, কারণ তিন মাস পরে কেউ জিজ্ঞেস করবেন, “গত সপ্তাহে bot হঠাৎ ইংরেজিতে উত্তর দিচ্ছে কেন?” Prompt versioning-এর ন্যূনতম অভ্যাস:

• Prompt কোডের ভেতরে string হিসেবে নয়, আলাদা ফাইলে, Git-এ (Software Engineering কোর্সের Git মডিউল)। প্রতিটি বদল একটি commit, কারণসহ।
• প্রতিটি উত্তরের সঙ্গে prompt-এর hash (এই পর্বে sha256-এর প্রথম ৮ অক্ষর), model-এর নাম, decoding আর তারিখ লগে রাখা। তাহলে কোন উত্তর কোন version থেকে, তা পরে খুঁজে পাওয়া যায়।
• Version বদলের সঙ্গে eval-এর ফল জুড়ে রাখা: পাশের হার, ধরন ধরে ভাগ, নতুন ফেলের তালিকা আর সিদ্ধান্ত।
• Model, chat template আর library-ও version. একই prompt নতুন model-এ নতুন prompt-এর মতোই; §৮-এ দেখলেন।

বাংলাদেশে অনেকে ChatGPT (OpenAI), Gemini (Google), Claude (Anthropic), Grok (xAI), DeepSeek আর Kimi (Moonshot AI) ব্যবহার করেন। Prompt পরীক্ষার কোনো সুবিধা তাদের developer নথিতে আছে কি না, নিচে তার সারাংশ। সব তথ্য প্রতিটির নিজের নথি থেকে, লেখার সময়ে (নভেম্বর ২০২৬) পড়া; পরিবর্তন হতে পারে। “নথিতে পাইনি” মানে যে পাতাগুলো পড়েছি সেখানে পাইনি। কোনো পণ্যের মান তুলনা এখানে নেই।

সবার মিল: যেখানে লেখা আছে, সেখানে একই কথা: নির্দিষ্ট মাপকাঠি, প্রতিনিধিত্বমূলক আর কিনারার প্রশ্ন, বারবার চালানো। শিক্ষা: একটি সেবাদাতার eval সুবিধা বন্ধ বা বদলাতে পারে, যেমন OpenAI-এর নথিতেই ঘোষণা আছে। তাই eval set, checker আর জমা রাখা উত্তর নিজের repository-তে রাখাই নিরাপদ; সেবাদাতার সুবিধা থাকলে সেটি চালানোর একটি উপায় মাত্র। নিচে OpenAI-এর নথির ধাঁচে একটি eval-এর আকার; এটি নমুনা, চালানো হয়নি (এখানে কোনো API key নেই)।

# নমুনা (চালানো হয়নি): OpenAI Evals নথির ধাঁচে
{"name": "bazarghar-support-tags",
 "data_source_config": {"type": "custom",
   "item_schema": {"type": "object", "properties":
     {"question": {"type": "string"}, "tag": {"type": "string"}}},
   "include_sample_schema": true},
 "testing_criteria": [{"type": "string_check", "name": "tag match",
   "input": "{{ sample.output_text }}", "operation": "ilike",
   "reference": "[{{ item.tag }}]"}]}

নথি অনুযায়ী ilike মানে input-এ reference আছে কি না (ছোট-বড় অক্ষর না দেখে)। অর্থাৎ ট্যাগ উত্তরের শুরুতে না হয়ে মাঝে থাকলেও পাশ; এই পর্বের checker শুরুতেই চায়, তাই কড়া। একই নামের grader দুই জায়গায় দুই অর্থে চলতে পারে; সংজ্ঞা পড়ে নিন।

১০ · AI-এর যুগে — eval-এর কোড আর দাবি যাচাই

Eval harness, checker আর bootstrap-এর কোড AI assistant দ্রুত লিখে দেয়। ঝুঁকি হলো ভুল checker: সেটি চলে, নম্বর দেয়, আর নম্বরটি ভুল জিনিস মাপে।

AI বা LLM-এর দেওয়া eval কোডের চেকলিস্ট

• Checker-কে হাতে লেখা ঠিক আর ভুল উত্তরে চালিয়ে দেখেছি, বাংলা অঙ্কসহ
• প্রতিটি উত্তরের সঙ্গে prompt hash, model আর decoding জমা আছে
• তুলনা জোড়ায়, n আর CI-সহ; কয়েকটি seed-এ
• ধরন ধরে ভাগ আর নতুন ফেলের তালিকা পড়েছি, শুধু গড় নয়
• সিদ্ধান্তের নিয়ম ফল দেখার আগে লেখা; লুকানো test ভাগ আলাদা
• সেবাদাতার eval সুবিধার নাম আর parameter নিজের তারিখের নথিতে মিলিয়েছি