NLP-এর পথ — টেক্সট থেকে task, আর বাংলা ভাষার চ্যালেঞ্জ

এতদিন আমরা model-এর ভেতরটা গড়েছি: পর্ব ২৭-এ embedding, পর্ব ২৯-এ LSTM, পর্ব ৩৬-এ MiniGPT. এই মডিউল থেকে প্রশ্ন বদলাচ্ছে: ভাষার কাজটি আসলে কী, আর বাংলায় তা কোথায় আলাদা? পাতার তিনটি ব্লক ব্রাউজারের Python-এ চলে; প্রথমবার প্যাকেজ নামতে কয়েক সেকেন্ড লাগে। বড় ডেটার আউটপুট ডেস্কটপের সত্যিকারের run থেকে, CPU-তে।

১ · NLP-এর মানচিত্র — সাত কাজ, এক ছক

NLP (Natural Language Processing) মানে মানুষের লেখা বা বলা ভাষা নিয়ে যন্ত্রের কাজ। বহু নাম শুনলেও বেশিরভাগ কাজ নিচের সাতটির কোনো একটিতে পড়ে, বা কয়েকটির জোড়া। বাজারঘরের উদাহরণ দিয়ে দেখুন। প্রতিটির গভীর আলোচনা সামনের পর্বে; এখানে শুধু মানচিত্র।

লক্ষ করুন: loss-এর ঘরে প্রায় একই কথা, metric-এর ঘরে সব আলাদা। কারণ loss-কে differentiable হতে হয়, যাতে backpropagation চলে; metric-কে হতে হয় মানুষের কাজের কাছাকাছি। Loss-এর পছন্দ পর্ব ১৩-এ, metric-এর পুরো আলোচনা আসবে পর্ব ৪৫ (NLP মূল্যায়ন)-এ। এবার বাজারঘরের তিনটি সমস্যা ধাপে ধাপে ছকে বসান। সংখ্যাগুলো হাতে বানানো উদাহরণ, কোনো model-এর আসল ফল নয়।

২ · চার ধারা — নিয়ম, পরিসংখ্যান, neural আর LLM

ইতিহাসকে চারটি “যুগ” বলা সুবিধার, তবে সীমারেখা ঝাপসা। আগের ধারা মরে যায়নি: আজও ফোন নম্বর ধরতে regex চলে, আর TF-IDF চলে বহু খোঁজার ব্যবস্থায়।

৩ · পুরো পথ — কাঁচা লেখা থেকে production

Model পথের একটি মাত্র ধাপ। বাংলার বেশিরভাগ গোলমাল বাধে তার আগে। নিচের ছবির প্রতিটি ধাপে একটি করে সিদ্ধান্ত আছে, আর train ও production-এ সিদ্ধান্তটি হুবহু এক হতে হবে।

৪ · বাংলা কেন আলাদা — আটটি চ্যালেঞ্জ

Unicode, NFC আর grapheme-এর মূল কথা আছে AI-এর ভিত্তি কোর্সের পর্ব ৬৭-এ। এখানে প্রশ্ন একটাই: ভাষার কোন বৈশিষ্ট্য model-এর কোন জায়গায় আঘাত করে? ইংরেজির তুলনায় বাংলার পার্থক্য অনেকটা পরিমাণের: শব্দ যত রূপ নেয়, ডেটা তত ছড়িয়ে পড়ে।

এবার একটিমাত্র শব্দ ধরে দেখুন, word-level model কেন আটকায়, আর কোন সমাধান কতটা দেয়। সংখ্যাগুলো সেকশন ৬-এর আসল বাংলা সংকলনের, যেখানে “বাজারঘর” কোথাও নেই।

৫ · মাপা শুরু — type, token, Zipf আর OOV

“বাংলায় শব্দ বেশি ফোলে” কথাটি অনুভূতি হয়ে থাকলে চলবে না, মাপতে হবে। চারটি শব্দ:

• Token: লেখায় মোট যত শব্দ। “আম আর আম” = ৩ token.
• Type: আলাদা শব্দ যত। “আম আর আম” = ২ type. Vocabulary-র আকার এটিই।
• Hapax: যে type মাত্র একবার এসেছে।
• OOV (out-of-vocabulary) হার: অদেখা লেখার যত ভাগ token train-এর vocabulary-তে নেই। OOV = OOV token ÷ মোট held-out token.

Zipf-এর সূত্র বলে, rank r-এর শব্দের গণনা মোটামুটি f(r) ∝ 1/r^s, আর s প্রায় ১. অর্থাৎ দ্বিতীয় শব্দ প্রথমটির প্রায় অর্ধেক, দশম শব্দ প্রায় এক-দশমাংশ। দুই পাশে log নিলে: log f = c − s·log r, একটি সরলরেখা, যার ঢাল −s. এটি পরিসংখ্যানের একটি মোটা নিয়ম, ভাষার আইন নয়; দুই প্রান্তে রেখা বেঁকে যায়। George Zipf ১৯৩০-৪০-এর দশকে এটি জনপ্রিয় করেন, যদিও একই ধরনের পর্যবেক্ষণ আগেও ছিল।

লেখার উৎস: উপেন্দ্রকিশোর রায়চৌধুরীর “টুনটুনির বই”-এর ১০টি গল্প, বাংলা উইকিসংকলন (bn.wikisource.org) থেকে। লেখক ১৯১৫ সালে মারা যান; উইকিসংকলন বইটিকে “পাবলিক ডোমেইন ভারত” বিভাগে রেখেছে। পুরোটা এই পাতার ভেতরে আছে, ব্লক সেখান থেকেই পড়ে।

import re, unicodedata
from collections import Counter
import numpy as np
import matplotlib.pyplot as plt

raw = unicodedata.normalize("NFC", open("tuntuni.txt", encoding="utf-8").read())
WORD = re.compile("[\u0980-\u09E5\u09F0-\u09FF]+")              # বাংলা অক্ষর, দাঁড়ি আর অঙ্ক বাদ
stories = [WORD.findall(s) for s in raw.split("###")]
tokens = [w for s in stories for w in s]
c = Counter(tokens)
print(f"গল্প {len(stories)} | token {len(tokens)} | type {len(c)} "
      f"| type/token {len(c)/len(tokens):.3f}")
print("একবারই এসেছে:", sum(v == 1 for v in c.values()),
      f"({100*np.mean([v == 1 for v in c.values()]):.1f}% type)")
print("শীর্ষ ১২:", " ".join(w for w, _ in c.most_common(12)))

f = np.array(sorted(c.values(), reverse=True), float); r = np.arange(1, len(f) + 1)
slope, icpt = np.polyfit(np.log(r[5:500]), np.log(f[5:500]), 1)
print(f"Zipf ঢাল (rank 6-500): {slope:.2f} | শীর্ষ ১০ শব্দের ভাগ "
      f"{100*f[:10].sum()/f.sum():.1f}%")

train, test = stories[:-4], stories[-4:]         # শেষের ৪টি পুরো গল্প আলাদা
voc = {w for s in train for w in s}
held = [w for s in test for w in s]
miss = [w for w in held if w not in voc]
print(f"train token {sum(map(len, train))} | held-out token {len(held)} "
      f"| OOV token {100*len(miss)/len(held):.1f}% "
      f"| OOV type {100*len(set(miss))/len(set(held)):.1f}%")
print("OOV-র নমুনা:", " ".join(sorted(set(miss))[:8]))

fig, ax = plt.subplots(figsize=(5, 3.2))
ax.loglog(r, f, ".", ms=3, label="word frequency")
ax.loglog(r, np.exp(icpt) * r ** slope, lw=1.5, label=f"fit, slope {slope:.2f}")
ax.set_xlabel("rank (log)"); ax.set_ylabel("count (log)")
ax.set_title("Zipf plot: Tuntunir Boi excerpt"); ax.legend()

গল্প 10 | token 4833 | type 1197 | type/token 0.248
একবারই এসেছে: 566 (47.3% type)
শীর্ষ ১২: বললে আর সে করে না কি তার তো বলে টুনটুনি বুড়ী গেল
Zipf ঢাল (rank 6-500): -0.84 | শীর্ষ ১০ শব্দের ভাগ 14.5%
train token 2825 | held-out token 2008 | OOV token 33.6% | OOV type 58.1%
OOV-র নমুনা: অনেক অন্ধকারের অস্থির আঁচড় আঙুলে আঙ্গিনায় আছাড় আজ্ঞে

৬ · বিভক্তি কতটা ফোলায় — suffix ছাঁটা আর OOV-এর রেখা

সরলতম প্রতিষেধক: শব্দের শেষ থেকে চেনা বিভক্তি কেটে দেওয়া, যাকে বলে stemming. নিচে ২৩টি suffix-এর একটি নিয়মভিত্তিক ছাঁটনি, দীর্ঘতমটি আগে। এটি ইচ্ছে করে সরল, যাতে লাভ আর ক্ষতি দুটোই চোখে পড়ে।

import re, unicodedata
from collections import Counter, defaultdict
nfc = lambda s: unicodedata.normalize("NFC", s)
SUF = sorted(nfc("গুলোতে গুলোর গুলোকে গুলো গুলির গুলি দের টির টিকে টিতে "
                 "টার টাকে টি টা খানা খানি কে তে েরা ের রা ে য়").split(),
             key=len, reverse=True)
def strip(w, min_stem=3):                        # বাঁয়ে অন্তত ৩টি code point থাকবে
    for s in SUF:
        if w.endswith(s) and len(w) - len(s) >= min_stem:
            return w[:-len(s)]
    return w

fam = nfc("বাজার বাজারে বাজারের বাজারকে বাজারটি বাজারগুলো বাজারগুলোর "
          "বাজারগুলোতে বাজারঘর বাজারঘরের").split()
print("শব্দ:", len(fam), "রূপ →", len({strip(w) for w in fam}), "মূল:",
      " ".join(sorted({strip(w) for w in fam})))

raw = nfc(open("tuntuni.txt", encoding="utf-8").read())
WORD = re.compile("[\u0980-\u09E5\u09F0-\u09FF]+")
stories = [WORD.findall(s) for s in raw.split("###")]
tokens = [w for s in stories for w in s]
groups = defaultdict(set)
for w in tokens: groups[strip(w)].add(w)
print(f"type {len(set(tokens))} → ছাঁটার পরে {len(groups)} "
      f"({100*(1-len(groups)/len(set(tokens))):.1f}% কম)")
for k, v in sorted(groups.items(), key=lambda kv: -len(kv[1]))[:3]:
    print(" ", k, "←", " ".join(sorted(v)))

held = [w for s in stories[-4:] for w in s]
voc = {w for s in stories[:-4] for w in s}
voc2 = {strip(w) for w in voc}
print(f"OOV: word {100*sum(w not in voc for w in held)/len(held):.1f}% | "
      f"stripped {100*sum(strip(w) not in voc2 for w in held)/len(held):.1f}%")
print("ভুল ছাঁট:", " ".join(f"{w}→{strip(nfc(w))}" for w in
      "মানে ছেলে তাকে পারে বলিলে".split()))

শব্দ: 10 রূপ → 2 মূল: বাজার বাজারঘর
type 1197 → ছাঁটার পরে 1018 (15.0% কম)
  বাঘ ← বাঘ বাঘটি বাঘে বাঘের
  গাছ ← গাছ গাছটার গাছে গাছের
  গোবর ← গোবর গোবরটাকে গোবরে গোবরের
OOV: word 33.6% | stripped 29.4%
ভুল ছাঁট: মানে→মান ছেলে→ছেল তাকে→তাক পারে→পার বলিলে→বলিল

এবার বড় পরিসরে। সত্যিকারের run (ডেস্কটপ, CPU-তে; লেখার সময়ের সংস্করণ: Python 3.14.4, numpy 2.5.4, scikit-learn 1.9.1). ডেটা: বাংলা উইকিসংকলনের পাঁচ লেখকের ৯টি সংকলনের ২৫০ পাতা। ডেস্কটপের ছাঁটনিতে সাধু “দিগকে”, “দিগের” আর “টাতে” বাড়তি আছে। আউটপুটের কিছু লাইন “…” দিয়ে ছাঁটা।

উইকিসংকলনের নিজের চিহ্ন অনুযায়ী। পরের সংস্করণে সম্পাদকের সংযোজন থাকতে পারে; নিজে ব্যবহারের আগে পাতার ট্যাগ দেখে নিন। এটি আইনি মত নয়।

~/bazarghar-dl$ uv run python oov_curve.py
pages 250 | tokens 247,707 | types 28,565 | hapax 15,258 | chars 60
…
held-out tokens (last seed) 49,621 | train tokens available 198,086
train words |  word OOV%  stripped%   char% |  word V strip V char V
      1,000 |  67.0±2.5   63.8±2.8   0.241 |     519     478     52
      3,000 |  50.8±1.4   47.0±1.2   0.018 |    1343    1214     57
     10,000 |  34.7±1.5   30.7±1.5   0.002 |    3338    2937     59
     30,000 |  22.5±0.4   19.1±0.3   0.001 |    7433    6365     60
    100,000 |  13.2±0.7   10.8±0.6   0.000 |   16603   13749     60
    190,000 |   9.7±0.4    7.9±0.3   0.000 |   24536   19951     60

--- register shift: train = same words count, Upendrakishore (cholit) ---
train tokens 37,102
Upendrakishore held-out  tokens   5,988  word OOV  12.4%  stripped OOV  10.4%
Tagore                   tokens 107,388  word OOV  32.8%  stripped OOV  29.7%
Sarat                    tokens  25,353  word OOV  29.9%  stripped OOV  27.7%
Bankim                   tokens  53,348  word OOV  44.3%  stripped OOV  41.8%
Vidyasagar               tokens  18,528  word OOV  39.2%  stripped OOV  35.6%
…
register and spelling pairs: {'তাহার': 1656, 'তার': 1240, 'করিয়া': 2217, 'করে': 1360, 'দিয়া': 541, 'দিয়ে': 425, 'ভাল': 207, 'ভালো': 182}
types 28565 | stripped types 23064 | shrink 19.3%
…
Zipf slope (rank 10-3000) -0.98 | top 10 share 9.3% | top 100 30.9% | hapax share of types 53.4%

চারটি পড়া:

• লম্বা লেজ. ১৯ গুণ বেশি train-এও (১০ হাজার থেকে ১.৯ লাখ) OOV ৩৪.৭% থেকে ৯.৭%-এর নিচে নামে না। সংকলনের ৫৩.৪% type একবারই এসেছে। আরও ডেটা সাহায্য করে, তবে ধীরে ধীরে।
• ছাঁটনির লাভ সীমিত. Type কমে ১৯.৩%, OOV কমে মাত্র ২–৪ পয়েন্ট। বেশিরভাগ OOV নতুন মূল শব্দ, নাম আর ক্রিয়া-রূপ, শুধু বিশেষ্যের বিভক্তি নয়।
• Character-এ OOV নেই, দাম আছে. ৬০টি চিহ্নেই সব লেখা। তবে “শব্দের অর্থ” বলে কিছু আর হাতে তৈরি থাকে না, model-কে গড়তে হয়।
• Register-এর ধাক্কা. একই ৩৭,১০২ শব্দের চলিত vocabulary একই লেখকের অদেখা গল্পে ১২.৪% শব্দ চেনে না, বঙ্কিমের সাধুতে ৪৪.৩%. তাহার ১,৬৫৬ বার, তার ১,২৪০ বার: দুটি আলাদা token. শুধু vocabulary-র আকার নয়, ডেটার ধরনও বিচার্য। পুরোনো সাহিত্যে শেখা কিছু ফেসবুকের মন্তব্যে একইভাবে ধাক্কা খাওয়ার আশঙ্কা থাকে (এটি অনুমান; আমরা মাপিনি)।

৭ · বানান আর Banglish — normaliser কী মেলায়, কী ভাঙে

নিচের রিভিউগুলো কাল্পনিক। একটি ছোট অভিধানে রোমান বানান আর বাংলা বানানভেদ একটি রূপে আনা হচ্ছে, তারপর যা মিলল আর যা ভাঙল দুটোই ছাপা হচ্ছে।

import re, unicodedata
nfc = lambda s: unicodedata.normalize("NFC", s)
# কাল্পনিক বাজারঘর রিভিউ, প্রতি জোড়ার অর্থ এক
PAIRS = [("dam besi, mal valo", "দাম বেশী, মাল ভাল"),
         ("delivery deri holo", "ডেলিভারী দেরী হল"),
         ("rong khub sundor", "রং খুব সুন্দর"),
         ("kharap packet, ferot chai", "খারাপ প্যাকেট, ফেরত চাই")]
RISKY = ["product bad, taka ferot chai",   # ইংরেজি bad
         "ei item ta bad dilam",           # বাংলা বাদ
         "dam bondho hoye gelo gorome",    # দম, দাম নয়
         "ভাল লিখন কে খণ্ডাবে"]             # ভাল = কপাল
MAP = {"dam": "দাম", "besi": "বেশি", "beshi": "বেশি", "mal": "মাল", "valo": "ভালো",
       "bhalo": "ভালো", "delivery": "ডেলিভারি", "deri": "দেরি", "holo": "হলো",
       "rong": "রং", "khub": "খুব", "sundor": "সুন্দর", "kharap": "খারাপ",
       "packet": "প্যাকেট", "ferot": "ফেরত", "chai": "চাই", "bad": "বাদ",
       "বেশী": "বেশি", "ভাল": "ভালো", "ডেলিভারী": "ডেলিভারি", "দেরী": "দেরি", "হল": "হলো"}
MAP = {nfc(k): nfc(v) for k, v in MAP.items()}
tok = lambda s: re.findall("[\u0980-\u09E5\u09F0-\u09FFa-z]+", nfc(s.lower()))
norm = lambda s: [MAP.get(w, w) for w in tok(s)]

before = {w for p in PAIRS for s in p for w in tok(s)}
after = {w for p in PAIRS for s in p for w in norm(s)}
same0 = sum(tok(a) == tok(b) for a, b in PAIRS)
same1 = sum(norm(a) == norm(b) for a, b in PAIRS)
print(f"type: {len(before)} → {len(after)} | একই রূপের জোড়া: {same0}/4 → {same1}/4")
for s in RISKY:
    print(" ", s, "→", " ".join(norm(s)))
# য়-এর দুই লেখা: এক অক্ষরে, আর য + নুকতা
a, b = "\u09df", "\u09af\u09bc"
print("NFC ছাড়া সমান?", a == b, "| NFC-র পরে?", nfc(a) == nfc(b),
      "| code point:", [hex(ord(x)) for x in nfc(a)])
print("অদৃশ্য ZWNJ:", "ভালো" == "ভা\u200cলো", "| NFC-র পরেও:",
      nfc("ভালো") == nfc("ভা\u200cলো"))

type: 28 → 14 | একই রূপের জোড়া: 0/4 → 4/4
  product bad, taka ferot chai → product বাদ taka ফেরত চাই
  ei item ta bad dilam → ei item ta বাদ dilam
  dam bondho hoye gelo gorome → দাম bondho hoye gelo gorome
  ভাল লিখন কে খণ্ডাবে → ভালো লিখন কে খণ্ডাবে
NFC ছাড়া সমান? False | NFC-র পরে? True | code point: ['0x9af', '0x9bc']
অদৃশ্য ZWNJ: False | NFC-র পরেও: False

কাজের নিয়ম: অদৃশ্য অক্ষর আর NFC প্রায় সবসময় নিরাপদ। বানান এক করা বা লিপ্যন্তর একটি মডেলিং সিদ্ধান্ত: কাঁচা লেখা সবসময় সঙ্গে রাখুন, আগে-পরে একই held-out সেটে মাপুন, আর অভিধান ছোট ও পরীক্ষিত রাখুন। লেখক চেনার মতো কাজে “তাহার” আর “তার”-এর পার্থক্যটাই সংকেত, সেখানে মেলালে ক্ষতি।

৮ · Baseline আগে — TF-IDF, logistic regression আর সৎ split

কোনো neural model ছোঁয়ার আগে একটি baseline চাই। TF-IDF আর classifier-এর হাতেখড়ি AI-এর ভিত্তি কোর্সের পর্ব ৬৭-এ, logistic regression সেখানকার পর্ব ৫৯-এ, ভাগ করার নিয়ম পর্ব ৫৬-এ। এখানে আসল ডেটায় একটি ছোট কাজ।

কাজ: ৮০ শব্দের একটি টুকরো চার লেখকের কার? স্পষ্ট লাইসেন্সের আসল label এতে সহজে মেলে, কারণ লেখকের নাম বইয়েই লেখা। প্রত্যেকের দুটি বই থাকায় অদেখা বইয়ে পরীক্ষাও সম্ভব। মোট ২,৬৬৫ টুকরো। Book A মানে প্রতি লেখকের একটি করে বই test, বাকিগুলোয় train (৭০৩ টুকরো); book B তার উল্টো (train ১,৯৬২)। Pipeline-এর মূল অংশ (baseline.py থেকে ছাঁটা):

vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 4), min_df=2, sublinear_tf=True)
clf = make_pipeline(vec, LogisticRegression(C=10, max_iter=2000, class_weight="balanced"))
clf.fit(X_train, y_train)
print(f1_score(y_test, clf.predict(X_test), average="macro"))

~/bazarghar-dl$ uv run python baseline.py
chunks 2665 {'upendrakishore': 519, 'tagore': 1326, 'bankim': 625, 'vidyasagar': 195}
…
split: random 533 | page 543 | book-A 1962 | book-B 703 test chunks
features     random     page   book A   book B    sec
majority      0.166    0.107    0.079    0.070
word          0.996    0.976    0.549    0.740    1.5
stripped      0.996    0.968    0.565    0.735    1.5
char 2-4      0.998    0.965    0.534    0.741   11.7
default \w    0.960    0.888    0.441    0.647    0.7

small training set, book-A split, macro-F1 (5 seeds)
 n train         word     stripped     char 2-4
      40  0.364±0.038  0.356±0.036  0.342±0.046
     100  0.437±0.020  0.432±0.032  0.422±0.040
     300  0.505±0.018  0.527±0.020  0.518±0.016
     600  0.542±0.013  0.554±0.010  0.535±0.005

confusion, char 2-4, book A (rows true): ['upendrakishore', 'tagore', 'bankim', 'vidyasagar']
[[232  42  15   0]
 [428 653 117  14]
 [ 23  11 324   9]
 [  0  13  64  17]]
per class F1 {'upendrakishore': 0.477, 'tagore': 0.676, 'bankim': 0.731, 'vidyasagar': 0.254}
…
bankim ['নবকুমার', 'কপালকুণ্ডলা', 'হইল', 'কহিলেন', 'করিলেন', 'তাঁহার', 'নবকুমারের', …]
tagore ['রমেশ', 'রমেশের', 'তাহার', 'কোনো', 'হেমনলিনী', 'অক্ষয়', 'কী', …]
upendrakishore ['বললে', 'তার', 'বাঘ', 'শিয়াল', 'করে', 'তো', 'আর', 'নিয়ে', …]
vidyasagar ['ও', 'কহে', 'বস্তু', 'হয়', 'কোন', 'সকল', 'থাকে', 'যায়', …]
…
default analyzer on a sentence: ['অর']

পড়ুন, ওপর থেকে:

• Split-ই আসল গল্প. এলোমেলো টুকরোয় ০.৯৯৬, পাতা ধরে ভাগে ০.৯৭৬, অদেখা বইয়ে ০.৫৪৯–০.৭৪০. কারণ শেষের word-তালিকায়: “নবকুমার”, “রমেশ”, “হেমনলিনী” চরিত্রের নাম। Model লেখকের ধরনের চেয়ে বইয়ের চরিত্র মুখস্থ করেছে। কিছু আসল সংকেতও আছে: “কহিলেন”, “তাহার”, “বললে”। প্রশ্ন যদি হয় “অদেখা বইয়ের লেখক কে”, সৎ সংখ্যা এই শেষ দুটি কলাম।
• Baseline-এর baseline. সবচেয়ে বেশি দেখা শ্রেণি বলে দিলে (majority) macro-F1 ০.০৭–০.১৭. Model তার অনেক ওপরে, তবে ০.৫৫ কোনো চূড়ান্ত সাফল্য নয়। Confusion matrix-এ রবীন্দ্রনাথের ৪২৮টি টুকরো উপেন্দ্রকিশোরের ঘরে গেছে: book A-তে রবীন্দ্রনাথের train হলো শুধু সাধু “নৌকাডুবি”, আর test-এর গল্পগুচ্ছের অনেক গল্প চলিতে। Author-এর সঙ্গে register গুলিয়ে আছে।
• Feature-এর অপ্রত্যাশিত ফল. এই কাজে char n-gram জেতেনি; word, stripped আর char প্রায় সমান, যদিও char ৭–৮ গুণ সময় নেয়। অনুমান করে নয়, মেপে বাছুন। ছাঁটনির সামান্য সুবিধা ছোট train-এ (৩০০ টুকরোয় ০.৫২৭ বনাম ০.৫০৫), আর তা seed-এর ছড়ানোর প্রায় সমান।
• Default-এর ফাঁদ. শেষ লাইনে “বাজারের অর্ডার ভালো” থেকে scikit-learn-এর default tokenizer শুধু ['অর'] রেখেছে, কারণ \w কার-চিহ্ন ধরে না (AI-এর ভিত্তি কোর্সের পর্ব ৬৭-এর একই ফাঁদ)। Macro-F1 প্রতিটি কলামে কম। কোনো error আসে না, শুধু নীরবে খারাপ।
• সীমা. একটি split-এর একটি local run, শতাব্দীপ্রাচীন সাহিত্যে। বাংলা রিভিউর ফল এখান থেকে অনুমান করা যায় না। আসল রিভিউ-ঘেঁষা কাজ আর neural model-এর সঙ্গে তুলনা পর্ব ৪২ (Text classification)-এ।

৯ · নিয়ম, baseline না LLM — বাছাইয়ের পথ

সবচেয়ে নতুন টুল সবচেয়ে ভালো টুল নয়। ডাক্তার যেমন জ্বরে আগে থার্মোমিটার ধরেন, সরাসরি MRI নয়, তেমনি আগে সবচেয়ে সরল পরীক্ষা। বাজারঘরের চারটি কাজে প্রশ্নগুলো একে একে করুন।

১০ · AI-এর যুগে — বাংলা NLP-এর কোড যাচাই

AI assistant বাংলা NLP-এর কোড মিনিটে দেয়। ভুলগুলো প্রায়ই নীরব: কোড চলে, সংখ্যাও আসে, শুধু সংখ্যাটি মিথ্যে।

AI-এর লেখা NLP কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• তিনটি আসল বাক্যের token নিজের চোখে পড়েছি
• Vocabulary শুধু train থেকে; OOV হার ছাপিয়ে দেখেছি
• Split গল্প, পণ্য বা লেখক ধরে; এলোমেলো split-এর সঙ্গে তুলনা করেছি
• Majority আর TF-IDF baseline-এর সঙ্গে কয়েকটি seed-এ তুলনা করেছি
• সবচেয়ে ওজনদার feature পড়ে নাম-মুখস্থ বা ফাঁস খুঁজেছি
• নেতি, Banglish আর বানানভেদে আলাদা করে ভুল গুনেছি
• কোনো আসল ক্রেতার তথ্য বা API key prompt-এ দিইনি