Pretrained model ব্যবহার — Hugging Face, model card আর লাইসেন্স

পর্ব ৬৭-এ (বাংলা লেখার ডেটা) বাজারঘরের ১১৯টি কাল্পনিক রিভিউয়ে TF-IDF আর LinearSVC দিয়ে sentiment classifier বানিয়েছিলেন; একই ৫টি fold-এ macro F1 ছিল ০.৬৩৪। সেখানে শেষে প্রশ্ন ছিল: বিপুল লেখায় আগে থেকে শেখা model কি আরও ভালো করবে? এই পর্বে সেটি সত্যিই মেপে দেখব। transformers, PyTorch আর Hugging Face-এর library ব্রাউজারের Python-এ চলে না, তাই বেশিরভাগ কাজ ডেস্কটপে সত্যিকারের run, CPU-তে, লেখার সময়ের version-এ: Python 3.14.4, transformers 5.22.1, torch 2.15.0 (CPU), huggingface_hub 2.4.0, scikit-learn 1.8.0 নিয়ে। পাতার চারটি ব্লক ব্রাউজারেই চলে: model card-এর metadata পড়া, ডেস্কটপের ফল দিয়ে macro F1, licence-এর নিয়ম আর memory-র হিসাব। দ্বিতীয় ব্লকে scikit-learn প্রথমবার নামতে প্রায় ১০ সেকেন্ড লাগে।

১ · Transfer learning — শূন্য থেকে না শিখে অভিজ্ঞ কারিগর ভাড়া করা

Transfer learning ঠিক এই ধারণা। প্রথমে pretraining: বিপুল সাধারণ ডেটায় (কোটি কোটি বাক্য বা লাখো ছবি) একটি বড় model শেখে, যেমন বাক্যের লুকানো শব্দ অনুমান করা। তার ফল একটি pretrained model: ভেতরের ওজন আর তার tokenizer. তারপর নিজের ছোট কাজে লাগানোর তিনটি পথ:

• যেমন আছে তেমন: কেউ আগেই sentiment-এর জন্য বানিয়ে রাখলে সরাসরি চালানো। কোনো training নেই, কিন্তু তার label আর আপনার label না-ও মিলতে পারে।
• Feature extraction: ভেতরের অংশ freeze করে রাখা, প্রতিটি রিভিউয়ের জন্য একটি vector (embedding) বের করা, আর তার ওপর ছোট একটি classifier শেখানো।
• Fine-tuning: নিজের label দেওয়া ডেটায় model-এর সব বা কিছু ওজন আরও একটু শেখানো। বেশি ক্ষমতা, বেশি খরচ, আর অল্প ডেটায় overfitting-এর ঝুঁকি।

২ · Hugging Face Hub — model id, revision, ফাইল আর cache

Hugging Face Hub model আর dataset রাখার একটি বড় অনলাইন ভান্ডার। প্রতিটি model-এর একটি model id, মালিক/নাম আকারে। প্রতিটি আসলে একটি Git-এর মতো repository, যার প্রতিটি পরিবর্তন একটি commit (Git-এর ধারণা Software Engineering & Git কোর্সে)। আমরা দুটি ছোট, খোলা licence-এর model ব্যবহার করব, account বা token ছাড়াই নামানো যায় এমন:

• lxyuan/distilbert-base-multilingual-cased-sentiments-student: বহুভাষিক DistilBERT, positive, neutral, negative তিন label, licence tag apache-2.0.
• sagorsarker/bangla-bert-base: শুধু বাংলায় pretrain করা BERT, লুকানো শব্দ অনুমানের (fill-mask) model, licence tag mit.

প্রথম model-এর repository-তে কী কী আছে, huggingface_hub দিয়ে দেখা যাক (সত্যিকারের run):

from huggingface_hub import HfApi
MODEL = "lxyuan/distilbert-base-multilingual-cased-sentiments-student"
api = HfApi()
info = api.model_info(MODEL, files_metadata=True)
print("commit (sha):", info.sha)
for s in sorted(info.siblings, key=lambda s: s.rfilename):
    print(f"  {s.rfilename:<26} {s.size / 1e6:>8.1f} MB")
for c in api.list_repo_commits(MODEL)[:3]:
    print(" ", c.commit_id[:12], c.created_at.date(), c.title[:50])

~/bazarghar-ai$ python hub_files.py
huggingface_hub 2.4.0
commit (sha): cf991100d706c13c0a080c097134c05b7f436c45
last modified: 2025-03-03
license tag: apache-2.0 | pipeline: text-classification
  .gitattributes                  0.0 MB
  README.md                       0.0 MB
  config.json                     0.0 MB
  model.safetensors             541.3 MB
  onnx/config.json                0.0 MB
  onnx/model.onnx               541.4 MB
  pytorch_model.bin             541.3 MB
  special_tokens_map.json         0.0 MB
  tokenizer.json                  2.9 MB
  tokenizer_config.json           0.0 MB
  training_args.bin               0.0 MB
  vocab.txt                       1.0 MB
commits in repo: 7
  cf991100d706 2025-03-03 Adding ONNX file of this model (#10)
  beaa0ee2a680 2025-03-01 Adding ONNX file of this model (#9)
  2e33845d25b3 2023-06-24 Adding `safetensors` variant of this model (#1)

প্রথমবার নামানো আর cache. pipeline() বা from_pretrained() প্রথমবার ফাইলগুলো নামায়, পরে cache থেকে পড়ে। bangla-bert-base প্রথমবার চালানোর সময় আর দ্বিতীয়বার (সত্যিকারের run, একটি বাসার internet-এ, এক মেশিনে; প্রথম সংখ্যাটির প্রায় পুরোটাই ৬৬০ MB নামানোর সময়):

~/bazarghar-ai$ python fill_mask.py        # প্রথমবার: cache খালি
pipeline ready in 404.8 s
~/bazarghar-ai$ python fill_mask.py        # দ্বিতীয়বার
pipeline ready in 1.3 s

~/bazarghar-ai$ find ~/.cache/huggingface/hub/models--sagorsarker--bangla-bert-base
…/blobs
…/snapshots/875aa80a42ec196c16bd931ae5d85ad949f58b16/config.json
…/snapshots/875aa80a42ec196c16bd931ae5d85ad949f58b16/model.safetensors
…/snapshots/875aa80a42ec196c16bd931ae5d85ad949f58b16/README.md
…/snapshots/875aa80a42ec196c16bd931ae5d85ad949f58b16/vocab.txt
…/.no_exist/875aa80a42ec196c16bd931ae5d85ad949f58b16/tokenizer.json   … (আরও কয়েকটি)

Cache-এর ভেতরে প্রতিটি commit-এর আলাদা snapshots/<commit>/ ফোল্ডার, তাই দুটি revision পাশাপাশি থাকতে পারে। .no_exist মনে রাখে কোন ফাইল repository-তে নেই, যাতে প্রতিবার আবার না খোঁজে। খেয়াল করুন: repository-তে pytorch_model.bin, tf_model.h5 আর flax_model.msgpack-ও আছে, কিন্তু নেমেছে শুধু model.safetensors; transformers থাকলে safetensors-ই বেছে নেয়। Cache-এর জায়গা বদলাতে HF_HOME environment variable.

Offline mode. Server-এ, বিদ্যুৎ বা internet চলে গেলে, বা নিশ্চিত হতে যে কোড চুপিচুপি নতুন কিছু নামাচ্ছে না, HF_HUB_OFFLINE=1 দিন। সত্যিকারের run:

~/bazarghar-ai$ HF_HUB_OFFLINE=1 python offline.py
HF_HUB_OFFLINE = 1
from cache: [{'label': 'positive', 'score': 0.5010152459144592}]
other revision: OSError - We couldn't connect to 'https://huggingface.co' to load the files, and couldn't find them in the cached files.

Pin করা commit cache-এ ছিল, চলল; পুরোনো commit 2e33845d25b3 cache-এ নেই, তাই স্পষ্ট error. পুনরুৎপাদনের পুরো ছবিটি তিন স্তরে (পর্ব ১২-এর lockfile-এর মতো): requirements-এ library-র হুবহু version (transformers==5.22.1, torch==2.15.0, huggingface_hub==2.4.0), কোডে model id আর commit hash, আর প্রয়োজনে cache-এর ফাইলের hash.

৩ · ওজনের ফাইল — safetensors বনাম pickle-ভিত্তিক .bin

পর্ব ৬৪-এ দেখেছেন, pickle ফাইল খোলার (deserialization) সময় ফাইলের নির্দেশে যেকোনো Python function চলতে পারে। PyTorch-এর পুরোনো রীতির pytorch_model.bin হলো torch.save-এর ফাইল: একটি zip, যার ভেতরে একটি pickle (data.pkl) আর সংখ্যার টুকরো। safetensors ইচ্ছা করেই সরল: প্রথম ৮ byte-এ header-এর দৈর্ঘ্য, তারপর JSON header (প্রতিটি tensor-এর নাম, dtype, shape, কোন byte থেকে কোন byte), তারপর কাঁচা সংখ্যা। পড়তে কোনো Python বস্তু বানাতে হয় না, তাই খোলার সময় কোড চালানোর কোনো পথও নেই।

নিচের script দুটি ফাইল খোলে না, শুধু পড়ে: safetensors-এর header, আর repository-র ছোট training_args.bin-এর ভেতরের pickle-এর নির্দেশগুলো pickletools দিয়ে তালিকা করা (কোনো নির্দেশ চালানো হয় না)। সত্যিকারের run:

with open(st_path, "rb") as f:                       # model.safetensors
    n = struct.unpack("<Q", f.read(8))[0]            # header-এর দৈর্ঘ্য
    header = json.loads(f.read(n))                    # শুধু JSON
...
data = zipfile.ZipFile(bin_path).read("training_args/data.pkl")
for op, arg, pos in pickletools.genops(data):         # পড়া, চালানো নয়
    ...                                               # GLOBAL / STACK_GLOBAL খোঁজা
torch.load(bin_path, weights_only=True)               # নিরাপদ মোডে খোলার চেষ্টা

~/bazarghar-ai$ python weights_inspect.py
safetensors header: 12528 bytes of JSON | metadata: {'format': 'pt'}
tensors: 104 | dtypes: {'F32': 104} | parameters: 135,326,979
classifier.weight {'dtype': 'F32', 'shape': [3, 768], 'data_offsets': [12, 9228]}

training_args.bin -> training_args/data.pkl 3225 bytes of pickle
objects it asks Python to import: ['__main__.DistillTrainingArguments', 'torch.device', 'transformers.trainer_utils.HubStrategy', 'transformers.trainer_utils.IntervalStrategy', 'transformers.trainer_utils.SchedulerType', 'transformers.training_args.OptimizerNames']
torch.load(weights_only=True): UnpicklingError - Weights only load failed. This file can still be loaded, to  …

৪ · Model card আর dataset card — চালানোর আগে পড়া

ওষুধের বাক্সের ভেতরের কাগজটির কথা ভাবুন: কী রোগে, কার জন্য নয়, কী পার্শ্বপ্রতিক্রিয়া। Model card সেই কাগজ। ২০১৯ সালে Margaret Mitchell ও সহকর্মীরা “Model Cards for Model Reporting” প্রবন্ধে প্রস্তাব করেন, প্রতিটি model-এর সঙ্গে লেখা থাকবে: model-এর বিবরণ, উদ্দিষ্ট ব্যবহার (আর কোথায় নয়), কোন উপদলে আলাদা করে মাপা হয়েছে, কোন metric, মূল্যায়নের ডেটা, training ডেটা, সংখ্যায় ফল, নৈতিক বিবেচনা আর সতর্কতা। ডেটার জন্য একই ভাবনা Timnit Gebru ও সহকর্মীদের “Datasheets for Datasets” (arXiv-এ ২০১৮, পরে ২০২১ সালে Communications of the ACM-এ): ডেটা কেন বানানো, কী আছে, কীভাবে সংগ্রহ, কীভাবে পরিষ্কার, কী কাজে ব্যবহার উচিত নয়, কে রক্ষণাবেক্ষণ করেন। Hub-এ এর রূপ dataset card.

Hub-এ card মানে repository-র README.md. শুরুতে --- দিয়ে ঘেরা YAML metadata (licence, ভাষা, dataset), তারপর সাধারণ লেখা। Metadata যন্ত্রে পড়া যায়, কিন্তু মালিক নিজে যা লিখেছেন তাই; কেউ যাচাই করে দেয় না। নিচের stepper-এ lxyuan/…-sentiments-student-এর card অংশ অংশ পড়ি (উদ্ধৃতি card থেকে, commit cf99110 অনুযায়ী)।

license: apache-2.0
datasets:
- tyqiangz/multilingual-sentiments
language:
- en
- ar … (১২টি ভাষা, bn নেই)

This model is distilled from the zero-shot
classification pipeline …
    Teacher model: MoritzLaurer/mDeBERTa-v3-base-mnli-xnli
    Student model: distilbert-base-multilingual-cased

(আলাদা কোনো অংশ নেই; শুধু “Inference example”:
ইংরেজি, মালয় আর জাপানি তিনটি সিনেমার বাক্য)

In reality the multilingual-sentiment dataset is
annotated of course, but we'll pretend and ignore
the annotations for the sake of example.

model-index:
- name: distilbert-base-multilingual-cased-sentiments-student
  results: []
…
Agreement of student and teacher predictions: 88.29%

<!-- This model card has been generated automatically
according to the information the Trainer had access to.
You should probably proofread and complete it, then
remove this comment. -->

এবার তিনটি card-এর metadata যন্ত্র দিয়ে পড়ি। তৃতীয়টি tabularisai/multilingual-sentiment-analysis, যার card-এ বাংলা আছে; আমরা এটি নামাইনি, শুধু card পড়েছি (কেন, তা অংশ ৫-এ)। নিচে তিনটি card-এর YAML অংশ হুবহু রাখা আছে, ডেস্কটপে hf_hub_download(…, "README.md", revision=…) দিয়ে নামানো; শুধু তৃতীয়টির tags তালিকা জায়গা বাঁচাতে বাদ। Card-গুলোর স্বত্ব তাদের লেখকদের, এখানে শুধু পড়ার জন্য উদ্ধৃত। ব্লকটি একটি সরল YAML পাঠক নিজেই লেখে (শুধু key: value আর - item; আসল YAML অনেক জটিল, কাজে yaml.safe_load নিন):

def front_matter(body):
    """--- … --- এর ভেতরের সরল YAML: 'key: value' আর '- item' তালিকা"""
    meta, key = {}, None
    for line in body.split("---")[1].splitlines():
        if not line.strip() or line.startswith(" "):     # ফাঁকা বা গভীর স্তর: বাদ
            continue
        if line.startswith("- "):
            meta[key].append(line[2:].strip())
        else:
            key, _, val = line.partition(":")
            meta[key] = val.strip() or []
    return meta

text = open("model_cards.txt", encoding="utf-8").read()
for chunk in text.split("=== ")[1:]:
    name, body = chunk.split("\n", 1)
    m = front_matter(body)
    langs = m.get("language", [])
    langs = [langs] if isinstance(langs, str) else langs
    print(name)
    print(f"  license : {m.get('license', 'নেই!')}")
    print(f"  language: {len(langs)}টি, bn আছে? {'bn' in langs}")
    print(f"  datasets: {m.get('datasets', 'নেই')}")
    print(f"  base    : {m.get('base_model', 'লেখা নেই')}")
    ev = "model-index নেই" if "model-index" not in m else "model-index আছে"
    print(f"  eval    : {ev}{', results: [] (খালি)' if 'results: []' in body else ''}")

lxyuan/distilbert-base-multilingual-cased-sentiments-student @cf99110
  license : apache-2.0
  language: 12টি, bn আছে? False
  datasets: ['tyqiangz/multilingual-sentiments']
  base    : লেখা নেই
  eval    : model-index আছে, results: [] (খালি)
sagorsarker/bangla-bert-base @875aa80
  license : mit
  language: 1টি, bn আছে? True
  datasets: ['common_crawl', 'wikipedia', 'oscar']
  base    : লেখা নেই
  eval    : model-index নেই
tabularisai/multilingual-sentiment-analysis @eea0320
  license : cc-by-nc-4.0
  language: 23টি, bn আছে? True
  datasets: ['tabularisai/swahili_sentiment_dataset']
  base    : distilbert/distilbert-base-multilingual-cased
  eval    : model-index নেই

৫ · লাইসেন্স — কী করা যায়, কোন শর্তে, আর “open weights” কী নয়

Licence বলে মালিক কোন শর্তে ব্যবহার, বদল আর বিতরণের অনুমতি দিচ্ছেন। Model-এর ক্ষেত্রে প্রশ্নগুলো: বাণিজ্যিক কাজে চলবে? Fine-tune করে বদলানো রূপ রাখা যাবে? ওজন বা পণ্য অন্যকে দিলে কী শর্ত? আর কোনো ব্যবহার কি নিষিদ্ধ?

Licence-এর শিকল। একটি model অনেক জিনিসের ওপর দাঁড়িয়ে। আমাদের প্রথম model-এর ক্ষেত্রে (ডেস্কটপে model_info আর dataset_info দিয়ে পড়া): base model distilbert/distilbert-base-multilingual-cased-এর tag apache-2.0 (আর এর ভাষার তালিকায় বাংলা আছে), teacher MoritzLaurer/mDeBERTa-v3-base-mnli-xnli-এর mit, training dataset-এর apache-2.0. সবই permissive, তবে dataset-এর মূল উৎসগুলোর নিজস্ব শর্ত থাকতে পারে। আরও একটি কথা: এই repository-তে আলাদা LICENSE ফাইল নেই, আছে শুধু metadata-র tag; tag হলো মালিকের দাবি। মূল licence-এর লেখা পড়ুন আর শর্তমতো তার কপি পণ্যের নথিতে রাখুন।

“Open weights” মানে কী নয়। ওজন নামানো যায় মানেই open source নয়। অনেক model-এর ওজন খোলা, কিন্তু training ডেটা বা training কোড প্রকাশিত নয়, আর licence-এ ব্যবহারের সীমা আছে। Open Source Initiative ২০২৪ সালে Open Source AI Definition প্রকাশ করে, যেখানে ওজনের পাশাপাশি কোড আর ডেটা সম্পর্কে যথেষ্ট তথ্যও চাওয়া হয়; সংজ্ঞাটি নিয়ে বিতর্ক এখনো আছে। আপনার জন্য ব্যবহারিক প্রশ্ন দুটি: licence কী অনুমতি দেয়, আর model কী ডেটায় শিখেছে তা জানা যায় কি না।

নিচের ব্লকে একটি ছোট নিয়মের টেবিল দিয়ে বাজারঘরের দুটি ব্যবহারের জন্য চারটি model যাচাই করা হলো। চতুর্থটি কাল্পনিক নাম, licence ছাড়া:

# শিক্ষার জন্য সরল নিয়মের টেবিল, আইনি পরামর্শ নয়
RULES = {   # license tag: (বাণিজ্যিক চলে?, শর্ত বা সতর্কতা)
    "apache-2.0":   (True,  "licence-এর কপি ও NOTICE রাখা, বদল জানানো"),
    "mit":          (True,  "copyright ও permission notice রাখা"),
    "cc-by-4.0":    (True,  "attribution: নাম, লিংক, কী বদলেছে"),
    "cc-by-sa-4.0": (True,  "attribution, বদলানো রূপও একই licence-এ"),
    "gpl-3.0":      (True,  "বিতরণ করলে source-ও GPL-এ (copyleft)"),
    "cc-by-nc-4.0": (False, "NonCommercial: শুধু অবাণিজ্যিক কাজে"),
    "openrail":     (True,  "use restriction মানা ও পরের জনকে জানানো"),
    "other":        (None,  "নিজস্ব licence: পুরো লেখা পড়া জরুরি"),
}
def check(tag, commercial_use):
    ok, note = RULES.get(tag, (None, "licence নেই বা অজানা"))
    if ok is None:
        return "থামুন: নিজে পড়ে আইনজ্ঞকে দেখান", note
    if commercial_use and not ok:
        return "না", note
    return "সম্ভবত চলে, শর্তসহ", note

cards = [("lxyuan/distilbert-…-sentiments-student", "apache-2.0"),
         ("sagorsarker/bangla-bert-base", "mit"),
         ("tabularisai/multilingual-sentiment-analysis", "cc-by-nc-4.0"),
         ("(কাল্পনিক) some-user/bangla-sentiment-xl", None)]
for use, commercial in [("বাজারঘরের ওয়েবসাইট", True), ("ক্লাসের অবাণিজ্যিক প্রজেক্ট", False)]:
    print(f"== ব্যবহার: {use}")
    for mid, tag in cards:
        verdict, note = check(tag, commercial)
        print(f"{mid}\n   {tag} → {verdict}" + (f"\n   শর্ত: {note}" if commercial else ""))

== ব্যবহার: বাজারঘরের ওয়েবসাইট
lxyuan/distilbert-…-sentiments-student
   apache-2.0 → সম্ভবত চলে, শর্তসহ
   শর্ত: licence-এর কপি ও NOTICE রাখা, বদল জানানো
sagorsarker/bangla-bert-base
   mit → সম্ভবত চলে, শর্তসহ
   শর্ত: copyright ও permission notice রাখা
tabularisai/multilingual-sentiment-analysis
   cc-by-nc-4.0 → না
   শর্ত: NonCommercial: শুধু অবাণিজ্যিক কাজে
(কাল্পনিক) some-user/bangla-sentiment-xl
   None → থামুন: নিজে পড়ে আইনজ্ঞকে দেখান
   শর্ত: licence নেই বা অজানা
== ব্যবহার: ক্লাসের অবাণিজ্যিক প্রজেক্ট
lxyuan/distilbert-…-sentiments-student
   apache-2.0 → সম্ভবত চলে, শর্তসহ
sagorsarker/bangla-bert-base
   mit → সম্ভবত চলে, শর্তসহ
tabularisai/multilingual-sentiment-analysis
   cc-by-nc-4.0 → সম্ভবত চলে, শর্তসহ
(কাল্পনিক) some-user/bangla-sentiment-xl
   None → থামুন: নিজে পড়ে আইনজ্ঞকে দেখান

৬ · pipeline() চালানো — tokenize, model, post-process

transformers-এর pipeline() তিনটি কাজ এক লাইনে জোড়ে। নিচের stepper একটি Banglish রিভিউ ধরে ভেতরে নিয়ে যায়; প্রতিটি সংখ্যা ডেস্কটপে একই model আর revision দিয়ে চালানো।

"ekdom bajey quality, ar kinbo na"

[CLS] ek ##dom ba ##je ##y quality , ar kin ##bo na [SEP]

[101, 16334, 15561, 15688, 10381, 10157,
 21905, 117, 10456, 37403, 11790, 10132, 102]
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]

last hidden state: shape (1, 13, 768)
logits: [ 1.390, -0.706, -0.738]

e^1.390  = 4.015
e^-0.706 = 0.494
e^-0.738 = 0.478
যোগ = 4.987
[0.805, 0.099, 0.096]

{0: 'positive', 1: 'neutral', 2: 'negative'}
→ [{'label': 'positive', 'score': 0.805}]   ✗ আসলে negative

এবার ২০টি নতুন রিভিউ। এগুলো এই পর্বের জন্য বানানো (১০ positive, ১০ negative; বাংলা হরফে ১০টি, রোমান হরফে ১০টি), পর্ব ৬৭-এর ১১৯টির কোনোটি নয়; দুটি ব্যঙ্গ, দুটি “খারাপ না / ভাঙা ছিল না” ধরনের positive. সত্যিকারের run:

from transformers import pipeline
MODEL = "lxyuan/distilbert-base-multilingual-cased-sentiments-student"
REV = "cf991100d706c13c0a080c097134c05b7f436c45"       # commit pin
clf = pipeline("text-classification", model=MODEL, revision=REV, top_k=None)
print("id2label:", clf.model.config.id2label)
out = clf(df["text"].tolist())        # top_k=None: তিনটি label-এরই score
...                                   # pos, neu, neg কলামে সাজানো, CSV-তে রাখা

~/bazarghar-ai$ python sentiment_run.py
transformers 5.22.1, torch 2.15.0+cpu, Python 3.14.4
pipeline তৈরি: 1.4 s
id2label: {0: 'positive', 1: 'neutral', 2: 'negative'}
20টি রিভিউ: 0.18 s
   label  top    pos    neu    neg                text
0    pos  pos  0.670  0.126  0.203  শাড়ির রং একদম ছবি
1    neg  pos  0.492  0.158  0.350  ডেলিভারি পাঁচ দিন 
2    pos  pos  0.430  0.240  0.330  Rice cooker ta dar
3    neg  neg  0.350  0.266  0.384  mobile cover ta fi
4    pos  neg  0.242  0.277  0.480  দাম অনুযায়ী মান খ
5    neg  neg  0.243  0.274  0.484  ফ্যানটা ভালো না, আ
6    pos  pos  0.908  0.066  0.026  Very comfortable s
7    neg  neg  0.218  0.320  0.462  The blender stoppe
8    neg  pos  0.460  0.098  0.441  বাহ, অর্ডার করলাম 
9    pos  pos  0.522  0.117  0.361  মধুর স্বাদ খাঁটি, 
10   neg  pos  0.805  0.099  0.096  ekdom bajey qualit
11   pos  pos  0.481  0.241  0.278  packaging khub sun
12   neg  neg  0.378  0.192  0.430  চার্জার দুই দিনেই 
13   pos  pos  0.572  0.100  0.328  গ্রাহকসেবা দ্রুত স
14   neg  neg  0.350  0.216  0.434  valo laglo na, ron
15   pos  pos  0.475  0.217  0.309  Product ta expecte
16   neg  pos  0.959  0.023  0.019  Thanks a lot for s
17   pos  neg  0.240  0.266  0.494  ডিমগুলো তাজা, একটা
18   neg  pos  0.438  0.156  0.406  মশলার প্যাকেটে পোক
19   pos  pos  0.540  0.209  0.251  khub valo service,

Tokenizer কী দেখছে। ডেস্কটপে একই tokenizer দিয়ে: “শাড়ির” হয় শ + ##া + ##ড়ি + ##র, আর “ভালো” ভ + ##াল + ##ো. বহুভাষিক vocabulary-তে বাংলার ভাগ ছোট, তাই বাংলা শব্দ অক্ষরের কাছাকাছি টুকরোয় ভাঙে। আর চারটি রিভিউয়ের emoji (👏 👍 😊 🙄) হয়েছে [UNK]: model সেগুলো দেখতেই পায়নি। #১৬-এর 🙄 ব্যঙ্গের একমাত্র সংকেত ছিল।

বাংলা-বিশেষ model-টি কী করে? bangla-bert-base দিয়ে fill-mask, সত্যিকারের run:

~/bazarghar-ai$ python fill_mask.py
pipeline ready in 1.4 s
mask token: [MASK]

পণ্যটির মান খুব [MASK] ছিল।   (40 ms)
  ##্ত       0.060
  ##ধ        0.039
  ##্য       0.038
  করা        0.022
  বিশিষ্ট    0.013

ডেলিভারি অনেক [MASK] হয়েছে।   (29 ms)
  সহজ        0.067
  বড়        0.051
  বেশি       0.047
  লম্বা      0.047
  সময়       0.038

শাড়ির রং [MASK] না।   (26 ms)
  [UNK]      0.169
  ভালো       0.123
  হবে        0.052
  ঠিক        0.046
  চাই        0.019

tokens: ['ডেলিভারি', 'দর', '##ত', 'হযেছে', ',', '[UNK]', '[UNK]']

৭ · বিশ্বাসের আগে মাপা — নিজের রিভিউয়ে, baseline-এর পাশে

Card-এ বাংলা নেই, মূল্যায়ন নেই, তাই একমাত্র ভরসা নিজের label দেওয়া ডেটা। একই ২০টি রিভিউয়ে পর্ব ৬৭-এর baseline-ও চালানো হলো: একই clean() আর tok(), unigram TF-IDF আর LinearSVC, ১১৯টি পুরোনো রিভিউয়ে train (ডেস্কটপে, scikit-learn 1.8.0 দিয়ে)। দুটির ফল নিচের CSV-তে, ডেস্কটপ run থেকে হুবহু: hf_top pretrained model-এর জয়ী label, pos/neu/neg তার score, tfidf baseline-এর উত্তর।

Model-এর তিনটি label, আমাদের দুটি। তাই একটি নিয়ম আগে থেকে ঠিক করা দরকার (ফল দেখার আগে): neutral জিতলে pos আর neg-এর বড়টি। তারপর macro F1 (পর্ব ৬০), confusion matrix, আর লিপি অনুযায়ী ভাগ:

import re
import pandas as pd
from sklearn.metrics import f1_score, confusion_matrix

df = pd.read_csv("desktop_preds.csv")          # ডেস্কটপ run-এর আসল ফল
# label mapping: model-এর ৩টি label → আমাদের ২টি; neutral হলে pos আর neg-এর বড়টি
def to_binary(r):
    if r["hf_top"] != "neutral":
        return r["hf_top"]
    return "positive" if r["pos"] >= r["neg"] else "negative"
df["hf"] = df.apply(to_binary, axis=1)
print("neutral সবচেয়ে বড় ছিল:", (df["hf_top"] == "neutral").sum(), "বার")

labels = ["negative", "positive"]
for col in ["hf", "tfidf"]:
    f1 = f1_score(df["label"], df[col], average="macro")
    cm = confusion_matrix(df["label"], df[col], labels=labels)
    print(f"\n{col:<6} macro F1 {f1:.3f} | ঠিক {(df[col] == df['label']).sum()}/20")
    print("         pred neg  pred pos")
    for lab, row in zip(labels, cm):
        print(f"  {lab[:3]}  {row[0]:>8} {row[1]:>9}")

BN = f"[{chr(0x0980)}-{chr(0x09FF)}]"
df["script"] = ["bangla" if re.search(BN, t) else "latin" for t in df["text"]]
for col in ["hf", "tfidf"]:
    df[col + "_ok"] = df[col] == df["label"]
print("\nলিপি অনুযায়ী ঠিক:")
print(df.groupby("script")[["hf_ok", "tfidf_ok"]].agg(["sum", "count"]))
both = df[~df["hf_ok"] & ~df["tfidf_ok"]]
print("\nদুটিই ভুল:", *[t[:36] for t in both["text"]], sep="\n  ")
conf = df[["pos", "neg"]].max(axis=1)
print(f"\nhf-এর জয়ী score-এর গড়: ঠিকগুলোতে {conf[df.hf_ok].mean():.2f}, ভুলগুলোতে {conf[~df.hf_ok].mean():.2f}")

neutral সবচেয়ে বড় ছিল: 0 বার

hf     macro F1 0.642 | ঠিক 13/20
         pred neg  pred pos
  neg         5         5
  pos         2         8

tfidf  macro F1 0.700 | ঠিক 14/20
         pred neg  pred pos
  neg         7         3
  pos         3         7

লিপি অনুযায়ী ঠিক:
       hf_ok       tfidf_ok      
         sum count      sum count
script                           
bangla     5    10        7    10
latin      8    10        7    10

দুটিই ভুল:
  দাম অনুযায়ী মান খারাপ না, আবার কিনব
  বাহ, অর্ডার করলাম জুতা, এলো খালি বাক
  Thanks a lot for sending a broken bo
  ডিমগুলো তাজা, একটাও ভাঙা ছিল না

hf-এর জয়ী score-এর গড়: ঠিকগুলোতে 0.52, ভুলগুলোতে 0.59

Label mapping-এর তিনটি ফাঁদ

• ক্রম আলাদা: এই model-এ ঘর ০ = positive; অনেক model-এ ০ = negative. ঘর নম্বর ধরে কোড লিখলে ফল উল্টে যায়, error ছাড়াই। সবসময় model.config.id2label ছাপিয়ে দেখুন।
• নামহীন label: কেউ id2label না লিখে আপলোড করলে pipeline দেখায় LABEL_0, LABEL_1. কোনটি কী, card না পড়ে বা নিজের ডেটায় না মিলিয়ে বলা যায় না।
• ভিন্ন মাপকাঠি: কিছু model ১ থেকে ৫ star বলে (যেমন nlptown/bert-base-multilingual-uncased-sentiment, card অনুযায়ী ছয় ভাষার পণ্য-রিভিউয়ে train), কিছু পাঁচ ধাপ (Very Negative … Very Positive), কিছু তিন। ৩ star negative না neutral, সেটি আপনার ব্যবসার সিদ্ধান্ত; ফল দেখার আগে লিখে রাখুন, নইলে নিয়ম বদলে ফল ভালো দেখানোর প্রলোভন আসে।

Domain shift. এই model-এর ছাত্রজীবন কেটেছে ১২টি ভাষার লেখায়, শিক্ষকের অনুমান দেখে; বাংলা নেই, Banglish তো নেই-ই, আর পণ্য-রিভিউয়ের ব্যঙ্গও হয়তো কম। ব্যবহারের ডেটা training-এর থেকে আলাদা হলে (distribution shift-এর একটি রূপ) মান কমা স্বাভাবিক। গ্রাহকের ভাষাও সময়ের সঙ্গে বদলায়, তাই চালুর পরেও নিয়মিত নমুনা মাপা দরকার (পর্ব ৭২-এ)।

৮ · নিজের ডেটায় মানানো — embedding feature আর head-only fine-tune

Model-এর label আমাদের কাজে না মিললেও ভেতরের vector কাজে লাগতে পারে। পথ দুটি, দুটিই সত্যিকারের run, CPU-তে।

ক) Embedding-কে scikit-learn-এর feature বানানো। Body freeze, প্রতিটি রিভিউয়ের token-vector-গুলোর গড় (mean pooling, padding বাদ দিয়ে) নিয়ে ৭৬৮ মাপের একটি vector, তার ওপর পর্ব ৫৯-এর logistic regression. মূল্যায়ন দুইভাবে: ১১৯টি পুরোনো রিভিউয়ে পর্ব ৬৭-এর হুবহু ৫টি fold, আর ১১৯টিতে train করে ২০টি নতুনে। Embedding আর vector দিয়ে খোঁজা নিয়ে বিস্তারিত পর্ব ৬৯ (Embedding আর vector search — অর্থ দিয়ে খোঁজা)-এ।

@torch.no_grad()
def embed(tok, model, texts):
    enc = tok(texts, padding=True, truncation=True, max_length=64, return_tensors="pt")
    h = model(**enc).last_hidden_state                     # (n, token, 768)
    m = enc["attention_mask"].unsqueeze(-1).float()
    return ((h * m).sum(1) / m.sum(1)).numpy()              # padding বাদে গড়

model = AutoModel.from_pretrained(mid, revision=rev).eval()  # head ছাড়া, শুধু body
Xtr, Xte = embed(tok, model, train_texts), embed(tok, model, new_texts)
cvs = cross_val_score(LogisticRegression(max_iter=2000), Xtr, y, cv=cv, scoring="f1_macro")

~/bazarghar-ai$ python embed_features.py
[transformers] DistilBertModel LOAD REPORT from: lxyuan/distilbert-base-multilingual-cased-sentiments-student
Key                   | Status     |
pre_classifier.weight | UNEXPECTED |
classifier.bias       | UNEXPECTED | …
- UNEXPECTED:	can be ignored when loading from different task/architecture; not ok if you expect identical arch.
distilbert-multilingual (sentiment student): shape (119, 768), embed 139 reviews 0.9 s, [UNK] in 20 new: 4
   5-fold CV macro F1 on 119: 0.670 ± 0.099 | 20 new: 0.749
[transformers] BertModel LOAD REPORT from: sagorsarker/bangla-bert-base   … (7টি cls.* UNEXPECTED)
bangla-bert-base: shape (119, 768), embed 139 reviews 1.2 s, [UNK] in 20 new: 74
   5-fold CV macro F1 on 119: 0.676 ± 0.090 | 20 new: 0.600

খ) Head-only fine-tune. একই কাজ PyTorch-এ: সব ওজন freeze, শুধু শেষের classifier head বদলে ২ label-এর নতুন একটি linear layer, ১১৯টি রিভিউয়ে ৩০ ধাপ (পুরো ডেটা একবারে, AdamW, learning rate 0.001 দিয়ে)। সেটিং ফল দেখার আগে বাছা, আর ২০টি নতুন রিভিউ শুধু শেষে একবার:

for p in model.parameters():                  # সব ওজন freeze
    p.requires_grad = False
model.classifier = torch.nn.Linear(768, 2)    # নতুন head, এটিই শিখবে
opt = torch.optim.AdamW(model.classifier.parameters(), lr=1e-3)
for epoch in range(1, 31):
    loss = torch.nn.functional.cross_entropy(model(**Xtr).logits, ytr)
    opt.zero_grad(); loss.backward(); opt.step()

~/bazarghar-ai$ python head_finetune.py
trainable 1,538 of 135,326,210 parameters (0.0011%)
epoch  1: train loss 0.673, train acc 0.54
epoch 10: train loss 0.609, train acc 0.64
epoch 20: train loss 0.595, train acc 0.61
epoch 30: train loss 0.584, train acc 0.63
30 epochs on CPU: 20 s
20 new reviews, macro F1: 0.596

৯ · আকার, গতি আর supply chain — বাছাইয়ের শেষ ছাঁকনি

Memory আর latency. float32-এ প্রতিটি parameter ৪ byte, তাই ১৩.৫ কোটি parameter মানে প্রায় ৫৪১ MB, শুধু ওজন; চালানোর সময় এর ওপর বাড়তি memory লাগে। Quantization ওজনকে কম bit-এ রাখে। PyTorch-এর dynamic int8 quantization দিয়ে একটি সত্যিকারের run (এক মেশিন):

~/bazarghar-ai$ python timing.py
params 135,326,979 | fp32 state_dict 541 MB
fp32: median 7.2 ms/review, max 15.9 ms
fp32 batch of 20: 113 ms
quantize_dynamic warnings: ['DeprecationWarning: torch.ao.quantization is deprecated and will be removed in 2.10. …', 'DeprecationWarning: …', 'UserWarning: torch.quantize_per_tensor, torch.quantize_per_channel and other quantized tensor creation …']
int8 dynamic: state_dict 412 MB | median 28.8 ms/review, max 51.0 ms
same top label, fp32 vs int8: 18 / 20

নিচের ব্লক মাপা সংখ্যা থেকে একটি মোটা বাজেট বানায়: কোন precision-এ কত memory, আর encoder model-এ কাজের পরিমাণ মোটামুটি ২ × (embedding বাদে parameter) × token ধরে latency-র আন্দাজ। ১B আর ৭B model দুটি কাল্পনিক, শুধু আকার বোঝাতে।

BYTES = {"fp32": 4, "fp16": 2, "int8": 1, "int4": 0.5}     # এক parameter-এ কত byte
# (মোট parameter, embedding-টেবিলের parameter); প্রথম দুটি safetensors header গুনে
models = {"distilbert-multilingual": (135_326_979, 91_812_096 + 393_216),
          "bangla-bert-base":        (165_092_235, 78_355_200 + 393_216 + 1_536),
          "কাল্পনিক 1B model":        (1_000_000_000, 0),
          "কাল্পনিক 7B model":        (7_000_000_000, 0)}
MB = 1024 ** 2
print(f"{'model':<24}" + "".join(f"{p:>9}" for p in BYTES) + "   (MiB, শুধু ওজন)")
for name, (total, emb) in models.items():
    print(f"{name:<24}" + "".join(f"{total * b / MB:>9,.0f}" for b in BYTES.values()))

# Latency-র মোটা অনুমান: encoder-এ কাজ ≈ 2 × (embedding বাদে parameter) × token
measured_ms, measured_tokens = 7.2, 16          # ডেস্কটপে মাপা: এক রিভিউয়ের median
total, emb = models["distilbert-multilingual"]
flop_per_ms = 2 * (total - emb) * measured_tokens / measured_ms
print(f"\nembedding-এর ভাগ: {emb / total:.0%} | মাপা হার ≈ {flop_per_ms / 1e6:,.0f} MFLOP/ms")
for name in ["distilbert-multilingual", "bangla-bert-base"]:
    total, emb = models[name]
    for tokens in (16, 128):
        ms = 2 * (total - emb) * tokens / flop_per_ms
        print(f"  {name:<24} {tokens:>3} token ≈ {ms:6.1f} ms")

budget_mb, daily = 1024, 5000                    # কাল্পনিক server: 1 GB, দিনে ৫০০০ রিভিউ
for name, (total, emb) in models.items():
    fits = [p for p, b in BYTES.items() if total * b / MB * 1.3 <= budget_mb]   # 30% বাড়তি
    print(f"{name:<24} 1 GB-তে চলে: {fits or 'কোনোটিই না'}")
print(f"দিনে {daily} রিভিউ × 7.2 ms ≈ {daily * 7.2 / 1000:.0f} s CPU সময়")

model                        fp32     fp16     int8     int4   (MiB, শুধু ওজন)
distilbert-multilingual       516      258      129       65
bangla-bert-base              630      315      157       79
কাল্পনিক 1B model           3,815    1,907      954      477
কাল্পনিক 7B model          26,703   13,351    6,676    3,338

embedding-এর ভাগ: 68% | মাপা হার ≈ 192 MFLOP/ms
  distilbert-multilingual   16 token ≈    7.2 ms
  distilbert-multilingual  128 token ≈   57.6 ms
  bangla-bert-base          16 token ≈   14.4 ms
  bangla-bert-base         128 token ≈  115.3 ms
distilbert-multilingual  1 GB-তে চলে: ['fp32', 'fp16', 'int8', 'int4']
bangla-bert-base         1 GB-তে চলে: ['fp32', 'fp16', 'int8', 'int4']
কাল্পনিক 1B model        1 GB-তে চলে: ['int4']
কাল্পনিক 7B model        1 GB-তে চলে: কোনোটিই না
দিনে 5000 রিভিউ × 7.2 ms ≈ 36 s CPU সময়

Supply chain-এর ঝুঁকি। Model নামানো মানে অন্যের ফাইল আপনার server-এ আনা।

• Typosquatting: sagorsarker/bangla-bert-base-এর বদলে sagorsarkar/bangla-bert-base বা bangla-bert-bse: এক অক্ষরের ভুলে অন্য কারও repository. PyPI-তে এমন হামলা বহুবার প্রকাশিত; model hub-এও একই ঝুঁকি। Model id হাতে টাইপ না করে card-এর পাতা থেকে কপি করুন, মালিকের পরিচয় দেখুন, আর commit pin করুন।
• trust_remote_code=True: কিছু repository-তে নিজস্ব স্থাপত্যের Python ফাইল থাকে, যা চালাতে এই option লাগে। True দেওয়া মানে repository-র কোড আপনার মেশিনে চালানো, model-এর ওজন নয়। অচেনা বা যাচাই না করা repository-তে কখনো এটি চালু করবেন না। একান্ত দরকার হলে আগে কোড পড়ুন, commit pin করুন, আর আলাদা, বিচ্ছিন্ন পরিবেশে চালান। আমাদের দুটি model-এর কোনোটিতেই এটি লাগেনি।
• Default model: pipeline("sentiment-analysis") model না দিলে নিজে একটি বেছে নেয়। Offline-এ চালিয়ে দেখা গেল সত্যিকারের বার্তা: No model was supplied, defaulted to distilbert/distilbert-base-uncased-finetuned-sst-2-english and revision 714eb0f. Using a pipeline without specifying a model name and revision in production is not recommended. ইংরেজি সিনেমা-রিভিউয়ের model, বাংলায় অর্থহীন।

এবার সব ছাঁকনি একসঙ্গে। নিচের stepper-এ বাজারঘরের জন্য চারটি প্রার্থী, প্রতিটি সংখ্যা এই পর্বের সত্যিকারের run থেকে:

Pretrained model বাছাইয়ের চেকলিস্ট

1. কাজ আর মাপ লিখুন: label-এর সংজ্ঞা, ব্যবহারের ভাষা ও লিপি, metric, ফল দেখার আগেই।
2. Licence: tag নয়, পুরো লেখা; বাণিজ্যিক ব্যবহার, বদল, নিষেধ; base model, teacher আর dataset-এর licence-ও।
3. Card ও dataset card: ভাষা, training ডেটা, উদ্দিষ্ট ব্যবহার, মূল্যায়ন কিসের সঙ্গে, সীমা; যা লেখা নেই তা-ও নোট করুন।
4. ফাইল ও উৎস: সঠিক মালিক, safetensors আছে কি না, অপ্রত্যাশিত .py ফাইল, trust_remote_code লাগে কি না।
5. Pin: commit hash, library-র version, প্রয়োজনে offline cache.
6. Tokenizer যাচাই: নিজের কয়েকটি বাক্য tokenize করে [UNK] আর অস্বাভাবিক টুকরো দেখুন।
7. নিজের ডেটায় মূল্যায়ন: সহজ baseline-এর পাশে, একই ভাগে, লিপি বা দল অনুযায়ী আলাদা করে; id2label মিলিয়ে।
8. খরচ: memory, latency, আর ব্যবহারের পর নজরদারি কে করবে।

১০ · AI-এর যুগে — AI assistant-এর দেওয়া Hugging Face কোড যাচাই

“বাংলা sentiment-এর জন্য একটা Hugging Face model দিয়ে কোড লিখে দাও” বললে AI assistant কয়েক সেকেন্ডে কোড দেয়। এই পর্বের run-গুলো দেখায় কোথায় সাবধান হতে হবে:

• Model id Hub-এর পাতা থেকে কপি করেছি, মালিক আর licence নিজে পড়েছি, base model ও dataset-এর licence-ও দেখেছি
• revision-এ commit hash দিয়েছি, library-র version requirements-এ লিখেছি
• safetensors নিয়েছি, trust_remote_code বন্ধ, অচেনা pickle খুলিনি
• নিজের কয়েকটি বাক্য tokenize করে [UNK] দেখেছি, id2label ছাপিয়েছি
• নিজের label দেওয়া ডেটায়, baseline-এর পাশে, ফল দেখার আগে ঠিক করা নিয়মে মেপেছি; warning চেপে রাখিনি
• আসল গ্রাহকের ব্যক্তিগত তথ্য AI assistant-এ পেস্ট করিনি