Instruction tuning — SFT ডেটা, chat template আর ফরম্যাট

১ · Base model বনাম instruct model — একই প্রশ্নে দুই আচরণ

একজন নতুন কর্মীর কথা ভাবুন, যিনি গোটা পাঠাগারের বই পড়ে ফেলেছেন, কিন্তু কোনো দিন দোকানের কাউন্টারে দাঁড়াননি। প্রশ্ন শুনলে তিনি হয়তো আরও কয়েকটি প্রশ্ন লিখে প্রশ্নপত্র সাজাতে বসবেন, কারণ বইয়ে প্রশ্নের পরে প্রায়ই প্রশ্নই থাকে। তাঁর দরকার হাতে-কলমে প্রশিক্ষণ: নমুনা কথোপকথন, যেখানে দেখানো হয় ছোট করে উত্তর দিয়ে থামতে হয়। Pretrained language model হলো সেই বইপড়া কর্মী, যাকে বলে base model; আর হাতে-কলমের প্রশিক্ষণটি instruction tuning, যার মূল পদ্ধতি supervised fine-tuning (SFT).

Base model কীভাবে পরের token অনুমান করে, তা AI-এর ভিত্তি কোর্সের পর্ব ৭০ আর এই কোর্সের পর্ব ৪৬ ও পর্ব ৪৯-এ দেখেছেন। এই পর্বের প্রশ্ন: কী দেখালে, কোন loss-এ শেখালে model নির্দেশ মেনে উত্তর দেয়, আর কীভাবে বুঝবেন শেখাটা কাজ করেছে।

এবার আসল দুটি model, একই প্রশ্নে। Base model-কে দেওয়া হলো সাধারণ লেখা, “প্রশ্ন: … উত্তর:”; instruct model-কে তার chat template আর একটি ছোট system prompt (“আপনি বাজারঘর অনলাইন দোকানের সাপোর্ট সহকারী। ছোট করে, বাংলায় উত্তর দিন।”)। সর্বোচ্চ ৬০টি নতুন token; seed None মানে greedy, ১ আর ২ মানে temperature ০.৭, top-p ০.৯-এ নমুনা নেওয়া (পর্ব ৫০)। সত্যিকারের run, GPU-তে; লেখা হুবহু, শুধু কয়েকটি সারি বাদ:

~/bazarghar-dl$ uv run python run1.py base      # Qwen/Qwen2.5-0.5B, "প্রশ্ন: … উত্তর:"
[seed None] [ended False] Q: রাজশাহীতে ডেলিভারি কতদিনে হয়?
  A: রাজশাহীতে ডেলিভারি কতদিনে হয় 10 বছর। রাজশাহী সেনার সাথে
[seed 2] [ended True] Q: রাজশাহীতে ডেলিভারি কতদিনে হয়?
  A: ৩০ বছর।
[seed None] [ended False] Q: শাড়ি পছন্দ হয়নি, ফেরত দিতে পারব?
  A: শাড়ি পছন্দ হয়নি, ফেরত দিতে পারবেনি। শাড়ি পছন্দ হয়নি
[seed 2] [ended False] Q: বাংলাদেশের রাজধানীর নাম কী?
  A: বাংলাদেশের রাজধানীর নাম কী?
১. প্রশ্ন: বাংলাদেশের রাজধান�
peak alloc 965 MiB | 98 s
~/bazarghar-dl$ uv run python run1.py inst      # Qwen/Qwen2.5-0.5B-Instruct, chat template
[seed None] [ended False] Q: রাজশাহীতে ডেলিভারি কতদিনে হয়?
  A: এই আমি একটি গুরুত্বপূর্ণ মৌসুম। আমি একটি শব্দ লিখছি যা �
[seed 2] [ended False] Q: শাড়ি পছন্দ হয়নি, ফেরত দিতে পারব?
  A: মনে করা গেছে, আপনি এখন শাড়ি পছন্দ থেকে চাঁদ করতে চানি। কী
[seed None] [ended True] Q: বাংলাদেশের রাজধানীর নাম কী?
  A: বাংলাদেশের রাজধানীর নাম "স্থান" (Sthan) হচ্ছে।
[seed 1] [ended True] Q: বাংলাদেশের রাজধানীর নাম কী?
  A: বাংলাদেশের রাজধানীর নাম "রাষ্ট্র আসম" (राश्ट्र आसम) ।

অংশ ৬–৮-এ এই দুটি model-এর ওপর LoRA দিয়ে নিজের SFT চালিয়ে মাপব, ঠিক কী শেখে আর কী শেখে না।

২ · SFT ডেটার ফরম্যাট — নির্দেশ, prompt–completion আর messages

নতুন বিক্রয়কর্মীকে শেখানোর সবচেয়ে কাজের উপায় হলো নমুনা কথোপকথনের একটি খাতা: বাঁ পাশে গ্রাহক কী বললেন, ডান পাশে ভালো উত্তর কেমন হয়। SFT-এর ডেটা ঠিক এই খাতা। প্রশ্ন হলো, খাতার পাতাগুলো কোন ছাঁচে লেখা হবে। প্রচলিত ছাঁচ তিনটি:

# নমুনা: তিন ধরনের একটি করে সারি (JSON)
১. নির্দেশ–ইনপুট–আউটপুট (Alpaca-ধাঁচ)
{"instruction": "গ্রাহকের প্রশ্নের উত্তর দিন", "input": "রাজশাহীতে ডেলিভারি কতদিনে?",
 "output": "ঢাকার বাইরে ৩–৫ দিন লাগে, চার্জ ১২০ টাকা।"}
২. prompt–completion
{"prompt": [{"role": "user", "content": "রাজশাহীতে ডেলিভারি কতদিনে?"}],
 "completion": [{"role": "assistant", "content": "ঢাকার বাইরে ৩–৫ দিন লাগে, চার্জ ১২০ টাকা।"}]}
৩. conversational (messages), একাধিক পালা
{"messages": [{"role": "system", "content": "আপনি বাজারঘরের সাপোর্ট সহকারী।"},
              {"role": "user", "content": "হ্যালো।"},
              {"role": "assistant", "content": "কীভাবে সাহায্য করতে পারি?"},
              {"role": "user", "content": "রাজশাহীতে ডেলিভারি কতদিনে?"},
              {"role": "assistant", "content": "ঢাকার বাইরে ৩–৫ দিন লাগে, চার্জ ১২০ টাকা।"}]}

প্রথমটি ২০২৩ সালের Stanford Alpaca-র ডেটায় জনপ্রিয় হয়েছিল; “input” ফাঁকাও থাকতে পারে। দ্বিতীয় আর তৃতীয়টি TRL-এর নথিতে দেওয়া ছাঁচ (২০২৬ সালের নভেম্বরে নথিতে যেমন দেখা গেছে)। আজকের chat model-এর জন্য তৃতীয়টি, conversational format, সবচেয়ে স্বাভাবিক: এতে system prompt আর multi-turn কথোপকথন সরাসরি ধরা যায়। TRL-এর SFTTrainer এমন ডেটা পেলে নিজেই model-এর chat template বসায়। Template কীভাবে বার্তাকে লেখা বানায়, আর generation prompt কেন লাগে, তা পর্ব ৫২-এ দেখেছেন; এখানে দেখব training-এর দিক।

এই পর্বের ডেটার একটি দুই-পালার উদাহরণ, Qwen2.5-এর template-এ। সত্যিকারের run, CPU-তে:

~/bazarghar-dl$ uv run python show_example.py      # আউটপুট একটু ছাঁটা
base tokenizer: The chat template is not training-compatible (missing prefix-preservation or `{% generatio ...
same vocab: True | eos base/instruct: <|endoftext|> <|im_end|>
<|im_start|>system
আপনি বাজারঘর অনলাইন দোকানের সাপোর্ট সহকারী। ছোট করে, বাংলায় উত্তর দিন।<|im_end|>
<|im_start|>user
শুভ সকাল।<|im_end|>
<|im_start|>assistant
ওয়ালাইকুম আসসালাম! কীভাবে সাহায্য করতে পারি?<|im_end|>
<|im_start|>user
আমার পাঞ্জাবি এখন কোথায়?<|im_end|>
<|im_start|>assistant
অ্যাপের “আমার অর্ডার” পাতায় অর্ডার নম্বর 93924 দিলে অবস্থা দেখতে পাবেন। — বাজারঘর সাপোর্ট<|im_end|>

tokens 278 | in loss 145
  system    tokens  82 | in loss   0
  user      tokens  15 | in loss   0
  assistant tokens  53 | in loss  51
  user      tokens  32 | in loss   0
  assistant tokens  96 | in loss  94
first in-loss tokens: ['<|im_start|>', 'assistant', '\n', 'ও', 'য'] | last: ['�', '<|im_end|>', '\n'] [1, 1, 1]
বাজারঘর -> 8 tokens, 7 chars
set: 118 conversations | tokens 27504 | in loss 12675 (46.1%)

বাংলা এখানে দামি: “বাজারঘর” ৭টি অক্ষর, কিন্তু ৮টি token, কারণ Qwen-এর byte-level BPE (পর্ব ৪০) বাংলার অনেক অক্ষরকে byte-এর টুকরোয় ভাঙে। তাই বাংলা SFT-এ max_length আর memory-র হিসাব আগে করুন।

৩ · শুধু উত্তরে loss — prompt-এর token-এ −১০০

পরীক্ষার খাতা দেখার সময় শিক্ষক প্রশ্ন অংশে নম্বর দেন না; প্রশ্ন তো ছাপা ছিল। নম্বর শুধু উত্তরে। SFT-এর loss-ও তাই হওয়া উচিত। SFT-এর loss আসলে pretraining-এর সেই পুরোনো পরের-token-এর cross-entropy (পর্ব ৪৬); বদল শুধু কোন token গোনা হবে তাতে:

L = − (১ / |A|) · ∑_{t ∈ A} log p_θ(x_t | x_<t)

এখানে x_t হলো t-তম token, x_<t তার আগের সব token (system, প্রশ্ন, আগের পালা সবই), p_θ model-এর দেওয়া সম্ভাবনা, আর A হলো সেই অবস্থানগুলোর সেট যেগুলো assistant নিজে লেখে; |A| তাদের সংখ্যা। Prompt-এর token প্রসঙ্গ হিসেবে x_<t-এ আছে, কিন্তু যোগফলে নেই। কোডে এটি করার উপায় পর্ব ৫৪-এর NER-এর সেই কৌশল: label-এর ঘরে −১০০, অর্থাৎ PyTorch-এর ignore_index. এই নিয়মের নাম assistant-only loss, বা prompt masking.

একই হিসাব NumPy-তে। Template খেলনা, কিন্তু কোন ঘর বাদ পড়ে তা TRL-এর Qwen2.5 training template-এর মতোই রাখা (অংশ ২-এর সত্যিকারের run মিলিয়ে)।

import numpy as np
msgs = [("system", "ছোট করে উত্তর দিন"),
        ("user", "হ্যালো"),
        ("assistant", "কীভাবে সাহায্য করতে পারি?"),
        ("user", "রাজশাহীতে ডেলিভারি কতদিনে?"),
        ("assistant", "৩–৫ দিনে, চার্জ ১২০ টাকা")]
def render(msgs):             # খেলনা chat template, এক শব্দ = এক token
    toks, turn = [], []
    for k, (role, text) in enumerate(msgs):
        body = ["⏎"] + text.split() + ["</s>", "⏎"]
        toks += ["<s>", role] + body         # <s> = <|im_start|>, </s> = <|im_end|>
        mine = k + 1 if role == "assistant" else 0
        turn += [0, 0] + [mine] * len(body)  # header কখনো loss-এ নয়
    return toks, np.array(turn)

toks, turn = render(msgs)
vocab = {t: i for i, t in enumerate(dict.fromkeys(toks))}
ids = np.array([vocab[t] for t in toks])
labels = np.where(turn > 0, ids, -100)       # prompt-এর ঘরে -100
print("মোট token:", len(ids), "| loss-এ:", int((labels != -100).sum()))
pairs = [f"{t}:{l}" for t, l in zip(toks, labels)]
for i in range(24, len(pairs), 5):           # দ্বিতীয় user পালা থেকে শেষ
    print("  ", " ".join(pairs[i:i + 5]))
print("শুধু শেষ উত্তরে loss:", int((turn == turn.max()).sum()), "token")
# model-এর ভেতরে এক ঘর সরানো: position t-এর logit অনুমান করে token t+1
y = labels[1:]
print("loss-এ যাওয়া (input, target) জোড়া:", int((y != -100).sum()))
first = int(np.argmax(y != -100))
print("প্রথম জোড়া:", toks[first], "->", toks[first + 1])

TRL-এ এটি কীভাবে হয়. SFTConfig(assistant_only_loss=True) দিলে TRL template-কে দিয়ে প্রতিটি token-এর পাশে একটি assistant mask চায় (return_assistant_tokens_mask=True). Template-এর ভেতরে {% generation %} … {% endgeneration %} চিহ্নের ভেতরের লেখাই mask-এ ১ পায়। এই generation marker বেশির ভাগ আসল template-এ থাকে না; TRL-এর নথি অনুযায়ী (২০২৬ সালের নভেম্বরে, TRL 1.17.1) Qwen2.5, Llama 3, Gemma-সহ পরিচিত পরিবারের জন্য TRL নিজের চিহ্নওয়ালা template বসায়, অন্য model-এ নিজে বদলাতে হয়। Prompt–completion ডেটায় আলাদা নিয়ম: সেখানে ডিফল্টেই শুধু completion-এ loss (completion_only_loss).

৪ · Mask না করলে কী হয় — loss-এর হিসাব

Mask না করলে loss-এ prompt-এর token-ও ঢোকে। তাতে দুটি জিনিস বদলায়। প্রথমত, gradient-এর বড় অংশ যায় prompt মুখস্থ করায়; অংশ ২-এ দেখেছেন, এই ডেটায় token-এর অর্ধেকের বেশি prompt. দ্বিতীয়ত, log-এ যে loss দেখেন তা আর উত্তরের মান মাপে না। নিচের খেলনা হিসাবে ৪টি উদাহরণ আর দুটি কাল্পনিক checkpoint: X system prompt প্রায় মুখস্থ করেছে, কিন্তু উত্তরে দুর্বল; Y উত্তরে ভালো। প্রতিটি token-এর −log p একটি seed-বাঁধা gamma বণ্টন থেকে নেওয়া।

import numpy as np
rng = np.random.default_rng(56)
# ৪টি উদাহরণ: (system+প্রশ্নের token, উত্তরের token)
lens = [(38, 12), (41, 9), (36, 30), (44, 6)]
def nll(prompt_nll, ans_nll):       # প্রতিটি token-এর −log p, খেলনা মান
    return [(rng.gamma(4, prompt_nll / 4, p), rng.gamma(4, ans_nll / 4, a))
            for p, a in lens]
def losses(batch):
    P = np.concatenate([p for p, a in batch]); A = np.concatenate([a for p, a in batch])
    full = np.concatenate([P, A]).mean()          # সব token-এর গড়
    ans_tok = A.mean()                            # শুধু উত্তর, token-এর গড়
    ans_ex = np.mean([a.mean() for p, a in batch])  # শুধু উত্তর, উদাহরণের গড়
    share = A.sum() / (P.sum() + A.sum())         # মোট loss-এ উত্তরের ভাগ
    return full, ans_tok, ans_ex, share
ckpt = {"X: prompt মুখস্থ": nll(0.3, 2.2),        # system prompt প্রায় মুখস্থ
        "Y: উত্তর ভালো": nll(1.3, 1.1)}
print("checkpoint            full  ans/token  ans/example  উত্তরের ভাগ")
for name, b in ckpt.items():
    f, at, ae, s = losses(b)
    print(f"{name:20} {f:5.3f}  {at:9.3f}  {ae:11.3f}  {s:10.1%}")
n_p = sum(p for p, a in lens); n_a = sum(a for p, a in lens)
print(f"token: prompt {n_p}, উত্তর {n_a} | উত্তর মোটের {n_a / (n_p + n_a):.0%}")
w = np.array([a for p, a in lens]) / n_a
print("token-গড়ে প্রতিটি উদাহরণের ওজন:", np.round(w, 2))

খেলনার বাইরে আসল model-এ পার্থক্য কেমন? একই ডেটা, একই সেটিং, শুধু assistant_only_loss বদলে দুটি run অংশ ৭-এর টেবিলে আছে। ফল মিশ্র: instruct-এ শুধু উত্তরে loss দিয়ে তথ্য-স্কোর ০.১৬, পুরো সারিতে ০.০৫; base-এ উল্টো, ০.২১ বনাম ০.৩৭. একটি seed আর ১৯টি প্রশ্নে এ থেকে রায় হয় না। একটি জিনিস দুই model-এই একমুখী: পুরো সারিতে loss দিলে বাইরের বিষয়ের প্রশ্নে সাপোর্টের ছাঁচ আরও বেশি চেপে বসেছে (৮-এর ৭ আর ৮টি)।

৫ · পরিমাণের চেয়ে মান — LIMA, পরিষ্কার করা আর synthetic ডেটা

রান্না শেখানোর বইয়ে দশটি যত্নে লেখা রেসিপি এক হাজারটি ভুলে ভরা রেসিপির চেয়ে বেশি কাজের। SFT-এর ডেটা নিয়েও একই কথা বারবার উঠেছে। Zhou ও সহকর্মীদের ২০২৩ সালের LIMA (“Less Is More for Alignment”) প্রবন্ধে ৬৫B parameter-এর একটি LLaMa model মাত্র ১,০০০টি বাছাই করা প্রশ্ন-উত্তরে সাধারণ supervised loss দিয়ে শেখানো হয়। তাঁদের মানুষ-মূল্যায়নে LIMA-র উত্তর ৪৩% ক্ষেত্রে GPT-4-এর সমান বা ভালো বলে বিচার হয়েছিল। তাঁদের উপসংহার: model-এর জ্ঞানের প্রায় সবটাই আসে pretraining থেকে, আর instruction tuning মূলত শেখায় কোন ধরনে উত্তর দিতে হবে। এটিকে প্রায়ই “superficial alignment hypothesis” বলা হয়।

দাবিটি সাবধানে পড়ুন: পরীক্ষাটি একটি বড় base model-এ, ইংরেজি ডেটায়, তাঁদের নিজেদের প্রশ্নের সেটে। ছোট model বা কম-রিসোর্সের ভাষায় কত উদাহরণ লাগবে, তা আলাদা প্রশ্ন। তবে মূল শিক্ষা এখানেও খাটে: পরিচ্ছন্নতা আর বৈচিত্র্য সংখ্যার চেয়ে বেশি গুরুত্বপূর্ণ।

Synthetic data-র শর্ত. অন্য model দিয়ে ডেটা বানানো সস্তা, কিন্তু তিনটি জিনিস সঙ্গে আসে। এক, উৎস model-এর ভুল আর hallucination, যা নতুন model নকল করে। দুই, ব্যবহারের শর্ত: Alpaca-র ঘোষণায় বাণিজ্যিক ব্যবহার নিষেধ, কারণ LLaMA-র non-commercial লাইসেন্স আর OpenAI-এর শর্ত (প্রতিযোগী model বানানো নিষেধ)। বহু hosted সেবার শর্তে আউটপুট দিয়ে model শেখানো নিয়ে নিয়ম আছে, আর তা বদলায়; ব্যবহারের আগে সেই সময়ের শর্ত পড়ুন, এই পর্ব আইনি পরামর্শ নয়। তিন, একঘেয়েমি: একই model-এর লেখা হাজার উদাহরণ একই সুরে কথা বলে। এই পর্বের ডেটা কোনো LLM দিয়ে নয়, seed-বাঁধা Python template দিয়ে বানানো; তারও সমস্যা আছে (অংশ ৮)।

পরিষ্কার করা. ডেটা হাতে পেলে প্রথম কাজ deduplication আর মান-ফিল্টার। এই পর্বের নিজের template-generator ১৪৪টি কথোপকথন বানিয়েছিল; হুবহু মিল সরাতেই থাকে ১১৮টি, অর্থাৎ প্রায় ১৮% ছিল পুনরাবৃত্তি। নিচের ছোট সেটে আরও কয়েকটি সাধারণ সমস্যা ইচ্ছা করে রাখা হয়েছে: ফাঁকা উত্তর, একই বাক্য পাঁচবার, ইংরেজি উত্তর, “একজন AI হিসেবে…” ধাঁচের অকেজো ছাঁচ, আর শুধু ফাঁকা জায়গা বা দাঁড়ির পার্থক্যওয়ালা near-duplicate. মিল মাপা হয়েছে অক্ষরের তিন-টুকরো (n-gram) সেটের Jaccard similarity দিয়ে: |A ∩ B| / |A ∪ B|.

import unicodedata
import pandas as pd
df = pd.read_csv("sft_raw.tsv", sep="\t", keep_default_na=False)
def norm(s):                     # NFC, ফাঁকা আর যতিচিহ্ন বাদ
    s = unicodedata.normalize("NFC", s)    # কার-চিহ্ন (Mc/Mn) রাখা হয়
    return "".join(c for c in s if unicodedata.category(c)[0] not in "PZS")
def grams(s, n=3):
    return {s[i:i + n] for i in range(max(1, len(s) - n + 1))}
def jacc(a, b):
    return len(a & b) / len(a | b)
def bangla_ratio(s):
    letters = [c for c in s if c.isalpha()]
    return sum("\u0980" <= c <= "\u09ff" for c in letters) / max(1, len(letters))
BAD = ["একজন AI হিসেবে", "As an AI"]
kept, why = [], []
for _, r in df.iterrows():
    a = r.answer.strip(); g = grams(norm(r.question + "|" + a))
    if not a: reason = "ফাঁকা উত্তর"
    elif len(a.split()) > 30: reason = f"অতি লম্বা ({len(a.split())} শব্দ)"
    elif bangla_ratio(a) < 0.5: reason = "উত্তর বাংলায় নয়"
    elif any(b in a for b in BAD): reason = "অকেজো ছাঁচ"
    else:
        sims = [(jacc(g, k[1]), k[0]) for k in kept]
        best = max(sims, default=(0, None))
        tag = "হুবহু" if best[0] == 1 else "প্রায় হুবহু"
        reason = f"{tag} #{best[1]} ({best[0]:.2f})" if best[0] >= 0.85 else ""
    if reason == "": kept.append((r.id, g))
    why.append(reason or "রাখা")
df["রায়"] = why
pd.set_option("display.width", 60)
print(df[["id", "রায়"]].to_string(index=False))
print("রাখা:", len(kept), "of", len(df))
print("#4 বনাম #9 মিল:", round(jacc(grams(norm(df.question[3] + "|" + df.answer[3])),
                                  grams(norm(df.question[8] + "|" + df.answer[8]))), 2))

৬ · বাজারঘরের সাপোর্ট-ডেটায় LoRA SFT — trl SFTTrainer

ডেটা. পুরোপুরি কাল্পনিক, seed-বাঁধা Python template দিয়ে বানানো, কোনো LLM দিয়ে নয়, কোনো আসল গ্রাহকের লেখা নয়। বাজারঘরের ৮টি নিয়ম (ঢাকার ভেতরে ১–২ দিন ও ৬০ টাকা, বাইরে ৩–৫ দিন ও ১২০ টাকা, ৭ দিনে ফেরত, ৫ কার্যদিবসে টাকা ফেরত, চার পেমেন্ট-মাধ্যম, “আমার অর্ডার” পাতায় বাতিল ও ট্র্যাক, ৪৮ ঘণ্টায় ভাঙা পণ্যের অভিযোগ), প্রতিটির ৩–৪টি প্রশ্ন-ছাঁচ আর ২টি উত্তর-ছাঁচ। প্রতিটি উত্তরের শেষে একটি স্থির স্বাক্ষর, “— বাজারঘর সাপোর্ট”. Dedup-এর পর ১১৮টি কথোপকথন, তার ২৪টি দুই-পালার; ১২টি validation, ১০৬টি train. Held-out প্রশ্নগুলো ইচ্ছা করে কঠিন: প্রশ্নের ছাঁচ নতুন (“…হাতে পেতে কয় দিন?”), পণ্য নতুন (প্রেশার কুকার, লুঙ্গি), জেলা নতুন (নোয়াখালী, পাবনা)। Generator ৩২টি বানিয়েছিল, কিন্তু অংশ ৫-এর একই dedup চালাতে দেখা গেল অনন্য মাত্র ১৯টি; ছোট template-এ পুনরাবৃত্তি এড়ানো কঠিন। তাই সব স্কোর এই ১৯টিতে। Train-এর প্রশ্নের সঙ্গে হুবহু মিল ০টি.

Training. TRL-এর SFTTrainer, PEFT-এর LoRA দিয়ে: সব linear layer-এ rank ১৬, alpha ৩২. LoRA কেন আর কীভাবে, তা পর্ব ৫৫-এর বিষয়; এখানে শুধু এটুকু যে মূল weight জমানো থাকে, শেখে মোট parameter-এর ১.৭৫%. নিচের কোড আসল ফাইল থেকে ছোট করা (GPU lock, সময় মাপা আর log ছাপানোর লাইন বাদ):

tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")  # base-এর template TRL চেনে না
cfg = SFTConfig(output_dir="ckpt", num_train_epochs=3, learning_rate=2e-4,
    per_device_train_batch_size=4, gradient_accumulation_steps=2,
    lr_scheduler_type="linear", warmup_steps=0.1, max_length=256, bf16=True,
    assistant_only_loss=True,          # শুধু উত্তরে loss; False দিলে পুরো সারি
    eos_token="<|im_end|>",           # পালা-শেষের token, থামার সংকেত
    gradient_checkpointing=True, eval_strategy="epoch", seed=42, report_to="none",
    model_init_kwargs={"dtype": torch.bfloat16})
lora = LoraConfig(r=16, lora_alpha=32, lora_dropout=0.05,
                  target_modules="all-linear", task_type="CAUSAL_LM")
trainer = SFTTrainer(model=MODEL, args=cfg, train_dataset=train_ds,   # {"messages": [...]}
                     eval_dataset=val_ds, processing_class=tok, peft_config=lora)
trainer.train()
trainer.model.save_pretrained("adapters/inst_ao_e3_s42")          # শুধু LoRA-র weight

~/bazarghar-dl$ uv run python run2.py inst_ao_e3_s42 inst_full_e3_s42 ...   # log ছাঁটা
[inst_ao_e3_s42] columns ['messages', 'input_ids', 'labels'] | rows 106 | tokens 23937 | in loss 10613
[inst_ao_e3_s42] trainable 8798208 of 502830976 (1.75%)
[inst_ao_e3_s42] epoch 1 eval_loss 0.4942
[inst_ao_e3_s42] epoch 2 eval_loss 0.2205
[inst_ao_e3_s42] epoch 3 eval_loss 0.1406
[inst_ao_e3_s42] train 36 s | peak alloc 2347 MiB
[inst_full_e3_s42] columns ['messages', 'input_ids', 'labels'] | rows 106 | tokens 23937 | in loss 23937
[inst_full_e3_s42] epoch 3 eval_loss 0.1896
[base_ao_e3_s42] epoch 3 eval_loss 0.2328
[base_full_e3_s42] epoch 3 eval_loss 0.4258

• Mask সত্যিই বসেছে: TRL tokenize করার সময়েই labels কলাম বানায়, prompt-এ −১০০ বসিয়ে। Train-এর ২৩,৯৩৭ token-এর ১০,৬১৩টি (৪৪.৩%) loss-এ; mask ছাড়া সবকটি।
• দুই eval_loss তুলনীয় নয়: ০.১৪০৬ আর ০.১৮৯৬ দুটি আলাদা token-সেটের গড়। তুলনার জন্য একই মাপকাঠি লাগবে: অংশ ৭-এর rubric.
• খরচ: ১০৬টি কথোপকথন, ৩ epoch, ৪২টি optimizer step, GPU-তে প্রায় ৩৬ সেকেন্ড, peak allocation প্রায় ২.৩ GiB. প্রথম চেষ্টায় batch ৮ আর gradient checkpointing বন্ধ রেখে peak উঠেছিল ৬,৬৪৮ MiB, এই lab-এর সীমার বাইরে। TRL 1.17 শেষ layer-এর logits টুকরো টুকরো করে হিসাব করে, পুরো ১,৫১,৯৩৬-শব্দের logits একসঙ্গে বানায় না; তাই বড় খরচ ২৪টি block-এর activation. Gradient checkpointing সেগুলো জমিয়ে না রেখে backward-এ আবার হিসাব করে (পর্ব ১২), আর batch ৪ × accumulation ২ একই কার্যকর batch দেয়।

~/bazarghar-dl$ uv run python run4.py
base             | P(<|im_end|> after answer) 0.0000 rank 134462
instruct         | P(<|im_end|> after answer) 0.0085 rank 10
base+LoRA        | P(<|im_end|> after answer) 0.0001 rank 1182
instruct+LoRA    | P(<|im_end|> after answer) 0.9998 rank 1
[base_ao_head_e3_s42] trainable 144932864 of 638965632 (22.68%)
[base_ao_head_e3_s42] train 39 s | peak alloc 3681 MiB
base+LoRA+head   | P(<|im_end|> after answer) 0.9979 rank 1

৭ · আগে আর পরে — rubric দিয়ে held-out মূল্যায়ন

উত্তর খোলা লেখা, তাই একটি “সঠিক” string নেই। Model চালানোর আগেই একটি rubric লেখা হয়েছিল, চারটি হ্যাঁ/না নিয়মে, যন্ত্রে যাচাইযোগ্য; সব উত্তর নিজের চোখেও পড়া হয়েছে। (১) তথ্য: সেই নিয়মের মূল কথা আছে, যেমন ফেরতে “৭ দিন”, পেমেন্টে চারটির অন্তত তিনটি মাধ্যম। (২) বানানো সংখ্যা নেই: উত্তরের প্রতিটি সংখ্যা ঐ নিয়মের বা প্রশ্নের। (৩) বাংলা: অক্ষরের অন্তত ৮০% বাংলা। (৪) থেমেছে: ৯৬ token-এর আগে পালা শেষ, আর ৫০ শব্দের কম। Greedy decoding, ১৯টি অনন্য held-out প্রশ্ন, একই system prompt. সত্যিকারের run, GPU-তে, প্রতিটি সারি একটি run:

• ছাঁচ দ্রুত শেখে, তথ্য ধীরে. Instruct-এ থামার হার ০.১৬ থেকে ০.৬৩, প্রায় সব উত্তরে স্বাক্ষর; কিন্তু তথ্য ১৯-এর মাত্র ৩টিতে (০.১৬)। Train-এর নিজের প্রশ্নে একই adapter-এর তথ্য-স্কোর ০.৪১, base + lm_head-এর ০.৬৬; held-out-এ ০.১৬ আর ০.৩২. ফাঁকটাই বলে, model অনেকটা প্রশ্নের চেনা শব্দ-বিন্যাস মুখস্থ করেছে, নিয়মটি নয়।
• আত্মবিশ্বাসী ভুল বেড়েছে. “বানানো সংখ্যা নেই” ০.৮৯ থেকে ০.২৬: SFT-এর আগে model অর্থহীন লিখত, পরে গুছিয়ে ভুল নিয়মের সংখ্যা বলে, যেমন মিরপুরে “৩–৫ দিন, ১২০ টাকা”। গ্রাহকের কাছে এটি আরও বিপজ্জনক।
• Seed আর সেটিং. শুধু seed বদলে থামার হার ০.৬৩ থেকে ০.২১. পুরো সারি বনাম শুধু উত্তরে loss-এর তথ্য-স্কোর instruct-এ এক দিকে, base-এ উল্টো দিকে; ১৯টি প্রশ্নে একটি seed দিয়ে কোনো রায় হয় না। ১০ epoch-এ তথ্য বেড়েছে।
• Prompt-এ নিয়ম দেওয়া এই ছোট model-কে প্রায় সাহায্য করেনি (০.০৫)। বড় model-এ সাধারণত উল্টো ছবি দেখা যায়; এখানে মাপা হয়নি।

অংশ ১-এর প্রশ্নে আগে আর পরে (সত্যিকারের run, প্রথম ৬০ token, ছাঁটা): SFT-এর আগে greedy-তে instruct model “রাজশাহীতে ডেলিভারি কতদিনে হয়?” প্রশ্নে লিখেছিল “এই আমি একটি গুরুত্বপূর্ণ মৌসুম…”। পরে temperature ০.৭, seed ২-এ “ঢাকার ভেতরে (অ্যাপ) সাধারণত ৩–৫ দিনে হয়, চার্জ ১২০ টা…”: ছাঁচ নিখুঁত, সংখ্যা ঠিক, অথচ “ঢাকার ভেতরে” ভুল; seed ১-এ “আমার অর্ডার” পাতার কথা, greedy-তে ভাঙা পণ্যের ছাঁচ। একটি ভালো seed দেখিয়ে “model শিখে গেছে” বলা সহজ, কিন্তু অসৎ।

নিচের ব্লকে সেই rubric-ই, আসল উত্তরের ওপর। ডেটা হলো instruct model-এর ১৯টি প্রশ্নের দুই সেট উত্তর, হুবহু: SFT-এর আগে (prompt-এ সব নিয়ম) আর পরে (LoRA, ৩ epoch, seed ৪২)। শেষে একই প্রশ্নের জোড়া পার্থক্যে bootstrap দিয়ে ৯৫% আস্থা-ব্যবধান (মেশিন লার্নিং কোর্সের পর্ব ২১)।

import json, re
import numpy as np
rows = json.load(open("answers.json", encoding="utf-8"))  # সত্যিকারের run-এর উত্তর, হুবহু
KEYS = {"delivery_in": [["১–২", "১-২"], ["৬০"]], "delivery_out": [["৩–৫", "৩-৫"], ["১২০"]],
        "return": [["৭ দিন"]], "refund": [["৫ কার্যদিবস"]], "damaged": [["৪৮ ঘণ্টা"], ["ছবি"]],
        "cancel": [["আমার অর্ডার"], ["পাঠানোর আগে"]], "track": [["আমার অর্ডার"]]}
PAY = ["ক্যাশ অন ডেলিভারি", "বিকাশ", "নগদ", "কার্ড"]          # ৪টির অন্তত ৩টি
OK_NUM = {"delivery_in": {"1", "2", "60"}, "delivery_out": {"3", "5", "120"},
          "return": {"7"}, "refund": {"5"}, "damaged": {"48"}}
BN = str.maketrans("০১২৩৪৫৬৭৮৯", "0123456789")
def score(r):
    a, i = r["a"], r["i"]
    fact = (sum(p in a for p in PAY) >= 3 if i == "payment"
            else all(any(k in a for k in grp) for grp in KEYS[i]))
    nums = set(re.findall(r"\d+", a.translate(BN)))
    allowed = OK_NUM.get(i, set()) | set(re.findall(r"\d+", r["q"].translate(BN)))
    letters = [c for c in a if c.isalpha()]
    bn = sum("\u0980" <= c <= "\u09ff" for c in letters) / max(1, len(letters))
    short = r["e"] == 1 and len(a.split()) <= 50
    return [fact, nums <= allowed and "http" not in a, bn >= 0.8, short]
S = {m: np.array([score(r) for r in rows if r["m"] == m], dtype=float)
     for m in ("before", "after")}
print("          তথ্য বানানো-নেই বাংলা থেমেছে | মোট")
for m, s in S.items():
    print(f"{m:7} n={len(s)}", s.mean(0).round(2), "|", round(s.mean(), 3))
d = S["after"].mean(1) - S["before"].mean(1)    # একই প্রশ্নে জোড়া পার্থক্য
rng = np.random.default_rng(56)
boot = [d[rng.integers(0, len(d), len(d))].mean() for _ in range(5000)]
print("পার্থক্য", round(d.mean(), 3), "| 95% bootstrap CI", np.percentile(boot, [2.5, 97.5]).round(3))
for r in rows:
    if r["m"] == "after" and r["i"] == "return" and score(r)[0]:
        print("তথ্যে নম্বর, তবু ভুল:", r["a"][:58]); break

৮ · ফরম্যাটে overfitting আর contamination

শিক্ষানবিশ যদি একই ছাঁচের চিঠি ছয় মাস লেখেন, তিনি নিমন্ত্রণপত্রেও “বিনীত নিবেদন এই যে…” লিখে বসতে পারেন। SFT-এর পর model-এরও একই ঝোঁক দেখা যায়: শেখার ডেটার ছাঁচ, সুর বা বিষয় সব প্রশ্নে চাপিয়ে দেওয়া, যাকে বলে format overfitting. ধরার সহজ উপায়: শেখার ডেটার বাইরের কয়েকটি প্রশ্ন আগে থেকে রেখে দেওয়া, আর SFT-এর আগে ও পরে একই প্রশ্নে উত্তর মেলানো। এখানে ৮টি এমন প্রশ্ন: অঙ্ক, রাজধানী, বর্ষার বর্ণনা, একটি অনুবাদ, চা বানানো, রবীন্দ্রনাথ, পানির স্ফুটনাঙ্ক, সপ্তাহের দিন।

এখানে model ছোট আর ডেটা একঘেয়ে, তাই ছবিটি চরম; বড় model-এ একই ঝোঁক সূক্ষ্মভাবে আসে, যেমন সব উত্তরে একই দৈর্ঘ্য বা একই ভূমিকা-বাক্য। এটি পর্ব ৫৪-এর catastrophic forgetting-এর আত্মীয়: নতুন কাজের দিকে weight যত সরে, পুরোনো সাধারণ আচরণ তত ক্ষয় হয়।

Contamination. উল্টো দিকের বিপদ হলো মূল্যায়নের প্রশ্ন বা তার খুব কাছের রূপ training-এ ঢুকে পড়া; তখন স্কোর মুখস্থ মাপে। GPT-3 প্রবন্ধ (Brown ও সহকর্মী, ২০২০) benchmark-এর সঙ্গে training ডেটার n-gram মিল খুঁজে এই সমস্যার পরিমাণ মাপার চেষ্টা করেছিল, আর আজ এটি LLM মূল্যায়নের একটি বড় মাথাব্যথা (পর্ব ৫৮)। এই পর্বের ছোট ডেটায় একই পরীক্ষা, সত্যিকারের run, CPU-তে:

~/bazarghar-dl$ uv run python contam.py
train user turns 142 | held 32
exact matches: 0
max char-5gram J: 0.07 | mean 0.05 | word-3gram J max 0.00
0.07  মিরপুর এলাকায় অর্ডার দিলে হাতে পেতে কয় দিন?  <->  মিরপুর-র ভেতরে অর্ডার আসতে কত দিন লাগে?
planted copy J: 1.0 | কত দিনের মধ্যে শাড়ি ফেরত দেওয়া যায়?

Held-out-এর কোনো প্রশ্ন train-এ নেই, সবচেয়ে কাছের মিলও খুব কম; ইচ্ছা করে একটি train-প্রশ্ন বসালে মিল ১.০, তাই পরীক্ষাটি কাজ করে। (“মিরপুর-র” template-এরই একটি ব্যাকরণ-ভুল, যা ঐ ছাঁচের সব সারিতে ছড়িয়েছে।) তবে শব্দ না মিললেও দূষণ হতে পারে: এখানে উত্তরের বাক্য train-এর মতোই, তাই “তথ্য” স্কোরের কিছুটা মুখস্থ বাক্য ফেরত দেওয়াও হতে পারে।

৯ · AI-এর যুগে — SFT কোড আর তার দাবি যাচাই

“Qwen-কে বাংলা সাপোর্ট-ডেটায় SFT করার কোড দাও” লিখলে AI assistant মিনিটখানেকে চলার মতো কোড দেয়। এই পর্বের ফাঁদগুলোয় কোড চলে, loss নামে, শুধু model ভুল জিনিস শেখে।

AI-এর লেখা SFT কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজের TRL version-এর নথিতে SFTConfig-এর প্রতিটি argument-এর নাম মিলিয়েছি
• একটি সারির লেখা, token আর mask ছাপিয়ে দেখেছি: prompt −১০০, উত্তর আর পালা-শেষের token loss-এ
• Training আর generation-এ একই chat template আর একই EOS
• Dedup করেছি; held-out প্রশ্ন train-এ নেই, মিল খুঁজে দেখেছি
• Rubric আগে লিখেছি; পুরো held-out-এ, কয়েকটি seed-এ মেপেছি; prompt-only baseline রেখেছি
• বাইরের বিষয়ের প্রশ্নে format overfitting দেখেছি; model card-এ লাইসেন্স দেখেছি; কোনো ব্যক্তিগত তথ্য পাঠাইনি