Tokenization — BPE, WordPiece, SentencePiece আর বাংলা

AI-এর ভিত্তি কোর্সের পর্ব ৬৭-এ Unicode, NFC আর একটি খুদে BPE দেখেছেন, আর পর্ব ৭০-এ চারটি tokenizer-এ একই বাক্য গুনেছেন, যেখানে “রাজশাহী” একটিতে ৯ টুকরো, আরেকটিতে ৩ টুকরো। কেন এমন হলো, তার উত্তর সেখানে দেওয়া হয়নি। আজ সেই যন্ত্র খুলব। পর্ব ৩৬-এ আমাদের MiniGPT প্রতিটি code point-কে একটি token ধরেছিল, আর পর্ব ১১-এ রিভিউর ভান্ডার ছিল শব্দের। এবার দেখব এই পছন্দগুলোর বিকল্প কী, আর প্রতিটির দাম কত।

১ · Tokenization একটি model-এর সিদ্ধান্ত

Tokenizer লেখাকে token-এর ক্রমে ভাঙে, আর প্রতিটি token পায় একটি নম্বর। Model শুধু সেই নম্বরই দেখে, তাই tokenizer যা আলাদা করে দেখায় না, model সেখান থেকেই শুরু করতে বাধ্য। পছন্দটি প্রভাব ফেলে তিন জায়গায়: vocabulary-র আকার (তাই embedding টেবিলের parameter), প্রতি বাক্যে token-এর সংখ্যা (তাই ক্রমের দৈর্ঘ্য, গতি আর খরচ), আর অচেনা শব্দের হার।

বাংলায় এই প্রশ্নটি একটু বেশি ধারালো। “বাজার”, “বাজারে”, “বাজারের”, “বাজারঘরের”: একই মূলে বিভক্তি আর জোড়া শব্দ। শব্দ-স্তরের ভান্ডারে এরা চারটি সম্পর্কহীন ঘর। পর্ব ৩৯ (NLP-এর পথ)-এ বাংলার এই চ্যালেঞ্জগুলোর মানচিত্র আছে; এখানে আমরা যন্ত্রটি নিয়ে কাজ করব।

২ · BPE — হাতে তিনটি merge, তারপর Python

BPE শেখে একটি merge table: কোন দুই টুকরো কোন ক্রমে জুড়বে। শুরুতে প্রতিটি code point একটি টুকরো। প্রতি ধাপে সব শব্দে পাশাপাশি জোড়া গুনে, শব্দের সংখ্যা দিয়ে গুণ করে, সবচেয়ে বড়টি জোড়া দেওয়া হয়। নিচের উদাহরণে শব্দ আটটি: কার ×৪, জার ×২, বাকি ×৩, বাজার ×৫, বাজারে ×২, বাজারের ×৩, ঘর ×৪, ঘরের ×৩.

1গোনা: সব জোড়া2merge 1: া + র3merge 2: ব + া4merge 3: জ + ার5encode: বাজারঘর

এবার একই কাজ কোডে, একটি নিজের লেখা ছোট কাল্পনিক লেখায়, ৪৫৯ code point. লেখাটি পাতার ভেতরেই আছে, তাই কিছু নামাতে হয় না। Space-কে শব্দের গায়ে রাখা হয়েছে (▁ দেখায়), যাতে decode-এ লেখা হুবহু ফেরে।

import re; from collections import Counter
text = open("bazarghar.txt", encoding="utf-8").read().strip()
chunks = Counter(re.findall(r"\s*\S+", text))     # space শব্দের গায়ে থাকে
show = lambda t: t.replace(" ", "▁")
def pair_counts(seqs):
    c = Counter()
    for seq, f in seqs.items():
        for p in zip(seq, seq[1:]): c[p] += f
    return c
def apply_merge(seq, a, b):
    out = []
    for t in seq:
        if out and (out[-1], t) == (a, b): out[-1] = a + b
        else: out.append(t)
    return tuple(out)
def train(seqs, k):
    merges = []
    while len(merges) < k and (c := pair_counts(seqs)):
        (a, b), f = c.most_common(1)[0]           # সমান হলে আগে পাওয়াটি
        merges.append((a, b, f))
        seqs = {apply_merge(s, a, b): n for s, n in seqs.items()}
    return merges
def encode(s, merges, split=tuple):
    toks = []
    for ch in re.findall(r"\s*\S+", s):
        seq = split(ch)
        for a, b, _ in merges: seq = apply_merge(seq, a, b)
        toks += seq
    return toks
seqs = {tuple(w): f for w, f in chunks.items()}
print("প্রথম জোড়া:", [(show(a + "+" + b), n) for (a, b), n in pair_counts(seqs).most_common(3)])
merges = train(seqs, 100)
for i, (a, b, f) in enumerate(merges[:6], 1): print(f"merge {i}: {show(a)} + {show(b)} → {show(a + b)} ({f})")
print("code point:", len(text), "| token:", len(ids := encode(text, merges)), "| round trip:", "".join(ids) == text)
print([show(x) for x in encode(" বাজারঘরের দোকান", merges)])

প্রথম জোড়া: [('া+র', 11), ('র+ে', 11), ('ে+র', 11)]
merge 1: া + র → ার (11)
merge 2: ে + র → ের (11)
merge 3: ▁ + ক → ▁ক (11)
merge 4: ▁ + দ → ▁দ (8)
merge 5: া + জ → াজ (6)
merge 6: ত + া → তা (6)
code point: 459 | token: 152 | round trip: True
['▁বাজারঘরের', '▁দ', 'ো', 'ক', 'ান']

৩ · Byte না code point — বাংলার দাম

Byte-level BPE শুরু করে UTF-8-এর ২৫৬টি byte দিয়ে। তাই ভান্ডারে কিছু না থাকলেও যেকোনো লেখা encode করা যায়। কিন্তু বাংলার প্রতিটি code point ৩ byte, ইংরেজির ১ byte. প্রথম কয়েকটি merge বাংলায় চলে যায় শুধু code point জোড়া লাগাতে। নিচের ব্লক একই নিয়মে দুই ভাষায়, দুই এককে train করে, আর train-এ না থাকা একটি নতুন বাক্যে token গোনে।

en = open("bazarghar_en.txt", encoding="utf-8").read().strip()
as_bytes = lambda s: tuple(bytes([b]) for b in s.encode("utf-8"))
TEST = {"বাংলা": (text, "বাজারঘরের নতুন শাড়ি কাল ঢাকা থেকে পৌঁছাবে, দাম কম।"),
        "English": (en, "The new Bazarghar sari will reach Dhaka tomorrow, and the price is low.")}
def fit(txt, split, k):
    seqs = Counter()
    for ch in re.findall(r"\s*\S+", txt):
        seqs[split(ch)] += 1
    return train(seqs, k)
print("নতুন বাক্য: অক্ষর, byte, byte/অক্ষর")
for name, (_, s) in TEST.items():
    print(f"{name:8s}{len(s):4d}{len(s.encode()):5d}{len(s.encode()) / len(s):6.2f}")
print("\nলেখা     একক        k=0  k=50 k=150 k=300")
for name, (tr, s) in TEST.items():
    for lvl, sp in (("code point", tuple), ("byte", as_bytes)):
        row = [len(encode(s, fit(tr, sp, k), sp)) for k in (0, 50, 150, 300)]
        print(f"{name:8s}{lvl:11s}", *[f"{x:4d}" for x in row])

নতুন বাক্য: অক্ষর, byte, byte/অক্ষর
বাংলা     51  135  2.65
English   71   71  1.00

লেখা     একক        k=0  k=50 k=150 k=300
বাংলা   code point    51   32   18   15
বাংলা   byte         135   42   23   15
English code point    71   40   24   18
English byte          71   40   24   18

এবার একটি byte-level tokenizer কীভাবে বাংলা অক্ষরের মাঝখানে কাটে, তা “রাজ” শব্দে দেখুন। তিনটি merge বানানো নয়: অংশ ৬-এর সত্যিকারের byte-level training-এর ১ম, ৪র্থ আর ৬ষ্ঠ merge এগুলোই।

1s.encode("utf-8")2merge E0 + A63merge E0A6 + BE4merge া + E0A65একটি একটি করে decode6সব একসঙ্গে decode

Code point-এ শুরু করলেও একটি সমস্যা থাকে: চোখে দেখা একটি অক্ষর, মানে একটি grapheme cluster, কাটা পড়তে পারে। “কি” দুটি code point; merge না হলে “ি” একা একটি token. নিচের ব্লক সরল একটি নিয়মে গোনে কোন সীমা grapheme-এর ভেতরে পড়ছে: পরের চিহ্নটি কার বা হসন্ত হলে, অথবা আগেরটি হসন্ত হলে। Unicode-এর পূর্ণ নিয়ম (UAX #29) এর চেয়ে জটিল। বাক্যটি train-এ নেই।

import unicodedata as ud
def inside(s):              # কোন সীমা একটি grapheme-এর ভেতরে পড়ে (সরল নিয়ম)
    return {i for i in range(1, len(s))
            if ud.category(s[i]) in ("Mn", "Mc") or s[i - 1] == "্"}
def cuts(toks, s):
    n, pos, ins = 0, 0, inside(s)
    for t in toks[:-1]:
        pos += len(t)
        n += pos in ins
    return n, len(toks) - 1
seqs = {tuple(w): f for w, f in chunks.items()}
s = " ক্রেতার ছেঁড়া প্যাকেট ফেরত গেল, দোকানদার নতুন শাড়ি পাঠালেন"
for k in (0, 30, 100, 300):
    t = encode(s, train(seqs, k))
    n, tot = cuts(t, s)
    print(f"k={k:3d}: token {len(t):2d}, ভেতরের কাট {n:2d}/{tot}")
print([show(x) for x in encode(" প্যাকেট দোকানদার", train(seqs, 30))])
b = Counter(as_bytes(ch) for ch in re.findall(r"\s*\S+", text))
m = train(b, 30)
w = " ক্রেতা"
tb = encode(w, m, as_bytes)
print("byte k=30:", [show(x.decode("utf-8", "replace")) for x in tb])
print("একসঙ্গে decode:", b"".join(tb).decode("utf-8") == w)
print("প্রথম ৩ byte merge:", [(x.hex(), y.hex(), f) for x, y, f in m[:3]])

k=  0: token 61, ভেতরের কাট 24/60
k= 30: token 46, ভেতরের কাট 18/45
k=100: token 30, ভেতরের কাট 11/29
k=300: token 15, ভেতরের কাট  3/14
['▁প', '্', 'য', 'া', 'কে', 'ট', '▁দ', 'ো', 'ক', 'া', 'ন', 'দ', 'ার']
byte k=30: ['▁ক', '্', 'রে�', '�', 'া']
একসঙ্গে decode: True
প্রথম ৩ byte merge: [('e0', 'a6', 302), ('20', 'e0a6', 74), ('e0', 'a7', 64)]

৪ · WordPiece আর SentencePiece — একই লক্ষ্য, অন্য পথ

WordPiece দুটি জায়গায় BPE থেকে আলাদা। প্রথমত, শব্দের ভেতরের টুকরোয় ## চিহ্ন থাকে। দ্বিতীয়ত, encode-এ merge table চালানো হয় না; ভান্ডারে সবচেয়ে লম্বা মিল খোঁজা হয়, বাঁ দিক থেকে।

1পুরো শব্দ থেকে শুরু2পাওয়া গেল: বাজার3বাকি অংশে ## সহ খোঁজ4পাওয়া গেল: ##ঘর5পাওয়া গেল: ##ের6শেষ

WordPiece-এর প্রচলিত ব্যাখ্যায় জোড়া বাছা হয় score দিয়ে: score = f(ab) / (f(a) × f(b)), যেখানে f মানে গোনা। এতে বিরল টুকরোর জোড়া সুযোগ পায়। তবে Hugging Face tokenizers-এর v0.21.0 source-এ WordPieceTrainer ভেতরে BpeTrainer-ই চালায়, শুধু ## সহ। তাই আমাদের টেবিলের WordPiece-এর ভান্ডার গোনা দিয়ে শেখা; BERT-এর ভান্ডার ঠিক কীভাবে বানানো, তা এখানে দাবি করছি না।

SentencePiece একটি library, যা BPE আর Unigram দুই পদ্ধতিই train করতে পারে। Unigram ধরে নেয়, প্রতিটি টুকরোর একটি নিজস্ব সম্ভাবনা p আছে, আর একটি ভাঙনের সম্ভাবনা হলো টুকরোগুলোর p-এর গুণফল। Encode মানে সবচেয়ে সম্ভাব্য ভাঙন খোঁজা, যা Viterbi-ধরনের dynamic programming-এ করা যায় (AI-এর ভিত্তি কোর্সের পর্ব ৫৩). Training-এ বড় একটি টুকরোর ভান্ডার থেকে শুরু করে, EM-ধরনের হিসাবে (মেশিন লার্নিং কোর্সের পর্ব ৩৯) কম কাজের টুকরো ছেঁটে ফেলা হয়। লেখার দিকটিও আলাদা: SentencePiece সাধারণত whitespace-কে ▁ দিয়ে রাখে, আগে থেকে শব্দ ভাগ করার দরকার পড়ে না।

৫ · Normalization — NFC, NFKC আর একটি বড় ফাঁদ

চোখে এক, code point-এ ভিন্ন হলে tokenizer দুটিকে আলাদা দেখে। Unicode normalization এই সমস্যা কমায়, যার মূল ধারণা AI-এর ভিত্তি কোর্সের পর্ব ৬৭-এ আছে। এখানে দেখব tokenizer-এর দিক থেকে কী বদলায়। NFC শুধু একই অক্ষরের ভিন্ন লেখাকে এক করে। NFKC আরও এগিয়ে “কাছাকাছি অর্থের” চিহ্নকেও সাধারণ রূপে আনে।

import unicodedata as ud
hexs = lambda s: " ".join(f"{ord(c):04X}" for c in s)
nf = lambda f, s: ud.normalize(f, s)
for name, s in (("য় এক চিহ্নে", "য়"), ("কো দুই চিহ্নে", "কো")):
    print(f"{name}: {hexs(s)} → NFC {hexs(nf('NFC', s))}")
a, b = "শাড়ি", "শাড়ি"
print("শাড়ি দুই ভাবে:", a == b, "→ NFC-র পরে", nf("NFC", a) == nf("NFC", b))
z1, z2 = "র‍্য", "র্য"
print("র্য, ZWJ-সহ আর ছাড়া, NFKC-র পরে:", nf("NFKC", z1) == nf("NFKC", z2))
print("ৎ আর ত্+ZWJ, NFKC-র পরে:", nf("NFKC", "ৎ") == nf("NFKC", "ত্‍"))
for s in ["দাম ½ কেজি", "৫ m²", "① শাড়ি", "ＡＢＣ১২", "কিনব আজ"]:
    print(repr(s), "NFC:", repr(nf("NFC", s)), "NFKC:", repr(nf("NFKC", s)))

য় এক চিহ্নে: 09DF → NFC 09AF 09BC
কো দুই চিহ্নে: 0995 09C7 09BE → NFC 0995 09CB
শাড়ি দুই ভাবে: False → NFC-র পরে True
র্য, ZWJ-সহ আর ছাড়া, NFKC-র পরে: False
ৎ আর ত্+ZWJ, NFKC-র পরে: False
'দাম ½ কেজি' NFC: 'দাম ½ কেজি' NFKC: 'দাম 1⁄2 কেজি'
'৫ m²' NFC: '৫ m²' NFKC: '৫ m2'
'① শাড়ি' NFC: '① শাড়ি' NFKC: '1 শাড়ি'
'ＡＢＣ১২' NFC: 'ＡＢＣ১২' NFKC: 'ABC১২'
'কিনব\xa0আজ' NFC: 'কিনব\xa0আজ' NFKC: 'কিনব আজ'

এবার আসল ফাঁদ। পুরোনো একটি বিখ্যাত tokenizer-এর normalizer ছোট হাতের অক্ষর করার সঙ্গে সঙ্গে “accent” মুছে দেয়। ইউরোপীয় ভাষায় “é” থেকে “e” হলে ক্ষতি কম। কিন্তু Unicode-এ “accent” মানে Mn শ্রেণির চিহ্ন, আর বাংলার হসন্ত, উ-কার, ঊ-কার, ঋ-কার, নুকতা, চন্দ্রবিন্দু সবই সেই শ্রেণিতে। সত্যিকারের run (tokenizers 0.23.3, দুটিই apache-2.0 লাইসেন্স, model card দেখা):

~/bazarghar-dl$ uv run python pretrained.py
…
BERT normalizer settings:
distilbert/distilbert-base-multilingual-cased {'type': 'BertNormalizer', 'clean_text': True, 'handle_chinese_chars': True, 'strip_accents': None, 'lowercase': False}
google-bert/bert-base-multilingual-uncased {'type': 'BertNormalizer', 'clean_text': True, 'handle_chinese_chars': True, 'strip_accents': None, 'lowercase': True}
in : ব্যাগ খুশি পৌঁছাবে শাড়ি
uncased tokens: ['[CLS]', 'ব', '##যা', '##গ', 'খ', '##শি', 'প', '##ে', '##ৗ', '##ছ', '##াব', '##ে', 'শ', '##াড', '##ি', '[SEP]']
uncased decode: বযাগ খশি পৌছাবে শাডি
cased decode  : ব্যাগ খুশি পৌঁছাবে শাড়ি

৬ · সত্যিকারের training — Hugging Face tokenizers

ডেটা আর লাইসেন্স: পর্ব ৩৬-এর সেই ৩৯টি গল্প, উপেন্দ্রকিশোর রায়চৌধুরীর “টুনটুনির বই” আর “গুপি গাইন ও বাঘা বাইন”, বাংলা উইকিসংকলন (bn.wikisource.org) থেকে। পাতাগুলোতে PD-India ট্যাগ আছে, মানে সেখানে পাবলিক ডোমেইন হিসেবে চিহ্নিত; নিজের কাজে ব্যবহারের আগে পাতার ট্যাগ আর নিজের দেশের নিয়ম দেখে নেবেন। পুরো গল্প ধরে ভাগ: ৩১টি গল্পে train (১,৯১,৯৫২ code point), ৮টি গল্প held-out (৪৬,১০৮ code point), যা থেকে ৮৫২টি বাক্য। Python 3.14.4, tokenizers 0.23.3, লেখার সময়ে। নিচের কোড আসল স্ক্রিপ্ট থেকে ছাঁটা।

from tokenizers import Tokenizer, Regex, models, trainers, pre_tokenizers, decoders, normalizers
SPECIAL = ["[UNK]", "[PAD]", "[CLS]", "[SEP]"]

t = Tokenizer(models.BPE(unk_token="[UNK]"))       # code-point BPE
t.normalizer = normalizers.NFC()
t.pre_tokenizer = pre_tokenizers.Metaspace()
t.decoder = decoders.Metaspace()
tr = trainers.BpeTrainer(vocab_size=2000, special_tokens=SPECIAL, min_frequency=2)
t.train(["data/train.txt"], tr)

# byte-gpt2: ByteLevel(add_prefix_space=False)
# byte-plain: Split(Regex(r"\s*\S+|\s+"), "isolated") + ByteLevel(use_regex=False)
# wordpiece: models.WordPiece + BertPreTokenizer + decoders.WordPiece + WordPieceTrainer
# unigram:   models.Unigram + Metaspace + UnigramTrainer(unk_token="[UNK]")

~/bazarghar-dl$ uv run python train_tok.py
tokenizers 0.23.3 | held-out sentences: 852
tokenizer     vocab tok/sent   UNK%    RT%   cut%  bad%
word(f>0)      5232     11.3  11.83      -      -     -
word(f>1)      2700     11.3  15.17      -      -     -
code point       84     52.0   0.00      -      -     -
bpe             500     21.9   0.00  100.0   20.5   0.0
bpe            2000     15.2   0.00  100.0   10.4   0.0
bpe            5463     13.0   0.00  100.0    6.6   0.0
byte-gpt2       500     37.3   0.00  100.0   43.9   0.3
byte-gpt2      1282     35.7   0.00  100.0   45.9   0.0
byte-gpt2      1282     35.7   0.00  100.0   45.9   0.0
byte-plain      500     27.7   0.00  100.0   39.0  18.5
byte-plain     2000     16.6   0.00  100.0   28.4   4.1
byte-plain     6020     13.6   0.00  100.0   19.7   1.8
wordpiece       500     21.7   0.00   60.4   22.6   0.0
wordpiece      2000     15.2   0.00   60.4    8.9   0.0
wordpiece      4375     13.6   0.00   60.4    5.8   0.0
unigram         500     22.2   0.00  100.0   20.7   0.0
unigram        2000     15.9   0.00  100.0   11.9   0.0
unigram        4265     14.4   0.00  100.0    8.9   0.0

প্রতিটির জন্য ভান্ডারের লক্ষ্য ছিল ৫০০, ২,০০০ আর ৮,০০০; vocab কলামে পাওয়া আকার। ছোট লেখায় min_frequency = ২ শর্তে সব লক্ষ্য পূরণ হয়নি। UNK% = অচেনা token-এর হার; RT% = decode করে হুবহু একই বাক্য ফেরার হার; cut% = token-সীমার কত ভাগ অক্ষরের ভেতরে, অংশ ৩-এর সরল নিয়মে; bad% = কত ভাগ token একা বৈধ UTF-8 নয়। শব্দ-স্তরে শব্দ আর যতিচিহ্ন আলাদা ধরা, f>১ মানে train-এ অন্তত ২ বার। এক run-এর মাপ, পুরোনো গল্পের ভাষায়।

টেবিলটি কীভাবে পড়বেন

• মূল বিনিময়: শব্দ-স্তরে ৫,২৩২ ঘর লেগেও প্রায় ১২% token অচেনা। Code point-এ ৮৪ ঘরে ০% অচেনা, কিন্তু প্রতি বাক্যে ৫২ token. BPE ২,০০০ ঘরে ১৫.২ token আর ০% অচেনা: শব্দ-স্তরের কাছাকাছি দৈর্ঘ্য, অক্ষর-স্তরের মতো নমনীয়তা।
• UNK ০% দেখে খুশি হবেন না: গল্প আর test একই লিপির, তাই সব অক্ষর train-এ ছিল। Latin আর emoji দিলে নিচের দ্বিতীয় আউটপুটে দেখুন কী হয়।
• byte-gpt2-এর অদ্ভুত সারি: ৮,০০০ চেয়ে পেল ১,২৮২, আর ৩৫.৭ token. কারণ GPT-2-এর regex: এটি আগে লেখা ভাঙে \p{L}+ দিয়ে, মানে Unicode-এর “letter”. বাংলার কার-চিহ্ন “letter” নয়, “mark” (M). তাই “বাজার” regex-এই ব, া, জ, া, র হয়ে যায়, আর এই সীমা পেরিয়ে merge শেখা যায় না। Regex সরালে (byte-plain) ৮,০০০-এর লক্ষ্যে ১৩.৬ token.
• WordPiece-এর RT ৬০.৪%: পূর্ণ শব্দ ফিরলেও space ফেরে না নিয়ম মেনে; নিচে দেখুন।

বাজারঘরের
  bpe        3 ['▁বাজার', 'ঘ', 'রের']
  byte-gpt2  8 ['ব', 'া', 'জ', 'া', 'র', 'ঘর', 'ে', 'র']
  byte-plain 4 ['বাজ', 'ার', 'ঘ', 'রের']
  wordpiece  3 ['বাজার', '##ঘর', '##ের']
  unigram    3 ['▁বাজার', 'ঘর', 'ের']
…
byte-plain, vocab 500, রাজশাহী: 6 ['র', 'াজ', 'শ', 'া�', '�', 'ী']

round trip with Latin + emoji (vocab 8000), শুধু decode দেখানো:
  bpe        '[UNK][UNK][UNK][UNK][UNK][UNK][UNK][UNK] [UNK] শাড়ি'
  byte-gpt2  'Rajshahi 😀 শাড়ি'
  byte-plain 'Rajshahi 😀 শাড়ি'
  wordpiece  '[UNK] [UNK] শাড়ি'
  unigram    '[UNK] [UNK] শাড়ি'

WordPiece round-trip failure:
 in : পিঁপড়ী বললে, ‘পিঁপড়ে আমি বাপের বাড়ি যাব, নৌকো নিয়ে এস
 out: পিঁপড়ী বললে, ‘ পিঁপড়ে আমি বাপের বাড়ি যাব, নৌকো নিয়ে এস
 দাড়ি: 'দাম কম । ভালো ।'

modern shop sentence (domain shift, vocab 8000):
  bpe        22 ['▁বাজার', 'ঘ', 'রের', '▁অ', 'র', '্ড', 'ার', '▁আগ', 'ামী', 'কাল', '▁বি', 'কে', 'লে', '▁রাজ', 'শা', 'হ', 'ী', '▁প', 'ৌ', 'ঁ', 'ছা', 'বে।']
  unigram    19 ['▁বাজার', 'ঘর', 'ের', '▁অ', 'র্', 'ড', 'ার', '▁আগ', 'ামী', 'কাল', '▁বি', 'কে', 'লে', '▁রাজ', 'শা', 'হী', '▁পৌঁছ', 'া', 'বে।']

NFC normalizer on/off (bpe, vocab 8000), input has U+09DC:
 with NFC   : ['▁শ', 'া', 'ড়ি']
 without    : ['▁শ', 'া', '[UNK]', 'ি']
 decode == input? False

৭ · Pretrained tokenizer — বাংলা কত দামি

নিজে train না করে সাধারণত model-এর সঙ্গের tokenizer নিতেই হয়, কারণ model সেই id-তেই train হয়েছে। দুটি pretrained tokenizer নিয়েছি, শুধু tokenizer ফাইল, কোনো অ্যাকাউন্ট ছাড়া: distilbert/distilbert-base-multilingual-cased (WordPiece, apache-2.0) আর FacebookAI/xlm-roberta-base (Unigram, MIT); লাইসেন্স model card-এ দেখা। ৬টি বাক্য এই পর্বের জন্য লেখা, দুই ভাষায় একই অর্থে। Token-এ এখানে special token ধরা হয়নি; শব্দ মানে space-এ ভাগ করা।

distilbert/distilbert-base-multilingual-cased | vocab: 119547
model: WordPiece | BertNormalizer
English: 84 tokens / 62 words = 1.35
Bangla : 136 tokens / 46 words = 2.96
28 ['[CLS]', 'বা', '##জার', '##ঘ', '##রের', 'অ', '##র্ড', '##ার', 'আগ', '##াম', '##ী', '##কা', '##ল', 'ব', '##িক', '##েলে', 'র', '##াজ', '##শা', '##হী', 'প', '##ৌ', '##ঁ', '##ছ', '##াব', '##ে', '।', '[SEP]']
  decode: বাজারঘরের অর্ডার আগামীকাল বিকেলে রাজশাহী পৌঁছাবে ।
18 ['[CLS]', 'Your', 'order', 'from', 'Baza', '##rg', '##har', 'will', 'reach', 'Raj', '##sha', '##hi', 'tom', '##or', '##row', 'afternoon', '.', '[SEP]']

FacebookAI/xlm-roberta-base | vocab: 250002
model: Unigram | Precompiled
English: 78 tokens / 62 words = 1.26
Bangla : 93 tokens / 46 words = 2.02
20 ['<s>', '▁বাজার', 'ঘর', 'ের', '▁অ', 'র্', 'ডার', '▁আগামী', 'কাল', '▁বি', 'কে', 'লে', '▁রাজশাহী', '▁প', 'ৌ', 'ঁ', 'ছা', 'বে', '।', '</s>']
  decode: বাজারঘরের অর্ডার আগামীকাল বিকেলে রাজশাহী পৌঁছাবে।
15 ['<s>', '▁Your', '▁order', '▁from', '▁Bazar', 'ghar', '▁will', '▁reach', '▁Raj', 'shah', 'i', '▁tomorrow', '▁afternoon', '.', '</s>']

একই অর্থে বাংলায় শব্দ কম (৪৬ বনাম ৬২), কারণ বিভক্তি শব্দের গায়েই বসে। তবু token বেশি, কারণ বাংলা শব্দ বেশি টুকরো হয়। একটি অর্থের জন্য বেশি token মানে context window-এ কম লেখা ধরে, আর token গুনে দাম নেওয়া সেবায় বেশি খরচ হতে পারে। ৬টি বাক্যের মাপ, নিজের অনুবাদে; সাধারণ অনুপাত হিসেবে নেবেন না। আর দুটি tokenizer-এর এই ফলে কোনটি “ভালো”, তা ঠিক হয় না: token কম হওয়া আর কাজের মান এক কথা নয়।

৮ · Special token আর round-trip পরীক্ষা

Special token লেখার অংশ নয়, model-এর জন্য সংকেত: [CLS] শুরু, [SEP] সীমা, [PAD] ফাঁকা ঘর (পর্ব ২৭-এর padding), [UNK] অচেনা। এদের id নির্দিষ্ট, আর এগুলো কখনো সাধারণ merge-এ ভাঙে না। সমস্যা হলো, ব্যবহারকারী যদি সরাসরি সেই লেখাটিই টাইপ করেন? সত্যিকারের run:

~/bazarghar-dl$ uv run python special.py
['[CLS]', 'দ', '##াম', 'ক', '##ত', '[SEP]', 'ফ', '##ের', '##ত', 'চ', '##াই', '[SEP]']
ids of [SEP]: [102, 102] | token_to_id: 102
skip_special_tokens=True : দাম কত ফেরত চাই
skip_special_tokens=False: [CLS] দাম কত [SEP] ফেরত চাই [SEP]
['[CLS]', 'দ', '##াম', 'ক', '##ত', '[SEP]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]'] [1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0]
['[CLS]', 'প', '##্যা', '##কে', '##ট', 'ছ', '##ে', '##ঁ', '##ড়া', 'ছিল', '[SEP]'] [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]

রিভিউতে টাইপ করা “[SEP]” আসল সংকেতের id 102 পেয়েছে, আর decode-এ চুপচাপ উধাও। ব্যবহারকারীর লেখা যদি বিশেষ সংকেত হয়ে যায়, তা যাচাই ছাড়া রাখা নিরাপদ নয়; chat ধাঁচের model-এ এটি prompt injection-এর একটি পথ হতে পারে। প্রতিরক্ষা: ব্যবহারকারীর লেখা থেকে এমন চিহ্ন মুছে বা ভেঙে দেওয়া, আর ইনপুটে special token-এর সংখ্যা যাচাই। নিচের সারি দুটি padding-এর সঙ্গে attention mask দেখায়।

৯ · AI-এর যুগে — tokenizer কোডে AI-এর সাহায্য

AI assistant কয়েক সেকেন্ডে tokenizer training-এর কোড লিখে দেয়। সাধারণ ভুল: বাংলায় uncased checkpoint বা strip_accents রেখে দেওয়া; ইংরেজির regex বাংলায় চালানো; পুরোনো tokenizers আর transformers API মিশিয়ে ফেলা; train-এর লেখায় UNK মেপে “OOV নেই” বলা; বাংলার token অনুপাত না মেপে ইংরেজির “প্রতি token চার অক্ষর” ধরে নেওয়া; আর model-এর সঙ্গে ভিন্ন tokenizer জুড়ে দেওয়া।

AI-এর লেখা tokenizer হাতে পেলে — যাচাইয়ের চেকলিস্ট

• কয়েকটি বাংলা শব্দের token আর decode নিজের চোখে দেখেছি, বিশেষ করে হসন্ত, উ-কার, নুকতা
• Normalizer-এর আসল config ছেপে পড়েছি; strip_accents আর lowercase বুঝে নিয়েছি
• Round trip held-out-এ মেপেছি, ব্যর্থ উদাহরণ পড়েছি
• OOV মাপ train-এর লেখায় নয়, আর অন্য লিপি মেশানো লেখাতেও পরীক্ষা করেছি
• Tokenizer আর model একই checkpoint-এর, আর সংস্করণ লিখে রেখেছি
• ব্যবহারকারীর লেখায় special token ঢুকলে কী হয়, তা পরীক্ষা করেছি
• Streaming-এ অসম্পূর্ণ UTF-8 জমিয়ে রাখি; � পর্দায় আসে না
• ডেটার লাইসেন্স দেখেছি; ব্যক্তিগত তথ্য বা API key কোথাও দিইনি