Topic modeling — LDA আর NMF দিয়ে বাংলা রিভিউয়ের বিষয় খোঁজা

AI-এর ভিত্তি কোর্সের পর্ব ৬৭-এ বাংলা লেখা পরিষ্কার করা, token-এ ভাঙা আর TF-IDF দেখেছেন; পর্ব ৬৫-এ label ছাড়া গঠন খোঁজার প্রথম পদ্ধতি (k-means, PCA). এই কোর্সের পর্ব ০৯-এ TF-IDF-এর truncated SVD (LSA) এসেছে, আর পর্ব ১৮-এ prior, MAP আর conjugate prior. এই পর্ব প্রশ্ন তোলে: বাজারঘরের হাজার হাজার বাংলা রিভিউ কেউ পড়ে শেষ করতে পারে না; label ছাড়া কীভাবে জানবেন ক্রেতারা কোন কোন বিষয় নিয়ে লেখেন, আর কোন রিভিউয়ে কোন বিষয় কতখানি? চালানো যায় এমন চারটি ব্লক পাতাতেই চলে (ব্রাউজারের Python, scikit-learn 1.8.0); প্রথমবার scikit-learn নামতে প্রায় ১০ সেকেন্ড লাগে। সব ব্লক পাতার একটি ছোট module bazar_reviews.py import করে।

১ · রিভিউয়ের স্তূপ থেকে বিষয় — bag of words আর document-term matrix

Topic model-এর দুটি মৌলিক ধারণা। প্রথমত, একটি topic হলো শব্দের ওপর একটি সম্ভাবনা-বণ্টন: “ডেলিভারি” topic-এ দেরিতে, কুরিয়ার, রাইডার শব্দের সম্ভাবনা বেশি, কাপড় বা সেলাই-এর প্রায় শূন্য। দ্বিতীয়ত, একটি রিভিউ কয়েকটি topic-এর মিশ্রণ, যেমন ৭০% ডেলিভারি আর ৩০% দাম। এখানেই clustering থেকে পার্থক্য: k-means প্রতিটি রিভিউকে ঠিক একটি দলে দেয় (AI-এর ভিত্তি কোর্সের পর্ব ৬৫), পর্ব ৩৯ (Gaussian mixture আর EM algorithm — নরম clustering) একটি বিন্দুকে কয়েকটি দলে সম্ভাবনা দেয়, আর topic model আরও এক ধাপ এগিয়ে একটি রিভিউয়ের প্রতিটি শব্দকে আলাদা topic-এ দিতে পারে।

শুরু bag of words দিয়ে: শব্দের ক্রম ফেলে দিয়ে শুধু কোন শব্দ কতবার আছে। D-টি রিভিউ আর V-টি আলাদা শব্দ (vocabulary) থাকলে পাওয়া যায় একটি D × V document-term matrix X, যার ঘর X_dw = রিভিউ d-তে শব্দ w কতবার। ছোট রিভিউয়ে প্রায় সব ঘর শূন্য, তাই X একটি sparse matrix. LDA গণনা চায় (CountVectorizer), NMF আর LSA সাধারণত TF-IDF ওজন নেয়।

বাংলায় প্রথম ফাঁদ: tokenization. scikit-learn-এর default token_pattern হলো (?u)\b\w\w+\b, অর্থাৎ পরপর অন্তত দুটি “word character”. Python-এর re-তে কার-চিহ্ন (া, ি, ে) আর হসন্ত Unicode-এর “mark” শ্রেণির, \w নয়। ফলে “রাইডার” ভেঙে যায় আর মাঝের দুই-অক্ষরের টুকরো “ইড” থাকে। সমাধান: বাংলা Unicode block (U+0980 থেকে U+09FF) পুরোটা ধরে এমন pattern, [\u0980-\u09FF]+. দাঁড়ি (।) এই block-এর বাইরে (U+0964), তাই বাক্যের শেষে ঠিকমতো কাটে। দুটি সতর্কতা: “র‍্যাব”-এর মতো শব্দে zero-width joiner (U+200D) থাকে, যা এই pattern-এ শব্দ ভাঙে, আর ইংরেজি বা Banglish শব্দ এতে পুরো বাদ পড়ে। আসল ডেটায় আগে AI-এর ভিত্তি কোর্সের পর্ব ৬৭-এর মতো Unicode normalization আর নিজের tokenizer দরকার হতে পারে।

Stopword: “আর”, “কিন্তু”, “খুব”-এর মতো শব্দ সব topic-এ আসে আর শীর্ষ শব্দের তালিকা দখল করে। এখানে একটি ছোট তালিকা দিয়ে বাদ দেওয়া হয়েছে। তবে “না”, “নেই”, “পাইনি” বাদ দেবেন না: অভিযোগের অর্থ এগুলোতেই।

এই পর্বের ডেটা: বাজারঘরের ৬০০টি কাল্পনিক ছোট রিভিউ, seed দিয়ে বানানো। পাঁচটি বিষয় (delivery, packaging, price, quality, service), প্রতিটির কয়েকটি ভালো আর খারাপ “টুকরো”। প্রতিটি রিভিউ Dirichlet(0.4) থেকে একটি বিষয়-মিশ্রণ পায়, তারপর ২–৪টি টুকরো সেই মিশ্রণ থেকে আসে, মাঝে “আর/কিন্তু/তবে”। ভালো টুকরো রেটিং বাড়ায়, খারাপটি কমায়। Generator নিজেই LDA-র গল্পের সরল রূপ (অংশ ৩), তাই আসল উত্তর আমাদের জানা, যা বাস্তবে কখনো থাকে না। “ডেলিভারি চার্জ বেশি” (দাম), “টাকা ফেরত পাইনি” (সেবা)-র মতো কিছু শব্দ ইচ্ছে করে দুই বিষয়ে রাখা।

# bazar_reviews.py — বাজারঘরের কাল্পনিক বাংলা রিভিউ (seed দিয়ে বানানো)
import numpy as np

TOPICS = ["delivery", "packaging", "price", "quality", "service"]
CHUNKS = {   # প্রতিটি বিষয়ের (ভালো টুকরো, খারাপ টুকরো)
    "delivery": (["ডেলিভারি দ্রুত", "রাইডার ভদ্র", "সময়মতো পৌঁছেছে",
                  "পরদিনই হাতে পেয়েছি", "কুরিয়ার দ্রুত এসেছে"],
                 ["ডেলিভারি দেরিতে", "রাইডার ফোন ধরেননি", "তিন দিন দেরি",
                  "কুরিয়ার দেরিতে এসেছে", "ঠিকানা খুঁজে পায়নি"]),
    # … packaging, price, quality, service একইভাবে (পাতার module-এ পুরোটা)
}
P_BAD = [0.6, 0.5, 0.4, 0.3, 0.55]     # কোন বিষয়ে অভিযোগ কত বেশি
STOP = ["আর", "কিন্তু", "তবে", "খুব", "একদম", "এবার", "আমার", "অর্ডারে"]
TOKEN = r"[\u0980-\u09FF]+"            # বাংলা block-এর অক্ষর, কার-চিহ্নসহ

def make_reviews(n=600, alpha=0.4, seed=44):
    """ফেরত: লেখা, আসল বিষয়ের অনুপাত (n × 5), রেটিং ১–৫"""
    rng = np.random.default_rng(seed)
    texts, props, ratings = [], np.zeros((n, 5)), []
    for i in range(n):
        theta = rng.dirichlet(np.full(5, alpha))   # এই রিভিউয়ের বিষয়-মিশ্রণ
        words, score = [], 0
        if rng.random() < 0.3:
            words.append(str(rng.choice(["এবার", "আমার অর্ডারে"])))
        for j in range(int(rng.integers(2, 5))):   # ২–৪টি টুকরো
            k = rng.choice(5, p=theta)              # টুকরোর বিষয়
            bad = rng.random() < P_BAD[k]
            pool = CHUNKS[TOPICS[k]][int(bad)]
            if j > 0:
                words.append(str(rng.choice(["আর", "কিন্তু", "তবে"])))
            if rng.random() < 0.2:
                words.append(str(rng.choice(["খুব", "একদম"])))
            words.append(pool[rng.integers(len(pool))])
            props[i, k] += 1
            score += -1 if bad else 1
        texts.append(" ".join(words))
        props[i] /= props[i].sum()
        r = 3.2 + 0.8 * score + rng.normal(0, 0.6)
        ratings.append(int(np.clip(np.rint(r), 1, 5)))
    return texts, props, np.array(ratings)

২ · LSA থেকে pLSA — কেন একটি সম্ভাবনার গল্প দরকার

প্রথম topic model আসলে পর্ব ০৯-এর truncated SVD: LSA (Deerwester ও সহকর্মীরা, ১৯৯০) X ≈ U_kΣ_kV_kᵀ লেখে, আর V_kᵀ-এর প্রতিটি সারিকে একটি “topic” হিসেবে পড়ে। একসঙ্গে আসা শব্দ (দেরিতে, কুরিয়ার) একই দিকে ভারী হয়, তাই একই অর্থের ভিন্ন শব্দও কাছাকাছি আসে। কিন্তু তিনটি অসুবিধা আছে। দিকগুলো পরস্পর লম্ব হতে বাধ্য, অথচ বাস্তবের বিষয় তা নয়। ওজন ঋণাত্মক হতে পারে, আর “−০.৩ × ফেরত” মানে কী, তা বলা কঠিন। আর TruncatedSVD গড় বাদ দেয় না, তাই প্রথম দিক প্রায়ই শুধু “গড় রিভিউ” (পর্ব ০৯-এর অংশ ৮)। অংশ ৬-এ এগুলো চোখে দেখবেন।

Thomas Hofmann ১৯৯৯ সালে একটি সম্ভাবনার রূপ দেন, pLSA:

p(w | d) = ∑_k p(k | d) · p(w | k)

অর্থাৎ রিভিউ d-তে শব্দ w আসার সম্ভাবনা = প্রতিটি topic k-এর ভাগ × সেই topic-এ w-এর সম্ভাবনা, সব topic-এ যোগ। এখন সব সংখ্যা অঋণাত্মক আর যোগফল ১, তাই পড়া সহজ, আর পর্ব ১৮-এর maximum likelihood দিয়ে (EM দিয়ে) শেখা যায়। কিন্তু pLSA-তে প্রতিটি রিভিউয়ের p(k | d) একটি আলাদা parameter: রিভিউ বাড়লে parameter-ও বাড়ে, overfit সহজ, আর নতুন রিভিউয়ের জন্য p(k | d) বলার কোনো নিয়ম নেই। ঘাটতি একটাই: “রিভিউয়ের মিশ্রণ কোথা থেকে আসে” তার কোনো গল্প নেই। LDA ঠিক এই ফাঁকটি একটি prior দিয়ে ভরায়।

৩ · LDA-র generative গল্প — Dirichlet, θ আর φ

David Blei, Andrew Ng আর Michael Jordan ২০০৩ সালে Journal of Machine Learning Research-এ Latent Dirichlet Allocation প্রকাশ করেন (এর আগের সংস্করণ NIPS ২০০১-এ)। নামের তিন শব্দ: latent কারণ topic চোখে দেখা যায় না (latent variable), Dirichlet কারণ মিশ্রণগুলো Dirichlet বণ্টন থেকে আসে, allocation কারণ প্রতিটি শব্দ একটি topic-এ বরাদ্দ হয়। নামটি linear discriminant analysis-এর সংক্ষেপের সঙ্গে মিলে যায়; প্রসঙ্গ দেখে পড়ুন।

Dirichlet distribution. K-টি অঋণাত্মক সংখ্যা যাদের যোগফল ১, যেমন (০.৭, ০.২৫, ০.০৫), তাদের ওপর একটি বণ্টন। এই সব vector মিলে probability simplex, তিন topic-এ একটি ত্রিভুজ। Parameter α = (α₁, …, α_K)-কে বলে concentration parameter; গড় E[θ_k] = α_k / ∑α_j. সব α_k সমান হলে গড় সমান ভাগ, কিন্তু আকৃতি নির্ভর করে মানের ওপর: α < ১ হলে নমুনা ত্রিভুজের কোণে জমে (প্রতিটি রিভিউ এক-দুটি বিষয়ে), α = ১ হলে ত্রিভুজের সব জায়গা সমান, α > ১ হলে মাঝখানে (সব বিষয় একটু একটু)। K = ২ হলে Dirichlet হয়ে যায় Beta distribution, আর পর্ব ১৮-এর Beta–binomial conjugate prior এখানে Dirichlet–multinomial হয়: প্রতিটি দেখা শব্দ prior-এর গণনায় ১ যোগ করে। ছোট রিভিউয়ের জন্য α < ১ স্বাভাবিক পছন্দ, কারণ তিন লাইনের রিভিউ সাধারণত পাঁচ বিষয়ে ছড়ানো থাকে না।

গল্পটি (K টি topic, V শব্দের vocabulary):

1. প্রতিটি topic k-এর জন্য একটি শব্দ-বণ্টন আঁকা: φ_k ~ Dirichlet(η). এটি topic–word distribution; η ছোট হলে প্রতিটি topic অল্প কয়েকটি শব্দে ভারী।
2. প্রতিটি রিভিউ d-এর জন্য একটি মিশ্রণ: θ_d ~ Dirichlet(α), অর্থাৎ document–topic distribution.
3. রিভিউয়ের প্রতিটি শব্দের জায়গা n-এর জন্য: প্রথমে topic z_dn ~ Categorical(θ_d), তারপর শব্দ w_dn ~ Categorical(φ_zdn).

Categorical মানে ছক্কা চালার মতো: সম্ভাবনার তালিকা দিয়ে একটি ফল বাছা। z মাঝখান থেকে যোগ করে দিলে আবার pLSA-র সূত্রই আসে, p(w | d) = ∑_k θ_dk φ_kw, শুধু এখন θ আর φ দুটিরই prior আছে। Matrix-এর ভাষায়: প্রতিটি সারিকে মোট শব্দ দিয়ে ভাগ করা X ≈ Θ Φ, যেখানে Θ (D × K) আর Φ (K × V)-এর প্রতিটি সারি একটি সম্ভাবনা-vector. এটি অঋণাত্মক matrix factorization-এর একটি সম্ভাবনাভিত্তিক রূপ; অংশ ৬-এর NMF-এর সঙ্গে তুলনা করার সময় মনে রাখবেন।

নিচের stepper একটি ছোট খেলনা উদাহরণে (তিন topic, ছয় শব্দ, সংখ্যাগুলো হাতে বাছা) একটি রিভিউ তৈরি করে, তারপর তার সম্ভাবনা হিসাব করে।

৪ · গল্প উল্টো দিকে — posterior আর scikit-learn-এ LDA

বাস্তবে আমাদের হাতে শুধু শব্দ। চাই posterior p(θ, z, φ | w, α, η): কোন θ, z আর φ এই শব্দগুলো তৈরি করে থাকতে পারে। Bayes-এর সূত্রে লেখা সহজ, কিন্তু হর (সব সম্ভাব্য z-এর ওপর যোগ, θ আর φ-এর ওপর integral) হিসাব করা অসম্ভব রকম বড়। তাই দুই ধরনের আনুমানিক পথ চলে:

• Collapsed Gibbs sampling (Griffiths আর Steyvers, ২০০৪, PNAS): θ আর φ integral করে বাদ দিয়ে প্রতিটি শব্দের topic পালাক্রমে নতুন করে আঁকা। একটি শব্দ w-এর জন্য p(z = k | বাকি সব) ∝ (n_dk + α) × (n_kw + η) / (n_k + Vη), যেখানে n_dk = এই রিভিউয়ের কতগুলো শব্দ এখন topic k-এ, n_kw = সারা সংগ্রহে w কতবার topic k-এ, n_k = topic k-এর মোট শব্দ। প্রথম গুণক বলে “এই রিভিউ যে topic-এ ইতিমধ্যে ভারী”, দ্বিতীয়টি বলে “যে topic এই শব্দ পছন্দ করে”। MCMC-র বিস্তারিত পর্ব ৪৭ (MCMC — Metropolis-Hastings আর Gibbs sampling)-এ।
• Variational inference (Blei, Ng, Jordan-এর মূল প্রবন্ধে): কঠিন posterior-এর বদলে একটি সহজ বণ্টনের পরিবার থেকে সবচেয়ে কাছেরটি খোঁজা, একটি নিম্নসীমা (ELBO) বাড়িয়ে; গঠনে EM-এর মতো পালাক্রমে দুই ধাপ। scikit-learn এই পথে চলে, Hoffman, Blei আর Bach-এর (২০১০) online variational Bayes-এর ভিত্তিতে। ধারণাটি পর্ব ৪৮ (Variational inference-এর ধারণা — ELBO আর approximation)-এ আসবে।

scikit-learn-এর LatentDirichletAllocation-এ নামগুলো: doc_topic_prior = α আর topic_word_prior = η (দুটিরই default 1/K), learning_method = "batch" (default; প্রতিবার পুরো ডেটা) বা "online" (mini-batch, বড় সংগ্রহের জন্য), max_iter (default 10), আর components_ হলো φ-এর অস্বাভাবিকৃত রূপ (প্রতিটি সারিকে তার যোগফল দিয়ে ভাগ করলে φ_k). fit_transform প্রতিটি রিভিউয়ের θ দেয়। নিচের ব্লক আগে tokenization-এর ফাঁদ দেখায়, তারপর K = ৫ নিয়ে LDA চালায়, শীর্ষ শব্দ ছাপে, আর generator-এর আসল বিষয়ের সঙ্গে মেলায়।

import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation
from bazar_reviews import make_reviews, TOPICS, STOP, TOKEN

texts, true_props, rating = make_reviews()
print("রিভিউ:", len(texts), "| নমুনা:", texts[3])
s = "রাইডার ফোন ধরেননি"
print("default token:", CountVectorizer().build_analyzer()(s))
print("বাংলা token  :", CountVectorizer(token_pattern=TOKEN).build_analyzer()(s))

vec = CountVectorizer(token_pattern=TOKEN, stop_words=STOP)
X = vec.fit_transform(texts)                     # document-term matrix (sparse)
words = vec.get_feature_names_out()
print("X:", X.shape, "| শূন্য নয় এমন ঘর:", f"{100 * X.nnz / np.prod(X.shape):.1f}%")

lda = LatentDirichletAllocation(n_components=5, learning_method="batch",
                                max_iter=30, random_state=0)
theta = lda.fit_transform(X)                     # প্রতিটি রিভিউয়ের topic-অনুপাত
for k, row in enumerate(lda.components_):
    print(f"topic {k}:", " ".join(words[np.argsort(row)[::-1][:6]]))

# কোন topic কোন আসল বিষয়ের সঙ্গে সবচেয়ে বেশি ওঠানামা করে (correlation)
C = np.corrcoef(theta.T, true_props.T)[:5, 5:]
match = C.argmax(axis=1)
print("মিল:", [TOPICS[m] for m in match])
same = match[theta.argmax(1)] == true_props.argmax(1)
print("প্রধান বিষয় মিলেছে:", f"{same.mean():.0%}")
pd.set_option("display.width", 80)
show = pd.DataFrame(theta[[2, 3, 7]].round(2),
                    columns=[f"t{k}" for k in range(5)], index=[2, 3, 7])
show["আসল"] = [" ".join(f"{TOPICS[j][:4]}{p:.2f}" for j, p in enumerate(r) if p)
              for r in true_props[[2, 3, 7]]]
print(show.to_string())

রিভিউ: 600 | নমুনা: এজেন্ট রূঢ় তবে সেলাই মজবুত
default token: ['ইড', 'ধর', 'নন']
বাংলা token  : ['রাইডার', 'ফোন', 'ধরেননি']
X: (600, 79) | শূন্য নয় এমন ঘর: 8.1%
topic 0: দাম বেশি প্যাকেট ডেলিভারি টাকা কম
topic 1: কাপড় মাপ সেলাই ঠিক নরম মান
topic 2: ফেরত এজেন্ট সহজ পাইনি নেয়নি টাকা
topic 3: প্যাকিং মোড়ক বাক্স সুন্দর দ্রুত যত্নের
topic 4: দেরিতে এসেছে কুরিয়ার তিন দেরি দিন
মিল: ['price', 'quality', 'service', 'packaging', 'delivery']
প্রধান বিষয় মিলেছে: 72%
     t0    t1    t2    t3    t4                আসল
2  0.67  0.03  0.26  0.03  0.03  pric0.67 serv0.33
3  0.04  0.44  0.44  0.04  0.04  qual0.50 serv0.50
7  0.65  0.03  0.03  0.27  0.03           pack1.00

Seed বদলালে কী হয় (সত্যিকারের run). LDA-র লক্ষ্য-ফাংশন convex নয়, তাই শুরুর বিন্দু অনুযায়ী আলাদা local optimum-এ থামে। একই ডেটায় চারটি seed ডেস্কটপে চালানো হয়েছে (লেখার সময়ে Python 3.14.4, scikit-learn 1.8.0; একটি local run, সাধারণ ফল নয়):

$ python seeds.py
Python 3.14.4 | scikit-learn 1.8.0
seed 0: perplexity 54.98 | আলাদা বিষয় 5/5 | প্রধান বিষয় মিলেছে 72%
seed 1: perplexity 54.62 | আলাদা বিষয় 5/5 | প্রধান বিষয় মিলেছে 77%
seed 2: perplexity 58.24 | আলাদা বিষয় 4/5 | প্রধান বিষয় মিলেছে 61%
seed 3: perplexity 53.87 | আলাদা বিষয় 5/5 | প্রধান বিষয় মিলেছে 76%

Seed ২-এ দুটি topic একই আসল বিষয়ের দিকে গেছে, আর একটি topic-এর শীর্ষ শব্দ “রাইডার গেছে কিনেছি অফারে ফেটে বোতল”, একটি জগাখিচুড়ি। এখানে (training ডেটায় মাপা) perplexity খারাপ seed-টিকে ধরেছে, কিন্তু সবসময় তা হয় না। চর্চা: কয়েকটি seed চালান, শীর্ষ শব্দ পাশাপাশি পড়ুন, আর যে topic বারবার ফিরে আসে তাকেই বেশি বিশ্বাস করুন।

৫ · Document–topic vector পড়া — কোন শব্দ কোথায় গেল

θ দেখতে সহজ, কিন্তু ভুল পড়াও সহজ। Variational LDA-তে একটি রিভিউয়ের θ আসে γ_k = α + (topic k-এ যাওয়া শব্দের প্রত্যাশিত সংখ্যা) থেকে, তারপর যোগফল দিয়ে ভাগ। ফলে θ_k ≈ (n_dk + α) / (N_d + Kα), Gibbs-এর অনুমানের সূত্রও একই আকারের। ছোট রিভিউয়ে N_d ছোট, তাই prior α-র প্রভাব বড়। নিচের stepper ব্লক ১-এর রিভিউ ২ খুলে দেখে।

৬ · NMF আর LSA পাশাপাশি — TF-IDF-এ অঋণাত্মক topic

Non-negative matrix factorization (NMF) একই X ≈ WH লেখে, কিন্তু শর্ত দেয় W আর H-এর সব সংখ্যা ≥ ০. Lee আর Seung ১৯৯৯ সালে Nature-এ দেখান, এই একটি শর্তে অংশগুলো শুধু যোগ হতে পারে, বিয়োগ নয়, তাই মুখের ছবিতে NMF চোখ-নাক-ঠোঁটের মতো “অংশ” শেখে (এর আগে Paatero আর Tapper ১৯৯৪ সালে positive matrix factorization নামে একই ধারণা দেন)। লেখায় W = রিভিউ × topic, H = topic × শব্দ, আর একটি রিভিউ হলো কয়েকটি topic-এর অঋণাত্মক যোগফল: LDA-র মতোই পড়া যায়, যদিও সম্ভাবনার গল্প নেই। NMF-এর update নিয়ম আর অন্য প্রয়োগ পর্ব ৪১ (PCA-র বাইরে — kernel PCA, ICA আর NMF)-এ। বাস্তবে topic-এর জন্য NMF সাধারণত TF-IDF-এ চালানো হয়, কারণ খুব সাধারণ শব্দের ওজন তাতে কমে। নিচের ব্লক একই রিভিউয়ে NMF আর LSA-র (TruncatedSVD) শীর্ষ শব্দ পাশাপাশি দেখায়; LSA-র প্রতিটি দিকের ধনাত্মক আর ঋণাত্মক দুই প্রান্তই।

import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import NMF, TruncatedSVD
from bazar_reviews import make_reviews, TOPICS, STOP, TOKEN

texts, true_props, rating = make_reviews()
tfidf = TfidfVectorizer(token_pattern=TOKEN, stop_words=STOP)
X = tfidf.fit_transform(texts)
words = tfidf.get_feature_names_out()

nmf = NMF(n_components=5, init="nndsvda", max_iter=500, random_state=0)
W = nmf.fit_transform(X)                  # রিভিউ × topic, সব ≥ 0
H = nmf.components_                       # topic × শব্দ, সব ≥ 0
lsa = TruncatedSVD(n_components=5, random_state=0).fit(X)

def top(row, n=4):                        # সবচেয়ে বড় n-টি ওজনের শব্দ
    return " ".join(words[np.argsort(row)[::-1][:n]])

table = pd.DataFrame({"NMF": [top(h) for h in H],
                      "LSA (+)": [top(v) for v in lsa.components_],
                      "LSA (−)": [top(-v) for v in lsa.components_]})
pd.set_option("display.width", 90)
print(table.to_string())
print("NMF-এ ঋণাত্মক ওজন:", (H < 0).sum(), "| LSA-তে:", (lsa.components_ < 0).sum())
print("NMF reconstruction error:", round(nmf.reconstruction_err_, 2))
share = W / W.sum(axis=1, keepdims=True).clip(1e-12)
C = np.corrcoef(share.T, true_props.T)[:5, 5:]
print("NMF topic → আসল বিষয়:", [TOPICS[m] for m in C.argmax(axis=1)])
print("correlation:", C.max(axis=1).round(2))

                            NMF                    LSA (+)                       LSA (−)
0         ফেরত এজেন্ট সহজ পাইনি         দাম ফেরত বেশি টাকা     খারাপ হাতে পেয়েছি পরদিনই
1          দাম বেশি কম সাশ্রয়ী        দাম বেশি কম বাজারের        ফেরত সহজ এজেন্ট নেয়নি
2    প্যাকিং মোড়ক বাক্স সুন্দর     ফেরত টাকা এজেন্ট পাইনি    প্যাকিং মোড়ক সুন্দর মজবুত
3  দেরিতে কুরিয়ার এসেছে রাইডার  দেরিতে কুরিয়ার এসেছে মাপ     মোড়ক ফেরত প্যাকিং যত্নের
4             মাপ কাপড় ঠিক নরম          মাপ কাপড় ঠিক নরম  রাইডার দেরিতে কুরিয়ার এসেছে
NMF-এ ঋণাত্মক ওজন: 0 | LSA-তে: 193
NMF reconstruction error: 20.78
NMF topic → আসল বিষয়: ['service', 'price', 'packaging', 'delivery', 'quality']
correlation: [0.92 0.95 0.96 0.91 0.94]

৭ · কয়টি topic? Perplexity, coherence আর মানুষের বিচার

K বাছার কোনো নিখুঁত নিয়ম নেই। তিনটি সাক্ষী আছে, আর তারা প্রায়ই একমত হয় না।

১. Held-out perplexity. কিছু রিভিউ আলাদা রেখে, বাকিগুলোতে শিখে, আলাদা রাখা রিভিউয়ের শব্দকে model কত সম্ভাব্য বলে তা মাপা: perplexity = exp(−∑ log p(w) / N_শব্দ), কম হলে ভালো। স্টেপার ১-এর শেষ ধাপে এটি হাতে করেছেন। scikit-learn-এর perplexity variational নিম্নসীমা দিয়ে আনুমানিক মান দেয়, আর নতুন রিভিউয়ের θ নিজেই অনুমান করে; তাই এটি নিখুঁত held-out likelihood নয়। AI-এর ভিত্তি কোর্সের পর্ব ৩৮-এর cross-entropy-র exp-ই এই সংখ্যা।

২. Topic coherence. একটি topic-এর শীর্ষ শব্দগুলো কি সত্যিই লেখায় একসঙ্গে আসে? UMass coherence (Mimno ও সহকর্মীরা, ২০১১) শীর্ষ M শব্দ w₁, …, w_M (বড় থেকে ছোট) নিয়ে প্রতিটি জোড়া l < m-এ যোগ করে log((D(w_m, w_l) + ১) / D(w_l)), যেখানে D(w) = কতগুলো রিভিউতে w আছে, D(w_m, w_l) = কতগুলোতে দুটিই। মান প্রায় সবসময় ঋণাত্মক, ০-এর কাছে হলে ভালো। নিচের ব্লকে যোগফলের বদলে গড় নেওয়া হয়েছে, যাতে আলাদা M-এ তুলনা চলে। অন্য রূপ আছে (NPMI, C_V), আর সেগুলো প্রায়ই বাইরের বড় সংগ্রহে co-occurrence গোনে।

৩. মানুষের বিচার আর কাজের প্রশ্ন। শীর্ষ শব্দ আর প্রতিটি topic-এর সবচেয়ে ভারী কয়েকটি রিভিউ পড়া। Topic-এর সংখ্যা শেষ পর্যন্ত একটি সিদ্ধান্ত: ড্যাশবোর্ডে পাঁচটি বড় বিষয় চাই, নাকি অপারেশন দলের জন্য বিশটি সূক্ষ্ম বিষয়?

নিচের ব্লক একই generator থেকে ৯০০টি রিভিউ নেয় (প্রথম ৬০০টি আগের মতোই), ৬০০টিতে শেখে আর শেষ ৩০০টিতে perplexity মাপে, আর UMass নিজে হাতে লেখা। সাতটি K-তে model লাগে, তাই কয়েক সেকেন্ড সময় নেয়।

import numpy as np
import matplotlib.pyplot as plt
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import LatentDirichletAllocation
from bazar_reviews import make_reviews, STOP, TOKEN

texts, _, _ = make_reviews(n=900)          # আগের ৬০০টি + নতুন ৩০০টি
vec = CountVectorizer(token_pattern=TOKEN, stop_words=STOP)
X = vec.fit_transform(texts)
X_tr, X_te = X[:600], X[600:]                    # শেষ ৩০০টি রিভিউ আলাদা রাখা
B = (X_tr > 0).toarray().astype(float)           # শব্দটি রিভিউতে আছে কি না
D = B.T @ B                                      # D[i, j] = কতগুলো রিভিউতে i আর j দুটিই

def umass(top):                                  # Mimno et al. 2011-এর UMass coherence
    s = [np.log((D[top[m], top[l]] + 1) / D[top[l], top[l]])
         for m in range(1, len(top)) for l in range(m)]
    return np.mean(s)

Ks, perp, coh = [2, 3, 4, 5, 6, 8, 10], [], []
for K in Ks:
    lda = LatentDirichletAllocation(n_components=K, learning_method="batch",
                                    max_iter=20, random_state=0).fit(X_tr)
    perp.append(lda.perplexity(X_te))            # আলাদা রাখা রিভিউয়ে
    tops = [np.argsort(r)[::-1][:6] for r in lda.components_]
    coh.append(np.mean([umass(t) for t in tops]))
    print(f"K={K}: held-out perplexity {perp[-1]:6.2f} | UMass {coh[-1]:6.2f}")

fig, (a1, a2) = plt.subplots(1, 2, figsize=(8, 3))
a1.plot(Ks, perp, "o-"); a1.set_title("Held-out perplexity (lower = better)")
a2.plot(Ks, coh, "o-", color="C1"); a2.set_title("UMass coherence (higher = better)")
for a in (a1, a2):
    a.set_xlabel("number of topics K"); a.axvline(5, color="0.7", ls="--")
fig.subplots_adjust(wspace=0.3, bottom=0.18)
plt.show()

K=2: held-out perplexity  72.64 | UMass  -2.17
K=3: held-out perplexity  68.68 | UMass  -1.80
K=4: held-out perplexity  65.54 | UMass  -1.55
K=5: held-out perplexity  64.14 | UMass  -1.63
K=6: held-out perplexity  64.15 | UMass  -1.70
K=8: held-out perplexity  61.54 | UMass  -1.77
K=10: held-out perplexity  58.40 | UMass  -1.69

৮ · Topic-অনুপাত feature হিসেবে — অভিযোগ ধরা যায় কি?

θ প্রতিটি রিভিউকে K-টি সংখ্যায় নামিয়ে আনে, তাই একে classifier-এর feature বানানো লোভনীয়: পাঁচটি ব্যাখ্যাযোগ্য সংখ্যা, হাজার শব্দের বদলে। দুটি নিয়ম মানতে হবে। প্রথমত, LDA নিজেও ডেটা থেকে শেখে, তাই cross-validation-এর প্রতিটি fold-এ শুধু train অংশে fit করতে হবে; পুরো ডেটায় আগে LDA চালিয়ে তারপর ভাগ করলে test রিভিউয়ের তথ্য feature-এ ঢুকে যায় (data leakage; AI-এর ভিত্তি কোর্সের পর্ব ৬৪-এর pipeline ঠিক এজন্য)। দ্বিতীয়ত, একটি সরল baseline-এর পাশে মাপতে হবে। নিচের ব্লক ১–২ তারার রিভিউকে “অভিযোগ” ধরে তিনটি জিনিস তুলনা করে: LDA-র θ দিয়ে logistic regression, সব শব্দের TF-IDF দিয়ে logistic regression, আর generator-এর আসল বিষয়-অনুপাত দিয়ে (যা বাস্তবে কখনো পাওয়া যায় না, শুধু ঊর্ধ্বসীমা দেখতে)। মাপকাঠি পাঁচ-fold cross-validation-এ ROC AUC (AI-এর ভিত্তি কোর্সের পর্ব ৬০)।

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.decomposition import LatentDirichletAllocation
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import cross_val_score, StratifiedKFold
from bazar_reviews import make_reviews, STOP, TOKEN

texts, true_props, rating = make_reviews()
y = (rating <= 2).astype(int)                     # ১–২ তারা = অভিযোগ
print("অভিযোগের হার:", round(y.mean(), 3))
cv = StratifiedKFold(5, shuffle=True, random_state=0)

def lda_model(K):                                 # LDA প্রতিটি fold-এর train অংশেই শেখে
    return make_pipeline(
        CountVectorizer(token_pattern=TOKEN, stop_words=STOP),
        LatentDirichletAllocation(n_components=K, max_iter=20, random_state=0),
        LogisticRegression(max_iter=1000))

models = {
    "LDA θ, K=5": lda_model(5),
    "TF-IDF সব শব্দ": make_pipeline(
        TfidfVectorizer(token_pattern=TOKEN, stop_words=STOP),
        LogisticRegression(max_iter=1000)),
}
for name, m in models.items():
    auc = cross_val_score(m, texts, y, cv=cv, scoring="roc_auc")
    print(f"{name:15s} ROC AUC {auc.mean():.3f} ± {auc.std():.3f}")
auc = cross_val_score(LogisticRegression(), true_props, y, cv=cv, scoring="roc_auc")
print(f"{'আসল অনুপাত':15s} ROC AUC {auc.mean():.3f} ± {auc.std():.3f}")

অভিযোগের হার: 0.3
LDA θ, K=5      ROC AUC 0.589 ± 0.057
TF-IDF সব শব্দ  ROC AUC 0.941 ± 0.015
আসল অনুপাত      ROC AUC 0.607 ± 0.063

৯ · সীমাবদ্ধতা আর আধুনিক বিকল্প — ছোট লেখা, বাংলা রূপতত্ত্ব, BERTopic

• ছোট লেখা। একটি রিভিউয়ে সাত-আটটি শব্দ থাকলে co-occurrence-এর প্রমাণ খুব কম, আর θ-তে prior-এর ভাগ বড় (অংশ ৫)। Tweet আর রিভিউয়ের জন্য আলাদা model তৈরি হয়েছে, যেমন প্রতি লেখায় একটি topic ধরে নেওয়া Dirichlet multinomial mixture (Yin আর Wang-এর GSDMM, ২০১৪) বা পুরো সংগ্রহের শব্দ-জোড়া থেকে শেখা biterm topic model (Yan ও সহকর্মীরা, ২০১৩)।
• বাংলা রূপতত্ত্ব। “ডেলিভারি”, “ডেলিভারিতে”, “ডেলিভারির” তিনটি আলাদা কলাম হয়ে যায়, ফলে প্রমাণ ভাগ হয়ে দুর্বল হয়। বাংলায় নির্ভরযোগ্য stemmer বা lemmatizer এখনো সীমিত; সাবধানে লেখা কয়েকটি suffix-ছাঁটার নিয়ম বা character n-gram সাহায্য করতে পারে, কিন্তু “দেরি” আর “দেরিতে” মেলাতে গিয়ে ভুল শব্দও মিশে যেতে পারে। Banglish আর বানানভেদও একই সমস্যা বাড়ায়।
• Stopword আর অস্বীকার। কোন শব্দ বাদ যাবে তা topic বদলে দেয়। “না/নেই/পাইনি” রাখলে অভিযোগের topic স্পষ্ট হয়; bag of words-এ “ভালো না” আর “ভালো” তবু কাছাকাছি থাকে।
• Topic-এর নাম মানুষের দেওয়া। Model শুধু শব্দের দল দেয়; “ডেলিভারি” নামটি আপনার। ভুল নাম দিলে পুরো রিপোর্ট ভুল দিকে যায় (অংশ ৫-এর রিভিউ ৭)।
• Embedding-ভিত্তিক topic model. BERTopic (Maarten Grootendorst, ২০২২ সালের arXiv প্রবন্ধ) প্রতিটি লেখাকে একটি pretrained ভাষা-model-এর embedding-এ বদলায়, UMAP দিয়ে মাত্রা কমায়, HDBSCAN দিয়ে cluster করে, তারপর প্রতিটি cluster-এর শব্দ class-based TF-IDF দিয়ে বাছে। এতে প্রতিশব্দ আর শব্দের রূপভেদ embedding-এ কাছাকাছি আসতে পারে, তাই ছোট লেখায় অনেক সময় বেশি পড়ার মতো topic পাওয়া যায় বলে বহু ব্যবহারকারী জানান; তবে ফল নির্ভর করে embedding model-টি বাংলা কতটা ভালো ধরে তার ওপর, ডিফল্টে প্রতিটি লেখা একটি topic পায়, আর UMAP/HDBSCAN-এর parameter-এ ফল অনেক বদলায় (পর্ব ৪২, t-SNE আর UMAP — manifold learning আর তার ফাঁদ, সেখানকার সতর্কতা এখানেও খাটে)। এর গভীর আলোচনা পরের NLP আর generative AI কোর্সে আসবে।

১০ · AI-এর যুগে — topic model-এর কোড আর ব্যাখ্যা যাচাই

AI assistant কয়েক সেকেন্ডে topic modeling-এর কোড আর topic-এর সুন্দর নাম দেয়। বিপদ এখানেই: ভুল tokenization, বানানো parameter আর আত্মবিশ্বাসী নাম মিলে ভুল রিপোর্টও বিশ্বাসযোগ্য দেখায়।

AI-এর দেওয়া topic modeling-এর কোড বা রিপোর্ট হাতে পেলে — যাচাইয়ের চেকলিস্ট

• Vocabulary-র নমুনা পড়ে দেখেছি বাংলা শব্দ অক্ষত আছে, আর stopword তালিকায় “না/নেই” নেই
• প্রতিটি parameter নাম নিজের scikit-learn version-এর অফিসিয়াল docs-এ মিলিয়েছি, আর কোড warning ছাড়া চলেছে
• কয়েকটি seed-এ চালিয়ে দেখেছি কোন topic বারবার ফেরে
• K বাছাইয়ে held-out perplexity, coherence আর শীর্ষ শব্দ ও নমুনা রিভিউ পড়া একসঙ্গে দেখেছি
• θ দিয়ে কোনো model মাপলে LDA pipeline-এর ভেতরে ছিল, আর একটি সরল baseline-এর পাশে মেপেছি
• Topic-এর নাম আর শতাংশের দাবি হাতে পড়া নমুনায় যাচাই করেছি
• আসল ক্রেতার রিভিউ, নাম বা ফোন নম্বর AI-তে পেস্ট করিনি