AI-এর তিন পথ — নিয়মভিত্তিক, পরিসংখ্যানভিত্তিক আর neural

১ · একই কাজ, তিনটি পথ — বাজারঘরের অভিযোগ বাছাই

“বাজারঘর” এই কোর্সের কাল্পনিক অনলাইন দোকান। প্রতিদিন গ্রাহকেরা Facebook page আর app-এ বার্তা পাঠান। কেউ লেখেন “order dam koto?”, কেউ লেখেন “parcel bhanga chilo”. Customer care-এ মানুষ কম, তাই দোকান চায় অভিযোগগুলো আগে চোখে পড়ুক। কাজটি তাই সরল একটি classification: প্রতিটি বার্তাকে ১ (অভিযোগ) বা ০ (অভিযোগ নয়) বলা।

এই কাজটি AI-এর তিনটি বড় পথে করা যায়। পার্থক্য বোঝার সবচেয়ে সহজ প্রশ্ন হলো: “অভিযোগ কাকে বলে”, এই জ্ঞানটি কে দিচ্ছে, আর সেটি কোথায় জমা থাকছে?

পুরো পর্বের ডেটা: ১২০টি বার্তা, seed দিয়ে তৈরি

সব পাঠক যাতে একই সংখ্যা পান, তাই ডেটা তৈরি হয় seed দেওয়া random দিয়ে। বার্তাগুলো ইংরেজি অক্ষরে লেখা বাংলা (Banglish), কারণ অনেক গ্রাহক এভাবেই লেখেন, আর এতে শব্দ ভাগ করাও সহজ থাকে। বাংলা লিপির লেখা ভাগ করার নিজস্ব জটিলতা আছে; সেটি পর্ব ৬৭ (বাংলা লেখার ডেটা — tokenization, TF-IDF আর একটি classifier)-এ আসবে। প্রতিটি বার্তার একটি label আছে: ১ মানে অভিযোগ, ০ মানে নয়।

প্রথম block-এ ডেটা তৈরি হয়, আর পথ ১-এর নিয়মটিও লেখা হয়। নিয়মটি ছয়টি চাবি-শব্দ খোঁজে; কোনো একটি পেলেই “অভিযোগ”। এই নিয়ম লেখা হয়েছে কয়েকটি বার্তা চোখে দেখে, যেমন বাস্তবে একজন কর্মী লিখতেন। এই পাতার Python চলে আপনার ব্রাউজারেই, Pyodide দিয়ে। পরের block-গুলোতে scikit-learn লাগবে; প্রথমবার সেটি load হতে প্রায় দশ সেকেন্ড লাগতে পারে, পরে দ্রুত চলে।

import random
rng = random.Random(42)
who = ["", "bhai ", "apu ", "please "]
thing = ["order", "parcel", "product", "delivery"]
bad = ["ashe nai", "late hoyeche", "bhanga chilo", "bhul item dise",
       "noshto hoye geche", "ekhono pai nai", "size mele nai",
       "taka ferot chai", "refund dite hobe", "khub kharap"]
good = ["dhonnobad", "valo laglo", "sundor packing", "abar kinbo",
        "dam koto?", "stock ache?", "kobe pabo?", "cash on delivery hobe?",
        "late holeo somossa nai", "kharap na, valo"]
msgs, labels = [], []
for i in range(120):
    y = i % 2                      # 1 = অভিযোগ, 0 = অভিযোগ নয়
    msgs.append(f"{rng.choice(who)}{rng.choice(thing)} {rng.choice(bad if y else good)}")
    labels.append(y)

# পথ ১: মানুষের লেখা নিয়ম
KEYWORDS = ["ashe nai", "late", "bhanga", "bhul", "refund", "kharap"]
def rule(msg):
    m = msg.lower()
    for kw in KEYWORDS:
        if kw in m:
            return 1               # কোনো চাবি-শব্দ মিলল: অভিযোগ
    return 0                       # কিছুই মেলেনি: অভিযোগ নয়

print("মোট বার্তা:", len(msgs), "| অভিযোগ:", sum(labels))
for m, y in list(zip(msgs, labels))[:6]:
    print(f"label={y} rule={rule(m)}  {m}")

২ · পথ ১: নিয়মভিত্তিক বা symbolic AI

Symbolic AI-তে জ্ঞান লেখা থাকে প্রতীক আর নিয়মে, যেমন “যদি বার্তায় refund থাকে, তাহলে অভিযোগ।” কম্পিউটার সেই নিয়ম যুক্তির ধাপ মেনে প্রয়োগ করে। আমাদের rule() ফাংশন একটি ছোট rule-based system. বড় আকারে এর রূপ হলো expert system: ১৯৭০ আর ৮০-এর দশকে ডাক্তারি রোগনির্ণয় বা কম্পিউটারের যন্ত্রাংশ সাজানোর জন্য শত শত, এমনকি হাজার হাজার নিয়ম লেখা হয়েছিল। কীভাবে এমন নিয়ম থেকে যুক্তি টানা হয় (forward আর backward chaining), সেটি পর্ব ৪৭ (Rule-based আর expert system)-এ বিস্তারিত আসবে; যুক্তির ভিত্তি পর্ব ৪৫ (Propositional logic)-এ।

এবার একটি নতুন বার্তা নিয়মের ভেতর দিয়ে পাঠাই। গ্রাহক লিখেছেন jinish ta ekhono hate pai ni, মানে “জিনিসটা এখনো হাতে পাইনি।” এটি স্পষ্ট অভিযোগ। “পরে” চেপে দেখুন নিয়ম কী করে।

1def rule(msg):2    m = msg.lower()3    for kw in KEYWORDS:4        if kw in m:5            return 16    return 0

নিয়মের শক্তি

• ব্যাখ্যা করা যায়: প্রতিটি সিদ্ধান্তের পেছনে কোন নিয়ম কাজ করল, তা হুবহু দেখানো যায়। ব্যাংকের ঋণ বাতিল বা করের হিসাবের মতো জায়গায় এই explainability খুব দামি।
• ডেটা লাগে না: প্রথম দিনেই চালু করা যায়, label করা হাজার উদাহরণের অপেক্ষা ছাড়াই।
• নিখুঁত যেখানে নিয়ম নিখুঁত: “৳৫০০০-এর বেশি refund মানেই ম্যানেজারের অনুমোদন”, এই নিয়মে সম্ভাবনার কোনো জায়গা নেই, থাকা উচিতও নয়।
• সহজে বদলানো যায়: নীতি বদলালে একটি লাইন বদলান; নতুন করে training লাগে না।

নিয়মের দুর্বলতা: ভঙ্গুরতা, বিস্ফোরণ আর জ্ঞান জোগাড়ের বাধা

প্রথম দুর্বলতা আমরা দেখলাম: না-ভাবা বাক্যে ভেঙে পড়া। দ্বিতীয়টি আরও গভীর। ধরুন বাজারঘর জানতে চায় একটি delivery দেরি হবে কি না, আর সেটি নিয়ম দিয়ে লিখতে চায়। জেলা, আবহাওয়া, দিনের ধরন, courier, দূরত্ব আর পেমেন্টের ধরন মিলিয়ে প্রতিটি সমন্বয়ের জন্য সিদ্ধান্ত লিখতে হলে কয়টি সারি লাগবে? নিচের block হিসাব করে, আর ছোট একটি অংশ সত্যিই গুনেও দেখায়। এটি আগের block-এর ওপর নির্ভর করে না।

from itertools import product
from math import comb

# delivery দেরি হবে কি না: প্রতিটি শর্ত কয়টি মান নিতে পারে
conditions = {"district": 64, "weather": 3, "day_type": 3,
              "courier": 4, "distance": 3, "payment": 2}

print(f"{'condition':<10}{'values':>7}{'table rows':>12}")
rows = 1
for name, k in conditions.items():
    rows *= k
    print(f"{name:<10}{k:>7}{rows:>12,}")

# ছোট অংশটি সত্যিই গুনে দেখা
small = list(product(["rod", "brishti", "jhor"],
                     ["normal", "friday", "pre_eid"]))
print("\nweather x day_type:", len(small), "combination, যেমন", small[:2])

print("\nহ্যাঁ/না ধরনের n টি শর্ত হলে সারি = 2**n")
for n in [5, 10, 20, 30]:
    print(f"  n = {n:>2} -> {2**n:>13,}")

print("\nm টি নিয়মের মধ্যে জোড়ায় জোড়ায় সংঘাত যাচাই = m(m-1)/2")
for m in [10, 100, 1000]:
    print(f"  m = {m:>4} -> {comb(m, 2):>7,}")

বাস্তবে কেউ পুরো টেবিল লেখে না; বেশিরভাগ সারি “default” নিয়মে পড়ে। কিন্তু তাতেই সমস্যা লুকিয়ে যায়: কোন সারিগুলো default-এ ভুল উত্তর পাচ্ছে, তা কেউ জানে না। আর তৃতীয় দুর্বলতা মানুষের দিক থেকে। নিয়ম লিখতে হলে বিশেষজ্ঞকে বলতে হয় তিনি কীভাবে সিদ্ধান্ত নেন। অভিজ্ঞ courier ম্যানেজার জানেন কোন রুটে বৃষ্টির দিনে দেরি হয়, কিন্তু সেটি নিখুঁত নিয়মে বলতে পারেন না। expert system-এর যুগে এই সমস্যার নাম হয় knowledge acquisition bottleneck: জ্ঞান বের করে লেখাই সবচেয়ে ধীর, সবচেয়ে ব্যয়বহুল ধাপ।

৩ · পথ ২: পরিসংখ্যানভিত্তিক machine learning

দ্বিতীয় পথে আমরা নিয়ম লিখি না। তার বদলে ঠিক করি বার্তার কোন feature মাপা হবে, আর একটি model সেই feature থেকে ডেটা দেখে নিজের সংখ্যা ঠিক করে। এটাই machine learning-এর মূল চিন্তা। এখানে feature খুব সরল: bag of words, অর্থাৎ প্রতিটি শব্দ বার্তায় কতবার আছে। শব্দের ক্রম হারিয়ে যায়; “valo na” আর “na valo” একই দেখায়। scikit-learn-এর CountVectorizer এই গণনা করে।

Model হিসেবে নিচ্ছি Naive Bayes. এর চিন্তা আবহাওয়ার পূর্বাভাসের মতো। আকাশে কালো মেঘ দেখলে আপনি জানেন অতীতে এমন দিনে প্রায়ই বৃষ্টি হয়েছে; প্রতিটি লক্ষণ বিশ্বাসকে একটু এদিক বা ওদিকে ঠেলে। Naive Bayes প্রতিটি শব্দকে এমন একটি লক্ষণ ধরে। “Naive” বা সরল, কারণ এটি ধরে নেয় শ্রেণি জানা থাকলে শব্দগুলো একে অপরের থেকে স্বাধীন, যা ভাষায় প্রায় কখনো সত্য নয়। তবু এই সরল ধারণা অনেক কাজে ভালো চলে। Bayes-এর উপপাদ্য পর্ব ৫০-এ আর Naive Bayes-এর পুরো গণিত পর্ব ৫১ (Naive Bayes — বাংলা SMS-কে spam না ham বলা)-এ আসবে; এখানে শুধু হিসাবটি কীভাবে চলে, সেটুকু।

একটি শব্দের ওজন কীভাবে আসে

Training-এর ৮৪টি বার্তায় (পরের অংশে কীভাবে ভাগ হলো দেখবেন) অভিযোগ-শ্রেণিতে মোট 187টি শব্দ আছে, অভিযোগ-নয় শ্রেণিতে 171টি, আর আলাদা শব্দ (vocabulary) 49টি। “ekhono” শব্দটি অভিযোগে ৭ বার, অভিযোগ-নয়-তে একবারও নেই। শূন্য গণনার শব্দ যাতে পুরো হিসাব শূন্য না করে দেয়, তাই প্রতিটি গণনায় ১ যোগ করা হয়; একে বলে Laplace smoothing:

P(w | অভিযোগ) = (n_১(w) + 1) / (N_১ + V)

এখানে n_১(w) হলো অভিযোগ-শ্রেণিতে শব্দটি কতবার এসেছে, N_১ সেই শ্রেণির মোট শব্দ, আর V মোট আলাদা শব্দ। তাহলে P(ekhono | অভিযোগ) = (7 + 1) / (187 + 49) = 8/236 ≈ 0.0339, আর P(ekhono | নয়) = (0 + 1) / (171 + 49) = 1/220 ≈ 0.00455. খুব ছোট সংখ্যা গুণ করতে করতে হিসাব ঝাপসা হয়ে যায়, তাই log probability নিয়ে যোগ করা হয়। একটি শব্দের “ওজন” হলো দুই শ্রেণির log-এর পার্থক্য:

ওজন(ekhono) = ln(8/236) − ln(1/220) = ln(7.458) ≈ +2.009

ধনাত্মক ওজন মানে শব্দটি অভিযোগের দিকে ঠেলে, ঋণাত্মক মানে উল্টো দিকে। সব শব্দের ওজন যোগ করে, শুরুতে দুই শ্রেণির অনুপাতের log (prior) যোগ করে যে score আসে, তাকে sigmoid, অর্থাৎ 1/(1 + e^−score), দিয়ে ০ থেকে ১-এর সম্ভাবনায় আনা যায়। এবার নিয়মে হেরে যাওয়া সেই একই বার্তা এই model-এ পাঠাই। সংখ্যাগুলো পরের block-এ fit হওয়া model থেকেই নেওয়া।

1tokens = ["jinish","ta","ekhono",2          "hate","pai","ni"]3score = prior    # 42 বনাম 42: 0.04jinish  -> অচেনা, বাদ5ta      -> অচেনা, বাদ6ekhono  -> +2.0097hate    -> অচেনা, বাদ8pai     -> +2.0099ni      -> অচেনা, বাদ10p = 1/(1+exp(-score))

Naive Bayes-এর পাশাপাশি এই পথের আরেকটি পরিচিত model হলো logistic regression: সেটিও প্রতিটি শব্দের একটি ওজন শেখে, তবে ওজনগুলো গণনা থেকে সরাসরি না নিয়ে একসাথে এমনভাবে ঠিক করে যাতে training-এর ভুল কমে। পর্ব ৫৯-এ সেটি আসবে।

৪ · পথ ৩: neural বা connectionist

তৃতীয় পথের নাম connectionism: অনেক সরল গণনা-একক, যাদের মধ্যে সংযোগের শক্তি (ওজন) ডেটা থেকে শেখা হয়। এর প্রধান রূপ neural network. নামে মস্তিষ্কের ছোঁয়া থাকলেও আধুনিক neural network মূলত গুণ, যোগ আর একটি সরল বাঁকানো ফাংশনের স্তর; মস্তিষ্কের নিখুঁত নকল একে বলা যায় না।

পথ ২-এর সঙ্গে আসল পার্থক্য কোথায়? Naive Bayes প্রতিটি শব্দকে আলাদা লক্ষণ ধরে। Neural network-এর মাঝখানে থাকে hidden layer, যার প্রতিটি একক অনেক শব্দের গণনা মিশিয়ে নিজের একটি নতুন সংখ্যা বানায়। Training-এর পর কোনো একক হয়তো “পাইনি/আসেনি ধরনের কথা”-য় বেশি সাড়া দেয়, কোনোটি “প্রশংসা”-য়। এই নতুন সংখ্যাগুলো কেউ বলে দেয়নি; network নিজে বানিয়েছে। একেই বলে representation learning, আর এটিই neural পথের মূল শক্তি। তবে কোন একক ঠিক কী ধরছে, তা মানুষের ভাষায় সবসময় পরিষ্কার নয়।

আমাদের network ছোট: scikit-learn-এর MLPClassifier, একটি hidden layer-এ ৮টি একক। এটি একটি MLP.

এই ৪০৯টি সংখ্যাই network-এর parameter. তুলনায় Naive Bayes-এর শেখা সংখ্যা ১০০টি (দুই শ্রেণি × ৪৯টি শব্দের log-সম্ভাবনা, আর দুটি prior), আর নিয়মের শেখা সংখ্যা শূন্য। আধুনিক বড় language model-এ এমন সংখ্যা শত কোটির ঘরে। কীভাবে ওজনগুলো ধাপে ধাপে ঠিক হয় (gradient descent আর backpropagation), তা পর্ব ৩৪ আর পর্ব ৬৮ (Neural network-এর ধারণা — perceptron থেকে ছোট network, NumPy দিয়ে)-এ আসবে।

৫ · তিন পথ পাশাপাশি — একই held-out test-এ ফল

তুলনা ন্যায্য হতে হলে সব পথকে একই পরীক্ষায় বসাতে হয়, আর সেই পরীক্ষার প্রশ্ন কেউ আগে দেখবে না। তাই ১২০টি বার্তা থেকে ৩০% অর্থাৎ ৩৬টি আলাদা করে রাখা হলো: এটি test set. বাকি ৮৪টি training set; Naive Bayes আর MLP শুধু এগুলোই দেখে। stratify=labels দুই ভাগেই অভিযোগ আর অভিযোগ-নয়-এর অনুপাত সমান রাখে। মাপকাঠি accuracy: কত ভাগ উত্তর ঠিক। Accuracy-র সীমা আর অন্য metric পর্ব ৬০-এ আসবে; train আর test ভাগের ফাঁদ পর্ব ৫৬-এ।

from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.neural_network import MLPClassifier
from sklearn.pipeline import make_pipeline
from sklearn.metrics import accuracy_score

Xtr, Xte, ytr, yte = train_test_split(
    msgs, labels, test_size=0.3, random_state=42, stratify=labels)

# পথ ২: শব্দ গোনা (feature) + Naive Bayes
nb = make_pipeline(CountVectorizer(), MultinomialNB()).fit(Xtr, ytr)
# পথ ৩: একই শব্দ-গণনা থেকে ৮টি hidden unit-এর ছোট neural network
mlp = make_pipeline(CountVectorizer(),
                    MLPClassifier(hidden_layer_sizes=(8,), solver="lbfgs",
                                  max_iter=500, random_state=42)).fit(Xtr, ytr)

n_nb = nb[1].feature_log_prob_.size + nb[1].class_log_prior_.size
n_mlp = sum(w.size for w in mlp[1].coefs_ + mlp[1].intercepts_)
rows = [("rules", [rule(m) for m in Xte], "0 (6 keywords)"),
        ("naive bayes", nb.predict(Xte), n_nb),
        ("mlp (8 hidden)", mlp.predict(Xte), n_mlp)]

print(f"train = {len(Xtr)}, test = {len(Xte)}, vocabulary = {len(nb[0].vocabulary_)}")
print(f"{'method':<15}{'test acc':>9}  learned numbers")
for name, pred, n in rows:
    print(f"{name:<15}{accuracy_score(yte, pred):>9.3f}  {n}")

miss = [m for m, y in zip(Xte, yte) if rule(m) != y]
print("\nrule-এর ভুল", len(miss), "টি, যেমন:")
for m in miss[:4]:
    print("  ", m)

method          test acc  learned numbers
rules              0.694  0 (6 keywords)
naive bayes        0.972  100
mlp (8 hidden)     1.000  409

৬ · নতুন ধরনের বাক্যে কে টেকে — সৎ পরীক্ষা

আসল পরীক্ষা হলো এমন বাক্য, যা কোনো টেমপ্লেটে নেই। নতুন উদাহরণে ঠিক উত্তর দেওয়ার ক্ষমতাকে বলে generalization. নিচে পাঁচটি নতুন বার্তা আছে, যার প্রতিটির সঠিক label আমরা নিজে ঠিক করেছি। আগের দুই block যদি না চালিয়ে থাকেন, এটি চালালে সেগুলো আগে নিজে থেকেই চলবে।

new = ["jinish ta ekhono hate pai ni",        # অভিযোগ, নতুন শব্দে
       "3 din hoye gelo, kono khobor nai",     # অভিযোগ
       "packet chhera chilo, valo na",         # অভিযোগ, কিন্তু "valo" আছে
       "late hobe na to?",                     # প্রশ্ন, অভিযোগ নয়
       "delivery boy er babohar valo chilo"]   # প্রশংসা
truth = [1, 1, 1, 0, 0]

print(f"{'message':<35}true rule  nb  p(nb) mlp")
for m, t in zip(new, truth):
    p = nb.predict_proba([m])[0, 1]
    print(f"{m:<35}{t:>4}{rule(m):>5}{nb.predict([m])[0]:>4}{p:>6.2f}"
          f"{mlp.predict([m])[0]:>4}")

known = [w for w in nb[0].build_analyzer()(new[0]) if w in nb[0].vocabulary_]
print("\nপ্রথম বার্তার যে শব্দ model চেনে:", known)

message                            true rule  nb  p(nb) mlp
jinish ta ekhono hate pai ni          1    0   1  0.98   1
3 din hoye gelo, kono khobor nai      1    0   1  0.95   1
packet chhera chilo, valo na          1    0   0  0.09   0
late hobe na to?                      0    1   0  0.35   0
delivery boy er babohar valo chilo    0    0   0  0.13   0

৭ · মিশ্র পথ — hybrid AI

বাস্তবের বেশিরভাগ AI সিস্টেম কোনো একটি পথে খাঁটি নয়। তিন পথের শক্তি জুড়ে দুর্বলতা ঢাকার কয়েকটি পরিচিত ধরন:

১. শেখা model-এর চারপাশে নিয়মের guardrail

সবচেয়ে সাধারণ আর সবচেয়ে কাজের ধরন। বাজারঘর শেখা model দিয়ে বার্তা বাছবে, কিন্তু কয়েকটি নিয়ম model-এর ওপরে বসবে: বার্তায় “refund” বা টাকার অঙ্ক থাকলে model যা-ই বলুক, মানুষের কাছে যাবে; model-এর সম্ভাবনা ০.৪ থেকে ০.৬-এর মধ্যে হলে, অর্থাৎ দ্বিধায় থাকলে, মানুষ দেখবে। এই নিয়মগুলোকে বলে guardrail. এখানে নিয়মের কাজ সব বাক্য বোঝা নয়, শুধু কয়েকটি নিশ্চিত, উচ্চ-ঝুঁকির ক্ষেত্র আটকানো, যেখানে নিয়মই সবচেয়ে নির্ভরযোগ্য। LLM-ভিত্তিক সিস্টেমে prompt injection-এর মতো ঝুঁকি আটকাতেও এমন বাইরের নিয়ম ব্যবহার হয়; নিরাপত্তার দিকটি Cybersecurity কোর্সের AI security পর্বে আছে।

২. খুঁজে আনা (retrieval) আর model

একটি language model-এর ভেতরে দোকানের নতুন return-নীতি থাকার কথা নয়। RAG পদ্ধতিতে প্রশ্ন এলে আগে দোকানের নথি থেকে প্রাসঙ্গিক অংশ খুঁজে আনা হয়, তারপর model সেই লেখা দেখে উত্তর বানায়। জ্ঞান থাকে বাইরের নথিতে, যা মানুষ সরাসরি পড়তে আর বদলাতে পারে; model দেয় ভাষার দক্ষতা। এই পদ্ধতির পরিচিত নামটি এসেছে ২০২০ সালের Lewis ও সহকর্মীদের একটি গবেষণাপত্র থেকে। Embedding দিয়ে খোঁজা পর্ব ৬৯-এ, LLM পর্ব ৭০-এ আসবে।

৩. Neuro-symbolic: শেখা আর যুক্তি এক সিস্টেমে

Neuro-symbolic AI শব্দটি দিয়ে বোঝানো হয় এমন সিস্টেম, যেখানে neural অংশ কাঁচা ডেটা থেকে প্রতীক বা প্রস্তাব বের করে, আর symbolic অংশ সেগুলো দিয়ে নিখুঁত যুক্তি বা search চালায়। প্রায়ই উদাহরণ দেওয়া হয় ২০১৬ সালের AlphaGo-র: neural network চাল আর অবস্থান মূল্যায়ন করত, আর Monte Carlo tree search নামের একটি search পদ্ধতি সামনের চাল খুঁজে দেখত। ২০২৪ সালে Google DeepMind-এর AlphaGeometry-তে একটি language model নতুন জ্যামিতিক নির্মাণ প্রস্তাব করত, আর একটি symbolic deduction engine প্রমাণ যাচাই করত। “Neuro-symbolic” শব্দটির সীমা নিয়ে গবেষকদের মধ্যে মতভেদ আছে; কেউ এটিকে ভবিষ্যতের প্রধান পথ মনে করেন, কেউ বলেন বড় neural model নিজেই একসময় এসব শিখবে।

৮ · কোন সমস্যায় কোন পথ — চারটি প্রশ্ন

“সবচেয়ে আধুনিক পথটাই নিই”, এই ভাবনা প্রায়ই খরচ বাড়ায় আর ঝুঁকি লুকায়। পেশাদারেরা আগে সমস্যাটিকে কয়েকটি প্রশ্নে যাচাই করেন। বাজারঘরের অভিযোগ-বাছাই নিয়ে চারটি প্রশ্ন ধাপে ধাপে দেখুন।

৯ · ইতিহাসের বিতর্ক — symbolic বনাম connectionist, আর “bitter lesson”

এই তিন পথ শুধু প্রকৌশলের বিকল্প নয়; এগুলোর পেছনে বুদ্ধিমত্তা কী, তা নিয়ে কয়েক দশকের বিতর্ক আছে। পুরো ইতিহাস পর্ব ২ (AI-এর ইতিহাস)-এ; এখানে শুধু এই পর্বের প্রশ্নের সঙ্গে যুক্ত অংশটুকু।

১৯৯০ আর ২০০০-এর দশকে পরিসংখ্যানভিত্তিক পথ বাস্তব কাজে প্রাধান্য পায়: কথা চেনা, যন্ত্র-অনুবাদ, spam filter. ২০১২ সালে AlexNet নামের একটি neural network ImageNet ছবি-চেনার প্রতিযোগিতায় আগের পদ্ধতিগুলোকে বড় ব্যবধানে হারানোর পর থেকে deep learning প্রায় সব perception-এর কাজে প্রধান পথ হয়ে ওঠে, আর ২০১৭ সালের Transformer থেকে আজকের বড় language model আসে।

Sutton-এর “bitter lesson” আর তার জবাব

২০১৯ সালের মার্চে reinforcement learning-এর অন্যতম পথিকৃৎ Richard Sutton একটি ছোট প্রবন্ধ লেখেন, নাম “The Bitter Lesson”. তাঁর দাবি: AI-এর ৭০ বছরের ইতিহাসে বারবার দেখা গেছে, গবেষকেরা মানুষের জ্ঞান হাতে ঢুকিয়ে স্বল্পমেয়াদে উন্নতি পান, কিন্তু দীর্ঘমেয়াদে জেতে এমন সাধারণ পদ্ধতি, যা বাড়তে থাকা computation কাজে লাগাতে পারে, বিশেষ করে search আর learning. তিনি দাবা (১৯৯৭ সালে Deep Blue-র ব্যাপক search), Go, কথা চেনা আর computer vision-এর উদাহরণ দেন। “তিক্ত”, কারণ মানুষের জ্ঞান ঢোকানোর চেষ্টা গবেষকদের কাছে তৃপ্তিদায়ক, অথচ শেষে তা পিছিয়ে পড়ে।

প্রবন্ধটি খুব প্রভাবশালী, আবার খুব বিতর্কিতও। কয়েক দিনের মধ্যেই রোবোটিক্স গবেষক Rodney Brooks “A Better Lesson” লিখে জবাব দেন। তাঁর যুক্তি দুটি: প্রথমত, Sutton যে সাফল্যগুলোকে “মানুষের জ্ঞান ছাড়া” বলছেন, সেগুলোতেও মানুষের নকশা আছে, যেমন ছবির জন্য convolutional network-এর গঠনটিই মানুষের একটি অন্তর্দৃষ্টি। দ্বিতীয়ত, শুধু ফল নয়, মোট খরচও গুনতে হবে: বড় computation-এর বিদ্যুৎ খরচ বিশাল, যেখানে মানুষের মস্তিষ্ক অনেক কম শক্তিতে চলে। Gary Marcus-এর মতো সমালোচকেরা আরও বলেন, শুধু বড় করলেই নির্ভরযোগ্য যুক্তি, কম ডেটায় শেখা বা সত্যতা যাচাই আসবে না; তাঁরা neuro-symbolic পথের পক্ষে। অন্যদিকে Sutton-এর সমর্থকেরা দেখান, এই বিতর্কের পরের বছরগুলোতে বড় language model-এর উন্নতির বড় অংশ এসেছে মূলত ডেটা আর computation বাড়িয়ে।

এই পর্বের ছোট পরীক্ষা কোন দিকে? দুই দিকেই একটু। ১২০টি বার্তার মতো ছোট ডেটায় বড় computation-এর সুবিধা নেই, আর “refund মানেই মানুষ দেখবে” নিয়মটি কোনো learning-এর চেয়ে নির্ভরযোগ্য। আবার নিয়ম-তালিকা বড় করতে থাকলে আমরা ঠিক Sutton-এর বর্ণিত ফাঁদেই পড়ি। ন্যায্য সারাংশ হতে পারে: যেখানে ডেটা আর computation প্রচুর, সেখানে সাধারণ শেখার পদ্ধতি প্রায়ই জেতে; যেখানে ডেটা কম, নিয়ম আইনগত বা ভুলের দাম বেশি, সেখানে মানুষের জ্ঞান এখনো দরকারি। কোনো পক্ষকে চূড়ান্ত সত্য না ধরে প্রতিটি সমস্যায় মেপে দেখাই নিরাপদ।

১০ · AI-এর যুগে: পথ বাছাই আর যাচাইয়ে AI সহকারী

“এই সমস্যার জন্য কোন model নেব?” প্রশ্নটি এখন অনেকেই AI সহকারীকে করেন। এটি ভালো শুরু হতে পারে, কিন্তু সহকারী আপনার ডেটা দেখেনি, আপনার ভুলের দাম জানে না, আর প্রায়ই সবচেয়ে জনপ্রিয় বা সবচেয়ে আধুনিক উত্তর দেয়। ডেটা আর AI-এর কাজে AI সহকারীর পরিচিত ভুলগুলো:

AI-এর দেওয়া model-সুপারিশ বা কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• নিজের scikit-learn/pandas version-এর অফিসিয়াল docs-এ প্রতিটি function আর parameter মিলিয়েছি
• কোড নিজে চালিয়েছি; কোনো warning বা error চেপে রাখা হয়নি
• সবকিছুর আগে train/test ভাগ হয়েছে, আর vectorizer শুধু training ডেটায় fit হয়েছে
• X-এর shape আর কয়েকটি নমুনা সারি চোখে দেখেছি, label ঠিক জায়গায় আছে
• একটি সরল baseline (নিয়ম বা Naive Bayes)-এর সঙ্গে তুলনা করেছি; জটিল model সত্যিই ভালো কি না মেপেছি
• কয়েকটি একদম নতুন ধরনের বাক্য, বিশেষ করে না-বোধক বাক্য দিয়ে পরীক্ষা করেছি
• কোনো আসল গ্রাহকের বার্তা বা ব্যক্তিগত তথ্য সহকারীতে পেস্ট করিনি