AI, ML, Deep Learning আর Generative AI — কে কার ভেতরে

১ · বৃত্তের ভেতরে বৃত্ত — আর ছবিটির সীমা

খবরের কাগজে একদিন লেখা “AI দিয়ে চলবে নতুন অ্যাপ”, পরদিন “machine learning-এ বিপ্লব”, তার পরদিন “generative AI সব বদলে দেবে।” অনেকে ধরে নেন তিনটি একই জিনিসের তিন নাম। আসলে এরা একে অপরের ভেতরে বসানো, অনেকটা ঠিকানার মতো: বাংলাদেশ → ঢাকা বিভাগ → ঢাকা জেলা → মিরপুর। মিরপুরের প্রতিটি বাড়ি ঢাকা বিভাগে, কিন্তু ঢাকা বিভাগের সব বাড়ি মিরপুরে নয়।

সবচেয়ে বড় বৃত্ত artificial intelligence (AI): যন্ত্র দিয়ে এমন কাজ করানো, যেটি মানুষ করলে আমরা বুদ্ধির কাজ বলতাম — পথ খোঁজা, সিদ্ধান্ত নেওয়া, ভাষা বোঝার মতো আচরণ, ছবি চেনা। পর্ব ১-এ এই সংজ্ঞা নিয়ে বিস্তারিত কথা হয়েছে। তার ভেতরে machine learning (ML): নিয়ম হাতে না লিখে ডেটা থেকে নিয়ম শেখা। তার ভেতরে deep learning (DL): অনেক স্তরের neural network দিয়ে শেখা। আর আজ যাকে generative AI বলা হয়, তার বড় অংশ deep learning-এর ভেতরে বসে — যে model নতুন লেখা, ছবি, শব্দ বা কোড তৈরি করে।

ছবিটি মনে রাখার জন্য চমৎকার। কিন্তু তিনটি জায়গায় এটি ভুল ধারণা দিতে পারে:

• সব AI মানে ML নয়। map-এ সবচেয়ে ছোট পথ খোঁজা (পর্ব ৪১-এর A* search), দাবার চাল বাছাই (পর্ব ৪২), রুটিন বানানো (পর্ব ৪৩) — এখানে ডেটা থেকে শেখা নেই; আছে খোঁজা আর যুক্তি। নীল বৃত্তের যে অংশ সবুজের বাইরে, সেটি ফাঁকা নয়।
• Generative মানেই deep learning নয়। Naive Bayes বা n-gram ভাষা model-ও generative, অথচ এদের ভেতরে কোনো neural network নেই। “Generative AI” শব্দটি আজ সাধারণত বড় neural model বোঝায়, তবে ধারণাটি পুরোনো।
• Data science আর statistics এই বৃত্তের ভেতরে বসে না। জেলাভিত্তিক বিক্রির chart data science-এর কাজ, কিন্তু সেখানে কোনো AI নেই। আবার linear ও logistic regression আগে statistics-এর বইয়েই ছিল। এরা আংশিক মেশে, একটি আরেকটির ভেতরে নয়।

এবার কয়েকটি বাস্তব কাজ নিয়ে দেখি, কোনটি কোন বৃত্তে বসে। প্রতিটি ধাপে ডান দিকের তিনটি প্রশ্ন খেয়াল করুন — উত্তরগুলোই কাজটির ঠিকানা বলে দেয়।

২ · Machine learning আসলে কী — Mitchell-এর E, T আর P

“যন্ত্র শেখে” কথাটি শুনতে রহস্যময়। ১৯৯৭ সালে Tom M. Mitchell তাঁর পাঠ্যবই Machine Learning-এ একটি সংজ্ঞা দেন, যা আজও সবচেয়ে বেশি উদ্ধৃত সংজ্ঞাগুলোর একটি। বাংলায় মোটামুটি এভাবে বলা যায়:

এখানে T (task) হলো কাজ, যেমন হাতে লেখা অঙ্ক চেনা। P (performance measure) হলো ফল মাপার উপায়, যেমন কত শতাংশ ছবি ঠিক চিনল (accuracy). আর E (experience) হলো অভিজ্ঞতা — সাধারণত training data, অর্থাৎ যে উদাহরণগুলো দেখে model শেখে। সংজ্ঞার সবচেয়ে গুরুত্বপূর্ণ শব্দ “উন্নতি”: শেখা মানে মুখস্থ নয়, আগে না-দেখা উদাহরণে ভালো করা।

এবার সংজ্ঞাটি নিজের চোখে দেখুন। নিচের কোডে T = ৮×৮ pixel-এর হাতে লেখা অঙ্ক চেনা (scikit-learn-এর সঙ্গে আসা load_digits ডেটাসেট, যা Pyodide নিজের ভেতর থেকেই পড়ে, ইন্টারনেট লাগে না)। আমরা model-কে প্রথমে ১০টি, তারপর ৩০, ১০০, ৩০০ আর ১০০০টি উদাহরণ দেখাব, আর প্রতিবার একই আলাদা test সেটে accuracy মাপব। একটি নোট: এই পাতায় scikit-learn প্রথমবার ব্যবহারে প্যাকেজ নামাতে প্রায় ১০ সেকেন্ড লাগতে পারে; পরের run দ্রুত।

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# T (task): 8x8 পিক্সেলের হাতে লেখা অঙ্ক চেনা (scikit-learn-এর load_digits)
X, y = load_digits(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y)
print("train:", X_tr.shape, " test:", X_te.shape)

# E (experience): কতগুলো লেবেলসহ ছবি দেখল; P (performance): test accuracy
for n in [10, 30, 100, 300, 1000]:
    model = KNeighborsClassifier(n_neighbors=3, algorithm="kd_tree")
    model.fit(X_tr[:n], y_tr[:n])
    acc = model.score(X_te, y_te)
    print(f"E = {n:4d} examples  ->  P = {acc:.3f}")

train: (1257, 64)  test: (540, 64)
E =   10 examples  ->  P = 0.267
E =   30 examples  ->  P = 0.544
E =  100 examples  ->  P = 0.889
E =  300 examples  ->  P = 0.959
E = 1000 examples  ->  P = 0.985

৩ · শেখার তিন ধরন — supervised, unsupervised আর reinforcement

E অর্থাৎ অভিজ্ঞতা কী রকম, তার ওপর ভিত্তি করে machine learning-কে সাধারণত তিন ভাগে ভাগ করা হয়। এখানে শুধু পরিচয়; পর্ব ৫৫-এ এগুলো হাতে-কলমে বিস্তারিত আসবে।

Supervised learning — উত্তরসহ উদাহরণ থেকে শেখা। প্রতিটি উদাহরণে ইনপুট (feature) আর সঠিক উত্তর (label) দুটোই থাকে। যেমন একটি SMS আর তার পাশে “spam” লেখা, বা একটি বাড়ির আয়তন আর তার আসল দাম। Model ইনপুট থেকে উত্তরে যাওয়ার একটি ফাংশন শেখে। উত্তর যদি শ্রেণি হয় (spam/ham, রোগ আছে/নেই), কাজটিকে বলে classification; উত্তর যদি সংখ্যা হয় (দাম, দিন), বলে regression. ওপরের অঙ্ক চেনার কোড supervised learning-এর উদাহরণ। এর দুর্বলতা হলো label জোগাড় করা: হাজার হাজার ছবিতে মানুষকে দিয়ে উত্তর লেখানো ব্যয়বহুল ও সময়সাপেক্ষ, আর label-এর ভুল সরাসরি model-এ ঢোকে।

Unsupervised learning — উত্তর ছাড়া গঠন খোঁজা। এখানে শুধু ইনপুট আছে, কোনো label নেই। Model নিজেই ডেটার ভেতরের গঠন খোঁজে: কোন গ্রাহকেরা একই রকম কেনাকাটা করেন (clustering), বা ৬৪টি pixel-কে ২টি সংখ্যায় এনে কতটা তথ্য রাখা যায় (dimensionality reduction, পর্ব ৬৫)। বাজারঘর হয়তো দেখবে একদল গ্রাহক শুধু ঈদের আগে বড় অর্ডার দেন, আরেকদল প্রতি সপ্তাহে ছোট ছোট। কেউ আগে থেকে এই দল বলে দেয়নি। সমস্যা হলো, “ঠিক উত্তর” নেই বলে ফল ভালো হলো কি না মাপা কঠিন; পাওয়া দলগুলোর অর্থ মানুষকেই বিচার করতে হয়।

Reinforcement learning — পুরস্কার ও শাস্তি থেকে শেখা। এখানে একটি agent কোনো পরিবেশে একের পর এক কাজ করে, আর মাঝে মাঝে একটি সংখ্যা পায় — পুরস্কার (reward). কোন কাজটি ঠিক ছিল তা কেউ বলে দেয় না; শুধু শেষে জানা যায় খেলায় জিতল কি না। Agent চেষ্টা আর ভুলের মধ্য দিয়ে এমন নীতি শেখে, যাতে মোট পুরস্কার বাড়ে। সাইকেল চালানো শেখার মতো: কেউ প্রতিটি মুহূর্তে হ্যান্ডেল কত ডিগ্রি ঘোরাতে হবে বলে দেয় না, পড়ে যাওয়াটাই শিক্ষা। খেলা, robot নিয়ন্ত্রণ আর কিছু সিদ্ধান্তের সমস্যায় এটি ব্যবহৃত হয়; ভাষা model-কে মানুষের পছন্দমতো উত্তর দিতে প্রশিক্ষণের একটি ধাপেও এর একটি রূপ ব্যবহার হয়েছে। পর্ব ৫৪-এ MDP দিয়ে এর গাণিতিক কাঠামো দেখবেন।

৪ · Deep learning — অনেক স্তর, নিজে শেখা feature

সাধারণ machine learning-এ একটি বড় কাজ মানুষ করেন: কোন feature দেবেন তা ঠিক করা। ডেলিভারি দেরির model-এ কেউ ভাবলেন “দূরত্ব”, “ওজন”, “বৃষ্টির দিন কি না” — এগুলো হাতে বানানো feature. ছবির ক্ষেত্রে এটি খুব কঠিন: ধানপাতার রোগের দাগ কোন pixel-এর কোন নকশায় থাকে, তা নিয়ম লিখে বলা প্রায় অসম্ভব।

Deep learning-এর মূল চিন্তা হলো feature-ও ডেটা থেকে শেখা (feature learning). একটি neural network-এ অনেকগুলো স্তর (layer) থাকে। প্রথম স্তর কাঁচা ইনপুট নেয়, প্রতিটি hidden layer আগের স্তরের সংখ্যাগুলো মিশিয়ে নতুন সংখ্যা বানায়, আর শেষ স্তর উত্তর দেয়। ছবি চেনার network-এ প্রথম দিকের স্তর প্রায়ই সরল দাগ আর রঙের পরিবর্তন ধরে, পরের স্তর সেগুলো মিলিয়ে আকার, আরও পরের স্তর বস্তুর অংশ। “Deep” মানে স্তরের সংখ্যা বেশি — গভীর অর্থ বা গভীর বোঝাপড়া নয়।

একটি ছোট পরীক্ষায় feature শেখার মূল্য দেখা যায়। XOR-এর মতো ডেটা নিন: দুটি সংখ্যা x1, x2; দুটির চিহ্ন একই হলে (দুটিই ধনাত্মক বা দুটিই ঋণাত্মক) উত্তর 1, ভিন্ন হলে 0. কাগজে আঁকলে উত্তর 1-এর বিন্দুগুলো কোনাকুনি দুই কোণে, 0-এর বিন্দু অন্য দুই কোণে। একটি সরলরেখা দিয়ে এদের আলাদা করা যায় না, তাই একটি linear model (যেমন logistic regression) এখানে প্রায় আন্দাজের সমান ফল দেবে। এবার দেখি ৪টি hidden unit-এর ছোট network কী করে, আর তার শেখা hidden layer-কে feature হিসেবে দিলে সেই একই linear model কী করে।

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.neural_network import MLPClassifier

# XOR-এর মতো ডেটা: x1 আর x2-এর চিহ্ন একই হলে 1, ভিন্ন হলে 0
rng = np.random.default_rng(42)
def make(n):
    X = rng.uniform(-1, 1, size=(n, 2))
    return X, (X[:, 0] * X[:, 1] > 0).astype(int)
X, y = make(200)          # শেখার ডেটা
X_te, y_te = make(200)    # আলাদা test ডেটা

raw = LogisticRegression(C=1000).fit(X, y)
print("linear model on raw x1, x2   :", round(raw.score(X_te, y_te), 3))

mlp = MLPClassifier(hidden_layer_sizes=(4,), activation="tanh",
                    solver="lbfgs", max_iter=2000, random_state=42).fit(X, y)
print("MLP with 4 hidden units      :", round(mlp.score(X_te, y_te), 3))

# MLP-র শেখা hidden layer = নতুন feature; তার ওপর আবার সরল linear model
hidden = lambda A: np.tanh(A @ mlp.coefs_[0] + mlp.intercepts_[0])
print("hidden features shape        :", hidden(X).shape)
lin_h = LogisticRegression(C=1000).fit(hidden(X), y)
print("linear model on learned H    :", round(lin_h.score(hidden(X_te), y_te), 3))

# মানুষের হাতে বানানো feature x1*x2 দিলেও কাজ হয়
hand = lambda A: np.c_[A, A[:, 0] * A[:, 1]]
lin_x = LogisticRegression(C=1000).fit(hand(X), y)
print("linear model on x1, x2, x1*x2:", round(lin_x.score(hand(X_te), y_te), 3))

linear model on raw x1, x2   : 0.495
MLP with 4 hidden units      : 0.94
hidden features shape        : (200, 4)
linear model on learned H    : 0.94
linear model on x1, x2, x1*x2: 1.0

Deep learning ২০১০-এর দশকে কেন হঠাৎ এগিয়ে গেল

Neural network-এর ধারণা নতুন নয় (perceptron ১৯৫৮, backpropagation জনপ্রিয় হয় ১৯৮৬ সালে)। ২০১২ সালের দিকে যা বদলাল, তার জন্য সাধারণত তিনটি কারণ একসঙ্গে বলা হয়, যদিও কোনটির ভূমিকা কত বড় তা নিয়ে মতভেদ আছে:

• ডেটা: ImageNet-এর মতো বিশাল লেবেলসহ ডেটাসেট; এর প্রতিযোগিতায় ২০১২ সালে AlexNet আগের পদ্ধতিগুলোর চেয়ে স্পষ্টভাবে কম ভুল করে।
• গণনার শক্তি: GPU একসঙ্গে হাজার হাজার গুণ-যোগ করতে পারে, যা neural network-এর হিসাবের সঙ্গে মিলে যায়।
• ভালো পদ্ধতি: ReLU, dropout আর পরে Transformer (২০১৭)-এর মতো গঠন অনেক স্তরের network-কে প্রশিক্ষণযোগ্য করে তোলে।

পর্ব ২-এ এই ইতিহাসের বিস্তারিত আছে, আর পর্ব ৬৮-এ আপনি NumPy দিয়ে নিজেই একটি ছোট network বানাবেন।

৫ · Discriminative বনাম generative — লেবেল অনুমান, নাকি ডেটার গল্প

Generative AI বোঝার আগে model-এর দুটি মৌলিক ধরন — discriminative আর generative model — পরিষ্কার হওয়া দরকার। ধরুন বাজারঘরের প্রতিটি অর্ডারের জন্য আছে x = দূরত্ব (km), আর আমরা জানতে চাই y = অর্ডার দেরিতে পৌঁছাবে কি না।

এখানে চিহ্নগুলো এমন: P(y∣x) পড়ুন “x জানা থাকলে y-এর সম্ভাবনা” (conditional probability); P(x∣y) মানে “শ্রেণি y হলে x-এর সম্ভাবনা”; P(y) হলো কিছু দেখার আগেই শ্রেণিটির সাধারণ হার (prior). দুটিকে যুক্ত করে Bayes-এর উপপাদ্য (পর্ব ৫০):

P(y∣x) = P(x∣y) · P(y) / P(x)

যেখানে P(x) হলো সব শ্রেণির P(x∣y)·P(y)-এর যোগফল, যাতে মোট সম্ভাবনা ১ হয়। ডাক্তারের রোগনির্ণয়ের মতো: discriminative ডাক্তার শুধু শিখেছেন “এই লক্ষণ দেখলে এই রোগ”; generative ডাক্তার জানেন প্রতিটি রোগে সাধারণত কী কী লক্ষণ দেখা দেয় আর এলাকায় রোগটি কত সাধারণ — তাই তিনি একটি সাধারণ রোগীর লক্ষণ কেমন হবে তা বর্ণনাও করতে পারেন।

নিচের stepper-এ একই অর্ডারে দুই পথে উত্তর বের করা হয়েছে। Generative model ধরে নিয়েছে: সময়মতো পৌঁছানো অর্ডারের দূরত্ব গড় ৩ km, ছড়ানো (standard deviation σ) ১ km, আর এরা মোট অর্ডারের ৬০%; দেরির অর্ডারের দূরত্ব গড় ৬ km, σ = ১ km, ৪০%. এখানে μ (মিউ) মানে গড়, σ (সিগমা) মানে ছড়ানো।

এবার একই ধারণা দুই-মাত্রার ডেটায়, আসল scikit-learn দিয়ে। দুটি feature: দূরত্ব আর পার্সেলের ওজন। LogisticRegression discriminative, GaussianNB (Gaussian Naive Bayes, পর্ব ৫১) generative. শেষে generative model-এর শেখা গড় আর variance থেকে আমরা “দেরি” শ্রেণির ৫টি নতুন অর্ডার তৈরি করব, আর ছবিতে দেখাব।

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB

rng = np.random.default_rng(42)
X0 = rng.normal([3, 2], 1.0, size=(40, 2))   # class 0: সময়মতো পৌঁছেছে
X1 = rng.normal([6, 5], 1.0, size=(40, 2))   # class 1: দেরিতে পৌঁছেছে
X = np.vstack([X0, X1])
y = np.array([0] * 40 + [1] * 40)

disc = LogisticRegression().fit(X, y)   # শেখে P(y | x)
gen = GaussianNB().fit(X, y)            # শেখে P(x | y) আর P(y)

p = np.array([[4.5, 3.5]])
print("discriminative P(late | x):", disc.predict_proba(p)[0, 1].round(3))
print("generative     P(late | x):", gen.predict_proba(p)[0, 1].round(3))
print("GaussianNB class means:\n", gen.theta_.round(2))
print("GaussianNB class variances:\n", gen.var_.round(2))

# generative model থেকে class 1-এর নতুন নমুনা তোলা
new = rng.normal(gen.theta_[1], np.sqrt(gen.var_[1]), size=(5, 2))
print("5 new points sampled for class 1:\n", new.round(2))

fig, ax = plt.subplots(figsize=(5.5, 4.2))
ax.scatter(*X0.T, alpha=0.6, label="class 0 (real)")
ax.scatter(*X1.T, alpha=0.6, label="class 1 (real)")
ax.scatter(*new.T, c="k", marker="x", s=80, label="sampled from GaussianNB")
w, b = disc.coef_[0], disc.intercept_[0]
xs = np.linspace(0, 9, 50)
ax.plot(xs, -(w[0] * xs + b) / w[1], "r--", label="logistic boundary")
ax.set(xlim=(0, 9), ylim=(-1, 8), xlabel="x1: distance (km)",
       ylabel="x2: parcel weight (kg)", title="Discriminative vs generative")
ax.legend(fontsize=8, loc="lower right")

discriminative P(late | x): 0.632
generative     P(late | x): 0.782
GaussianNB class means:
 [[3.04 2.01]
 [5.85 4.85]]
GaussianNB class variances:
 [[0.68 0.5 ]
 [0.84 0.91]]
5 new points sampled for class 1:
 [[4.97 4.16]
 [7.81 4.07]
 [6.62 3.99]
 [6.71 5.22]
 [5.71 4.81]]

৬ · Generative AI — লেখা, ছবি, শব্দ আর কোড

আজকের generative AI একই চিন্তার বিশাল রূপ: বিপুল ডেটা থেকে তার সম্ভাবনার গঠন শেখা, তারপর সেখান থেকে sampling করে নতুন কিছু তৈরি করা। মোটা দাগে চারটি এলাকা:

“পরের token sample করে লেখা তৈরি” কথাটি সবচেয়ে ছোট আকারে নিজে চালিয়ে দেখা যায়। নিচের কোড কয়েকটি ইংরেজি অক্ষরে লেখা বাংলা বাক্য পড়ে একটি অক্ষর-স্তরের bigram model বানায়: প্রতিটি অক্ষরের পরে কোন অক্ষর কতবার এসেছে, শুধু সেটুকু গোনে। তারপর সেই গোনা থেকে সম্ভাবনা অনুযায়ী একটি একটি করে পরের অক্ষর বেছে নতুন লেখা তৈরি করে। এখানে কোনো package লাগে না, তাই এটি দ্রুত চলে।

import random
from collections import Counter, defaultdict

text = ("ami bhat khai. ami cha khai. baba bajare jay. "
        "ma cha banay. ami boi pori. baba boi pore. ")

# শেখা = গোনা: প্রতিটি অক্ষরের পরে কোন অক্ষর কতবার এসেছে
counts = defaultdict(Counter)
for a, b in zip(text, text[1:]):
    counts[a][b] += 1

print("after 'a':", dict(counts["a"].most_common()))
total = sum(counts["a"].values())
print("P(next | 'a'):", {c: round(n / total, 2) for c, n in counts["a"].most_common(3)})

# তৈরি করা = পরের অক্ষর একটি একটি করে sample করা
rng = random.Random(42)
def generate(start, n):
    out = start
    for _ in range(n):
        nxt = counts[out[-1]]
        out += rng.choices(list(nxt), weights=list(nxt.values()))[0]
    return out

for _ in range(3):
    print("generated:", repr(generate("a", 30)))

after 'a': {' ': 5, 'm': 3, 'i': 2, 'b': 2, 'y': 2, 't': 1, 'j': 1, 'r': 1, 'n': 1}
P(next | 'a'): {' ': 0.28, 'm': 0.17, 'i': 0.11}
generated: 'abhai. poi bami. bare. banami. '
generated: 'ari pori mi. bami ba bai. at ba'
generated: 'ana chai bat mi. poi ai poi. bh'

শব্দ-স্তরে একই কাজ আরও পরিষ্কার দেখা যায়। ধরুন model শিখেছে মাত্র চারটি বাক্য থেকে: “আমি ভাত খাই”, “আমি চা খাই”, “মা চা বানায়”, “মা ভাত রাঁধে”। প্রতিটি বাক্যের শুরুতে [শুরু] আর শেষে [শেষ] চিহ্ন ধরা হলো। প্রতিটি ধাপে model শুধু আগের একটি শব্দ দেখে, সম্ভাব্য পরের শব্দগুলোকে লেখা ক্রমে ০ থেকে ১-এর ভাগে সাজায়, আর একটি এলোমেলো সংখ্যা r যে ভাগে পড়ে সেটি বেছে নেয়।

শেখার ডেটা:  আমি ভাত খাই │ আমি চা খাই │ মা চা বানায় │ মা ভাত রাঁধে

৭ · Foundation model আর LLM — পরের token অনুমান মানে কী, আর কী নয়

Foundation model শব্দটি ২০২১ সালে Stanford-এর একদল গবেষকের একটি দীর্ঘ প্রতিবেদন (Bommasani ও সহলেখক, “On the Opportunities and Risks of Foundation Models”) থেকে ছড়ায়। তাঁরা এমন model বোঝাতে শব্দটি ব্যবহার করেন, যা বিশাল ও বিচিত্র ডেটায় একবার প্রশিক্ষিত হয়, তারপর অনেক রকম কাজে খাপ খাইয়ে নেওয়া যায়। শব্দটি নিয়ে আপত্তিও আছে — কেউ কেউ বলেন “foundation” নাম শুনে মনে হয় এরা মজবুত ভিত্তি, অথচ এদের দুর্বলতা ভালোভাবে বোঝা যায়নি। তাই একে একটি প্রচলিত লেবেল হিসেবে দেখুন, প্রশংসা হিসেবে নয়।

Large language model (LLM) হলো লেখার foundation model. “Large” মানে অনেক parameter (শেখা সংখ্যা) আর বিপুল লেখা দিয়ে প্রশিক্ষণ; কতটা বড় হলে “large” বলা যাবে, তার কোনো নির্দিষ্ট সীমা নেই। একটি LLM-এর জীবন সাধারণত দুই পর্যায়ে:

1. Pretraining: বিপুল লেখার ভেতরে প্রতিটি জায়গায় আগের token দেখে পরের token-এর সম্ভাবনা অনুমান করা। Token হলো লেখার টুকরো — কখনো পুরো শব্দ, কখনো শব্দের অংশ, কখনো একটি চিহ্ন। Model-এর অনুমান আসল পরের token থেকে যত দূরে, তত বেশি ভুল ধরা হয়, আর সেই ভুল কমাতে parameter একটু একটু করে বদলানো হয় (পর্ব ৩৪-এর gradient descent, পর্ব ৩৮-এর cross-entropy).
2. পরের প্রশিক্ষণ (fine-tuning): প্রশ্ন-উত্তরের উদাহরণ আর মানুষের পছন্দ-অপছন্দের তথ্য দিয়ে model-কে সহায়কের মতো আচরণ করতে শেখানো। এতেই সাধারণ “লেখা চালিয়ে যাওয়া” model একটি chat সহকারীর মতো আচরণ করে।

৮ · Narrow AI, AGI, data science আর statistics — শব্দের সীমানা

Narrow AI (দুর্বল বা সংকীর্ণ AI) বলতে বোঝায় এমন system, যা একটি নির্দিষ্ট কাজ বা কাজের ছোট পরিসরে ভালো: spam ছাঁকা, দাবা খেলা, ছবিতে রোগ খোঁজা। আজকের ব্যবহৃত প্রায় সব AI এই অর্থে সংকীর্ণ — বড় ভাষা model অনেক কাজ পারলেও তার সীমা ও ভুলের ধরন ওপরে দেখেছেন। AGI (artificial general intelligence) বলতে বোঝানো হয় এমন কাল্পনিক system, যা মানুষের মতো বা তার চেয়ে বেশি পরিসরের কাজে নতুন পরিস্থিতিতে শিখে মানিয়ে নিতে পারে। শব্দটি ২০০০-এর দশকের শুরু থেকে কিছু গবেষকের লেখায় জনপ্রিয় হয়। এর কোনো সর্বসম্মত সংজ্ঞা বা মাপার পরীক্ষা নেই; কে কখন AGI “এসে গেছে” বলবেন, তা অনেকটাই সংজ্ঞার ওপর নির্ভর করে। এই কোর্স কোনো তারিখের ভবিষ্যদ্বাণী করে না, আর খবরে এমন ভবিষ্যদ্বাণী দেখলে সেটিকে মতামত হিসেবেই পড়ুন।

এবার পাশের দুটি ক্ষেত্র। Data science ডেটা থেকে প্রশ্নের উত্তর ও সিদ্ধান্তের ভিত্তি বের করার পুরো কাজ: ডেটা জোগাড়, পরিষ্কার, বিশ্লেষণ, chart, কখনো ML model, আর ফল মানুষকে বোঝানো। Statistics হলো অনিশ্চয়তার মধ্যে ডেটা থেকে সিদ্ধান্ত টানার গাণিতিক বিজ্ঞান: নমুনা থেকে পুরো জনগোষ্ঠী সম্পর্কে বলা, অনুমান কতটা নির্ভরযোগ্য তা মাপা। ML-এর সঙ্গে statistics-এর পার্থক্য প্রায়ই জোর দেওয়ার জায়গায়: statistics প্রায়ই জানতে চায় “কোন কারণ কতটা প্রভাব ফেলছে, আর আমরা কতটা নিশ্চিত”; ML প্রায়ই জানতে চায় “নতুন ডেটায় অনুমান কতটা ভালো”। একই logistic regression দুই জগতেই আছে। ২০০১ সালে statistician Leo Breiman-এর “Statistical Modeling: The Two Cultures” প্রবন্ধ এই দুই সংস্কৃতির পার্থক্য নিয়ে বিখ্যাত আলোচনা।

এক নজরে তুলনা — শব্দকোষের মতো সারণি

চাকরির বিজ্ঞাপন আর খবরে যেসব গোলমাল প্রায়ই চোখে পড়ে

• “AI-চালিত” লেবেল: কিছু পণ্যে ভেতরে শুধু কয়েকটি নির্দিষ্ট নিয়ম থাকে। প্রশ্ন করুন: কী ডেটা থেকে শেখে, আর ফল কীভাবে মাপা হয়?
• “AI engineer” পদ: কোথাও এর মানে নতুন model প্রশিক্ষণ, কোথাও তৈরি LLM-কে API দিয়ে কোনো অ্যাপে জোড়া, কোথাও ডেটা পরিষ্কার আর dashboard. বিজ্ঞাপনের দায়িত্বের তালিকাই আসল পরিচয়, পদের নাম নয়।
• খবরের শিরোনাম: “AI নিজে শিখে ফেলেছে” বা “AI বুঝে গেছে” ধরনের বাক্য সাধারণত একটি নির্দিষ্ট পরীক্ষার ফলকে বড় করে দেখায়। মূল প্রবন্ধে কোন কাজ, কোন ডেটা আর কোন মাপকাঠি — Mitchell-এর T, E, P — খুঁজে দেখুন।
• “ChatGPT = AI” ধরে নেওয়া: chat সহকারী generative AI-এর একটি পণ্য মাত্র; রাস্তার রুট, ব্যাংকের জালিয়াতি ধরা বা ফসলের রোগ চেনার AI একেবারে অন্য রকম।

৯ · AI-এর যুগে — AI সহকারী দিয়ে ডেটা ও AI-এর কাজ

এই কোর্সে আপনি নিশ্চয়ই AI সহকারীর সাহায্য নেবেন — কোড লেখাতে, ধারণা ব্যাখ্যা করাতে, ভুল খোঁজাতে। এটি ভালো অভ্যাস, যদি আপনি জানেন AI সহকারী নিজেই একটি generative model: সে সম্ভাব্য লেখা দেয়, যাচাই করা লেখা নয়। ডেটা ও AI-এর কাজে এর কয়েকটি চেনা ভুল আছে:

AI-এর দেওয়া উত্তর বা কোড হাতে পেলে — যাচাইয়ের চেকলিস্ট

• কোডটি নিজে চালিয়েছি, আর আমার package version-এর অফিসিয়াল docs-এ প্রতিটি function ও parameter মিলিয়েছি
• ডেটার shape আর কয়েকটি নমুনা সারি print করে দেখেছি — যা ভাবছি, ডেটা তা-ই কি না
• সবকিছুর আগে train আর test ভাগ করেছি; ফল শুধু test সেটে মেপেছি
• একটি সরল baseline (যেমন সবসময় সবচেয়ে সাধারণ শ্রেণি বলা) এর সঙ্গে তুলনা করেছি
• কোনো warning বা error চেপে রাখা হয়নি; থাকলে পড়ে কারণ বুঝেছি
• গ্রাহকের নাম, ফোন নম্বর বা অন্য কোনো ব্যক্তিগত ডেটা AI সহকারীতে পেস্ট করিনি