Generative model-এর মূল্যায়ন আর নিরাপত্তা — FID, CLIP score, deepfake আর watermark

এই মডিউলে পর্ব ৭৪ থেকে পর্ব ৭৯ পর্যন্ত (আর পর্ব ৭৬, ৭৮ ও ৮০-তে) নানা generative model দেখেছেন, আর প্রতিবার প্রশ্ন এসেছে: “কোনটা ভালো?” এই শেষ পর্বে সেই প্রশ্নের হাতিয়ার, আর পরের প্রশ্ন: এত বাস্তব ছবি বানানো গেলে মানুষকে কীভাবে রক্ষা করবেন। চারটি ব্লক ব্রাউজারের Python-এ চলে (প্রথমবার প্যাকেজ নামতে কয়েক সেকেন্ড লাগে)। FID, CLIP score, memorisation আর watermark-এর সংখ্যা ডেস্কটপের সত্যিকারের run থেকে, Python 3.14-এ।

১ · মূল্যায়ন কেন কঠিন — তিনটি আলাদা প্রশ্ন

Generative model-এর কোনো “সঠিক উত্তর” নেই; একটি নতুন জুতোর ছবি ভালো কি না, তা নির্ভর করে পুরো ডেটার distribution-এর সঙ্গে মিলের ওপর। পর্ব ৭৪-এ likelihood (bits per dimension) দেখেছিলেন। সেটি ভালো মাপ, কিন্তু GAN-এর মতো model likelihood দেয়ই না, আর Theis ও সহকর্মীরা (২০১৬) দেখান, বেশি likelihood মানেই চোখে ভালো ছবি নয়, উল্টোটাও সত্য। তাই নমুনা-ভিত্তিক মাপ লাগে।

Pixel ধরে তুলনা অর্থহীন (জুতো এক pixel সরালেই দূরত্ব অনেক), তাই প্রতিটি ছবিকে একটি feature extractor দিয়ে vector-এ নেওয়া হয়, যেখানে একই ধরনের ছবি কাছাকাছি থাকে। প্রচলিত পছন্দ ImageNet-এ শেখানো Inception v3 network-এর শেষ pooling স্তরের ২০৪৮-মাত্রার vector. তারপর দুই সেট vector-এর distribution তুলনা। নিচের ছবিতে পুরো পথ।

তিনটি অনুমান মনে রাখুন: FID শুধু তাই দেখে যা feature extractor দেখে; feature Gaussian না হলেও গড় আর covariance দিয়েই সারাংশ হয়; আর μ ও Σ নমুনা থেকে অনুমান, তাই কম নমুনায় ভুল বাড়ে।

২ · Inception Score আর FID — দুটি Gaussian-এর দূরত্ব

প্রথম জনপ্রিয় মাপ ছিল Inception Score (IS; Salimans ও সহকর্মীরা, ২০১৬)। চাই প্রতিটি generated ছবিতে classifier-এর p(y | x) একটি class-এ নিশ্চিত হোক, আর সব মিলিয়ে p(y) সমতল হোক; দুটি একসঙ্গে মাপে KL divergence-এর গড়:

IS = exp( E_x [ KL( p(y | x) ‖ p(y) ) ] )

IS সর্বোচ্চ class-এর সংখ্যা, সর্বনিম্ন ১ (KL-এর মূল কথা AI-এর ভিত্তি কোর্সের পর্ব ৩৮-এ)। বড় দুর্বলতা: IS আসল ডেটার দিকে তাকায়ই না; প্রতিটি class-এর একটি করে নিখুঁত ছবি বারবার বানালেও সর্বোচ্চ হতে পারে, তাই class-এর ভেতরের mode collapse ধরা পড়ে না।

Heusel ও সহকর্মীরা (২০১৭) প্রস্তাব করেন Fréchet Inception Distance: দুই সেটের feature-কে দুটি multivariate Gaussian N(μ₁, Σ₁) আর N(μ₂, Σ₂) ধরে তাদের Fréchet distance (দুটি Gaussian-এর মধ্যে এটি 2-Wasserstein দূরত্বের বর্গের সমান, Dowson আর Landau, ১৯৮২):

d² = ‖μ₁ − μ₂‖² + Tr( Σ₁ + Σ₂ − 2 (Σ₁Σ₂)^½ )

প্রথম পদ দুই গড়ের দূরত্বের বর্গ, দ্বিতীয় পদ ছড়িয়ে থাকার আকার মেলায়; Tr মানে trace, matrix-এর কর্ণের যোগফল, আর (Σ₁Σ₂)^½ হলো matrix square root, এমন একটি matrix যার বর্গ Σ₁Σ₂. Gaussian আর covariance-এর ভিত্তি মেশিন লার্নিং কোর্সের পর্ব ১৯-এ। সূত্রটি কেন যুক্তিসংগত, তা এক মাত্রায় পরিষ্কার: তখন Σ হলো variance σ², আর √(σ₁²σ₂²) = σ₁σ₂, তাই

d² = (μ₁ − μ₂)² + σ₁² + σ₂² − 2σ₁σ₂ = (μ₁ − μ₂)² + (σ₁ − σ₂)²

গড় মিলতে হবে, ছড়ানোও মিলতে হবে (সব নমুনা একই রকম হলে দ্বিতীয় পদ বাড়ে)। Covariance কর্ণ-আকারের (diagonal) হলে সূত্র প্রতিটি মাত্রার এক-মাত্রিক দূরত্বের যোগফলে ভেঙে যায়। নিচের stepper-এ দুটি উদাহরণ।

এবার নমুনা-সংখ্যার পক্ষপাত। দুই সেট একই distribution থেকে এলে আসল দূরত্ব শূন্য; কিন্তু অনুমিত μ আর Σ-এর এলোমেলো ভুল সূত্রে কাটাকাটি হয় না, যোগ হয়। তাই অনুমিত FID প্রায় সবসময় শূন্যের বেশি, আর প্রায় ১/n হারে কমে। Bińkowski ও সহকর্মীরা (২০১৮) এই পক্ষপাত দেখিয়ে পক্ষপাতহীন বিকল্প KID প্রস্তাব করেন; Chong আর Forsyth (২০২০) বিভিন্ন n-এ FID মেপে n → ∞-এ টেনে নেওয়ার পদ্ধতি দেন। নিচের ব্লক stepper-এর সংখ্যা যাচাই করে, তারপর ৩২-মাত্রার একই Gaussian থেকে দুই সেট টেনে পক্ষপাত দেখায়।

import numpy as np
from scipy import linalg
import matplotlib.pyplot as plt

def frechet(m1, S1, m2, S2):              # ‖μ1 − μ2‖² + Tr(Σ1 + Σ2 − 2(Σ1Σ2)^½)
    covmean = linalg.sqrtm(S1 @ S2).real
    return float(np.sum((m1 - m2) ** 2) + np.trace(S1 + S2 - 2 * covmean))

print("1-D:", frechet(np.array([5.]), np.array([[4.]]), np.array([3.]), np.array([[1.]])))
print("2-D diagonal:", round(frechet(np.zeros(2), np.diag([4., 1.]), np.array([1., 2.]), np.eye(2)), 6))
S = np.array([[2., 1.], [1., 2.]])        # একই গড়, শুধু আকার (covariance) আলাদা
print("2-D full, same means:", round(frechet(np.zeros(2), S, np.zeros(2), np.eye(2)), 4))

rng = np.random.default_rng(0); d = 32     # নমুনা-সংখ্যার পক্ষপাত: দুই দিকই একই distribution
A = rng.normal(size=(d, d)) / np.sqrt(d); L = np.linalg.cholesky(A @ A.T + 0.1 * np.eye(d))
ref = rng.standard_normal((5000, d)) @ L.T
mr, Sr = ref.mean(0), np.cov(ref, rowvar=False)
ns, fd = [100, 250, 500, 1000, 2500], []
for n in ns:
    v = [frechet(x.mean(0), np.cov(x, rowvar=False), mr, Sr)
         for x in (rng.standard_normal((n, d)) @ L.T for _ in range(3))]
    fd.append(np.mean(v))
    print(f"n={n:5d}  FD={fd[-1]:.4f}  n*FD={n * fd[-1]:.1f}")
plt.figure(figsize=(5, 3))
plt.plot(1 / np.array(ns), fd, "o-")
plt.xlabel("1 / n"); plt.ylabel("Frechet distance")
plt.title("Same distribution, FD > 0: bias shrinks like 1/n")
plt.show()

1-D: 5.0
2-D diagonal: 6.0
2-D full, same means: 0.5359
n=  100  FD=2.5282  n*FD=252.8
n=  250  FD=0.9733  n*FD=243.3
n=  500  FD=0.4769  n*FD=238.5
n= 1000  FD=0.2660  n*FD=266.0
n= 2500  FD=0.1250  n*FD=312.4

৩ · Precision আর recall — মান আর বৈচিত্র্য আলাদা করে

FID দুটি ভিন্ন ব্যর্থতা মেশায়: ঝাপসা কিন্তু সব ধরনের ছবি, আর নিখুঁত কিন্তু অর্ধেক ধরন বাদ; দুটির FID সমান হতে পারে। Sajjadi ও সহকর্মীরা (২০১৮) generative model-এর জন্য precision আর recall আলাদা করার প্রস্তাব দেন; Kynkäänniemi ও সহকর্মীদের (২০১৯) সংস্করণটি বেশি প্রচলিত, আর সেটাই এখানে।

ধারণা: আসল ছবির feature-গুলোর চারপাশে একটি “এলাকা” আঁকুন। প্রতিটি আসল বিন্দুর চারপাশে একটি বল, যার ব্যাসার্ধ সেই বিন্দুর k-তম নিকটতম আসল প্রতিবেশীর দূরত্ব (প্রবন্ধে k = ৩)। সব বলের মিলন হলো আসল ডেটার আনুমানিক manifold.

• Precision = নকল নমুনার কত ভাগ আসল এলাকার ভেতরে পড়ে। কম মানে model এমন ছবি বানায় যা আসল ডেটায় নেই (ঝাপসা, বিকৃত)।
• Recall = উল্টো দিক থেকে: নকল নমুনার চারপাশে একইভাবে এলাকা বানিয়ে, আসল নমুনার কত ভাগ সেই এলাকায় পড়ে। কম মানে আসল ডেটার কিছু অংশ model কখনো বানায় না (mode বাদ পড়া)।

এখানে কোনো label নেই; “হ্যাঁ” মানে k-NN বলের এলাকার ভেতরে থাকা। নিচের ব্লক বৃত্তের ওপর ৮টি দলের একটি খেলনা ডেটায় তিন ধরনের “model” তুলনা করে: প্রায় নিখুঁত, শুধু ৪টি দল, আর সব দল কিন্তু ঝাপসা।

import numpy as np
from scipy.spatial.distance import cdist
from scipy import linalg
import matplotlib.pyplot as plt

rng = np.random.default_rng(1); K, n = 8, 600
ang = 2 * np.pi * np.arange(K) / K
mu = 2 * np.c_[np.cos(ang), np.sin(ang)]                   # বৃত্তের ওপর ৮টি দল
def ring(modes, sd):
    return mu[rng.choice(modes, n)] + sd * rng.standard_normal((n, 2))
real = ring(np.arange(K), 0.1)
fakes = {"good": ring(np.arange(K), 0.1), "4 modes only": ring(np.arange(4), 0.1),
         "blurry": ring(np.arange(K), 0.35)}

def radius(x, k=3):                         # k-তম নিকটতম প্রতিবেশীর দূরত্ব
    return np.sort(cdist(x, x), 1)[:, k]
def prec_rec(r, f):
    D = cdist(f, r)
    prec = (D <= radius(r)[None, :]).any(1).mean()     # নকল বিন্দু আসলের "এলাকায়"?
    rec = (D.T <= radius(f)[None, :]).any(1).mean()    # আসল বিন্দু নকলের "এলাকায়"?
    return prec, rec
def fd(a, b):
    S1, S2 = np.cov(a, rowvar=False), np.cov(b, rowvar=False)
    return np.sum((a.mean(0) - b.mean(0)) ** 2) + np.trace(S1 + S2 - 2 * linalg.sqrtm(S1 @ S2).real)

fig, axs = plt.subplots(1, 3, figsize=(10, 3.2), sharex=True, sharey=True)
for ax, (name, f) in zip(axs, fakes.items()):
    p, r = prec_rec(real, f)
    print(f"{name:13s} precision {p:.2f}  recall {r:.2f}  FD {fd(real, f):.3f}")
    ax.scatter(*real.T, s=2, c="grey"); ax.scatter(*f.T, s=2, c="tab:red")
    ax.set_title(f"{name}: P={p:.2f}, R={r:.2f}")
plt.show()

good          precision 0.97  recall 0.96  FD 0.009
4 modes only  precision 0.95  recall 0.47  FD 2.583
blurry        precision 0.33  recall 0.98  FD 0.029

৪ · সত্যিকারের run — Fashion-MNIST-এ FID: Inception বনাম নিজের classifier

ডেটা Fashion-MNIST (Zalando Research, MIT লাইসেন্স), বাজারঘরের পণ্যের ছবির বদলি; আসল দোকানের ছবি নয়। Reference সেট: ১০,০০০টি test ছবি। Generator: পর্ব ৭৯-এর linear schedule-এর DDPM checkpoint (EMA weight, ৫১ epoch) কপি করে নতুন seed ৭-এ নমুনা। তুলনায় training সেটের আসল ছবি, আর তাতে Gaussian noise (pixel ০-১ মাপে sd ০.০৫, ০.১, ০.২) ও blur (σ = ১, ২ pixel).

দুটি feature extractor পাশাপাশি: (১) pytorch-fid 0.3.0 (Apache 2.0 লাইসেন্স), যার Inception v3 weight মূল TensorFlow FID implementation থেকে আনা বলে package-এর docs জানায় (প্রায় ৯৬ MB); ধূসর ছবি তিন channel-এ কপি করে ২৯৯ × ২৯৯-এ বড় করা হয়। (২) পর্ব ৭৯-এর নিজের ছোট CNN classifier-এর ১২৮-মাত্রার feature (test accuracy ০.৯০৬৭), যাকে বলছি FID(clf); এটি প্রচলিত FID নয়, অন্য কোনো প্রবন্ধের সংখ্যার সঙ্গে তুলনা চলে না। Precision/recall Inception feature-এ, ২০০০ বনাম ২০০০টি test ছবি, k = ৩; IS(clf) নিজের classifier দিয়ে (সর্বোচ্চ ১০)। Python 3.14, torch 2.15.0; নমুনা আর feature GPU-তে, বাকি CPU-তে।

~/bazarghar-dl$ uv run python gen.py
ddim10      2000 samples     2.0s
ddim50     10000 samples    39.5s
ddpm1000    2000 samples   156.0s
peak GPU memory allocated: 1272 MiB

~/bazarghar-dl$ uv run python feats.py
test        10000 images  inception 2048-d  clf 128-d
train10k    10000 images  inception 2048-d  clf 128-d
noise0.05    2000 images  inception 2048-d  clf 128-d
noise0.1     2000 images  inception 2048-d  clf 128-d
noise0.2     2000 images  inception 2048-d  clf 128-d
blur1        2000 images  inception 2048-d  clf 128-d
blur2        2000 images  inception 2048-d  clf 128-d
ddpm1000     2000 images  inception 2048-d  clf 128-d
ddim50      10000 images  inception 2048-d  clf 128-d
ddim10       2000 images  inception 2048-d  clf 128-d
feature time 93.1s on GPU
peak GPU memory allocated: 3642 MiB

~/bazarghar-dl$ uv run python analyze.py
reference: 10,000 Fashion-MNIST test images
set                     n  FID(Inception)  FID(clf)  prec   rec  IS(clf)
real train           2000            8.14     1.657  0.77  0.78     7.87
real train          10000            2.53     0.323  0.77  0.78     7.86
noise sd 0.05        2000           68.37    10.745  0.18  0.15     7.41
noise sd 0.1         2000          115.16    39.846  0.08  0.02     6.79
noise sd 0.2         2000          193.44   140.460  0.03  0.00     4.76
blur sigma 1         2000           96.04   151.030  0.14  0.06     5.46
blur sigma 2         2000          216.92   304.144  0.02  0.00     2.99
DDPM 1000 steps      2000           14.67     4.764  0.74  0.63     7.11
DDIM 50 steps        2000           17.14     9.668  0.65  0.66     6.46
DDIM 10 steps        2000           23.33    34.789  0.61  0.60     5.84
test itself         10000                                           7.78

FID vs number of samples n (reference: 10,000 test images)
     n | real train: Inc     clf | DDIM 50: Inc     clf
   250 |           45.47  11.635 |        53.75  21.821
   500 |           28.09   5.699 |        37.17  15.522
  1000 |           15.69   2.069 |        24.13  10.818
  2000 |            8.14   1.657 |        17.14   9.668
  5000 |            3.80   0.461 |        12.42   8.595
 10000 |            2.53   0.323 |        11.15   8.241

ছয়টি পর্যবেক্ষণ, একটি স্থানীয় run থেকে, সাধারণ ফল নয়।

এক, মাপকাঠি আগে। Training সেটের ২০০০টি আসল ছবিও test সেটের সঙ্গে Inception FID ৮.১৪ দেয়, ১০,০০০টিতে ২.৫৩. তাই DDPM-এর ১৪.৬৭ পড়ুন ৮.১৪-এর পাশে রেখে, শূন্যের পাশে নয়। পর্ব ৭৯-এ অন্য ১০০০টি train ছবিতে FID(clf) ছিল ৪.২৩৫, এখানে ২.০৬৯: কোন ছবি নমুনায় পড়ল, তাতেও মান ওঠানামা করে।

দুই, feature extractor যা দেখে, FID তাই দেখে। প্রায় চোখে না-পড়া noise (sd ০.০৫) Inception FID-কে ৬৮.৩৭-এ তোলে, যা DDIM-এর ১০ ধাপের ঝাপসা-ভাঙা নমুনার (২৩.৩৩) প্রায় তিন গুণ; অথচ নিজের classifier-এর চোখে একই noise মাত্র ১০.৭৫. উল্টো দিকে blur σ = ১-এ classifier-এর FID ১৫১.০৩, Inception-এর ৯৬.০৪.

তিন, ক্রম মেলে, মাত্রা মেলে না। তিনটি sampler-এর ক্রম দুই মাপেই এক: DDPM ১০০০ < DDIM ৫০ < DDIM ১০. কিন্তু DDIM ১০ বনাম DDPM-এর অনুপাত Inception-এ প্রায় ১.৬ গুণ, classifier-এ প্রায় ৭.৩ গুণ।

চার, precision আর recall কারণ দেখায়. আসল train ছবি এই n আর k-তে ০.৭৭/০.৭৮ পায় (ছাদ)। DDPM ১০০০-এর precision ০.৭৪, প্রায় আসলের সমান, কিন্তু recall ০.৬৩: নমুনা বাস্তব, বৈচিত্র্য কম। Noise sd ০.১-এ precision ০.০৮.

পাঁচ, IS(clf) আসল ডেটা দেখে না. Test সেট ৭.৭৮, DDPM ৭.১১, blur σ = ২-এ ২.৯৯; কিন্তু প্রতিটি class-এর একটি নিখুঁত ছবি বারবার বানালে IS প্রায় ১০ হতো, আসল ডেটার চেয়েও বেশি।

ছয়, n না মিললে তুলনা নয়। শেষ টেবিলে একই ডেটা, শুধু n বদলানো। আসল train ছবির Inception FID ২৫০টিতে ৪৫.৪৭, ১০,০০০টিতে ২.৫৩; DDIM ৫০-এর ৫৩.৭৫ থেকে ১১.১৫. লক্ষ করুন: ১০০০টি আসল ছবির FID (১৫.৬৯) ২০০০টি DDPM নমুনার FID-এর (১৪.৬৭) চেয়ে বেশি। ভিন্ন n-এর সংখ্যা পাশাপাশি রাখলে আসল ছবিকেও model-এর চেয়ে “খারাপ” দেখানো যায়। আসল ছবির FID n বাড়লে শূন্যের দিকে যায়, model-এরটা একটি ধনাত্মক মানে (এখানে প্রায় ১১) থামে।

৫ · CLIP score আর মানুষের মূল্যায়ন — লেখা আর ছবি মেলে কি না

Text-to-image model (পর্ব ৮০)-এ আরেক প্রশ্ন: ছবি prompt মানছে কি না? “লাল মগ, কাঠের টেবিলে” লিখে নীল জগ পেলে FID খুশি হতে পারে, ক্রেতা নন। প্রচলিত মাপ CLIP score. CLIP (Radford ও সহকর্মীরা, ২০২১) দুটি encoder-এর একটি model: একটি ছবিকে, অন্যটি লেখাকে একই মাপের vector-এ নেয়, আর কোটি কোটি ছবি-caption জোড়ায় contrastive উপায়ে শেখে, যাতে মিলে যাওয়া জোড়ার vector কাছাকাছি থাকে। CLIP-এর ভেতরের গঠন পর্ব ৮২ (Multimodal model)-এর বিষয়; এখানে শুধু মাপটি।

CLIP score = 100 × max( cos(e_ছবি, e_লেখা), 0 )

এখানে cos হলো cosine similarity. ১০০-গুণ রূপটি torchmetrics-এর মতো library-র; মূল CLIPScore প্রবন্ধ (Hessel ও সহকর্মীরা, ২০২১) ২.৫ দিয়ে গুণ করেছিল, তাই দুই উৎসের সংখ্যা সরাসরি তুলনীয় নয়।

এবার সত্যিকারের run. Model: laion/CLIP-ViT-B-32-laion2B-s34B-b79K (OpenCLIP দলের ViT-B/32, প্রায় ১৫.১ কোটি parameter, card-এ MIT লাইসেন্স, token ছাড়া নামে, প্রায় ৬০৫ MB); card অনুযায়ী চালু পণ্যে ব্যবহার “out of scope”, আমরা শুধু মাপ নিচ্ছি। ছবি: Fashion-MNIST test সেটের প্রতিটি class-এর ২০টি (মোট ২০০), সাদা পটভূমিতে গাঢ় পণ্য করে উল্টে নেওয়া; caption “a photo of a …”. CPU-তে, transformers 5.22.2.

~/bazarghar-dl$ uv run python clipscore.py
model: laion/CLIP-ViT-B-32-laion2B-s34B-b79K, params 151277313
embedding size 512, 200 test images x 10 captions, 7.3s on CPU
matched caption    CLIP score mean 21.3  (min 12.3, max 30.0)
mismatched caption CLIP score mean 11.0
matched > every mismatched caption: 0.83 of images (zero-shot accuracy)
per class: matched / mean mismatched
  T-shirt            21.5 /  11.8
  pair of trousers   22.8 /  10.0
  pullover sweater   22.0 /  11.8
  dress              20.0 /  11.7
  coat               20.5 /  11.8
  sandal             21.5 /  12.2
  shirt              18.5 /  12.1
  sneaker            21.1 /   9.7
  handbag            21.2 /   9.8
  ankle boot         24.0 /   9.4
one pair: sneaker image vs 'a photo of a sneaker' cos 0.2026 -> score 20.26; vs 'a photo of a handbag' cos 0.0497 -> 4.97
first 4 dims of that image embedding: [ 0.0666 -0.1574  0.0064 -0.0254] | caption: [-0.0095 -0.0372 -0.0196 -0.0294]
DDPM samples (200), caption = class predicted by own classifier: CLIP score mean 22.0
  same samples, caption of the next class: mean 11.3
  CLIP zero-shot label agrees with own classifier: 0.76
random-noise images (20): best caption score mean 19.6, all captions mean 18.0
test images, best of 10 captions: mean 21.7

চারটি জিনিস লক্ষ করুন। এক, মিলে যাওয়া caption-এ গড় ২১.৩, ভুল caption-এ ১১.০, আর ৮৩% ছবিতে সঠিক caption-ই সবচেয়ে বেশি পায়। দুই, “shirt” সবচেয়ে কম (১৮.৫), কারণ T-shirt, pullover আর coat-এর সঙ্গে গুলিয়ে যায়। তিন, পর্ব ৭৯-এর DDPM-এর ২০০টি generated ছবি, caption হিসেবে নিজের classifier-এর বলা class: গড় ২২.০, আসল ছবির কাছাকাছি; পাশের class-এর caption-এ ১১.৩. চার, এবং সবচেয়ে শিক্ষণীয়: ২০টি এলোমেলো noise-এর ছবি, যাতে কোনো পণ্যই নেই, যেকোনো caption-এ গড়ে প্রায় ১৮ পায়। অর্থাৎ CLIP score-এর একক মান (“২১ ভালো”) প্রায় অর্থহীন; শুধু একই prompt সেট, একই CLIP model আর একই preprocessing-এ দুটি model-এর তুলনা অর্থবহ। ২৮ × ২৮ ধূসর ছবি CLIP-এর training ডেটার মতো নয়; এটি একটি ছোট স্থানীয় run, সাধারণ ফল নয়।

CLIP গণনা (“তিনটি মগ”) আর কোনটা কার ওপরে, এসবে দুর্বল বলে গবেষণায় দেখা গেছে; আর যে model CLIP দিয়েই guide করা, CLIP score-এ সে মাপকাঠিকেই “খুশি” করতে শেখে। তাই এখনও মানুষের মূল্যায়ন লাগে: একই prompt-এ দুটি model-এর ছবি পাশাপাশি, এলোমেলো ক্রমে দেখিয়ে “কোনটা বেশি বাস্তব, কোনটা prompt বেশি মানে” জিজ্ঞেস করা। এটি ধীর আর ব্যয়বহুল, কিন্তু শেষ বিচারে মানুষই ব্যবহারকারী।

৬ · Memorisation — model কি training ছবি কপি করছে?

তৃতীয় প্রশ্ন: নতুনত্ব। যে model training ছবি হুবহু ফিরিয়ে দেয়, তার FID চমৎকার হতে পারে, কিন্তু সেটি ফটোকপি মেশিন। এটি memorisation. এতে ব্যক্তিগত ছবি ফাঁস বা কপিরাইট-সুরক্ষিত কাজ প্রায় হুবহু বের হতে পারে। Carlini ও সহকর্মীরা (২০২৩) Stable Diffusion-এর মতো model থেকে এক হাজারের বেশি training ছবি প্রায় হুবহু বের করার কথা জানান, বেশির ভাগই ডেটায় বহুবার থাকা ছবি। তাই training ডেটা থেকে প্রায়-নকল ছবি সরানো (deduplication) একটি প্রচলিত প্রতিরক্ষা।

সহজ যাচাই: প্রতিটি generated ছবির নিকটতম training ছবি খুঁজে দূরত্বকে একটি মাপকাঠির সঙ্গে তুলনা করুন: model-এর না-দেখা test ছবি training সেটের কতটা কাছে থাকে। Generated ছবি নিয়মিতভাবে অনেক বেশি কাছে থাকলে সন্দেহ জাগে। আমাদের run: DDPM-এর ২০০০টি নমুনা আর ২০০০টি test ছবি বনাম ৬০,০০০টি training ছবি, pixel-এর L2 দূরত্বে, CPU-তে।

~/bazarghar-dl$ uv run python memo.py
pixel L2 distance (pixels in [0,1], 784 pixels) to the nearest of 60,000 training images
                          min     5%  median
2000 real test images    0.83   1.95    3.43
2000 DDPM samples        1.48   2.24    3.56
samples closer than the 1st percentile of test distances (1.52): 2 of 2000
test images below 1.0: 1, samples below 1.0: 0
pairs shown: closest 3 samples and the median sample, distances [1.48, 1.5, 1.53, 3.56]

DDPM নমুনার নিকটতম training ছবির দূরত্বের median ৩.৫৬, test ছবির ৩.৪৩: প্রায় সমান, বরং নমুনা একটু দূরে। সবচেয়ে কাছের নমুনাও ১.৪৮, যেখানে একটি test ছবি ০.৮৩-এ আছে (Fashion-MNIST-এ কাছাকাছি-নকল ছবি আছে)। Test দূরত্বের নিচের ১%-এর চেয়ে কাছে মাত্র ২টি নমুনা। এই ছোট model-এ হুবহু কপির চিহ্ন পাওয়া যায়নি। তবে pixel দূরত্ব সরানো বা উল্টানো কপি ধরতে পারে না, তাই গবেষণায় feature-ভিত্তিক দূরত্বও লাগে; আর শত কোটি ছবিতে শেখানো বড় model-এর আচরণ আলাদা হতে পারে।

নিচের ব্লক run-এর আসল ছবি আঁকে (সবচেয়ে কাছের তিনটি আর মাঝামাঝি একটি নমুনা, প্রতিটির নিকটতম training ছবিসহ; ৪-bit-এ base64, প্রায় ৪ KB), আর অংশ ৪-এর “FID বনাম n”-এর আসল সংখ্যা।

import base64
import numpy as np
import matplotlib.pyplot as plt

raw = np.frombuffer(base64.b64decode(open("nn_pairs.b64").read()), np.uint8)
imgs = np.stack([raw >> 4, raw & 15], 1).reshape(8, 28, 28) / 15   # 4-bit থেকে খোলা
dist = [1.48, 1.50, 1.53, 3.56]           # run-এ মাপা L2 দূরত্ব
fig, axs = plt.subplots(2, 4, figsize=(7, 3.8))
for k in range(4):
    axs[0, k].imshow(imgs[2 * k], cmap="gray"); axs[0, k].set_title(f"sample, d={dist[k]}", fontsize=8)
    axs[1, k].imshow(imgs[2 * k + 1], cmap="gray"); axs[1, k].set_title("nearest train", fontsize=8)
for ax in axs.flat:
    ax.set_xticks([]); ax.set_yticks([])
fig.suptitle("DDPM samples (seed 7) and their nearest training images", fontsize=9)
plt.show()

n = np.array([250, 500, 1000, 2000, 5000, 10000])        # অংশ ৪-এর আসল সংখ্যা
fid = {"real train, Inception": [45.47, 28.09, 15.69, 8.14, 3.80, 2.53],
       "DDIM 50, Inception": [53.75, 37.17, 24.13, 17.14, 12.42, 11.15],
       "real train, own clf": [11.635, 5.699, 2.069, 1.657, 0.461, 0.323],
       "DDIM 50, own clf": [21.821, 15.522, 10.818, 9.668, 8.595, 8.241]}
fig, ax = plt.subplots(figsize=(6, 3.4))
for name, v in fid.items():
    ax.plot(n, v, "o-" if "Inception" in name else "s--", label=name)
    print(f"{name:22s} n=250: {v[0]:6.2f}  n=10000: {v[-1]:6.2f}  ratio {v[0] / v[-1]:5.1f}")
ax.set_xscale("log"); ax.set_xlabel("number of samples n"); ax.set_ylabel("FID vs 10k test")
ax.set_title("FID depends on n (one run each)"); ax.legend(fontsize=7)
plt.show()

real train, Inception  n=250:  45.47  n=10000:   2.53  ratio  18.0
DDIM 50, Inception     n=250:  53.75  n=10000:  11.15  ratio   4.8
real train, own clf    n=250:  11.63  n=10000:   0.32  ratio  36.0
DDIM 50, own clf       n=250:  21.82  n=10000:   8.24  ratio   2.6

কপিরাইট আর সম্মতি: Training ডেটার অনুমতি আর generated ছবির মালিকানা নিয়ে বিভিন্ন দেশে আইন আর আদালতের অবস্থান এখনও তৈরি হচ্ছে (লেখার সময়ে, নভেম্বর ২০২৬); এই কোর্স আইনি পরামর্শ দেয় না। প্রকৌশলীর করণীয় স্পষ্ট: ডেটার উৎস আর লাইসেন্স লিখে রাখা, deduplication, memorisation যাচাই। নৈতিকতার গভীর আলোচনা পরে AI ethics কোর্সে আসবে।

৭ · Deepfake — ক্ষতি, চেনার সীমা আর প্রতিরক্ষা

Deepfake মানে AI দিয়ে তৈরি বা বদলানো ছবি, ভিডিও বা কণ্ঠ, যা আসল মানুষের মতো দেখায় বা শোনায়। এই পর্ব শুধু প্রতিরক্ষার দিক দেখে: কী ক্ষতি করে, কেন চেনা কঠিন, আর কী করবেন। তিন ধরনের ক্ষতি সবচেয়ে আলোচিত:

বাংলাদেশের প্রসঙ্গ (সূত্রসহ): fact-checking প্রতিষ্ঠান Dismislab-এর ৩০ জুলাই ২০২৫-এর বিশ্লেষণ অনুযায়ী, ২০২৫-এর এপ্রিল-জুনে দেশের আটটি fact-checking সাইটে চিহ্নিত AI-তৈরি ভুয়া তথ্য প্রথমবার ছবির চেয়ে ভিডিওতে বেশি ছড়িয়েছে, আর নির্বাচন-সংক্রান্ত ভুয়া তথ্য ৭টি থেকে অন্তত ৫৫টিতে উঠেছে। আইনে, মে ২০২৫-এ জারি হওয়া সাইবার সুরক্ষা অধ্যাদেশ রহিত করে পরে সাইবার সুরক্ষা আইন, ২০২৬ (২০২৬ সনের ৮১ নং আইন) প্রণীত হয়েছে। সরকারি bdlaws.minlaw.gov.bd-এর পাতায় (লেখার সময়ে, নভেম্বর ২০২৬-এ পড়া) এর সংজ্ঞায় আর কয়েকটি অপরাধের ধারায় কৃত্রিম বুদ্ধিমত্তার উল্লেখ আছে; যেমন ধারা ২৫-এ ব্ল্যাকমেইল, যৌন হয়রানি বা sextortion-এর উদ্দেশ্যে কৃত্রিম বুদ্ধিমত্তা দিয়ে বানানো বা সম্পাদিত ছবি-ভিডিও প্রকাশ বা প্রকাশের হুমকিকে অপরাধ বলা হয়েছে। আইনটি পরে সংশোধিতও হয়েছে; ঠিক ভাষা আর বর্তমান রূপ সরকারি পাতায় দেখুন, এটি আইনি পরামর্শ নয়।

চেনা কেন কঠিন: “আঙুল বেশি” ধরনের লক্ষণ পরের প্রজন্মের model-এ মিলিয়ে যায়। Deepfake detector নিজের training-এর ধরনের generator-এ ভালো কাজ করে, নতুন generator বা compress করা ছবিতে প্রায়ই ভেঙে পড়ে, আর ভুল-ইতিবাচক নিরীহ মানুষের ক্ষতি করে। AI assistant-ও detector নয়: Claude-এর vision ডকুমেন্টেশনে লেখা আছে, Claude ছবি AI-তৈরি কি না নির্ধারণ করতে পারে না। তাই প্রতিরক্ষা কয়েক স্তরের:

• উৎস যাচাই: কে প্রথম পোস্ট করেছে, reverse image search-এ পুরোনো রূপ আছে কি না
• টাকা চাইলে অন্য পথে যাচাই: জানা নম্বরে নিজে ফোন, পরিবারে একটি গোপন “যাচাই-শব্দ”
• Content Credentials বা watermark-এর চিহ্ন দেখা (অংশ ৮), কিন্তু চিহ্ন না থাকাকে “আসল” প্রমাণ না ভাবা
• ক্ষতিকর deepfake শেয়ার না করে রিপোর্ট, প্রমাণ (লিংক, সময়, স্ক্রিনশট) সংরক্ষণ, প্রয়োজনে আইনশৃঙ্খলা বাহিনীর সাইবার সহায়তা (প্রমাণ সংরক্ষণ: সাইবার নিরাপত্তা কোর্সের পর্ব ৬৩)

বড় AI সেবাগুলো আসল মানুষের ছবি নিয়ে কী লিখেছে? শুধু প্রতিটির নিজের নথি থেকে, লেখার সময়ে (নভেম্বর ২০২৬) পড়া; পরিবর্তন হতে পারে। বাস্তবে কে কতটা মানে, তা এখানে মাপা হয়নি।

৮ · Provenance আর watermark — C2PA, SynthID আর একটি সত্যিকারের পরীক্ষা

দুটি পথ: ছবির সঙ্গে স্বাক্ষরিত উৎস-তথ্য রাখা (provenance), আর pixel-এর ভেতরেই অদৃশ্য চিহ্ন বসানো (watermark).

C2PA আর Content Credentials: Coalition for Content Provenance and Authenticity-র খোলা মান (লেখার সময়ে, নভেম্বর ২০২৬, সাইটে সংস্করণ ২.৫)। ছবির সঙ্গে একটি “manifest” থাকে: কয়েকটি দাবি (কোন ক্যামেরা বা AI tool, কী সম্পাদনা) আর একটি digital signature. ছবির byte-এর একটি hash manifest-এ বাঁধা থাকে (“hard binding”), তাই ছবির এক bit বদলালেও যাচাই ভেঙে যায়। Hash আর signature-এর ভিত্তি সাইবার নিরাপত্তা কোর্সের পর্ব ৯ আর পর্ব ১১-এ। সীমা: অনেক প্ল্যাটফর্ম আপলোডে metadata মুছে ফেলে, তখন manifest হারায়; এজন্য মানে “soft binding” আছে, invisible watermark বা fingerprint দিয়ে হারানো manifest খুঁজে পাওয়ার ব্যবস্থা। আর C2PA বলে কে, কোন tool দিয়ে, কী করেছে; বিষয়বস্তু সত্য কি না, তা নয়।

SynthID: Google DeepMind-এর SynthID Google-এর AI দিয়ে তৈরি ছবি, ভিডিও, অডিও আর লেখায় অদৃশ্য watermark বসায়। Google-এর পাতায় (নভেম্বর ২০২৬-এ পড়া) লেখা, ছবির watermark crop, filter আর lossy compression সহ্য করার জন্য নকশা করা, আর SynthID Detector পোর্টালে যাচাই করা যায়। এটি নকশার লক্ষ্য, নিশ্চয়তা নয়; watermark না পাওয়া মানে শুধু “এই watermark নেই”. SynthID Text খোলা উৎস, তবে নতুন করে লেখা বা অনুবাদ করা লেখায় detector-এর আত্মবিশ্বাস অনেক কমতে পারে বলে Google-এর docs জানায়।

সবচেয়ে সহজ ধারণা spread-spectrum watermark (ভিত্তি হিসেবে Cox ও সহকর্মীদের ১৯৯৭-এর কাজ পরিচিত): গোপন চাবি থেকে ±১-এর এলোমেলো প্যাটার্ন w বানিয়ে x' = x + α·w, প্রতিটি pixel মাত্র α (যেমন ১ বা ২) বদলায়। যাচাইয়ে ছবি আর প্যাটার্নের correlation: ছবির নিজস্ব অংশ গড়ে শূন্যের কাছে, watermark প্রতিটি pixel-এ α·w·w = α যোগ করে, আর N pixel-এ সংকেত √N অনুপাতে শক্ত হয়।

নিচের ব্লক একই ধারণা ৬৪ × ৬৪-এর খেলনা পণ্যের ছবিতে চালায়। যাচাইয়ের আগে ছবি থেকে তার ৩ × ৩ গড় বাদ দেওয়া হয় (high-pass), যাতে মসৃণ অংশ correlation নষ্ট না করে; ফল একটি z-score, চিহ্ন না থাকলে মোটামুটি standard normal. সীমা z > ৪.

import numpy as np

rng = np.random.default_rng(42)
yy, xx = np.mgrid[0:64, 0:64]                 # ছোট "পণ্যের ছবি": হালকা পটভূমিতে একটি গাঢ় ব্যাগ
img = np.where((abs(xx - 32) < 16) & (abs(yy - 36) < 14), 70.0, 225.0)
img += 8 * np.sin(xx / 5) + rng.normal(0, 2, img.shape)          # একটু টেক্সচার

key = np.random.default_rng(2026).choice([-1.0, 1.0], img.shape)  # গোপন চাবি: ±1 প্যাটার্ন
alpha = 2.0
marked = np.clip(img + alpha * key, 0, 255)
print(f"max pixel change {np.abs(marked - img).max():.1f} of 255, "
      f"PSNR {10 * np.log10(255**2 / np.mean((marked - img)**2)):.1f} dB")

def highpass(v):                              # ৩×৩ গড় বাদ: মসৃণ ছবি সরে, প্যাটার্ন থাকে
    p = np.pad(v, 1, mode="edge")
    box = sum(p[i:i + 64, j:j + 64] for i in range(3) for j in range(3)) / 9
    return v - box
def z_score(v, k):                            # correlation, noise-এর মাপে ভাগ
    h = highpass(v)
    return float((h * k).sum() / (h.std() * np.sqrt(h.size)))

print("noise sd | z (marked) | z (no mark) | detected (z > 4)?")
for sd in [0, 5, 10, 20, 40]:
    n = np.random.default_rng(sd).normal(0, sd, img.shape)
    zm, zu = z_score(marked + n, key), z_score(img + n, key)
    print(f"{sd:8d} | {zm:10.2f} | {zu:11.2f} | {zm > 4} / {zu > 4}")
wrong = [z_score(marked, np.random.default_rng(s).choice([-1.0, 1.0], img.shape)) for s in range(200)]
print(f"200 wrong keys on the marked image: max |z| = {np.max(np.abs(wrong)):.2f}")

max pixel change 2.0 of 255, PSNR 42.1 dB
noise sd | z (marked) | z (no mark) | detected (z > 4)?
       0 |       8.71 |       -0.32 | True / False
       5 |       8.15 |       -0.36 | True / False
      10 |       6.85 |       -0.37 | True / False
      20 |       4.98 |       -0.01 | True / False
      40 |       3.08 |        0.18 | False / False
200 wrong keys on the marked image: max |z| = 2.49

এবার ডেস্কটপে একটি খোলা library: invisible-watermark 0.2.0 (PyPI-তে MIT লাইসেন্স; README নিজেই একে “experimental” বলে), যা ৩২-bit বার্তা ছবির রঙের অংশে DWT-DCT পদ্ধতিতে বসায়; Stable Diffusion-এর প্রথম দিকের reference script এটি ব্যবহার করত বলে জানা যায়। পাশে নিজের spread-spectrum, α = ১, high-pass করে correlation. ছবি: Fashion-MNIST-এর ১০০টি test ছবি ২৫৬ × ২৫৬-এ বড় করে, প্রতিটি পণ্যকে একটি এলোমেলো রঙে, হালকা ধূসর পটভূমিতে; আসল দোকানের ছবি নয়। আক্রমণ OpenCV দিয়ে, CPU-তে (opencv-python-headless 5.0). “bit acc” = ৩২টি bit-এর কত ভাগ ঠিক; এলোমেলো অনুমানে প্রায় ০.৫.

~/bazarghar-dl$ uv run python wm.py
invisible-watermark dwtDct: embed 5.2 ms/image, mean PSNR 41.5 dB
attack                           mean bit acc all 32 bits >= 29 bits
none                                    0.916        0.55       0.67
JPEG q90                                0.602        0.00       0.00
JPEG q75                                0.588        0.00       0.00
JPEG q50                                0.582        0.00       0.00
JPEG q75, no chroma subsampling         0.664        0.00       0.05
resize 50% and back                     0.922        0.55       0.69
crop 10% each side                      0.500        0.00       0.00
noise sd 5                              0.902        0.47       0.61
brightness +20                          0.724        0.01       0.16
no watermark (FP)                       0.579        0.00       0.00

own spread-spectrum (alpha 1.0, threshold z > 4.0): mean PSNR 48.1 dB
attack                            median z  detected
none                                147.90      1.00
JPEG q90                             35.33      1.00
JPEG q75                             10.02      1.00
JPEG q50                              5.80      0.83
JPEG q75, no chroma subsampling       9.79      1.00
resize 50% and back                  31.93      1.00
crop 10% each side                    0.79      0.00
noise sd 5                           76.22      1.00
brightness +20                      147.90      1.00
no watermark (FP)                     0.06      0.00   (900 image-attack pairs, max |z| 2.87)

Library-র dwtDct আক্রমণ ছাড়াই মাত্র ৫৫% ছবিতে ৩২টি bit-ই ঠিক পড়ে (বড় সমতল পটভূমির এই ছবিতে), আর JPEG-এ (q৯০-ও) গড় bit acc ০.৫৮-০.৬০, watermark-হীন ছবির ০.৫৭৯-এর সমান: কার্যত মুছে গেছে। JPEG-এর chroma subsampling বন্ধ করলেও ০.৬৬৪, তাই শুধু সেটাই কারণ নয়। নিজের spread-spectrum JPEG q৭৫ (z-এর median ১০.০২) আর অর্ধেক resize-এ ১০০টিতেই ধরা পড়ে, q৫০-এ ৮৩%. কিন্তু চার পাশ থেকে ১০% crop করলেই দুটি পদ্ধতিই পুরো ব্যর্থ: প্যাটার্ন আর ছবির grid এক ঘরও সরে গেলে correlation শূন্যে নামে। ৯০০টি চিহ্নহীন ছবি-আক্রমণ জোড়ায় একটিও ভুল-ইতিবাচক নেই (সর্বোচ্চ |z| ২.৮৭)। শিক্ষা: watermark-এর “robust” দাবি কোন আক্রমণে, কোন ছবিতে, কত শতাংশ, তা নিজে মাপুন; crop, rotate আর নতুন করে আঁকানোর বিরুদ্ধে সরল watermark দুর্বল। এটি একটি ছোট স্থানীয় পরীক্ষা; SynthID-এর মতো শেখা watermark এসব আক্রমণ সামলানোর চেষ্টা করে, যা এখানে মাপা হয়নি।

৯ · সীমা, সাধারণ ভুল আর ভালো প্রতিবেদন

১০ · AI-এর যুগে — মূল্যায়নের কোডে আর নিরাপত্তার দাবিতে AI-এর ভুল

AI assistant কয়েক লাইনে FID-এর কোড দেয়, আর তা চলেও; ভুল শর্তে বের হওয়া সংখ্যাও দেখতে স্বাভাবিক। “এই ছবি AI-এর কি না” প্রশ্নেও ভিত্তিহীন আত্মবিশ্বাসী উত্তর আসতে পারে। সাধারণ ভুলগুলো:

মূল্যায়ন আর নিরাপত্তার দাবি — যাচাইয়ের চেকলিস্ট

• আসল বনাম আসল FID-এর মাপকাঠি, তারপর একই n, reference আর preprocessing-এ কয়েকটি seed-এ model মেপেছি
• FID-এর পাশে precision/recall বা class coverage দিয়েছি, আর নমুনার ছবি নিজে দেখেছি
• Nearest-neighbour দিয়ে memorisation যাচাই করেছি; training ডেটার উৎস আর লাইসেন্স লিখে রেখেছি
• API নিজের version-এর docs-এ, আর AI-এর বলা প্রবন্ধ ও সাল মূল উৎসে মিলিয়েছি
• কোনো ছবিকে “AI-তৈরি” বা “আসল” ঘোষণার আগে কয়েক স্তরের যাচাই করেছি; ব্যক্তিগত ছবি বা key কোনো assistant-এ পেস্ট করিনি