এই পর্বে যা শিখবেন
- Visual regression কী ধরে, functional UI test কী ধরে না, আর কোথায় এর সীমা
- Baseline, actual আর diff ছবি; pixel গোনা, মাপের অমিল আর অনুমোদন (approval)
- Per-pixel threshold আর মোট-pixel-এর সীমার পার্থক্য, anti-aliasing আর ভুল সংখ্যা বাছাইয়ের বিপদ
- Mask, স্থির data, animation বন্ধ আর CSP-র একটি বাস্তব ফাঁদ দিয়ে ছবি স্থির রাখা
- Font আর platform-এর পার্থক্য, baseline কোথায় রাখবেন, আর পরিচিত visual testing টুলগুলোর নিরপেক্ষ পরিচয়
১ · চোখে দেখা ভুল — কেন আলাদা visual test
মিষ্টির দোকানের কারিগরের কথা ভাবুন। প্রতিদিন তিনি রসগোল্লার ওজন মাপেন, চিনির মাপ ঠিক রাখেন। একদিন নতুন কর্মচারী রসগোল্লা সাজানোর সময় ভুল রঙের বাক্সে ভরলেন, ঢাকনার নাম উল্টো। ওজন ঠিক, স্বাদ ঠিক, কিন্তু খদ্দের দোকানে ঢুকে প্রথমেই যা দেখেন, তা ভুল। ওজনের পাল্লা এই ভুল ধরবে না; ধরবে একজোড়া চোখ, যে জানে ঠিক বাক্সটি দেখতে কেমন।
বাজারঘরের UI test-গুলো (পর্ব ৩৬) ওজনের পাল্লার মতো: তারা যাচাই করে badge-এ “1” লেখা আছে কি না, মোট টাকা “1120” কি না। কিন্তু দামের লেখা সাদা পটভূমিতে সাদা হয়ে গেলে, “কার্টে যোগ করুন” বোতাম কার্ডের বাইরে বেরিয়ে গেলে, বা দুটি কার্ড একে অপরের ওপর উঠে গেলে এই test-গুলো দিব্যি পাস করে। লেখাটি DOM-এ আছে, শুধু চোখে দেখা যায় না। এই ধরনের ভাঙন ধরার কৌশলই visual regression testing: পাতা বা তার অংশের একটি ছবি তুলে, আগে অনুমোদিত ছবির সাথে মেলানো।
কোন ভুলগুলো সাধারণত এভাবে ধরা পড়ে:
- CSS-এর অনিচ্ছাকৃত প্রভাব: একটি পাতার জন্য একটি class বদলালেন, অন্য দশটি পাতায় সেই class-ও ছিল।
- Layout ভাঙা: জিনিস একে অপরের ওপর ওঠা, লেখা কেটে যাওয়া, ছোট পর্দায় বোতাম বাইরে চলে যাওয়া।
- লম্বা লেখা: একই বোতামে ইংরেজির “Add to cart” আর বাংলার “কার্টে যোগ করুন”-এর চওড়া আলাদা; যুক্তাক্ষর আর মাত্রার কারণে বাংলা লাইন উচ্চতায়ও বেশি জায়গা নিতে পারে। অনুবাদ বদলালে layout ভাঙে।
- Font, ছবি বা icon না আসা: font ফাইল লোড না হলে browser অন্য font-এ লেখে, পাতার চেহারা পুরো বদলে যায়।
- Library-র নতুন সংস্করণ: একটি CSS framework-এর ছোট update বোতামের কোণ বা ফাঁক বদলে দেয়।
এখানে একটি মৌলিক কথা আছে। Visual test আসলে বলে না পাতা “সুন্দর” বা “সঠিক”; বলে পাতা আগের অনুমোদিত চেহারা থেকে বদলেছে কি না। অর্থাৎ এর test oracle হলো একটি পুরোনো ছবি, কোনো লিখিত requirement নয়। তাই প্রথম ছবিটি অনুমোদনের আগে একজন মানুষকে সত্যিই দেখে নিতে হয় যে সেটি ঠিক; নইলে test একটি ভুল চেহারাকে চিরকাল পাহারা দেবে। এই ধারণা golden master-এর মতো, যা আগের পর্বগুলোতে এসেছে, আর Full-Stack কোর্সের পর্ব ৭৩-এর snapshot test-এর চাক্ষুষ রূপ। লেখার snapshot আর approval testing-এর সুবিধা-ফাঁদ পর্ব ৬১ (Snapshot আর approval testing — কখন সুবিধা, কখন ফাঁদ)-এ আসবে।
Screenshot মিলিয়ে পাতা যাচাইয়ের open source টুল ২০১৩–১৪ সালের দিকে জনপ্রিয় হতে শুরু করে বলে জানা যায়; BBC News-এর দলের Wraith আর Huddle-এর PhantomCSS তখনকার পরিচিত নাম (সাল আর খুঁটিনাটি আমরা আলাদা করে যাচাই করিনি)। এরপর BackstopJS, Playwright-এর নিজস্ব screenshot assertion আর বাণিজ্যিক hosted সেবা এসেছে। মূল ধারণা পুরোনো: ছাপাখানায় নতুন প্লেটের প্রথম ছাপ পুরোনো অনুমোদিত ছাপের পাশে রেখে মেলানো হতো।
২ · মূল ধারণা — baseline, actual আর diff
পুরো পদ্ধতিতে তিনটি ছবি। Baseline হলো অনুমোদিত ছবি, যা একবার মানুষ দেখে ঠিক বলেছেন। Actual হলো নতুন build-এ এখন তোলা ছবি। আর diff হলো দুটির পার্থক্যের ছবি, যেখানে বদলানো pixel রঙ দিয়ে চিহ্নিত। Test-এর সিদ্ধান্ত নেওয়া হয় diff থেকে: কতগুলো pixel বদলেছে, আর সেটি অনুমোদিত সীমার মধ্যে কি না।
Visual regression-এর চক্র
baseline + actual → pixel তুলনা → পাস, নাকি মানুষের বিচার
একটি pixel মানে তিনটি সংখ্যা: লাল, সবুজ, নীল (RGB), প্রতিটি ০ থেকে ২৫৫. দুটি ছবির একই জায়গার pixel-এর প্রতিটি সংখ্যার পার্থক্য নিলে পাওয়া যায় সেই pixel কতটা বদলেছে। সবচেয়ে কড়া নিয়ম: যেকোনো পার্থক্য মানেই “বদলেছে”। এর আগে একটি শর্ত: দুটি ছবির মাপ একই হতে হবে। মাপ আলাদা হলে pixel জোড়াই মেলানো যায় না, সেটি নিজেই একটি ব্যর্থতা। নিচের JavaScript ব্রাউজারে দুটি ছোট “ছবি” আঁকে, তারপর pixel ধরে গোনে:
// ৬০ × ৩০ pixel-এর দুটি ছবি, মাঝে একটি "দামের লেখা"র আয়তক্ষেত্র
function draw(color, dx) {
const c = document.createElement("canvas");
c.width = 60; c.height = 30;
const g = c.getContext("2d");
g.fillStyle = "#ffffff"; g.fillRect(0, 0, 60, 30);
g.fillStyle = color; g.fillRect(10 + dx, 10, 20, 8);
return g.getImageData(0, 0, 60, 30).data; // RGBA, প্রতি pixel ৪টি সংখ্যা
}
function diff(a, b, threshold) {
let n = 0, maxd = 0;
for (let i = 0; i < a.length; i += 4) {
const d = Math.max(Math.abs(a[i] - b[i]), Math.abs(a[i + 1] - b[i + 1]),
Math.abs(a[i + 2] - b[i + 2]));
maxd = Math.max(maxd, d);
if (d > threshold) n++;
}
return `${n} of ${a.length / 4} px changed (max delta ${maxd})`;
}
const base = draw("#1d1d1b", 0);
console.log("same build :", diff(base, draw("#1d1d1b", 0), 0));
console.log("red price :", diff(base, draw("#a4161a", 0), 0));
console.log("tiny colour :", diff(base, draw("#1e1e1c", 0), 0));
console.log("tiny, thr 8 :", diff(base, draw("#1e1e1c", 0), 8));
console.log("moved 1 px :", diff(base, draw("#1d1d1b", 1), 0));আসল আউটপুট (ব্রাউজারের JavaScript):
same build : 0 of 1800 px changed (max delta 0)
red price : 160 of 1800 px changed (max delta 135)
tiny colour : 160 of 1800 px changed (max delta 1)
tiny, thr 8 : 0 of 1800 px changed (max delta 1)
moved 1 px : 16 of 1800 px changed (max delta 228)
“দামের লেখা” ২০ × ৮ = ১৬০ pixel. লাল রঙে সবকটি বদলেছে, সবচেয়ে বড় পার্থক্য ১৩৫ (লাল চ্যানেলে ২৯ থেকে ১৬৪)। “tiny colour”-এও ১৬০টি বদলেছে, কিন্তু প্রতিটি মাত্র ১ ধাপ: চোখে অদৃশ্য, কড়া নিয়মে ব্যর্থ। Threshold ৮ দিলে এই ক্ষুদ্র বদল উপেক্ষিত, অথচ লাল দাম (১৩৫) তখনও ধরা পড়ত। শেষ লাইনটি দেখুন: আয়তক্ষেত্র ১ pixel ডানে সরেছে, বদলেছে মাত্র ১৬টি (বাঁয়ের এক কলাম সাদা হলো, ডানে এক কলাম নতুন রং), কিন্তু পার্থক্য প্রায় পুরো ২২৮ (সাদার ২৫৫ থেকে নীল চ্যানেলের ২৭). মানুষের চোখে ১ pixel সরে যাওয়া প্রায় অদৃশ্য, আর অনেক আসল layout-ভাঙন ঠিক এভাবেই ছোট সংখ্যায় শুরু হয়। কাজেই “কতগুলো pixel” আর “কতটা বদলেছে” দুটি আলাদা প্রশ্ন; পরের অংশগুলোতে দুটিই লাগবে।
৩ · সত্যিকারের run — বাজারঘরের চালের কার্ড
এবার আসল browser, আসল app. এই অংশের সব কিছু এই কোর্স লেখার সময় একটি সাধারণ Windows ডেস্কটপে সত্যিকারভাবে চালানো হয়েছে। App হলো কোর্সের বাজারঘর, শুধু 127.0.0.1:8801-এ, নিজের আলাদা SQLite ফাইল নিয়ে। Test প্রকল্পে playwright 1.65.2 (Apache-2.0) আর ছবি তুলনার জন্য Pillow 13.0.0 (লাইসেন্স MIT-CMU, একটি খোলা লাইসেন্স), Python 3.12.13. Browser হলো installed Microsoft Edge 157, headless. সতর্কতা হিসেবে DO_NOT_TRACK=1 রাখা হয়েছিল। Path নিরপেক্ষ করা।
Python-এ to_have_screenshot নেই। Playwright-এর screenshot assertion (toHaveScreenshot) হলো Node.js-এর Playwright Test runner-এর অংশ। Python-এর playwright 1.65.2-এর ভেতরে খুঁজে এর কোনো সমতুল্য পাওয়া যায়নি, pytest-playwright-ও এটি দেয় না। কিছু তৃতীয় পক্ষের pytest plugin এই কাজ করে বলে জানা যায়; আমরা সেগুলো ব্যবহার করিনি। তাই এখানে পথটি সরল আর স্বচ্ছ: Playwright দিয়ে ছবি তোলা, Pillow দিয়ে তুলনা। নিজে লিখলে বোঝা যায় টুলগুলো ভেতরে কী করে।
App-এর একটি জিনিস শুধু আমাদের কপিতে যোগ করা হয়েছে (মূল shared app অপরিবর্তিত): প্রতিটি কার্ডে একটি ছোট সবুজ badge, “দাম হালনাগাদ 18:11:42.123”, যাতে server-এর সেই মুহূর্তের সময় মিলিসেকেন্ডসহ লেখা। বাস্তবের দোকানে এমন জিনিস অনেক: সময়, countdown, “৩ জন এখন দেখছেন”, এলোমেলো বিজ্ঞাপন। এটি অংশ ৫-এর জন্য। এবার script-এর মূল অংশ:
from PIL import Image, ImageChops
def card_shot(page, mask: bool) -> Image.Image:
page.goto("http://127.0.0.1:8801/")
card = page.locator('[data-testid="product-card"][data-product-id="1"]')
card.screenshot(
path="shots/actual.png",
animations="disabled", # CSS animation/transition থামানো
caret="hide", # লেখার cursor লুকানো
mask=[card.get_by_test_id("price-updated")] if mask else [],
)
return Image.open("shots/actual.png").convert("RGB")
def compare(base, actual, threshold):
if base.size != actual.size:
return {"size_mismatch": (base.size, actual.size)}
diff = ImageChops.difference(base, actual) # প্রতি চ্যানেলে |a - b|
r, g, b = (band.point(lambda v: 255 if v > threshold else 0)
for band in diff.split())
changed = ImageChops.lighter(ImageChops.lighter(r, g), b)
return {"changed": changed.histogram()[255],
"total": base.size[0] * base.size[1],
"bbox": changed.getbbox(),
"max_delta": max(mx for _, mx in diff.getextrema())}পুরো পাতা নয়, একটি কার্ড: locator.screenshot() শুধু ওই element-এর জায়গার ছবি তোলে। পুরো পাতার ছবিতে header-এর cart badge, নিচের অন্য কার্ড, সবকিছুর বদলে test ভাঙত; component-ভিত্তিক ছবি ছোট, দ্রুত, আর ব্যর্থ হলে কারণ খোঁজা সহজ। Context খোলা হয়েছে নির্দিষ্ট viewport ১২৮০ × ৮০০, device pixel ratio ১ আর ভাষা bn-BD দিয়ে, যাতে প্রতিবার একই মাপের ছবি আসে।
তুলনা: ImageChops.difference প্রতিটি চ্যানেলে পার্থক্য দেয়। প্রতিটি চ্যানেলকে “threshold-এর বেশি হলে ২৫৫, নইলে ০” করে, তিনটি মিলিয়ে (lighter = দুটির বড়টি) একটি সাদা-কালো ছবি পাওয়া যায়, যেখানে সাদা মানে “বদলেছে”। সাদা pixel গোনা হয় histogram থেকে। getbbox() বলে বদলানো অংশটি কোন আয়তক্ষেত্রে: ব্যর্থতার কারণ খুঁজতে এটি খুব কাজের। Script-এর বাকি অংশ (baseline বা check mode, --threshold, --max-ratio) শুধু এগুলো সাজায়।
প্রথমে mask-সহ baseline তোলা, তারপর কিছু না বদলে তিনবার তুলনা। সত্যিকারের আউটপুট:
$ uv run python visual_check.py baseline
baseline saved: shots/rice-card.baseline.png 236x283
$ uv run python visual_check.py check # তিনবার চালানো, তিনবারই একই
changed pixels: 0 of 66788 (0.00%), max channel delta 0, bbox None
PASS
ছবিটি ২৩৬ × ২৮৩ pixel: ওপরে সবুজ underline-সহ “মিনিকেট চাল ৫ কেজি”, তার নিচে ধূসর “Miniket Rice 5 kg”, মোটা অক্ষরে “420 টাকা”, তারপর সময়ের badge-এর জায়গায় একটি গোলাপি আয়তক্ষেত্র (mask), “★ 4.3 (4)” আর সবুজ “কার্টে যোগ করুন” বোতাম। এই ছবি দেখে নিশ্চিত হওয়া দরকার যে কার্ডটি সত্যিই ঠিক দেখায়; তবেই এটি baseline.
একটি CSS লাইন বদলানো
এবার আমাদের app-কপির app.css-এ একজন developer ধরুন “ছাড়ের পণ্য লাল দেখাবে” কাজের সময় ভুল করে সব কার্ডের দামের class-এ রং বসিয়ে দিলেন:
/* আগে */
.price { font-weight: 700; font-size: 1.1rem; }
/* পরে */
.price { font-weight: 700; font-size: 1.1rem; color: var(--danger); }$ uv run python visual_check.py check
changed pixels: 661 of 66788 (0.99%), max channel delta 135, bbox (17, 92, 87, 109)
FAIL: more than 0.00% pixels differ
পাতার প্রতিটি functional test এখনো পাস করত: দাম “420 টাকা”, বোতাম আছে, badge কাজ করে। Visual test-ই একমাত্র যে বলল কিছু বদলেছে। আর বার্তাটি কোথায় তা-ও বলছে: আয়তক্ষেত্র (১৭, ৯২) থেকে (৮৭, ১০৯), অর্থাৎ বাঁ দিক থেকে ১৭ pixel আর ওপর থেকে ৯২ pixel দূরে, ৭০ × ১৭ pixel-এর একটি পট্টি: ঠিক দামের লেখা। ৬৬১টি pixel মানে মোটা অক্ষরের ভেতরের আর কিনারার pixel; পটভূমি অপরিবর্তিত।
দ্বিতীয় বদল: কেউ কার্ডের ভেতরের ফাঁক একটু বাড়ালেন, .card { … padding: 1rem; } থেকে padding: 1.25rem:
$ uv run python visual_check.py check
FAIL: size changed: baseline 236x283, actual 236x291
কার্ডের চওড়া grid ঠিক করে দেয়, তাই চওড়া একই; উচ্চতা ৮ pixel বেড়েছে (ওপর-নিচে ৪ করে, কারণ ০.২৫rem = ৪ pixel). এখানে pixel গোনাই হয়নি, মাপের অমিলেই ব্যর্থ। Playwright Test-এর toHaveScreenshot-ও মাপ আলাদা হলে একইভাবে আলাদা বার্তায় ব্যর্থ হয়। মনে রাখুন, এটি সবসময় bug নয়: হয়তো ডিজাইনার সত্যিই বেশি ফাঁক চেয়েছিলেন। তখন কাজ হলো approve করা।
- Baseline
236×283মানুষ দেখে ঠিক - CSS বদল
.priceলাল রং - Diff
661 pxFAIL - Approve
নতুন baselinePASS
| CSS | |
| baseline | |
| বদলানো px | |
| ফল |
- Baseline তোলা। Mask-সহ চালের কার্ডের ছবি, ২৩৬ × ২৮৩ = ৬৬,৭৮৮ pixel. একজন মানুষ ছবিটি দেখে নিশ্চিত হন যে কার্ড ঠিক দেখায়; তারপরই এটি baseline.
- কিছু না বদলে তুলনা। সত্যিকারের run-এ পরপর তিনবার ০টি pixel আলাদা। এটি প্রথম যাচাই: test নিজে স্থির কি না। স্থির না হলে পরের কোনো ব্যর্থতাকে বিশ্বাস করা যায় না।
- CSS বদল, diff.
.price-এ লাল রং। ৬৬১টি pixel (০.৯৯%) বদলেছে, সর্বোচ্চ পার্থক্য ১৩৫. Threshold ০ আর অনুমোদিত অনুপাত ০%, তাই FAIL. - মানুষের বিচার। বদলানো অংশ (১৭, ৯২) থেকে (৮৭, ১০৯): দামের লেখা। প্রশ্ন একটিই: এই বদল কি চাওয়া হয়েছিল? Requirement ছিল শুধু ছাড়ের পণ্যে লাল, চালে ছাড় নেই, তাই এটি bug. এই stepper-এ দেখানোর জন্য ধরা যাক দল ভুল করে “ইচ্ছাকৃত” বলে approve করল।
- Approve: নতুন baseline. লাল দামের ছবিই নতুন baseline হলো, পরের তুলনায় ০ pixel, PASS. Approve মানে শুধু একটি ফাইল বদলানো; এই এক ক্লিকেই ভুল চেহারা “সঠিক” হয়ে গেল। এজন্য approve-কে code review-এর মতো দেখতে হয়।
- আসল CSS ফিরলে। Developer ভুল বুঝে CSS ঠিক করলেন, আর এবার test FAIL, আবার ৬৬১ pixel, কারণ baseline এখন লাল। সত্যিকারের run-এ ঠিক এটাই হয়েছে; তারপর আসল চেহারার baseline আবার তোলা হলো। ভুল approve দুবার কাজ বাড়ায়।
৪ · Threshold — কতটুকু পার্থক্যকে “পার্থক্য” বলবেন
পরীক্ষার খাতা দুজন শিক্ষক মিলিয়ে দেখছেন। একজন প্রতিটি দাঁড়ি-কমা ধরেন, আরেকজন শুধু উত্তর। প্রথমজন এত বেশি “ভুল” পান যে আসলগুলো হারিয়ে যায়; দ্বিতীয়জন বানান ভুল পুরো এড়িয়ে যান। Visual test-এর সংখ্যাগুলো ঠিক এই দুই শিক্ষকের মধ্যে একটি জায়গা বাছাই। দুটি আলাদা গাঁট আছে:
| গাঁট | প্রশ্ন | Playwright Test-এ |
|---|---|---|
| Per-pixel threshold | একটি pixel কতটা বদলালে তাকে “বদলেছে” গুনব? | threshold, ০ থেকে ১, default ০.২ |
| মোট সীমা | কতগুলো বদলানো pixel পর্যন্ত test পাস? | maxDiffPixels (সংখ্যা) বা maxDiffPixelRatio (অনুপাত) |
আমাদের script-এ threshold হলো চ্যানেলের পার্থক্য (০–২৫৫), আর --max-ratio হলো মোট সীমা। এবার দুটি সত্যিকারের পরীক্ষা। প্রথমটিতে brand-এর সবুজ রং #0b6b3a থেকে #0c6c3b: প্রতিটি চ্যানেলে ১ ধাপ, কোনো মানুষ এই পার্থক্য দেখবেন না। দ্বিতীয়টি আগের লাল দাম। সত্যিকারের আউটপুট:
# brand সবুজে ১ ধাপের বদল
$ uv run python visual_check.py check
changed pixels: 6629 of 66788 (9.93%), max channel delta 2, bbox (16, 19, 176, 265)
FAIL: more than 0.00% pixels differ
$ uv run python visual_check.py check --threshold 2
changed pixels: 0 of 66788 (0.00%), max channel delta 2, bbox None
PASS
# লাল দাম
$ uv run python visual_check.py check --threshold 2
changed pixels: 593 of 66788 (0.89%), max channel delta 135, bbox (17, 92, 87, 109)
FAIL: more than 0.00% pixels differ
$ uv run python visual_check.py check --threshold 8
changed pixels: 543 of 66788 (0.81%), max channel delta 135, bbox (17, 92, 87, 108)
FAIL: more than 0.00% pixels differ
$ uv run python visual_check.py check --threshold 8 --max-ratio 0.02
changed pixels: 543 of 66788 (0.81%), max channel delta 135, bbox (17, 92, 87, 108)
PASS
দুটি শিক্ষা একসাথে। প্রথমত, অদৃশ্য রঙের বদল প্রায় ১০% pixel ছুঁয়েছে (শিরোনাম, বোতাম, কিনারার মেশানো রং), অথচ লাল দামের আসল bug মাত্র ০.৯৯%. বদলানো pixel-এর সংখ্যা ভুলের গুরুত্ব মাপে না। দ্বিতীয়ত, “২% পর্যন্ত পার্থক্য চলবে” শুনতে নিরাপদ, কিন্তু সেই নিয়মে লাল দাম পাস করেছে। একটি ছোট কার্ডে গুরুত্বপূর্ণ জিনিস (দাম, বোতামের লেখা) খুব কম pixel নেয়; অনুপাতের সীমা ঠিক সেগুলোকেই লুকায়। সর্বোচ্চ পার্থক্য (max delta) এখানে বেশি কাজের: ২ বনাম ১৩৫.
| নিয়ম | |
| সবুজে ১ ধাপ | |
| লাল দাম | |
| রায় |
- Threshold ০, অনুপাত ০%. সবচেয়ে কড়া নিয়ম। লাল দাম ঠিকই ধরা পড়ে, কিন্তু অদৃশ্য সবুজের বদলেও ৬,৬২৯ pixel-এ FAIL. এমন false positive বারবার হলে দল বার্তা না পড়েই approve করা শেখে, আর তখন আসল bug-ও চলে যায়।
- Threshold ২. ১–২ ধাপের বদল উপেক্ষিত, তাই সবুজের বদলে ০ pixel. লাল দামের pixel-গুলোর পার্থক্য অনেক বড়, তাই সত্যিকারের run-এ ৫৯৩ pixel (০.৮৯%), FAIL: অক্ষরের কিনারার সবচেয়ে হালকা মেশানো কিছু pixel আর গোনা হয়নি, তবু bug ঠিকই ধরা পড়েছে।
- Threshold ৮. সত্যিকারের run-এ লাল দামে ৫৪৩ pixel: অক্ষরের কিনারার কিছু হালকা মেশানো pixel ৮-এর কম বদলেছে, তাই গোনা কমেছে। Bug তবুও ধরা পড়েছে।
- মোট সীমা ২%. একই ৫৪৩ pixel (০.৮১%) এখন সীমার মধ্যে, তাই PASS. এটি false negative: ভুল দাম চলে গেল production-এ। কোনো সংখ্যাকে “নিরাপদ” ধরার আগে একটি জানা ছোট bug দিয়ে নিয়মটি পরীক্ষা করুন।
- সংখ্যা আর তীব্রতা দুটোই। ছোট threshold আর ০% অনুপাতের সাথে বার্তায় সর্বোচ্চ পার্থক্য আর bbox রাখলে পর্যালোচক এক নজরে বোঝেন: ২ ধাপ মানে রঙের সামান্য বদল, ১৩৫ মানে চোখে-পড়া বদল, আর কোন জায়গায়। সংখ্যাটি সিদ্ধান্ত নেয় না, সিদ্ধান্তে সাহায্য করে।
Anti-aliasing — কিনারার মেশানো pixel
অক্ষর বা গোল কোণের কিনারা পর্দার চৌকো pixel-এ পুরোপুরি পড়ে না। তাই browser কিনারার pixel-গুলোকে আংশিক রঙে আঁকে, যাতে কিনারা মসৃণ দেখায়; একে বলে anti-aliasing. লেখা আধা pixel সরে গেলে, বা অন্য GPU বা অন্য font-rendering-এ এই কিনারার pixel-গুলো সামান্য বদলায়, অথচ চোখে কিছুই বদলায় না। Visual test-এর বেশিরভাগ “ভুতুড়ে” ব্যর্থতা এখান থেকে আসে।
Playwright Test নিজের তুলনায় pixelmatch নামের একটি ছোট open source library ব্যবহার করে (pixelmatch-এর লাইসেন্স ISC). এই ধরনের library দুটি কৌশল নেয়: রঙের পার্থক্য মাপে মানুষের চোখের অনুভূতির কাছাকাছি একটি রঙ-মাপে (তাই threshold ০ থেকে ১-এর একটি “অনুভূত” মাপ, আমাদের ০–২৫৫ নয়), আর আশেপাশের pixel দেখে অনুমান করে একটি পার্থক্য কেবল anti-aliasing-এর কি না, যাতে সেটি না গোনে। pixelmatch-এর এখনকার নথি অনুযায়ী এটি OKLab রঙ-মাপে তুলনা করে আর anti-aliasing শনাক্তে Vyšniauskas-এর ২০০৯ সালের একটি পদ্ধতি অনুসরণ করে; Playwright-এর ভেতরে কোন সংস্করণের নকল আছে, তা আমরা যাচাই করিনি।
আরও গভীরে: Pixel-ভিত্তিক তুলনার বিকল্প হলো গঠনভিত্তিক মাপ। Wang, Bovik ও সহকর্মীদের ২০০৪ সালের SSIM (structural similarity) দুটি ছবির উজ্জ্বলতা, বৈপরীত্য আর গঠন তুলনা করে, মানুষ যেভাবে “একই রকম” দেখেন তার কাছাকাছি একটি সংখ্যা দেয়। বাণিজ্যিক কিছু সেবা আরও এগিয়ে machine learning দিয়ে ঠিক করে কোন বদল মানুষের কাছে অর্থবহ (layout সরে যাওয়া) আর কোনটি নয় (anti-aliasing). Trade-off সবসময় একই: তুলনা যত “বুদ্ধিমান”, তত কম মিথ্যা অ্যালার্ম, কিন্তু তত কম স্বচ্ছ; কেন পাস করল তা ব্যাখ্যা করা কঠিন হয়, আর ছোট আসল বদলও “অর্থহীন” বলে বাদ পড়ার ঝুঁকি থাকে।
৫ · চলমান অংশ — mask, স্থির data আর একটি CSP ফাঁদ
একটি visual test-কে আগে নিজের সাথে মিলতে হবে: কিছু না বদলালে দুবার তোলা ছবি হুবহু এক। আমাদের কার্ডে সময়ের badge আছে, তাই mask ছাড়া কী হয় দেখুন, সত্যিকারের আউটপুট:
$ uv run python visual_check.py baseline --no-mask
baseline saved: shots/rice-card.baseline.png 236x283
$ uv run python visual_check.py check --no-mask
changed pixels: 259 of 66788 (0.39%), max channel delta 219, bbox (141, 142, 174, 153)
FAIL: more than 0.00% pixels differ
কোনো code বদলায়নি, তবু FAIL. Bbox-এর চওড়া মাত্র ৩৩ pixel, badge-এর ডান প্রান্তে: সময়ের শেষের কয়েকটি অঙ্ক (সেকেন্ড আর মিলিসেকেন্ড)। এই test প্রতিবার ব্যর্থ হবে, অথবা দুটি ছবি একই মিলিসেকেন্ডে তোলা হলে কদাচিৎ পাস করবে: একটি visual flaky test (পর্ব ৪০, Flaky test — কারণ, খোঁজা, quarantine আর স্থায়ী সমাধান)।
সমাধান mask: ছবি তোলার মুহূর্তে চলমান element-এর ওপর একটি একরঙা আয়তক্ষেত্র বসানো, যাতে দুটি ছবিতেই একই রং থাকে। Playwright-এর mask=[locator] default-এ গোলাপি #FF00FF বসায় (mask_color দিয়ে বদলানো যায়)। Mask চালু করে আগের অংশের run-এ তিনবারই ০ pixel. খেয়াল রাখবেন, mask-এর নিচের অংশ আর যাচাই হয় না: badge-এর রং বা মাপ ভেঙে গেলেও ধরা পড়বে না। তাই mask যত ছোট সম্ভব, আর badge-এর লেখা একটি সাধারণ assertion দিয়ে আলাদাভাবে যাচাই করুন।
| badge (ছবি ১) | |
| badge (ছবি ২) | |
| বদলানো px | |
| ফল |
- Mask ছাড়া baseline. কার্ডের badge-এ server-এর সেই মুহূর্তের সময় (এখানে দেখানো সময়গুলো উদাহরণ; আসল run-এ অন্য মান ছিল)।
- কিছু না বদলে আবার তোলা। দ্বিতীয় ছবিতে সময় আলাদা। ২৫৯ pixel বদলেছে, তাই FAIL. Code-এ কোনো ভুল নেই, ভুল test-এর নকশায়।
- কারণ খোঁজা। Bbox x ১৪১–১৭৪, y ১৪২–১৫৩: badge-এর ডান দিকের অঙ্কগুলো। Bbox না থাকলে এই কারণ খুঁজতে ছবি খুলে চোখ দিয়ে খুঁজতে হতো।
- Mask দিয়ে baseline.
mask=[card.get_by_test_id("price-updated")]. Badge-এর জায়গায় গোলাপি বাক্স, সময় যা-ই হোক। - তিনবার তুলনা। পরপর তিনটি run-এ ০, ০, ০ pixel. এখন কোনো ব্যর্থতা মানে সত্যিই কিছু বদলেছে। এই “নিজের সাথে মেলা” যাচাই প্রতিটি নতুন visual test-এ আগে করে নিন।
Mask ছাড়াও চলমান অংশ সামলানোর উপায়
| উৎস | উপায় |
|---|---|
| সময়, তারিখ | mask, অথবা browser-এর ঘড়ি নির্দিষ্ট সময়ে আটকানো (Playwright-এ clock API) |
| Database-এর data | প্রতিটি test-এর আগে seed ফেরানো (পর্ব ২৩), বাজারঘরে /api/test/reset |
| Animation, transition | animations="disabled": সীমিত animation শেষ অবস্থায় পাঠানো হয়, অসীমগুলো শুরুর অবস্থায় |
| লেখার cursor | caret="hide" (Playwright-এর default) |
| Hover, focus | ছবির আগে mouse সরিয়ে রাখা; focus থাকলে outline ছবিতে আসে |
| বাইরের জিনিস (বিজ্ঞাপন, map) | network route দিয়ে স্থির উত্তর (পর্ব ৩৭), বা mask |
| Web font দেরিতে আসা | ছবির আগে font লোড শেষ হওয়ার অপেক্ষা, বা font নিজের server-এ রাখা |
একটি বাস্তব ফাঁদ, CSP: Playwright-এর screenshot-এ style option আছে, যা ছবির সময় একটি stylesheet বসায় (যেমন চলমান অংশ লুকাতে)। পরীক্ষায় style=".price{color:red !important}" দেওয়া হলো, ফল: ০ pixel বদল, PASS. Style কাজই করেনি। কারণ বাজারঘর প্রতিটি পাতায় একটি কড়া Content Security Policy পাঠায়, style-src 'self', যা পাতায় বাইরে থেকে বসানো inline style আটকায়। Test context-এ bypass_csp=True দেওয়ার পরে একই style-এ ৬৮৬ pixel বদলাল, FAIL. শিক্ষা দুটি: test-এর কোনো option কাজ করছে কি না, একটি জানা বদল দিয়ে নিজে যাচাই করুন; আর bypass_csp শুধু test-এর context-এ, এটি app-এর নিরাপত্তা দুর্বল করে না। Mask এই সমস্যায় পড়েনি।
এবার তুলনার যুক্তিকে নিজেই test করুন। নিচে একটি ছোট compare function (ছবি মানে সংখ্যার তালিকা, প্রতিটি সংখ্যা একটি ধূসর pixel), আর তার unittest: mask চলমান অংশ লুকায় কি না, কিন্তু দামের বদল লুকায় না; threshold ছোট বদল উপেক্ষা করে কি না; মাপ আলাদা হলে থামে কি না। Visual টুল যাঁরা নিজে বানান, তাঁদের টুলেরও test লাগে:
import sys, unittest
def compare(base, actual, threshold=0, mask=()):
"""Count pixels that moved more than threshold, outside mask boxes."""
if len(base) != len(actual) or len(base[0]) != len(actual[0]):
raise ValueError("size changed")
changed = 0
for y, (row_b, row_a) in enumerate(zip(base, actual)):
for x, (b, a) in enumerate(zip(row_b, row_a)):
masked = any(x0 <= x < x1 and y0 <= y < y1 for x0, y0, x1, y1 in mask)
if not masked and abs(a - b) > threshold:
changed += 1
return changed
def card(price=30, stamp=0, bg=255): # 10 x 6 grey "image"
img = [[bg] * 10 for _ in range(6)]
img[1][1:5] = [price] * 4 # price text: 4 pixels
img[4][5:9] = [(stamp * 37 + x * 11) % 200 for x in range(5, 9)] # badge
return img
BADGE = [(5, 4, 9, 5)] # x0, y0, x1, y1
class CompareTest(unittest.TestCase):
def test_same_card(self):
self.assertEqual(compare(card(), card()), 0)
def test_badge_breaks_without_mask(self):
self.assertEqual(compare(card(stamp=1), card(stamp=2)), 4)
def test_mask_hides_badge(self):
self.assertEqual(compare(card(stamp=1), card(stamp=2), mask=BADGE), 0)
def test_mask_keeps_price(self):
self.assertEqual(compare(card(), card(price=164, stamp=2), mask=BADGE), 4)
def test_threshold_tiny_change(self):
self.assertEqual(compare(card(), card(bg=254), threshold=2), 0)
def test_size_change_raises(self):
self.assertRaises(ValueError, compare, card(), card()[:5])
suite = unittest.defaultTestLoader.loadTestsFromTestCase(CompareTest)
unittest.TextTestRunner(verbosity=2, stream=sys.stdout).run(suite)আসল আউটপুট (Pyodide):
test_badge_breaks_without_mask (__main__.CompareTest.test_badge_breaks_without_mask) ... ok
test_mask_hides_badge (__main__.CompareTest.test_mask_hides_badge) ... ok
test_mask_keeps_price (__main__.CompareTest.test_mask_keeps_price) ... ok
test_same_card (__main__.CompareTest.test_same_card) ... ok
test_size_change_raises (__main__.CompareTest.test_size_change_raises) ... ok
test_threshold_tiny_change (__main__.CompareTest.test_threshold_tiny_change) ... ok
----------------------------------------------------------------------
Ran 6 tests in 0.001s
OK
ছয়টি test-ই পাস (unittest নাম অনুযায়ী বর্ণক্রমে চালায়, তাই ক্রম code-এর মতো নয়)। এগুলো আসলে আগের সত্যিকারের run-গুলোর ছোট নকল: test_badge_breaks_without_mask হলো mask ছাড়া ২৫৯ pixel-এর ব্যর্থতা, test_mask_hides_badge হলো mask-সহ ০, test_threshold_tiny_change হলো সবুজের ১ ধাপের বদল, আর test_size_change_raises হলো padding-এর মাপের অমিল। সবচেয়ে জরুরি test_mask_keeps_price: mask আর badge-এর বদল থাকা অবস্থায়ও দামের ৪টি pixel ঠিকই গোনা হয়। Mask-এর আয়তক্ষেত্র ভুল করে বড় হলে (যেমন (0, 0, 10, 6)) এই test-টি ০ পেয়ে ব্যর্থ হতো; নিজে বদলে চালিয়ে দেখুন। যে test একটি ভুল ধরতে পারে বলে দাবি করে, তাকে সেই ভুল বসিয়ে একবার ব্যর্থ হতে দেখা দরকার।
৬ · Font আর platform — একই পাতা, ভিন্ন pixel
একই রেসিপিতে দুই বাড়ির রান্নার স্বাদ আলাদা হয়: চুলা, হাঁড়ি, লবণের ব্র্যান্ড। একই HTML আর CSS-ও দুই কম্পিউটারে হুবহু একই pixel দেয় না। কোন font ইনস্টল আছে, operating system লেখার কিনারা কীভাবে মসৃণ করে (font rendering), GPU আছে কি না, পর্দার pixel ঘনত্ব, browser-এর সংস্করণ: সবকিছু ছবিতে ছাপ ফেলে। CSS-এ লেখা font না পেলে browser তালিকার পরের font নেয়, আর বাংলার জন্য সেটি প্রায়ই পুরো আলাদা নকশার font.
এটি মাপতে আমাদের baseline-এর বিপরীতে শুধু font বদলে ছবি তোলা হলো (bypass_csp=True-সহ style দিয়ে), যেন অন্য একটি কম্পিউটার যেখানে app-এর প্রথম পছন্দের font নেই। সত্যিকারের আউটপুট:
$ uv run python visual_check.py check --bypass-csp --css "body{font-family:Vrinda,sans-serif}"
changed pixels: 5410 of 66788 (8.10%), max channel delta 255, bbox (16, 19, 180, 265)
FAIL: more than 0.00% pixels differ
$ uv run python visual_check.py check --bypass-csp --css "body{font-family:'Nirmala UI',sans-serif}"
FAIL: size changed: baseline 236x283, actual 236x284
প্রথম ক্ষেত্রে মাপ একই, কিন্তু কার্ডের প্রায় সব লেখা বদলেছে; ছবিতে ইংরেজি “Miniket Rice 5 kg” আর “★ 4.3 (4)” অনেক চওড়া ফাঁকে লেখা, বাংলা অক্ষরের আকারও আলাদা। দ্বিতীয় ক্ষেত্রে font-এর লাইনের উচ্চতা সামান্য আলাদা, তাই কার্ড ১ pixel লম্বা, আর তুলনাই সম্ভব হয়নি। দুটিই Windows-এর সাথে আসা পরিচিত বাংলা font. কোনো bug নেই, শুধু পরিবেশ বদলেছে।
এর ব্যবহারিক ফল কয়েকটি:
- এক পরিবেশ, এক baseline: Playwright Test তাই baseline ফাইলের নামে browser আর platform জুড়ে দেয়, যেমন
…-chromium-linux.png; Windows-এ তোলা baseline Linux CI-তে মেলানো হয় না। - CI-তেই baseline: অনেক দল baseline তোলে আর মেলায় একই container image-এ (CI-এর মতো পরিবেশে), developer-এর ল্যাপটপে নয়।
- Font নিজের সাথে রাখা: app font ফাইল নিজের server থেকে দিলে (web font) অন্তত font-এর অমিল কমে; test-এর আগে font লোড শেষ হওয়ার অপেক্ষাও লাগে।
- বাংলার বাড়তি ঝুঁকি: যুক্তাক্ষর, “ি”-কারের মতো আগে বসা কার, রেফ: এগুলো font-এর shaping নিয়মে তৈরি হয়। ভুল font বা পুরোনো shaping engine-এ অক্ষর ভেঙে যায়, আর সেটি visual test ছাড়া ধরা কঠিন। Localization-এর বিস্তারিত পর্ব ৫৬ (Localization testing — বাংলা Unicode, font, তারিখ আর সংখ্যা)-এ, browser আর পর্দার মাপের matrix পর্ব ৪২ (Cross-browser আর responsive testing)-এ। Font-এর CSS দিক HTML ও CSS কোর্সের পর্ব ২১-এ।
৭ · Baseline-এর জীবন, টুল আর কতটুকু visual test
Baseline কোথায় থাকে, কে approve করে
সবচেয়ে সাধারণ পথ: baseline PNG ফাইল code-এর সাথে একই repository-তে, test ফাইলের পাশে। Playwright Test-এ ফোল্ডারটি <test-file>-snapshots, আর ইচ্ছাকৃত বদলের পরে npx playwright test --update-snapshots নতুন ছবি লেখে। তারপর নতুন ছবিগুলো pull request-এ আসে, আর reviewer পুরোনো আর নতুন ছবি পাশাপাশি দেখে approve করেন। নিয়মগুলো সহজ:
- Baseline-এর বদল একটি আলাদা, বোঝা যায় এমন commit-এ, কারণসহ (“card padding 1rem → 1.25rem, design ticket অনুযায়ী”)।
- CI কখনো নিজে baseline update করবে না। CI-র কাজ তুলনা আর diff ছবি রিপোর্টে রাখা; approve মানুষের।
- অনেক ছবি একসাথে বদলালে (একটি font বা রঙের update) প্রতিটি না দেখে সব approve করার লোভ হয়। অন্তত গুরুত্বপূর্ণ পাতাগুলো আলাদা করে দেখুন; বাকিগুলোর diff-এর ধরন একই কি না মিলিয়ে নিন।
- অনেক বড় ছবি repository ভারী করে; কিছু দল এজন্য Git LFS বা বাইরের storage ব্যবহার করে।
পরিচিত টুল — নিরপেক্ষ পরিচয়
| টুল | ধরন | লাইসেন্স / ব্যবস্থা |
|---|---|---|
Playwright Test toHaveScreenshot | Test runner-এর ভেতরে pixel তুলনা (Node.js) | Apache-2.0, open source |
| নিজে লেখা (এই পর্বের মতো) | Playwright বা Selenium দিয়ে ছবি, Pillow দিয়ে তুলনা | নিজের code |
| BackstopJS | Config-এ পাতা আর selector দিয়ে screenshot তুলনা, HTML রিপোর্ট | MIT, open source |
| reg-suit | তোলা ছবির ফোল্ডার তুলনা, রিপোর্ট আর storage-এর plugin | MIT, open source |
| Percy | Hosted সেবা: ছবি তুলে বিভিন্ন browser-এ render আর review-এর web UI | বাণিজ্যিক, BrowserStack-এর পণ্য |
| Applitools Eyes | Hosted সেবা: AI-ভিত্তিক তুলনা (“Visual AI”) | বাণিজ্যিক |
| Chromatic | Storybook-এর component-ভিত্তিক visual review | বাণিজ্যিক, Storybook-এর নির্মাতাদের সেবা |
লাইসেন্স আর মালিকানার তথ্য লেখার সময়ের; বাণিজ্যিক সেবাগুলোর শর্ত বদলায়, ব্যবহারের আগে তাদের নিজস্ব পাতায় দেখে নিন। বাণিজ্যিক সেবা ব্যবহারের আগে আরেকটি প্রশ্ন জরুরি: ছবিগুলো বাইরের server-এ যায়, তাই পাতায় যেন আসল গ্রাহকের নাম, ফোন বা ঠিকানা না থাকে। Test data সবসময় বানানো হোক, বাজারঘরের মতো।
কতগুলো visual test
প্রতিটি visual test-এর রক্ষণাবেক্ষণের খরচ আছে: প্রতিটি ইচ্ছাকৃত ডিজাইন বদলে approve, প্রতিটি পরিবেশ বদলে নতুন baseline. তাই বাছাই করে:
- Component আগে: কার্ড, বোতাম, form-এর ঘর আলাদা আলাদা, নির্দিষ্ট অবস্থায় (স্টকে আছে, স্টক নেই, লম্বা নাম)। এক জায়গার ভাঙন এক test-এ ধরা পড়ে।
- কয়েকটি পুরো পাতা: হোম, পণ্য, checkout: layout-এর বড় ভাঙন ধরার জন্য, কম সংখ্যায়।
- ঝুঁকির অবস্থা: লম্বা বাংলা নাম, ৩২০ pixel চওড়া পর্দা, ত্রুটির বার্তা দেখানো form. সুখের পথের ছবি সাধারণত কম কাজের, কারণ developer সেটি নিজেই দেখেন।
- সীমা মনে রাখা: Visual test বলে না রঙের বৈপরীত্য যথেষ্ট কি না বা screen reader কী পড়ে; সেটি accessibility test-এর কাজ, পর্ব ৫৪-এ। আর লেখার মান যাচাই সাধারণ assertion-এ সস্তা ও স্পষ্ট।
পরীক্ষা ও ইন্টারভিউতে:
- Visual regression testing কী? অনুমোদিত baseline ছবির সাথে নতুন screenshot pixel ধরে মিলিয়ে অনিচ্ছাকৃত চেহারার বদল ধরা।
- Visual test flaky হয় কেন? চলমান data (সময়, বিজ্ঞাপন), animation, anti-aliasing, font আর platform-এর পার্থক্য; সমাধান mask, স্থির data, animation বন্ধ আর একই পরিবেশ।
- Threshold আর maxDiffPixels-এর পার্থক্য? প্রথমটি বলে একটি pixel কতটা বদলালে গোনা হবে; দ্বিতীয়টি বলে মোট কতগুলো গোনা pixel পর্যন্ত পাস।
- Baseline কে update করে? মানুষ, diff দেখে, review-এর মাধ্যমে; CI নিজে কখনো নয়।
- Visual test কি functional test-এর বদলি? না; একটি দেখে চেহারা বদলেছে কি না, অন্যটি দেখে আচরণ আর মান সঠিক কি না।
৮ · AI-এর যুগে — AI-এর লেখা visual test যাচাই
AI সহকারীকে “এই পাতার visual test লিখে দাও” বললে সাধারণত দ্রুত একটি চলনসই code আসে। কিন্তু visual test-এ কয়েকটি ভুল বারবার দেখা যায়:
| AI-এর ভুল | কেমন দেখায় | কীভাবে ধরবেন |
|---|---|---|
| বানানো API | Python-এ expect(page).to_have_screenshot() | Playwright-এর অফিসিয়াল Python docs-এ মেলান; চালিয়ে দেখুন |
| ঘুম দিয়ে স্থিরতা | page.wait_for_timeout(3000), তারপর ছবি | চলমান অংশ খুঁজে mask বা স্থির data |
| ঢিলা সীমা | max_ratio=0.05, “যাতে flaky না হয়” | একটি জানা ছোট bug (দামের রং) দিয়ে test চালিয়ে দেখুন ধরে কি না |
| বর্তমান চেহারাকেই সত্য ধরা | প্রথম run-এর ছবি না দেখেই baseline | Baseline নিজের চোখে ডিজাইন বা requirement-এর সাথে মেলান |
| CI-তে auto-update | pipeline-এ --update-snapshots | Pipeline config পড়ুন; update শুধু হাতে, review-সহ |
| বড় mask | পুরো কার্ড বা পুরো main অংশ mask | Mask-এর আয়তন দেখুন; যা চলমান শুধু তা-ই |
| “সব পাস” দাবি | Run ছাড়াই | নিজে চালান, তারপর CSS বদলে দেখুন FAIL হয় |
AI-কে visual test লিখতে দিলে পরিবেশ, চলমান অংশ আর সীমা নিজে বলে দিন:
AI-এর লেখা visual test হাতে পেলে — যাচাইয়ের চেকলিস্ট
ভাবনার প্রশ্ন
প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।
প্র ০১Visual test-এর oracle একটি পুরোনো ছবি। এটি কি সত্যিই “সঠিকতা” যাচাই করে, নাকি শুধু “অপরিবর্তন”? এর ফল কী?
Testing-এর একটি পুরোনো সমস্যার নাম test oracle problem: একটি ফল সঠিক কি না, তা কে বা কী বলবে? Functional test-এ oracle সাধারণত requirement থেকে আসে: coupon-এর নিয়ম বলে ১০০১ টাকায় ছাড় ১০০, তাই প্রত্যাশা ১০০. চেহারার ক্ষেত্রে এমন লিখিত নিয়ম প্রায় থাকে না। “দাম স্পষ্ট দেখা যাবে” কোনো সংখ্যায় লেখা যায় না, আর ডিজাইনের ফাইল pixel ধরে browser-এর আসল render-এর সাথে মেলে না। তাই visual testing একটি চতুর বিকল্প নেয়: একবার মানুষ দেখে ঠিক বলবেন, তারপর যন্ত্র পাহারা দেবে যেন সেটি না বদলায়।
এর মানে, visual test আসলে regression-এর test, সঠিকতার নয়। প্রথম baseline ভুল হলে test সেই ভুলকে রক্ষা করে। এই পর্বের stepper-এ ঠিক এটাই দেখেছেন: লাল দাম approve হওয়ার পরে, আসল কালো দামে ফেরাটাই “ব্যর্থতা” হলো। Snapshot testing-এও একই সমালোচনা বহুদিনের: বড় snapshot-এর বদলে পর্যালোচক অনেক সময় না দেখেই update করেন, আর test একটি রীতিতে পরিণত হয়, নিরাপত্তায় নয়।
এর তিনটি ব্যবহারিক ফল। প্রথমত, baseline তৈরিকে একটি সচেতন কাজ বানাতে হয়: ডিজাইনার বা product owner-এর দেখা, ডিজাইনের সাথে মেলানো। দ্বিতীয়ত, diff-এর review সহজ করতে হয়: ছোট component-এর ছবি, bbox, পাশাপাশি তিনটি ছবি; বড় পুরো-পাতার diff-এ মানুষের মনোযোগ টেকে না। তৃতীয়ত, visual test-এর পাশে কিছু “সঠিকতার” যাচাই রাখতে হয় যা চেহারার নিয়ম সরাসরি দেখে: রঙের বৈপরীত্য, লেখা কাটা যাচ্ছে কি না (element-এর scrollWidth তার চওড়ার বেশি কি না), বোতাম পর্দার ভেতরে কি না। এগুলো লিখিত নিয়ম, তাই baseline-এর ভুলে বন্দি নয়।
একটি পার্শ্ব-সুবিধাও আছে। যেখানে কোনো লিখিত requirement নেই, সেখানে baseline ছবি নিজেই একটি “জীবন্ত দলিল” হয়ে যায়: কার্ড কেমন দেখানোর কথা, তা review-এর ইতিহাসে লেখা থাকে।
মূল উপলব্ধি: Visual test পরিবর্তন ধরে, সঠিকতা নয়। সঠিকতা আসে প্রথম baseline-এর মানুষের বিচার আর প্রতিটি approve-এর যত্ন থেকে।
প্র ০২Pixel গোনা, অনুভূতিভিত্তিক তুলনা আর “AI দিয়ে তুলনা” — কোনটি কখন, আর প্রতিটির দাম কী?
হুবহু pixel তুলনা সবচেয়ে সরল আর স্বচ্ছ: এই পর্বের Pillow script-এর মতো, প্রতিটি সংখ্যা ব্যাখ্যা করা যায়। ফল নির্ধারিত, একই দুটি ছবিতে সবসময় একই সংখ্যা। দাম: পরিবেশের সামান্য পার্থক্যেও ব্যর্থতা। ১ ধাপের সবুজ বদলে ৯.৯৩% pixel ব্যর্থ, যা কোনো মানুষ দেখতেন না। তাই এই পদ্ধতি টেকে শুধু খুব নিয়ন্ত্রিত পরিবেশে: একই container, একই browser সংস্করণ, একই font.
অনুভূতিভিত্তিক তুলনা রঙের পার্থক্য মাপে মানুষের চোখের কাছাকাছি একটি রঙ-মাপে, আর anti-aliasing-এর কিনারা আলাদা করে চেনার চেষ্টা করে। pixelmatch এই ধারার; এর পুরোনো সংস্করণে YIQ নামের একটি রঙ-মাপ ব্যবহারের কথা জানা যায়, এখনকার নথিতে OKLab. SSIM (Wang ও সহকর্মীরা, ২০০৪) আরেক ধাপ এগিয়ে ছোট ছোট জানালায় উজ্জ্বলতা, বৈপরীত্য আর গঠন তুলনা করে। সুবিধা: মিথ্যা অ্যালার্ম কম। দাম: threshold-এর মানে কম সরাসরি (“০.২” আসলে কী?), আর খুব হালকা কিন্তু আসল বদল (হালকা ধূসর লেখা আরও হালকা হওয়া) উপেক্ষিত হতে পারে।
Machine learning-ভিত্তিক তুলনা কিছু বাণিজ্যিক সেবা দেয়: ছবিকে layout, লেখা আর অংশে ভেঙে ঠিক করে কোন বদল অর্থবহ। কেউ কেউ বিভিন্ন “মিলের স্তর” দেয়, যেমন শুধু layout দেখা, লেখার বিষয় উপেক্ষা করা। সুবিধা: চলমান লেখা আর পরিবেশের পার্থক্যে অনেক সহনশীল, বড় suite-এ review-এর ভার কম। দাম: সিদ্ধান্তের যুক্তি বাইরে থেকে দেখা যায় না, ছবি বাইরের server-এ যায়, আর একটি বাণিজ্যিক নির্ভরতা তৈরি হয়। এর নির্ভুলতা নিয়ে বিক্রেতার দাবি স্বাধীনভাবে যাচাই করা কঠিন, তাই নিজের app-এ জানা bug বসিয়ে মেপে দেখা উচিত।
বাছাইয়ের একটি সহজ কাঠামো: পরিবেশ কতটা নিয়ন্ত্রিত, suite কত বড়, ছবি বাইরে পাঠানো চলে কি না, আর দল কতটা স্বচ্ছতা চায়। ছোট দল, নিজের CI container: হুবহু বা অনুভূতিভিত্তিক তুলনা, ছোট threshold. বহু browser, বহু device, শত শত পাতা: hosted সেবা বিবেচনা করা যায়, তবে প্রমাণসহ।
মূল উপলব্ধি: তুলনা যত বুদ্ধিমান, তত কম শব্দ, কিন্তু তত কম স্বচ্ছতা। যেকোনো পদ্ধতির ওপর আস্থা আসে একটি জানা bug দিয়ে মেপে দেখে, বিক্রেতার কথায় নয়।
প্র ০৩অনেক দলে visual test কেন একসময় পরিত্যক্ত হয়? “সব approve করে দাও” সংস্কৃতি কীভাবে তৈরি হয়, আর কীভাবে ঠেকানো যায়?
গল্পটি প্রায়ই একই রকম। শুরুতে উৎসাহ: শত শত পাতার ছবি, সব বদল ধরা পড়বে। কয়েক সপ্তাহ পরে প্রতিটি pull request-এ কুড়ি-ত্রিশটি ছবি ব্যর্থ: একটি font update, কারও ল্যাপটপে তোলা baseline, একটি বিজ্ঞাপনের জায়গা, একটি animation. প্রতিটি দেখে বিচার করতে সময় লাগে, আর বেশিরভাগই অর্থহীন। ধীরে ধীরে দল শেখে “update snapshots” চাপলেই সবুজ। তারপর একদিন আসল ভাঙনও সেই এক চাপে চলে যায়, আর কেউ জানতে পারে না। শেষে কেউ পুরো suite বন্ধ করে দেন।
এটি সতর্কবার্তার ক্লান্তির (alarm fatigue) একটি পরিচিত রূপ, যা হাসপাতালের যন্ত্রের অ্যালার্ম থেকে শুরু করে server monitoring পর্যন্ত বহু ক্ষেত্রে আলোচিত: অ্যালার্ম যত ঘন ঘন মিথ্যা, মানুষ তত দ্রুত তা উপেক্ষা করা শেখে। এই পর্বের threshold stepper-এর প্রথম ধাপ ঠিক এই ঝুঁকি দেখায়: ১ ধাপের সবুজ বদলে ৬,৬২৯ pixel-এর অ্যালার্ম।
ঠেকানোর উপায়গুলো প্রায় সবই প্রক্রিয়ার, টুলের নয়। এক, প্রতিটি নতুন visual test-কে আগে “নিজের সাথে মেলা” প্রমাণ করতে হবে (এই পর্বে তিনবার ০ pixel). দুই, baseline শুধু একটি নির্দিষ্ট পরিবেশে (CI-র container) তোলা হবে। তিন, ছবির সংখ্যা ছোট রাখা: component, ঝুঁকির অবস্থা, কয়েকটি পুরো পাতা। চার, flaky visual test-কে অন্য flaky test-এর মতোই quarantine করে কারণ খোঁজা (পর্ব ৪০), threshold বাড়িয়ে নয়। পাঁচ, approve-এর জন্য একজন নির্দিষ্ট মালিক আর commit-এ কারণ লেখা। আর ছয়, মাঝে মাঝে ইচ্ছা করে একটি ছোট CSS ভুল বসিয়ে দেখা যে suite এখনো ধরে, mutation testing-এর মতো ভাবনা।
একটি সংকেতও কাজের: কত শতাংশ visual ব্যর্থতা শেষ পর্যন্ত আসল bug ছিল, তা মাঝে মাঝে গুনে দেখা। সংখ্যাটি খুব কম হলে suite-এর নকশা বদলানোর সময়, শুধু approve-এর গতি বাড়ানোর নয়।
মূল উপলব্ধি: Visual testing টেকে তখনই, যখন প্রতিটি ব্যর্থতা মনোযোগের যোগ্য। মিথ্যা অ্যালার্ম কমানোই আসল কাজ, আর সেটি আসে স্থির পরিবেশ আর ছোট, বাছাই করা suite থেকে।
প্র ০৪বাংলা লেখার পাতায় visual testing কেন বাড়তি গুরুত্বপূর্ণ, আবার বাড়তি কঠিনও?
বাংলা লেখা পর্দায় আসে কয়েকটি স্তর পেরিয়ে। Unicode-এ অক্ষরগুলো আলাদা code point: “ক্ষ” আসলে ক, হসন্ত আর ষ। Font-এর ভেতরের নিয়ম আর একটি shaping engine (অনেক browser-এ HarfBuzz বলে জানা যায়) ঠিক করে এগুলো জুড়ে একটি যুক্তাক্ষরের ছবি হবে, “ি”-কার ব্যঞ্জনের আগে বসবে, রেফ ওপরে উঠবে। এই শিকলের যেকোনো জায়গায় সমস্যা হলে লেখা DOM-এ সম্পূর্ণ ঠিক, অথচ পর্দায় ভাঙা: আলাদা হসন্ত, ভুল জায়গায় কার, বা ফাঁকা বাক্স। Functional test এই ভুল দেখে না, কারণ inner_text() একই Unicode লেখা ফেরত দেয়। Visual test-ই একমাত্র স্বয়ংক্রিয় চোখ।
আবার একই কারণে বাংলা পাতার visual test বাড়তি ভঙ্গুর। এই পর্বে দুটি পরিচিত Windows font বদলেই ৮.১০% pixel আলাদা বা ছবি ১ pixel লম্বা হয়েছে। বাংলার font কম, আর বিভিন্ন কম্পিউটারে ইনস্টল থাকা font আলাদা; Android ফোন, Windows ল্যাপটপ আর Linux CI server-এ একই CSS তিনটি ভিন্ন font-এ লেখা হতে পারে। বাংলা লাইনের উচ্চতাও font ভেদে বেশ আলাদা, তাই ছোট বদলেও layout সরে।
সমাধানের পথ: app-এর নিজের web font (ফাইল নিজের server-এ, যাতে সবখানে একই), CI-তে সেই font-সহ একটি নির্দিষ্ট container, আর baseline সেই container-এ তোলা। কিছু “লেখা ঠিক আকা হয়েছে কি না” ঝুঁকির জন্য আলাদা ছোট visual test: সবচেয়ে জটিল যুক্তাক্ষরগুলো (ক্ষ্ম, ন্ত্র, র্ত্য) একটি পরীক্ষার পাতায় রেখে তার ছবি। এটি font বা browser update-এর পরে shaping-এর regression ধরে। আর লম্বা বাংলা পণ্যের নাম ও অনুবাদের লেখা দিয়ে কার্ডের ছবি, যাতে লেখা কেটে যাওয়া ধরা পড়ে।
ইতিহাসও মনে রাখার মতো। কয়েক দশক আগে বাংলা কম্পিউটারে লেখা হতো ANSI-ভিত্তিক font-এ, যেখানে ইংরেজি অক্ষরের জায়গায় বাংলা আকার বসানো থাকত; Unicode আর OpenType shaping আসার পরেই বাংলা ওয়েবে সত্যিকারের লেখা হলো। সেই রূপান্তরের অনেক সমস্যা ছিল চাক্ষুষ, আর মানুষের চোখেই ধরা পড়ত।
মূল উপলব্ধি: যে ভাষার লেখা পর্দায় আসতে বেশি ধাপ পেরোয়, সেখানে চোখের test বেশি দরকারি, আর পরিবেশ নিয়ন্ত্রণও বেশি জরুরি। দুটি একসাথে না হলে visual test হয় অন্ধ, নয়তো শুধু শব্দ।
প্র ০৫Test pyramid-এ visual test কোথায় বসে? পুরো পাতার ছবি, component-এর ছবি, নাকি লিখিত layout নিয়ম?
Visual test আসলে একটি আলাদা মাত্রা: যেকোনো স্তরে এটি করা যায়। Component স্তরে (Storybook বা একটি ছোট পরীক্ষার পাতায় একটি কার্ড, নির্দিষ্ট অবস্থায়) ছবি ছোট, দ্রুত, আর ব্যর্থ হলে কারণ পরিষ্কার। এই পর্বে চালের কার্ড একটি পূর্ণ পাতা থেকে তোলা হলেও ছবিটি component-এর; পুরো পাতার ছবি হলে header-এর cart badge, footer, অন্য এগারোটি কার্ডের যেকোনো বদলে test ভাঙত।
পুরো পাতার ছবি ধরে এমন ভুল যা component দেখে না: দুটি অংশ একে অপরের ওপর ওঠা, grid ভাঙা, ভুল পাতায় ভুল CSS. কিন্তু এগুলো দামী আর শব্দবহুল। তাই সাধারণত কয়েকটি মূল পাতা, কয়েকটি পর্দার মাপে।
লিখিত layout নিয়ম তৃতীয় পথ: ছবি না তুলে element-এর মাপ আর অবস্থান যাচাই। যেমন “৩২০ pixel পর্দায় ‘কার্টে যোগ করুন’ বোতামের ডান প্রান্ত কার্ডের ভেতরে”, “পণ্যের নাম দুই লাইনের বেশি নয়”। Playwright-এর bounding_box() দিয়ে এগুলো সাধারণ assertion. সুবিধা: পরিবেশের pixel পার্থক্যে ভাঙে না, আর নিয়মটি সরাসরি requirement থেকে আসে। দাম: যা লিখে রাখেননি, তা ধরে না। Visual test ধরে অপ্রত্যাশিত বদল; layout নিয়ম ধরে জানা ঝুঁকি।
খরচের দিক থেকে visual test pyramid-এর ওপরের দিকে: browser লাগে, baseline রক্ষণাবেক্ষণ লাগে। Google Testing Blog-এর ২০১৫ সালের বহুল আলোচিত “Just Say No to More End-to-End Tests” প্রবন্ধের যুক্তি এখানেও খাটে: ধীর আর শব্দবহুল feedback কম রাখুন। তবে একটি পার্থক্য আছে। চেহারার ভুল ধরার সস্তা কোনো নিচের স্তর নেই; unit test কখনো বলবে না বোতাম কার্ডের বাইরে গেছে। তাই visual test অল্প, কিন্তু প্রায় অপরিহার্য।
একটি যুক্তিসঙ্গত মিশ্রণ: প্রতিটি পুনর্ব্যবহারযোগ্য component-এর কয়েকটি অবস্থার ছবি, তিন-চারটি গুরুত্বপূর্ণ পাতার পুরো ছবি দুটি পর্দার মাপে, আর ঝুঁকিপূর্ণ জায়গায় লিখিত layout নিয়ম। সাথে functional assertion, যা মান আর আচরণ দেখে।
মূল উপলব্ধি: চেহারা যাচাইয়েরও স্তর আছে। ছোট component-এর ছবি দিয়ে বেশিরভাগ, পুরো পাতার ছবি দিয়ে অল্প, আর জানা ঝুঁকিতে লিখিত নিয়ম: তিনটি মিলে কম শব্দে বেশি পাহারা।
অনুশীলন
সবগুলো কাগজ-কলমে করা যায়; চতুর্থটির হিসাব চাইলে উপরের Pyodide block-এ মিলিয়ে নিন।
-
Spec থেকে visual test case: বাজারঘরের পণ্যের কার্ডের নিয়ম: (ক) নাম সর্বোচ্চ দুই লাইনে, বেশি হলে “…” দিয়ে কাটা; (খ) stock ০ হলে বোতামের বদলে লাল “স্টক নেই”; (গ) রেটিং থাকলে “★ গড় (সংখ্যা)”, না থাকলে কিছুই নয়; (ঘ) “দাম হালনাগাদ” badge-এ সময়। পর্দা ১২৮০ আর ৩২০ pixel চওড়া, দুটোতেই চলতে হবে। Seed-এ চা পাতা (id 10) stock 0, চাল (id 1)-এর রেটিং আছে, ডাল (id 2)-এর রেটিং নেই। ন্যূনতম কয়টি component screenshot test লাগবে, কোনগুলো, আর কী mask করবেন?
অবস্থাগুলো: (১) সাধারণ কার্ড রেটিংসহ: চাল; (২) রেটিং নেই: ডাল; (৩) stock নেই: চা পাতা; (৪) খুব লম্বা নাম: seed-এ নেই, তাই test-এর আগে admin API দিয়ে একটি পণ্যের নাম লম্বা করা বা একটি পরীক্ষার পণ্য যোগ করা লাগবে (প্রস্তুতি API-তে, ছবি UI-তে)। প্রতিটি দুই পর্দার মাপে: ৪ × ২ = ৮টি ছবি। চাইলে (৩)-এ রেটিং আর stock-এর দুটি অবস্থা একসাথে মিলিয়ে সংখ্যা কমানো যায়, তবে তখন ব্যর্থ হলে কোন নিয়ম ভাঙল তা বোঝা কঠিন।
Mask শুধু
price-updatedbadge; নাম, দাম, রেটিং mask করলে নিয়ম (ক)–(গ) যাচাই হবে না। Badge-এর লেখা “দাম হালনাগাদ” দিয়ে শুরু কি না, তা একটি সাধারণto_contain_text-এ। আর নিয়ম (ক)-এর জন্য একটি লিখিত layout নিয়মও রাখুন: নামের element-এর উচ্চতা দুই লাইনের বেশি নয়; এটি font-এর pixel পার্থক্যে ভাঙে না। প্রতিটি test-এর আগে seed ফেরানো, viewport আর device pixel ratio নির্দিষ্ট। -
ব্যর্থতা পড়ুন: একটি রাতের CI run-এ তিনটি visual test-এর বার্তা: (ক)
FAIL: size changed: baseline 236x283, actual 236x291; (খ)changed pixels: 6629 of 66788 (9.93%), max channel delta 2; (গ)changed pixels: 259 of 66788 (0.39%), max channel delta 219, bbox (141, 142, 174, 153), যেখানে সেই জায়গায় কার্ডের সময়ের badge থাকে। প্রতিটির সম্ভাব্য কারণ আর পরের পদক্ষেপ বলুন।(ক) চওড়া একই, উচ্চতা ৮ pixel বেশি: কার্ডের ভেতরের কিছু লম্বা হয়েছে, যেমন padding, margin, লাইনের উচ্চতা বা একটি নতুন লাইন। Pixel গোনাই হয়নি। CSS-এর সাম্প্রতিক বদল দেখুন, actual ছবি খুলে দেখুন কোথায় ফাঁক বেড়েছে। ইচ্ছাকৃত হলে approve, না হলে bug.
(খ) প্রায় ১০% pixel, কিন্তু সর্বোচ্চ পার্থক্য মাত্র ২: চোখে-না-পড়া রঙের সামান্য বদল, যেমন একটি রঙের মান ১ ধাপ বদলানো, বা browser/GPU-র rendering-এর সামান্য পার্থক্য। প্রথমে দেখুন সেই রাতে browser বা container বদলেছে কি না, CSS-এর রঙের মান বদলেছে কি না। ধাপ এত ছোট হলে threshold ২-এর মতো ছোট মান যুক্তিসঙ্গত; তবে অনুপাতের সীমা বাড়াবেন না।
(গ) ছোট জায়গা, বড় পার্থক্য, আর ঠিক সময়ের badge-এর ওপর: mask হারিয়েছে বা badge-এর locator বদলেছে (যেমন
data-testidনতুন নাম পেয়েছে, তাই mask কিছুই ঢাকছে না)। Playwright-এর mask একটি locator; সেটি কোনো element না পেলে চুপচাপ কিছুই ঢাকে না। Locator ঠিক করুন, আর test-এ যোগ করুন যে mask-এর locator ঠিক একটি element পায় (to_have_count(1)). -
এই visual test-এর ভুল খুঁজুন:
def test_home_looks_same(page): page.goto("http://127.0.0.1:8801/") page.wait_for_timeout(2000) page.screenshot(path="shots/home.png", full_page=True) if not os.path.exists("shots/home.baseline.png"): shutil.copy("shots/home.png", "shots/home.baseline.png") ratio = diff_ratio("shots/home.baseline.png", "shots/home.png", threshold=60) assert ratio < 0.05অন্তত ছয়টি সমস্যা। (১) পুরো পাতা: header-এর cart badge, বারোটি কার্ড, footer, যেকোনো বদলে ভাঙে, আর ব্যর্থ হলে কোথায় তা বোঝা কঠিন; component-এর ছবি নিন। (২) Mask নেই: বারোটি সময়ের badge প্রতিবার বদলায়। (৩) ঘুম: ২ সেকেন্ড অপেক্ষা চলমান লেখা স্থির করে না, শুধু ধীর করে। (৪) নিজে থেকে baseline: প্রথম run-এর ছবি কেউ না দেখেই baseline হয়ে যায়, আর CI-তে baseline ফাইল হারালে test নিজেই নতুন baseline বানিয়ে পাস করে। Baseline না থাকলে test-এর ব্যর্থ হওয়া উচিত। (৫) ঢিলা সীমা: threshold ৬০ মানে মাঝারি রঙের বদলও উপেক্ষিত, আর ৫% অনুপাত এই পর্বের লাল দামের ভুল (০.৯৯%) বা অনেক বড় ভুলও পাস করায়। (৬) পরিবেশ অনির্দিষ্ট: viewport, device pixel ratio, ভাষা, seed ফেরানো কিছুই নেই; আর পুরো URL hard-code করা। মাপ আলাদা হলে
diff_ratioকী করে, সেটিও অস্পষ্ট। -
আউটপুট অনুমান করুন: একটি ১০ × ৬ pixel-এর ধূসর ছবির baseline-এ সব pixel ২৫৫, শুধু (x ১–৪, y ১)-এ চারটি pixel ৩০ (দাম)। Actual-এ তিনটি বদল: দামের চারটি pixel ৩০ থেকে ১৬৪; পটভূমির সব বাকি pixel ২৫৫ থেকে ২৫৪; আর (x ৫–৮, y ৪)-এর চারটি badge pixel বদলেছে ৩৭ ধাপ করে। Mask = x ৫–৮, y ৪ (badge). Threshold ০ আর threshold ২-এ কতগুলো pixel “বদলেছে” গোনা হবে? Mask না থাকলে threshold ২-এ কত?
মোট ৬০ pixel. দাম ৪টি, badge ৪টি, বাকি পটভূমি ৬০ − ৮ = ৫২টি। Threshold ০, mask-সহ: দামের ৪টি (পার্থক্য ১৩৪) + পটভূমির ৫২টি (পার্থক্য ১) = ৫৬; badge mask-এ বাদ। Threshold ২, mask-সহ: পটভূমির ১ ধাপ উপেক্ষিত, শুধু দাম: ৪. Threshold ২, mask ছাড়া: দাম ৪ + badge ৪ (পার্থক্য ৩৭ > ২) = ৮. লক্ষ্য করুন, threshold ০-এর ৫৬-এর মধ্যে ৫২টিই অর্থহীন; একটি অনুপাতের সীমা দিয়ে এই শব্দ চাপা দিলে দামের ৪টিও চাপা পড়ত। উপরের Pyodide block-এর
compareআরcardএকই রকম ছবি দিয়ে এই হিসাবের অংশগুলো test করে; চাইলে নিজে ডেকে মিলিয়ে নিন।
নিজেকে যাচাই করুন
ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।
ক্রমএকটি নতুন visual test চালু করার ধাপগুলো সঠিক ক্রমে সাজান (▲▼ চেপে সরান)
- পরিবেশ স্থির করা: viewport, device pixel ratio, seed data, চলমান অংশে mask
- প্রথম ছবি তুলে মানুষ দেখে নিশ্চিত হওয়া যে চেহারা ঠিক, তারপর baseline হিসেবে রাখা
- কিছু না বদলে কয়েকবার চালিয়ে দেখা যে প্রতিবার ০ pixel
- নতুন build-এ ছবি তুলে baseline-এর সাথে তুলনা, diff আর bbox রিপোর্ট করা
- ব্যর্থ হলে মানুষের বিচার: ইচ্ছাকৃত হলে review-সহ approve, নইলে bug report
একটি অনলাইন দোকানের পণ্যের কার্ডে দামের লেখার রং ভুল করে লাল হয়ে গেছে। লেখা “420 টাকা” আগের মতোই আছে। কোন test এই ভুল সবচেয়ে নির্ভরযোগ্যভাবে ধরবে?
expect(price).to_have_text("420 টাকা")expect(price).to_be_visible()- কার্ডের screenshot অনুমোদিত baseline-এর সাথে pixel ধরে তুলনা
- API-র উত্তরে
pricefield যাচাই
একটি ২৩৬ × ২৮৩ pixel-এর কার্ডে একটি রঙের মান ১ ধাপ বদলানোয় ৯.৯৩% pixel বদলেছে, প্রতিটিতে সর্বোচ্চ ২ ধাপ। আরেকটি আসল ভুলে ০.৯৯% pixel বদলেছে, সর্বোচ্চ ১৩৫ ধাপ। কোন নিয়ম প্রথমটিকে উপেক্ষা করে কিন্তু দ্বিতীয়টিকে ধরে?
- Per-pixel threshold ০, মোট সীমা ১০%
- Per-pixel threshold ২, মোট সীমা ০%
- Per-pixel threshold ০, মোট সীমা ০%
- Per-pixel threshold ২০০, মোট সীমা ০%
একটি পাতায় সময় দেখানো একটি ছোট badge আছে। কোনো code না বদলালেও সেই পাতার visual test মাঝে মাঝে ব্যর্থ হয়। সবচেয়ে ভালো সমাধান কোনটি?
- মোট পার্থক্যের সীমা ৫% করে দেওয়া
- ছবি তোলার আগে ৩ সেকেন্ড অপেক্ষা
- প্রতিটি run-এর পরে baseline update করা
- শুধু badge-টি mask করা, আর তার লেখা আলাদা assertion-এ যাচাই
একজন developer Windows ল্যাপটপে baseline ছবি তুলে repository-তে রাখলেন। Linux-এর CI-তে একই পাতার test-এ অনেক pixel আলাদা আসছে, কোনো code বদলায়নি। সবচেয়ে সম্ভাব্য কারণ কী?
- দুই operating system-এ font আর লেখা আঁকার পদ্ধতি আলাদা
- CI-তে app-এর code অন্য
- PNG ফাইল সংরক্ষণের সময় ছবির মান কমে যায়
- CI-র কম্পিউটার ধীর
একটি visual test-এ baseline ২৩৬ × ২৮৩ আর actual ২৩৬ × ২৯১ pixel. এ থেকে কী বলা যায়?
- ঠিক ৮টি pixel বদলেছে
- কার্ডটি চওড়ায় বড় হয়েছে
- কার্ডের উচ্চতা ৮ pixel বেড়েছে; ইচ্ছাকৃত না ভুল, তা দেখে বিচার করতে হবে
- Test পাস, কারণ চওড়া একই
একটি CI pipeline প্রতিটি visual test ব্যর্থ হলে নিজে থেকে --update-snapshots চালিয়ে নতুন baseline commit করে। এর সবচেয়ে বড় সমস্যা কী?
- Pipeline কিছুটা ধীর হয়
- যেকোনো চেহারার ভুল নিজে থেকে নতুন baseline হয়ে যায়; test আর কিছু ধরে না
- Repository-তে ছবির সংখ্যা বাড়ে
- Test flaky হয়ে যায়
Playwright-এর screenshot-এ চলমান অংশ লুকাতে style option দেওয়া হলো, কিন্তু ছবিতে কোনো প্রভাব নেই। পাতাটি Content-Security-Policy: style-src 'self' পাঠায়। সম্ভাব্য কারণ আর সমাধান কী?
- CSP inline style আটকাচ্ছে; test context-এ
bypass_csp=True, বা mask ব্যবহার - Headless browser CSS বোঝে না; headed-এ চালাতে হবে
- App থেকে CSP header স্থায়ীভাবে মুছে ফেলা
- ছবিটি খুব বড়, তাই style বাদ পড়েছে
শব্দকোষ
লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:
মনে রাখুন
- Baseline হলো oracle: visual test বদল ধরে, সঠিকতা নয়। প্রথম ছবি আর প্রতিটি approve মানুষের চোখে, review-সহ; CI নিজে কখনো update করবে না।
- আগে নিজের সাথে মেলা: কিছু না বদলে কয়েকবার ০ pixel; নির্দিষ্ট viewport, device pixel ratio, seed data আর animation বন্ধ।
- দুটি গাঁট: per-pixel threshold ছোট রাখুন, মোট অনুপাতের ছাড় প্রায় শূন্য; বদলানো pixel-এর সংখ্যা ভুলের গুরুত্ব মাপে না। একটি জানা bug দিয়ে নিয়ম পরীক্ষা করুন।
- Mask ছোট, নির্দিষ্ট: শুধু চলমান অংশ, আর তার লেখা আলাদা assertion-এ। Test-এর option কাজ করছে কি না (যেমন CSP-র কারণে style) একটি জানা বদলে যাচাই করুন।
- এক পরিবেশ, এক baseline: font আর platform pixel বদলায়, বাংলায় আরও বেশি; baseline একই container-এ, browser আর OS অনুযায়ী আলাদা।
আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ
- পর্ব ৪২ · Cross-browser আর responsive testing — browser matrix আর device emulationপরবর্তী পর্বতিন engine, তিন পর্দার মাপ, একই smoke test.
- সফটওয়্যার টেস্টিং ও QA · কোর্স হোম৮২টি পর্বপুরো কোর্সের রোডম্যাপ।
- পর্ব ৩৬ · Playwright-এর মূলভিত্তিLocator, auto-wait আর screenshot তোলার শুরু।
- পর্ব ৩৭ · Playwright গভীরেসহায়কNetwork route দিয়ে বাইরের অংশ স্থির করা, trace.
- Full-Stack ওয়েব ফ্রেমওয়ার্ক · পর্ব ৭৩snapshotলেখার snapshot test, Vitest-এ।
- HTML ও CSS · পর্ব ২১fontWeb font, fallback আর বাংলা লেখার CSS.