এই পর্বে যা শিখবেন
- pytest-playwright-এর fixture-গুলোর scope, নতুন browser context দিয়ে test isolation, আর তার সীমা
storage_stateদিয়ে একবার login করে বারবার ব্যবহার, API দিয়ে login, আর reset-এর সাথে এর সংঘাতAPIRequestContextদিয়ে test data বানানো, আরexpect_responseদিয়ে নির্দিষ্ট network উত্তরের অপেক্ষাpage.route-এর glob আর regex মেলানোর নিয়ম, handler-এর ক্রম, fulfill, abort, continue আর fallback- ব্যর্থ test-এর trace, screenshot আর video,
playwright traceদিয়ে trace পড়া, pytest-xdist-এ parallel run আর mobile emulation-এর প্রথম ধাপ
১ · একটি UI test-এর চার স্তর — playwright, browser, context, page
একটি বড় পরীক্ষার হলের কথা ভাবুন। ভবনটি সারা দিনের জন্য একবার খোলা হয়। প্রতিটি পরীক্ষার্থী পান নিজের আলাদা বেঞ্চ, নিজের খাতা; একজনের খাতায় লেখা আরেকজনের খাতায় যায় না। কিন্তু হলের দেয়ালের নোটিশ বোর্ড সবার জন্য একটিই; কেউ সেখানে কিছু লিখলে সবাই দেখেন। Playwright-এর কাঠামোও এমন। ভবন হলো browser (একবার চালু), বেঞ্চ হলো browser context (প্রতিটি test-এ নতুন), খাতা হলো page, আর নোটিশ বোর্ড হলো server-এর database, যা কোনো context আলাদা করে না।
পর্ব ৩৬-এ (Playwright-এর মূল) locator, auto-wait আর assertion দেখেছেন; এই পর্ব সেখান থেকে শুরু। Node আর TypeScript-এ একই বিষয়ের প্রথম পরিচয় Full-Stack কোর্সের পর্ব ৭৬-এ আছে, আর JavaScript কোর্সের পর্ব ৪৮-এ Playwright-এর একটি ছোট স্বাদ। এখানে আমরা Python-এর pytest-playwright plugin দিয়ে গভীরে যাব, কারণ এই কোর্সের সব test pytest-এ (পর্ব ২১), আর fixture-এর scope (পর্ব ২৩) এখানে মূল চাবি।
| Fixture | Scope | কী দেয় | কখন বদলাবেন |
|---|---|---|---|
playwright | session | পুরো driver; .request, .devices | API context বা device তালিকা লাগলে |
browser | session | চালু Edge বা Chromium | --browser-channel msedge, --headed |
browser_context_args | session | প্রতিটি নতুন context-এর বিকল্প | locale, viewport, base_url সবার জন্য |
new_context | function | একটি function, যা context বানায় আর test শেষে বন্ধ করে | এক test-এ দুটি context, বা storage_state সহ |
context, page | function | প্রতিটি test-এর নতুন context আর একটি page | সাধারণ test-এ সরাসরি ব্যবহার |
এই তালিকা plugin-এর নিজের source থেকে মেলানো (pytest-playwright 0.10.0). মূল কথা: ব্রাউজার চালু করা ব্যয়বহুল, তাই session-এ একবার; কিন্তু context বানানো সস্তা, কয়েক মিলিসেকেন্ড, তাই প্রতিটি test-এ নতুন। একটি নতুন context যেন নতুন incognito জানালা: কোনো cookie নেই, localStorage খালি, cache খালি। এভাবে একটি test-এর login অন্য test-এ চুপিচুপি ঢুকে পড়ে না, যা test isolation-এর ব্রাউজার দিকের অর্ধেক।
বাজারঘরের UI test-এর স্তর
session scope → function scope → network → app; storage_state আর route মাঝখানে
নিচের সবকিছু একটি সাধারণ Windows ডেস্কটপে সত্যিকারভাবে চালানো: Playwright for Python 1.65.2 (Apache-2.0), pytest-playwright 0.10.0 (Apache-2.0), pytest-xdist 3.8.0 (MIT) আর pytest 9.2.0 (MIT), ব্রাউজার হিসেবে কম্পিউটারে আগে থেকে থাকা Microsoft Edge, headless. Playwright-এর নিজের ব্রাউজার download করা হয়নি (PLAYWRIGHT_SKIP_BROWSER_DOWNLOAD=1), আর সতর্কতা হিসেবে DO_NOT_TRACK=1 রাখা হয়েছে। App হলো কোর্সের নিজস্ব বাজারঘর, শুধু 127.0.0.1-এ, test mode-এ। Path নিরপেক্ষ করা।
# টার্মিনাল ১: app
BAZARGHAR_TEST_MODE=1 uv run bazarghar --port 8793 --test-mode --reset
# টার্মিনাল ২: UI test প্রকল্প
mkdir bazarghar-ui-tests && cd bazarghar-ui-tests
uv init --vcs none --author-from none
PLAYWRIGHT_SKIP_BROWSER_DOWNLOAD=1 uv add pytest pytest-playwright pytest-xdist[tool.pytest.ini_options]
addopts = "--browser-channel msedge --base-url http://127.0.0.1:8793"
testpaths = ["tests"]--base-url থাকায় test-এ শুধু page.goto("/orders") লিখলেই চলে। Test-এর নামে [chromium] দেখে বিভ্রান্ত হবেন না: Edge Chromium-ভিত্তিক, তাই engine-এর নাম chromium আর channel msedge. এবার context-এর isolation সরাসরি যাচাই করি। একটি test-এ দুটি context: একটি মিতুর জমানো state নিয়ে, আরেকটি একেবারে নতুন:
def test_contexts_do_not_share_cookies(new_context, mitu_state):
logged_in = new_context(storage_state=mitu_state)
stranger = new_context()
assert len(logged_in.cookies()) == 1
assert stranger.cookies() == []
page = stranger.new_page()
page.goto("/orders")
expect(page).to_have_url("/login?next=%2Forders")Test পাস করেছে। একই browser-এ পাশাপাশি দুটি context, একটিতে login-এর cookie, অন্যটিতে কিছুই নেই; অপরিচিত context /orders চাইলে বাজারঘর login পাতায় পাঠায়। একই কৌশলে এক test-এ দুজন ব্যবহারকারী (ক্রেতা আর admin) পাশাপাশি চালানো যায়, যা chat বা অর্ডার-ব্যবস্থাপনার মতো feature-এ খুব কাজের।
Context আলাদা, database নয়। দুটি context যদি একই ব্যবহারকারী হিসেবে login করে, তারা server-এ একই cart দেখে। Context ব্রাউজারের দিকের অবস্থা আলাদা করে: cookie, storage, cache. Server-এর data আলাদা রাখার দায়িত্ব আপনার: reset, প্রতি test-এ নতুন data, বা প্রতিটি worker-এর আলাদা ব্যবহারকারী। §৭-এ parallel run-এ এই পার্থক্যই দুটি test ভেঙেছে।
২ · Login একবার — storage_state
অফিসের গেটে প্রতিদিন রেজিস্টারে নাম লিখে, ফোন করে অনুমতি নিয়ে ঢোকা যায়; আবার একটি আইডি কার্ড বানিয়ে নিলে প্রতিদিন শুধু দেখালেই চলে। storage_state হলো সেই কার্ড: একটি context-এর সব cookie আর প্রতিটি origin-এর localStorage, একটি JSON ফাইলে। একবার login করে ফাইল লিখুন, তারপর প্রতিটি test সেই ফাইল দিয়ে নতুন context খুলুক, login পাতা ছাড়াই।
@pytest.fixture(scope="session")
def fresh_seed(api):
r = api.post("/api/test/reset") # also deletes every session
assert r.ok, "app is not in test mode"
@pytest.fixture(scope="session")
def mitu_state(fresh_seed, browser, base_url, tmp_path_factory):
"""Log in ONCE through the real login page, save cookies to JSON."""
path = tmp_path_factory.mktemp("auth") / "mitu.json"
ctx = browser.new_context(base_url=base_url)
page = ctx.new_page()
page.goto("/login")
page.get_by_label("ইমেইল").fill("mitu@bazarghar.test")
page.get_by_label("পাসওয়ার্ড").fill("mitu1234")
page.get_by_role("button", name="লগইন করুন").click()
expect(page.get_by_test_id("nav-user")).to_have_text("মিতু রহমান")
ctx.storage_state(path=path) # cookie bg_session -> file
ctx.close()
return pathSession scope: পুরো run-এ একবার চলে, ফল (ফাইলের path) সব test পায়। Assertion আগে, ফাইল পরে: “লগইন করুন” চাপার সাথে সাথে state লিখলে redirect আর cookie বসার আগেই ফাইল লেখা হতে পারে, আর পরের সব test রহস্যময়ভাবে login ছাড়া শুরু হবে। তাই আগে পাতায় “মিতু রহমান” নাম দেখা পর্যন্ত অপেক্ষা। tmp_path_factory: ফাইল যায় pytest-এর অস্থায়ী folder-এ, repository-তে নয়। api: session-এর একটি APIRequestContext, §৩-এ বিস্তারিত।
ফাইলের ভেতরে কী থাকে? আসল ফাইল, cookie-র মান ছাঁটা:
{"cookies": [{"name": "bg_session", "value": "Xbpr…V4q", "domain": "127.0.0.1",
"path": "/", "expires": -1, "httpOnly": true,
"secure": false, "sameSite": "Lax"}],
"origins": []}
একটিমাত্র cookie: bg_session, HttpOnly (পাতার JavaScript পড়তে পারে না), expires: -1 মানে session cookie, ব্রাউজার বন্ধ হলে মোছার কথা; কিন্তু ফাইলে রাখা অবস্থায় এটি যতক্ষণ server মানে ততক্ষণ বৈধ। বাজারঘর localStorage ব্যবহার করে না, তাই origins খালি। যে app login token localStorage-এ রাখে, তার জন্য এই অংশটি ভরা থাকত।
কতটা সময় বাঁচে — সত্যিকারের মাপ
তিন পদ্ধতিতে একই কাজ, প্রতিটি ১০ বার: login করে মিতুর অর্ডারের তালিকায় ১টি সারি দেখা। (ক) প্রতি test-এ UI দিয়ে login; (খ) একবার UI login, তারপর জমানো state; (গ) প্রতি test-এ HTTP দিয়ে login (ব্রাউজার ছাড়া, §৩), তারপর state. pytest --durations=0-এর setup, call আর teardown যোগ করে প্রতিটি test-এর মোট সময়; প্রথম test-এ ব্রাউজার চালু বা একবারের login-এর খরচ থাকে, তাই গড় নেওয়া হয়েছে ২ থেকে ১০ নম্বর test-এর:
| পদ্ধতি | প্রথম test | ২–১০-এর গড় | ১০টির মোট |
|---|---|---|---|
| প্রতিবার UI login | 0.73 s (browser চালু সহ) | 250 ms | 2.98 s |
| একবার UI login + state | 0.40 s (login সহ) | 150 ms | 1.75 s |
| প্রতিবার API login + state | 0.16 s | 157 ms | 1.57 s |
সৎভাবে পড়ুন: নিজের কম্পিউটারের app-এ login খুব দ্রুত, তাই প্রতি test-এ সাশ্রয় মাত্র প্রায় ১০০ ms; ৫০০টি test-এ প্রায় ৫০ সেকেন্ড। আসল app-এ login-এর পেছনে থাকে password hashing, কখনো OTP বা বাইরের login সেবা, তখন সাশ্রয় অনেক বড়। তবে সময়ের চেয়েও বড় লাভ অন্যটি: login পাতা একবার test হয়, ৫০০ বার নয়, ফলে login পাতার একটি বদলে ৫০০টি test একসাথে ভাঙে না। তৃতীয় সারিটিও লক্ষ করুন: HTTP দিয়ে প্রতি test-এ নতুন login প্রায় জমানো state-এর সমান দ্রুত, অথচ প্রতিটি test নিজের আলাদা session পায়। এটি §৭-এ কাজে লাগবে।
- Reset
fresh_seedsession ০ - Login
mitu_stateএকবার - ফাইল
mitu.jsoncookie - ব্যবহার
new_contextপ্রতি test
| server-এ session | |
| mitu.json | |
| /orders খুললে | |
| সময় |
- Reset, একবার। Session-scope
fresh_seedপুরো run-এর শুরুতেPOST /api/test/resetপাঠায়: seed data ফেরে, আর server-এর সব session মুছে যায়। এই দ্বিতীয় প্রভাবটি মনে রাখুন। - UI দিয়ে login, একবার।
mitu_stateআসল login পাতা খোলে, ইমেইল আর পাসওয়ার্ড লেখে, নাম দেখা পর্যন্ত অপেক্ষা করে। Server একটি নতুন session বানায় আর cookie পাঠায়। প্রথম test-এর মোট সময় 0.40 s, যার বড় অংশ এই login. - ফাইলে জমা।
ctx.storage_state(path=...)cookie-টি JSON-এ লেখে, তারপর context বন্ধ। ফাইলটি এখন একটি চাবি: যার হাতে, সে-ই মিতু। তাই এটি অস্থায়ী folder-এ, repository-তে কখনো নয়। - প্রতি test-এ নতুন context, পুরোনো চাবি।
new_context(storage_state=mitu_state)ফাইলের cookie নিয়ে নতুন context খোলে; test সরাসরি/orders-এ যায়, login পাতা ছাড়া। ২ থেকে ১০ নম্বর test-এর গড় 150 ms, প্রতিবার UI login-এর 250 ms-এর জায়গায়। - মাঝপথে reset: চাবি অকেজো। একটি test নিজের সুবিধার জন্য আবার reset ডাকল। Server-এর session তালিকা খালি, কিন্তু ফাইলে এখনো পুরোনো cookie.
/orders303 দিয়ে login পাতায় পাঠায়, অর্ডারের সারি ০টি, আর ২ সেকেন্ড অপেক্ষার পরে test ব্যর্থ। এর পরের প্রতিটি state-নির্ভর test-ও ভাঙবে, যদিও তাদের নিজের কোনো দোষ নেই।
শেষ ধাপটি সত্যিকারের run-এর একটি test (test_reset_kills_saved_state), যা ইচ্ছা করে ব্যর্থ:
def test_reset_kills_saved_state(api, new_context, mitu_state):
api.post("/api/test/reset") # deletes all server sessions
page = new_context(storage_state=mitu_state).new_page()
page.goto("/orders")
> expect(page.get_by_test_id("order-row")).to_have_count(1, timeout=2000)
E AssertionError: Locator expected to have count '1'
E Actual value: 0
E Call log:
E - Expect "to_have_count" get_by_test_id("order-row") with timeout 2000ms
E - waiting for get_by_test_id("order-row")
E 20 × locator resolved to 0 elements
E - unexpected value "0"
বার্তাটি নিজে বলছে না যে login হারিয়েছে; বলছে শুধু “সারি ০টি”। এজন্য §৬-এর trace দরকার, যেখানে /orders-এর 303 আর login পাতা স্পষ্ট দেখা যায় (অনুশীলন ৪). Storage state-এর নিয়ম তাই তিনটি: server-এর session যতক্ষণ বাঁচে, state ততক্ষণই বৈধ; যে fixture reset করে, সে state-এর আগে চলবে, পরে নয়; আর যে test data মুছতে চায়, সে অন্যের session না মুছে শুধু নিজের data পরিষ্কার করবে। পরের ব্লকে একই ঘটনা pytest-এর ভেতরে, একটি ছোট নকল দোকান দিয়ে; “চালান” চাপুন:
import os, sys, pytest
os.makedirs("/home/pyodide/p37c", exist_ok=True)
os.chdir("/home/pyodide/p37c"); sys.path.insert(0, os.getcwd())
for m in ("fakeshop37", "test_state37"): sys.modules.pop(m, None)
open("fakeshop37.py", "w").write('''
SESSIONS = set()
def login(user): # like the real login page
token = f"{user}-{len(SESSIONS) + 1}"
SESSIONS.add(token)
return {"cookies": [{"name": "bg_session", "value": token}]}
def reset(): # like POST /api/test/reset
SESSIONS.clear()
def open_orders(state):
token = state["cookies"][0]["value"]
return "orders page" if token in SESSIONS else "redirect /login"
''')
open("test_state37.py", "w").write('''
import pytest, fakeshop37 as shop
@pytest.fixture(scope="session")
def mitu_state():
shop.reset()
return shop.login("mitu") # log in ONCE, reuse everywhere
def test_a_orders(mitu_state):
assert shop.open_orders(mitu_state) == "orders page"
def test_b_resets_data(mitu_state):
shop.reset() # this test wants fresh data
assert shop.open_orders(mitu_state) == "orders page"
def test_c_orders_again(mitu_state):
assert shop.open_orders(mitu_state) == "orders page"
''')
pytest.main(["-q", "--no-header", "--tb=line", "-p", "no:cacheprovider",
"test_state37.py"])আসল আউটপুট:
.FF [100%]
=================================== FAILURES ===================================
E AssertionError: assert 'redirect /login' == 'orders page'
- orders page
+ redirect /login
/home/pyodide/p37c/test_state37.py:11: AssertionError: assert 'redirect /login' == 'orders page'
E AssertionError: assert 'redirect /login' == 'orders page'
- orders page
+ redirect /login
/home/pyodide/p37c/test_state37.py:13: AssertionError: assert 'redirect /login' == 'orders page'
=========================== short test summary info ============================
FAILED test_state37.py::test_b_resets_data - AssertionError: assert 'redirect...
FAILED test_state37.py::test_c_orders_again - AssertionError: assert 'redirec...
2 failed, 1 passed in 0.02s
তিনটি test-এর প্রথমটি পাস, পরের দুটি ব্যর্থ, দুটিতেই একই বার্তা: চাওয়া 'orders page', এলো 'redirect /login'. test_b নিজেই reset করেছে, তাই তার ব্যর্থতা অন্তত বোঝা যায়। কিন্তু test_c কিছুই ভুল করেনি; সে ব্যর্থ, কারণ আগের test চাবিটি অকেজো করে গেছে। এটিই ক্রম-নির্ভর test-এর চেনা রূপ: test_c একা চালালে পাস করবে, পুরো suite-এ ভাঙবে। সমাধানের দুটি পথ: test_b-কে নিজের ব্যবহারকারী দিন, অথবা যে test reset চায় সে function-scope-এ reset আর তারপর নতুন login দুটোই করুক।
State ফাইল আর trace গোপন তথ্য। mitu.json-এ যে cookie আছে, তা দিয়ে যে কেউ মিতুর হয়ে দোকানে ঢুকতে পারেন, যতক্ষণ session বেঁচে আছে। তাই ফাইলটি .gitignore-এ, CI-তে artifact হিসেবে প্রকাশ্যে নয়, আর সবসময় test-এর বানানো ব্যবহারকারীর, কখনো কোনো আসল ব্যক্তির নয়। §৬-এ দেখবেন trace-এর ভেতরেও একই cookie থাকে।
৩ · Test-এর ভেতরে API — setup দ্রুত, যাচাই UI-তে
রান্নার প্রতিযোগিতায় বিচারক চেখে দেখেন তরকারির স্বাদ; পেঁয়াজ কাটা থেকে মসলা বাটা পর্যন্ত সবকিছু দেখেন না, সেগুলো আগে তৈরি থাকে। একটি UI test-এর বিচারও তাই: যে অংশ যাচাই করবেন শুধু সেখানে ব্রাউজার, বাকি প্রস্তুতি (login, cart, অর্ডার) API দিয়ে। Playwright-এর playwright.request.new_context() একটি APIRequestContext দেয়: ব্রাউজার ছাড়া HTTP client, যা cookie মনে রাখে আর storage_state()-ও লিখতে পারে। httpx দিয়ে পর্ব ৩১-এ যা করেছেন, তারই Playwright রূপ, বাড়তি সুবিধা হলো ব্রাউজারের সাথে cookie ভাগাভাগি।
@pytest.fixture
def wallet_order(api, api_login):
"""Arrange by API: fresh seed, mitu's cart 880 + 121, order paid by wallet."""
api.post("/api/test/reset")
state, req = api_login("mitu") # POST /login form, no browser
for pid in (3, 9):
assert req.post("/api/cart/items", data={"product_id": pid}).ok
r = req.post("/api/orders", data={
"district": "Dhaka", "address": "বাড়ি ১২, মিরপুর",
"phone": "01712345678", "payment_method": "mobile-wallet",
"delivery_slot": "evening"})
assert r.status == 201
return state, r.json()["id"]api_login একটি factory fixture (conftest-এ): HTML login form-এ POST /login পাঠায়, server-এর দেওয়া cookie APIRequestContext মনে রাখে, তারপর req.storage_state(path=...) সেটি ফাইলে লেখে। একই req দিয়ে cart-এ সয়াবিন তেল (৮৮০) আর আলু (১২১) যোগ হয়, মোট ১০০১ টাকা; অর্ডারের মোট ১০০১ − ১০০ ছাড় + ৬০ delivery = ৯৬১ টাকা। data=-তে dict দিলে Playwright JSON হিসেবে পাঠায়, আর form= দিলে HTML form-এর মতো। পুরো প্রস্তুতি ব্রাউজার খোলা ছাড়াই।
নির্দিষ্ট উত্তরের অপেক্ষা — expect_response
কখনো জানতে চান, button চাপার পরে নির্দিষ্ট একটি network উত্তর এসেছে কি না, আর তার status কী। বাজারঘরে “কার্টে যোগ করুন” চাপলে পাতা fetch দিয়ে POST /api/cart/items পাঠায়, আর উত্তর আসার ৪০০ ms পরে badge বদলায় (app-এর BAZARGHAR_UI_DELAY_MS). page.expect_response একটি with ব্লক: ভেতরের কাজের ফলে মেলানো উত্তর না আসা পর্যন্ত অপেক্ষা করে:
page.goto("/products/1")
with page.expect_response("**/api/cart/items") as info:
page.get_by_test_id("add-to-cart").click()
t0 = time.perf_counter()
response = info.value
print("\nstatus", response.status, "| body count", response.json()["count"],
"| badge now", page.get_by_test_id("cart-count").inner_text())
expect(page.get_by_test_id("cart-count")).to_have_text("1")
print(f"badge became 1 after {(time.perf_counter() - t0) * 1000:.0f} ms")status 200 | body count 1 | badge now 0
badge became 1 after 826 ms
1 passed in 1.79s
তিনবার চালানো হয়েছে: ৮২৬, ৮২১ আর ৮০৯ ms. expect_response-এর লাভ হলো নিশ্চয়তা: উত্তর এসেছে, status 200, body বলছে cart-এ ১টি, অথচ badge তখনো ০. এখন ব্যর্থ হলে আপনি জানবেন দোষ কোথায়: server-এর উত্তরে, না পাতার নিজের হালনাগাদে। Badge-এর ৪০০ ms-এর বদল expect কেন প্রায় ৮২০ ms-এ ধরে, সেই polling-এর সময়রেখা পর্ব ৩৬-এ মাপা আছে। শিক্ষা: web-first assertion নির্ভুলতার যন্ত্র, সময় মাপার নয়।
৪ · Network interception — page.route-এর নিয়ম
অফিসের চিঠিপত্র রিসেপশন হয়ে যায়। রিসেপশনিস্টকে বলা থাকতে পারে: “কুরিয়ারের চিঠি এলে আমি নিজে উত্তর দেব”, “অমুক ঠিকানার চিঠি ফেরত যাবে”, “বাকিগুলো যেমন আছে পৌঁছে যাবে”। Network interception ঠিক এই রিসেপশনিস্ট। page.route(pattern, handler) ব্রাউজার থেকে বের হওয়া প্রতিটি অনুরোধ pattern-এর সাথে মেলায়; মিললে handler সিদ্ধান্ত নেয়:
| Method | কী হয় | বাজারঘরে ব্যবহার |
|---|---|---|
route.fulfill(...) | Server-এ না গিয়ে নিজের উত্তর: status, header, body | Wallet timeout-এর 303 redirect |
route.abort("timedout") | অনুরোধ কেটে দেওয়া, network ত্রুটির মতো | Server-ই পাওয়া যায় না, এমন দিন |
route.continue_(...) | Server-এ পাঠানো, চাইলে header বা body বদলে | একটি header যোগ করে পাঠানো |
route.fallback() | সিদ্ধান্ত নিজে না নিয়ে আগের নিবন্ধিত handler-কে দেওয়া | শুধু log রাখা, তারপর ছেড়ে দেওয়া |
Pattern তিন রকম হতে পারে: glob লেখা (string), compile করা regex, বা একটি function. সবচেয়ে বেশি ভুল হয় glob-এ। Playwright-এর glob-এর নিয়ম কয়েকটি: * মানে / ছাড়া যেকোনো অক্ষর, ** মানে /-সহ যেকোনো কিছু, {a,b} মানে a অথবা b, আর glob পুরো URL-এর সাথে মিলতে হয়; query string-ও URL-এর অংশ। ? এখন আর “যেকোনো একটি অক্ষর” নয়, আক্ষরিক প্রশ্নবোধক চিহ্ন। Regex-এর নিয়ম উল্টো: URL-এর যেকোনো জায়গায় মিললেই হলো। নিচের ব্লকটি Playwright-এর glob-কে regex-এ রূপান্তরের একটি ছোট মডেল, তারপর ছয়টি pattern আর পাঁচটি URL-এর ছক:
import re
def glob_to_regex(glob): # a model of Playwright's URL glob
out, i = "^", 0
while i < len(glob):
if glob.startswith("**/", i):
slash = i > 0 and glob[i - 1] == "/"
out += "((.+/)|)" if slash else "(.*/)"; i += 3; continue
if glob.startswith("**", i):
out += "(.*)"; i += 2; continue
c = glob[i]
out += {"*": "([^/]*)", "{": "(", "}": ")", ",": "|"}.get(c, re.escape(c))
i += 1
return re.compile(out + "$") # the WHOLE url must match
def matches(pattern, url):
if isinstance(pattern, re.Pattern):
return bool(pattern.search(url)) # a regex may match anywhere
return bool(glob_to_regex(pattern).match(url))
B = "http://127.0.0.1:8793"
urls = ["/orders/8/pay", "/orders/8/pay?retry=1", "/api/orders/8/pay",
"/api/cart/items", "/api/products?q=oil"]
patterns = ["**/orders/*/pay", "*/orders/*/pay", "**/orders/*/pay*",
"**/api/products?*", "**/api/{cart,orders}/**",
re.compile(r"/orders/\d+/pay")]
print(" " * 24, "U1 U2 U3 U4 U5")
for p in patterns:
name = "re:" + p.pattern if isinstance(p, re.Pattern) else p
print(f"{name:24}", " ".join("✔" if matches(p, B + u) else "·" for u in urls))আসল আউটপুট (U1 থেকে U5 হলো urls তালিকার পাঁচটি URL, ক্রমে):
U1 U2 U3 U4 U5
**/orders/*/pay ✔ · ✔ · ·
*/orders/*/pay · · · · ·
**/orders/*/pay* ✔ ✔ ✔ · ·
**/api/products?* · · · · ✔
**/api/{cart,orders}/** · · ✔ ✔ ·
re:/orders/\d+/pay ✔ ✔ ✔ · ·
সারি ধরে পড়ুন। **/orders/*/pay U1 মেলায়, কিন্তু U2 নয়, কারণ ?retry=1 পুরো URL-এর অংশ আর glob-এর শেষে কিছু নেই। সাথে U3, JSON API-র /api/orders/8/pay-ও মেলায়, কারণ ** “api/” গিলে ফেলে; অর্থাৎ wallet-এর জন্য বসানো route অজান্তে API call-ও ধরবে। */orders/*/pay কিছুই মেলায় না: প্রথম * / পার হতে পারে না, অথচ সামনে আছে http://127.0.0.1:8793. **/api/products?* শুধু U5 মেলায়, যেখানে আক্ষরিক ? আছে। আর regex শেষে $ ছাড়া লেখা, তাই query সহ U2 আর API-র U3 দুটোই মেলায়। এই মডেল (base URL বা escape-এর নিয়ম বাদে) Playwright 1.65.2-এর নিজের মেলানোর function-এর সাথে ৩০টি ঘরেই মিলিয়ে দেখা হয়েছে, একটিও অমিল নেই।
একাধিক handler একই অনুরোধ মেলালে কে আগে? সত্যিকারের run-এ যাচাই করা নিয়ম: পরে নিবন্ধিত page route আগে, তারপর পুরোনো page route, তারপর context-এর route. fallback() সিদ্ধান্ত পরের handler-কে দেয়; fulfill, abort বা continue_ সেখানেই শেষ করে। Desktop-এ তিনটি handler বসিয়ে cart-এ পণ্য যোগ করা হলো, ধরা পড়ার ক্রম ছিল page-cart → page-api → ctx-api. আগের ব্লকের matches ব্যবহার করে সেই নিয়মের একটি মডেল (আগের ব্লক না চালালে এটি নিজেই আগে সেটি চালাবে):
def dispatch(url, page_routes, context_routes):
"""Newest page route first, then context routes; fallback = pass on."""
seen = []
for scope, routes in (("page", page_routes), ("context", context_routes)):
for name, pattern, action in reversed(routes):
if matches(pattern, B + url):
seen.append(f"{scope}:{name}")
if action != "fallback":
return f"{url:18} {' → '.join(seen)} => {action}"
return f"{url:18} {' → '.join(seen + ['network'])} => real server"
context_routes = [("log-api", "**/api/**", "continue")]
page_routes = [("page-api", "**/api/**", "fallback"),
("page-cart", "**/api/cart/**", "fallback")]
print(dispatch("/api/cart/items", page_routes, context_routes))
page_routes.append(("wallet", "**/orders/*/pay", "fulfill 303"))
for url in ("/orders/8/pay", "/api/orders/8/pay", "/cart"):
print(dispatch(url, page_routes, context_routes))আসল আউটপুট:
/api/cart/items page:page-cart → page:page-api → context:log-api => continue
/orders/8/pay page:wallet => fulfill 303
/api/orders/8/pay page:wallet => fulfill 303
/cart network => real server
প্রথম লাইন desktop-এর ক্রমের সাথে হুবহু মিলেছে: নতুন page-cart, তারপর page-api, দুটিই fallback, শেষে context-এর log-api অনুরোধ server-এ পাঠায়। wallet route সবার শেষে বসানো, তাই সবার আগে দেখে, আর /orders/8/pay-এ নিজেই 303 দিয়ে শেষ করে। তৃতীয় লাইনটি সতর্কবার্তা: JSON API-র /api/orders/8/pay-ও wallet route ধরেছে, page-api পর্যন্ত পৌঁছায়ইনি। /cart কোনো route মেলায় না, সরাসরি server-এ। বড় suite-এ route-গুলো fixture-এ ছড়িয়ে থাকে; কোন handler আসলে উত্তর দিল, তা §৬-এর trace-এর Route কলামে দেখা যায়।
৫ · Wallet timeout — route দিয়ে, তারপর আসল পথে
বাজারঘরের mobile-wallet পেমেন্ট একটি নকল gateway-তে যায়। Gateway উত্তর না দিলে (timeout) অর্ডারের পাতায় বার্তা আসার কথা: “পেমেন্ট গেটওয়ে উত্তর দেয়নি। আবার চেষ্টা করুন।”, অর্ডার থাকবে placed, আর pay বোতাম আবার চাপা যাবে। এই পথটি UI test-এ আনতে দুটি উপায়: (ক) page.route দিয়ে ব্রাউজারের POST /orders/8/pay মাঝপথে ধরে, server যা দিত সেই 303 redirect নিজে দেওয়া; (খ) test mode-এর PUT /api/test/wallet দিয়ে gateway-কে সত্যিই একবার timeout করানো। প্রথমটি আগে:
RETRY_MSG = "পেমেন্ট গেটওয়ে উত্তর দেয়নি। আবার চেষ্টা করুন।"
def test_routed_timeout_shows_retry_message(new_context, api, wallet_order):
state, order_id = wallet_order
page = new_context(storage_state=state).new_page()
page.route("**/orders/*/pay", lambda route: route.fulfill(
status=303,
headers={"Location": f"/orders/{order_id}?msg=gateway_timeout"}))
page.goto(f"/orders/{order_id}")
page.get_by_test_id("pay-button").click()
expect(page.get_by_test_id("flash")).to_have_text(RETRY_MSG)
expect(page.get_by_test_id("order-status")).to_have_attribute(
"data-status", "placed")
assert charges_for(api, order_id) == [] # never reached the app
page.unroute("**/orders/*/pay") # the "network" is back
with page.expect_response("**/orders/*/pay") as pay:
page.get_by_test_id("pay-button").click()
assert pay.value.status == 303
expect(page.get_by_test_id("order-status")).to_have_attribute(
"data-status", "paid")
assert len(charges_for(api, order_id)) == 1Test পাস করেছে। charges_for একটি ছোট helper, যা test mode-এর GET /api/test/wallet থেকে এই অর্ডারের charge-গুলো ছেঁকে দেয়। --tracing on দিয়ে আবার চালিয়ে trace-এর network তালিকা (সত্যিকারের, শুধু প্রথম ৫টি সারি):
# Start Method Status Name Duration Route
1. 0:00.169 GET 200 8 20ms
2. 0:00.209 GET 200 app.css 27ms
3. 0:00.209 GET 200 app.js 29ms
4. 0:00.356 POST 303 pay 3ms fulfilled
5. 0:00.359 GET 200 8?msg=gateway_timeout 6ms
…
- Arrange
APIঅর্ডার ৮ - Route
**/orders/*/payছাঁকনি - Fulfill
303নকল উত্তর - Assert
flash, ledgerযাচাই
| ঘটনা | |
| কে উত্তর দিল | |
| পাতায় | |
| order 8-এর charge |
- Arrange, API দিয়ে।
wallet_orderfixture reset করে, HTTP দিয়ে মিতুর login, cart-এ ৮৮০ + ১২১ = ১০০১, আরmobile-walletপদ্ধতিতে অর্ডার ৮, মোট ৯৬১ টাকা, অবস্থাplaced. ব্রাউজার এখনো খোলেনি। - Route বসানো, তারপর goto. ক্রম জরুরি: route আগে নিবন্ধন না করলে প্রথম অনুরোধগুলো ছাঁকনি ছাড়াই চলে যায়। পাতায় বোতাম: “৯৬১ টাকা পেমেন্ট করুন”।
- Click: অনুরোধ মাঝপথে ধরা। Form-এর
POST /orders/8/paypattern মেলায়। Handler server-এ না পাঠিয়ে নিজে 303 দেয়,Locationheader-এ?msg=gateway_timeout. Trace-এর Route কলামে লেখা থাকেfulfilled. - ব্রাউজার redirect মানে। 303 পেয়ে ব্রাউজার নিজে
GET /orders/8?msg=gateway_timeoutপাঠায়, যা route মেলায় না, তাই আসল app উত্তর দেয়: flash-এ timeout-এর বার্তা, অবস্থাplaced. বার্তা আর অবস্থা, দুটিই assert হলো। - Ledger: কোনো charge নেই। Pay-এর অনুরোধ app পর্যন্ত পৌঁছায়নি, তাই wallet-এ order 8-এর charge ০টি। Stub-এর পৃথিবীতে এটিই “সত্য”। মনে রাখুন, আসল timeout-এ এটি সত্য নাও হতে পারে।
- Unroute, আবার চেষ্টা।
page.unrouteছাঁকনি তুলে নেয়। এবারexpect_response-এর ভেতরে click: আসলPOST, 303, তারপর?msg=paid, অবস্থাpaid, ledger-এ ঠিক ১টি charge. পুনরায় চেষ্টার পথও পাস।
route.abort("timedout") দিয়ে একই click চালিয়েও দেখা হলো (সত্যিকারের run): পাতার URL থাকল /orders/8, কিন্তু title ফাঁকা, অর্থাৎ বাজারঘরের পাতা নয়, ব্রাউজারের নিজের network-ত্রুটির পাতা; charge ০. এটি “server-ই পাওয়া গেল না” দিনের ছবি, app-এর timeout-বার্তার নয়। কোন ব্যর্থতা আপনি সাজাতে চান, তার ওপর নির্ভর করে fulfill না abort.
আসল পথে একই ঘটনা — এবং একটি সত্যিকারের bug
এবার stub ছাড়া। Test mode-এ gateway-কে timeout_once করা হলো: প্রথম charge-এ টাকা কাটে, কিন্তু app উত্তর পায় না (বাস্তবের মতো, যেখানে টাকা কেটে যায় অথচ “ব্যর্থ” দেখায়)। Test-এর প্রত্যাশা ক্রেতার চোখে স্বাভাবিক: বার্তা দেখে আবার চাপলে পেমেন্ট হবে, আর মোট charge থাকবে একটিই:
def test_real_gateway_timeout_then_retry(new_context, api, wallet_order):
state, order_id = wallet_order
api.put("/api/test/wallet", data={"mode": "timeout_once"})
page = new_context(storage_state=state).new_page()
page.goto(f"/orders/{order_id}")
page.get_by_test_id("pay-button").click()
expect(page.get_by_test_id("flash")).to_have_text(RETRY_MSG)
assert len(charges_for(api, order_id)) == 1 # money moved anyway
page.get_by_test_id("pay-button").click() # customer retries
expect(page.get_by_test_id("order-status")).to_have_attribute(
"data-status", "paid")
assert len(charges_for(api, order_id)) == 1, "customer charged twice"$ uv run pytest tests/test_wallet_route.py -k real --tracing retain-on-failure --tb=short
F [100%]
_______________ test_real_gateway_timeout_then_retry[chromium] ________________
tests\test_wallet_route.py:60: in test_real_gateway_timeout_then_retry
assert len(charges_for(api, order_id)) == 1, "customer charged twice"
E AssertionError: customer charged twice
E assert 2 == 1
E + where 2 = len([{'id': 5, 'txn_id': 'FAKE-C8019D9683B9',
'ref': 'd58e54da-a79c-40d9-a640-00118f7a0eae', 'order_id': 8, ...},
{'id': 6, 'txn_id': 'FAKE-283BF6088215',
'ref': 'dafc8a88-1ebb-473c-b460-482ffdc23a2f', 'order_id': 8, ...}])
FAILED tests/test_wallet_route.py::test_real_gateway_timeout_then_retry[chromium]
1 failed, 1 deselected in 1.30s
প্রথম দুটি assertion পাস: বার্তা এসেছে, আর timeout সত্ত্বেও ১টি charge হয়েছে, অর্থাৎ টাকা কেটেছে। ক্রেতা আবার চাপলেন, অর্ডার paid হলো, পাতা বলছে “পেমেন্ট সফল হয়েছে।” কিন্তু ledger-এ order 8-এর ২টি charge, প্রতিটি ৯৬১ টাকা, দুটি ভিন্ন ref সহ। ক্রেতার কাছ থেকে ১৯২২ টাকা কাটা হয়েছে। এই আচরণ বাজারঘরের কোনো বসানো bug-switch নয়; সব switch বন্ধ রেখেই এটি পাওয়া গেছে। আর route-এর test পুরোপুরি সবুজ ছিল, কারণ stub-এর পৃথিবীতে timeout মানে “কিছুই ঘটেনি”। কারণ খোঁজার কাজ trace-এর, পরের অংশে।
এখানে একটি বড় শিক্ষা। page.route শুধু ব্রাউজার থেকে যাওয়া অনুরোধ দেখে। বাজারঘরে wallet-কে ডাকে server, ব্রাউজার নয়; সেই server-থেকে-server অনুরোধ route কখনো দেখে না। তাই route দিয়ে আপনি পরীক্ষা করেছেন “UI কি timeout-এর উত্তর ঠিকমতো দেখায়”, আর কিছু নয়। আসল নির্ভরতার আচরণ (টাকা কেটে উত্তর হারানো) পরীক্ষা করতে লাগে server-এর দিকের নকল নির্ভরতা: এখানে app-এর test mode, বড় system-এ mock server বা service virtualization (পর্ব ৩৪, Service virtualization). Server-এর ভেতরের অনুরোধ ধরার একটি Node-ভিত্তিক উপায় Full-Stack কোর্সের পর্ব ৭৭-এ। দুটি স্তরই দরকার; একটি অন্যটির বদলি নয়।
৬ · ব্যর্থতার প্রমাণ — trace, screenshot আর video
ক্রিকেটে DRS-এর কথা ভাবুন। আম্পায়ার আউট দিলেন; ব্যাটসম্যান রিভিউ চাইলেন; তখন ধীর গতির ভিডিও, শব্দ আর বলের পথ, সব মিলিয়ে দেখা হয় ঠিক কী ঘটেছিল। ব্যর্থ UI test-এর DRS হলো trace: একটি zip ফাইল, যাতে প্রতিটি action, তার আগে-পরের DOM snapshot, network-এর প্রতিটি অনুরোধ আর উত্তর, console, আর test-এর source থাকে। pytest-playwright-এ তিনটি command-line বিকল্প:
| বিকল্প | মান | কী রাখে |
|---|---|---|
--tracing | on / off / retain-on-failure | প্রতিটি context-এর trace zip |
--screenshot | on / off / only-on-failure | Test শেষে পাতার ছবি |
--video | on / off / retain-on-failure | পুরো test-এর ভিডিও (webm) |
পুরো suite (৪৮টি test) একসাথে, দুটি ইচ্ছাকৃত ব্যর্থতা সহ। সত্যিকারের run:
$ uv run pytest -q --tb=no --tracing retain-on-failure --screenshot only-on-failure
................................F..............F [100%]
FAILED tests/test_login_cost.py::test_reset_kills_saved_state[chromium] - Ass...
FAILED tests/test_wallet_route.py::test_real_gateway_timeout_then_retry[chromium]
2 failed, 46 passed in 16.97s
$ find test-results -type f
test-results/tests-test-login-cost-py-test-reset-kills-saved-state-chromium/test-failed-1.png
test-results/tests-test-login-cost-py-test-reset-kills-saved-state-chromium/trace-1.zip
test-results/tests-test-login-cost-py-test-reset-kills-saved-state-chromium/trace-2.zip
test-results/tests-test-wallet-route-py-test-real-gateway-timeout-then-retry-chromium/test-failed-1.png
test-results/tests-test-wallet-route-py-test-real-gateway-timeout-then-retry-chromium/trace-1.zip
test-results/tests-test-wallet-route-py-test-real-gateway-timeout-then-retry-chromium/trace-2.zip
test-results/tests-test-wallet-route-py-test-real-gateway-timeout-then-retry-chromium/trace-3.zip
৪৬টি পাস করা test-এর কোনো ফাইল নেই; retain-on-failure রেকর্ড করে, পাস করলে মুছে দেয়। পুরো test-results folder মাত্র ২২৮ KB. প্রতিটি ব্যর্থ test-এ একাধিক zip কেন? pytest-playwright 0.10 শুধু ব্রাউজারের context নয়, test-এ ব্যবহৃত প্রতিটি APIRequestContext-এরও আলাদা trace রাখে; wallet test-এ ছিল তিনটি: session-এর api, ব্রাউজারের context, আর api_login-এর context. Screenshot-টিতে দেখা যায়: সবুজ বার্তা “পেমেন্ট সফল হয়েছে।”, অর্ডার #8, অবস্থা “পেমেন্ট হয়েছে”, মোট ৯৬১. সব ঠিক দেখাচ্ছে; দ্বিগুণ charge ছবিতে অদৃশ্য।
Trace ব্রাউজারে খোলে playwright show-trace trace.zip দিয়ে (একটি GUI, যেখানে timeline-এ প্রতিটি action-এ চাপলে তখনকার DOM দেখা যায়)। এই ল্যাবে GUI খোলা হয়নি; Playwright 1.65-এর playwright trace command দিয়ে terminal-এ পড়া হয়েছে:
$ uv run playwright trace open test-results/…-retry-chromium/trace-2.zip
Browser: chromium
Playwright: 1.65.1
Duration: 377ms
Viewport: 1280x720
Actions: 6
Network: 11 requests
Errors: 0
$ uv run playwright trace actions
1. 0:00.001 Create page 85ms
2. 0:00.087 Navigate /orders/8 57ms
3. 0:00.148 Click getByTestId('pay-button') 108ms
4. 0:00.257 Expect "to_have_text" getByTestId('flash') 19ms
5. 0:00.285 Click getByTestId('pay-button') 64ms
6. 0:00.350 Expect "to_have_attribute" getByTestId('order-status') 20ms
$ uv run playwright trace requests
4. 0:00.227 POST 303 pay 19ms
5. 0:00.247 GET 200 8?msg=gateway_timeout 6ms
8. 0:00.322 POST 303 pay 17ms
9. 0:00.339 GET 200 8?msg=paid 6ms
$ uv run playwright trace request 4 # (অংশ)
Request headers
Content-Type: application/x-www-form-urlencoded
Cookie: bg_session=y_1J… # (মান ছাঁটা)
Request body
idempotency_key=d58e54da-a79c-40d9-a640-00118f7a0eae
কয়েকটি লাইন ছাঁটা হয়েছে (css, js-এর অনুরোধ, কলামের ফাঁকা জায়গা)। Header-এর Playwright: 1.65.1 হলো Python package-এর ভেতরের driver-এর সংস্করণ, package নিজে 1.65.2. এবার trace থেকে কারণ বের করি, ধাপে ধাপে:
| command | |
| দেখা গেল | |
| সিদ্ধান্ত |
- কোন zip খুলবেন। Folder-এ তিনটি zip আর একটি screenshot. প্রতিটি
trace open-এর সারাংশেPagesদেখুন: যেটিতেPages: 1, সেটি ব্রাউজারের (এখানে trace-2); বাকি দুটি API context-এর,Pages: 0. - সারাংশ। ৩৭৭ ms, ৬টি action, ১১টি অনুরোধ, আর
Errors: 0. চমকে যাবেন না: ব্যর্থ হয়েছে Python-এর সাধারণassert, যা Playwright-এর বাইরে, তাই trace-এ error নেই। Playwright-এরexpectব্যর্থ হলে এখানে ✗ চিহ্ন আর error থাকত (অনুশীলন ৪-এ দেখবেন)। - Action-এর তালিকা। দুটি click, ০.১৪৮ আর ০.২৮৫ সেকেন্ডে, মাঝে flash-এর বার্তার assertion. ব্রাউজার ঠিক তা-ই করেছে, যা test বলেছে; test-এর নিজের কোনো ভুল ধাপ নেই।
- Network-এর তালিকা। দুটি
POST pay, দুটিই 303. প্রথমটির পরে?msg=gateway_timeout, দ্বিতীয়টির পরে?msg=paid. Route কলাম ফাঁকা: দুটিই আসল app-এ পৌঁছেছে, কোনো stub নেই। - Request body. দুটি অনুরোধের body-তে form-এর লুকানো ঘর
idempotency_key, কিন্তু মান আলাদা: d58e54da… আর dafc8a88…. App প্রতিটি পাতা দেখানোর সময় নতুন key বসায়, আর timeout-এর পরে redirect মানে নতুন পাতা। - Ledger-এর সাথে মিলিয়ে কারণ। Ledger-এর দুটি charge-এর
refহুবহু ওই দুটি key. Gateway একই key-তে দ্বিতীয়বার charge করে না, কিন্তু key-ই যে বদলে গেছে। কারণ: idempotency key-র আয়ু একটি পাতা, অথচ হওয়া উচিত একটি পেমেন্টের চেষ্টা। এখন bug report (পর্ব ১৮-এর ছকে) লেখা যায়, প্রমাণ সহ।
সমাধান developer-এর সিদ্ধান্ত, কিন্তু tester হিসেবে প্রস্তাব দেওয়া যায়: timeout-এর পরে একই key রেখে দেওয়া (redirect-এ key ফেরত পাঠানো), অথবা একই অর্ডারের placed অবস্থায় আগের charge থাকলে নতুন charge না করে সেটি মিলিয়ে নেওয়া। Idempotency key-এর ধারণা আর HTTP-তে এর ব্যবহার পর্ব ২৯-এ দেখেছেন; এখানে দেখলেন, API স্তরে key ঠিকমতো কাজ করলেও UI-এর প্রবাহ key-কে ভুল আয়ু দিলে সুরক্ষা ভেঙে যায়।
Trace-এ cookie থাকে। ওপরের trace request 4-এ Cookie: bg_session=… পুরো মান সহ ছিল (এখানে ছাঁটা)। Form-এ password টাইপ করলে সেটিও action-এর তালিকায় থাকতে পারে। তাই CI-তে trace artifact শুধু দলের ভেতরে, স্বল্প মেয়াদে রাখুন, আর test-এ সবসময় বানানো ব্যবহারকারী। Video-ও একই কারণে সংবেদনশীল, আর জায়গা নেয় অনেক বেশি; বেশিরভাগ প্রশ্নের উত্তর trace-ই দেয়, তাই এই ল্যাবে video চালু করা হয়নি।
৭ · Parallel worker আর isolation — pytest-xdist
এক রান্নাঘরে দুজন রাঁধুনি দ্রুত রাঁধেন, যদি প্রত্যেকের নিজের চুলা আর নিজের হাঁড়ি থাকে। একই হাঁড়িতে দুজন একসাথে নুন দিলে তরকারি নষ্ট। pytest-xdist test-গুলো কয়েকটি আলাদা process-এ (worker) ভাগ করে চালায়: pytest -n 2 মানে দুটি worker, প্রতিটির নিজের ব্রাউজার। ব্রাউজারের দিক আলাদা, কিন্তু হাঁড়ি, অর্থাৎ app আর database, একটিই। দুটি সংস্করণের test চালানো হলো, প্রতিটি ৬ বার parametrize করা:
WORKER_USER = {"master": "mitu", "gw0": "mitu", "gw1": "joy"}
@pytest.mark.parametrize("n", range(1, 7))
def test_order_shared_data(api, api_login, new_context, n):
api.post("/api/test/reset") # global reset, every test
state, req = api_login("mitu")
assert place_order(req) == 8 # "the next id is always 8"
page = new_context(storage_state=state).new_page()
page.goto("/orders/8")
expect(page.get_by_test_id("order-status")).to_have_attribute(
"data-status", "placed", timeout=2000)
@pytest.mark.parametrize("n", range(1, 7))
def test_order_own_data(api_login, new_context, worker_id, n):
state, req = api_login(WORKER_USER[worker_id]) # no reset, own user
order_id = place_order(req) # use the id we got back
page = new_context(storage_state=state).new_page()
page.goto(f"/orders/{order_id}")
expect(page.get_by_test_id("order-status")).to_have_attribute(
"data-status", "placed")place_order মিনি helper: cart-এ চাল যোগ করে অর্ডার দেয়। worker_id pytest-xdist-এর fixture: worker-এর নাম gw0, gw1, আর xdist ছাড়া চালালে master. সত্যিকারের ফল:
| Test | একটি একটি করে | -n 2, ৫ বার চালানো |
|---|---|---|
| shared data (reset + মিতু + id 8) | 6 passed, 2.22 s | প্রতিবার 2 failed, 4 passed, 3.78–4.00 s |
| own data (worker-এর নিজের ব্যবহারকারী) | 6 passed, 1.81 s | 6 passed, 1.98–2.01 s (৩ বার) |
দুটি ব্যর্থতার বার্তা (সত্যিকারের, ছাঁটা): একটি worker-এ {"detail":{"code":"cart_empty","message":"কার্ট খালি"}}, assert 400 == 201; অন্যটিতে Locator expected to have attribute 'placed', element(s) not found, আর পাতার aria snapshot-এ শিরোনাম “লগইন”। দুটি আলাদা সংঘাত: অন্য worker মিতুর cart থেকেই অর্ডার করে ফেলেছে, আর অন্য worker-এর reset মিতুর session মুছে দিয়েছে। নিচে একটি সম্ভাব্য ক্রম, যা এই দুটি বার্তার সাথে মেলে (আসল সময়ের ক্রম log-এ নেই, তাই এটি পুনর্গঠন):
| gw0 | |
| gw1 | |
| মিতুর cart | |
| বৈধ session |
- দুজনেরই reset. দুটি worker প্রায় একসাথে নিজের test শুরু করে, প্রথমে reset. Server-এ কোনো session নেই, মিতুর cart খালি। একা চললে এটিই নিরাপদ শুরু।
- দুজনেই মিতু। gw0 login করে session A পায়, gw1 পায় session B. দুটিই বৈধ, কারণ দুটি login-এর পরে আর reset হয়নি। কিন্তু server-এ মিতুর cart একটিই।
- এক cart, দুই রাঁধুনি। gw0 এক প্যাকেট চাল যোগ করে, gw1-ও একটি। তারপর gw1 অর্ডার দেয়: পুরো cart, gw0-এর চাল সহ, অর্ডার ৮ হয়ে যায়, cart খালি।
- gw0-এর অর্ডার: cart_empty. gw0 নিজের অর্ডার দিতে গিয়ে পায় 400,
cart_empty, প্রথম বার্তা। gw1-এর id ৮, তাই তার assert পাস। gw0-এর test-এর নিজের কোনো দোষ নেই; একা চললে পাস করত। - gw0-এর পরের reset, gw1-এর লগইন পাতা। gw0 দ্রুত পরের test শুরু করে, প্রথমেই reset: B মুছে যায়। ঠিক তখন gw1
/orders/8খোলে, পায় লগইন পাতা,order-statusনেই: দ্বিতীয় বার্তা। কোন test ভাঙবে তা সময়ের ওপর নির্ভর করে; এটিই flaky test-এর জন্মস্থান।
সমাধানে তিনটি নিয়ম, যা test_order_own_data মানে: (১) কোনো test global reset ডাকে না; (২) প্রতিটি worker নিজের ব্যবহারকারী পায় (gw0 মিতু, gw1 জয়), ফলে cart আর session আলাদা; (৩) test কোনো id আন্দাজ করে না, server যা দেয় সেটিই ব্যবহার করে। বড় suite-এ এর পরের ধাপ হলো প্রতিটি worker-এর আলাদা database বা আলাদা app (পর্ব ২৮), অথবা প্রতিটি test-এর নিজের নতুন ব্যবহারকারী। Flaky test খোঁজা আর সারানোর পুরো আলোচনা পর্ব ৪০-এ।
আর গতির প্রশ্নে সৎ থাকুন: ৬টি ছোট test-এ -n 2 একা চালানোর চেয়ে ধীর (১.৯৮ বনাম ১.৮১ সেকেন্ড), কারণ প্রতিটি worker নিজের Python process আর নিজের Edge চালু করে, যার খরচ test-এর নিজের সময়ের চেয়ে বেশি। Parallel লাভজনক হয় যখন test অনেক আর প্রতিটি দীর্ঘ। আর কোনো test যদি পুরো suite-এর জন্য একটি জিনিস বদলায় (reset), তবে parallel সেটিকে ভাঙবেই। CI-তে কয়েকটি machine-এ ভাগ করে চালানো (sharding) পর্ব ৬৪ আর ৬৮-এ।
৮ · Mobile emulation-এর এক ঝলক
--device বিকল্প Playwright-এর device তালিকা থেকে viewport, স্ক্রিনের ঘনত্ব, touch আর user agent একসাথে বসায় (device emulation). একই test দুইভাবে, সত্যিকারের run:
$ uv run pytest -q -s tests/test_mobile.py --device "Pixel 7"
viewport {'width': 412, 'height': 839} | touch 1 | card width 380 | no sideways scroll True
1 passed in 0.82s
$ uv run pytest -q -s tests/test_mobile.py
viewport {'width': 1280, 'height': 720} | touch 0 | card width 236 | no sideways scroll True
1 passed in 0.77s
ফোনের মাপে পণ্যের কার্ড প্রায় পুরো চওড়া (৩৮০ px), ডেস্কটপে ২৩৬ px, আর দুই ক্ষেত্রেই পাতা পাশে সরে না। Test-এ একটি লাইনও বদলাতে হয়নি। তবে emulation হলো ডেস্কটপের ব্রাউজার engine-কে ফোনের মাপ দেখানো; আসল ফোনের CPU, মেমরি, network বা ফোন-নির্মাতার ব্রাউজারের আচরণ এতে আসে না। Browser matrix, breakpoint আর আসল device-এর আলোচনা পর্ব ৪২-এ।
আরও গভীরে: Playwright ব্রাউজারের সাথে কথা বলে একটি স্থায়ী সংযোগে (Chromium-এ DevTools protocol), আর route-এর ক্ষমতাও সেখান থেকেই আসে: অনুরোধ network-এ যাওয়ার আগেই ব্রাউজার থামিয়ে driver-কে জিজ্ঞেস করে। এর একটি খরচ আছে: route থাকলে প্রতিটি মেলানো অনুরোধ Python process ঘুরে আসে, তাই অপ্রয়োজনে **/*-এর মতো সর্বগ্রাসী route বসানো suite-কে ধীর করে। HAR ফাইল থেকে উত্তর চালানো (page.route_from_har) রেকর্ড-রিপ্লের আরেকটি পথ, তবে রেকর্ড করা উত্তর পুরোনো হয়ে যায়, যেমন যেকোনো stub. আর WebDriver BiDi নামে W3C-র একটি নতুন মান ব্রাউজারগুলোতে এমন দুই-দিকের নিয়ন্ত্রণ আনার চেষ্টা করছে, যা পর্ব ৩৮-এ Selenium-এর প্রসঙ্গে আসবে।
পরীক্ষা ও ইন্টারভিউতে:
- Browser context কী, আর প্রতি test-এ নতুন কেন? একই browser-এর ভেতরে আলাদা cookie আর storage-এর পরিবেশ; সস্তা, আর test-গুলোকে ব্রাউজারের দিক থেকে আলাদা রাখে।
- storage_state কখন ভাঙে? Server-এর session মুছে গেলে বা মেয়াদ ফুরালে; ফাইল তখনো থাকে, কিন্তু অকেজো।
- page.route কি server-এর ডাকা বাইরের API ধরতে পারে? না, শুধু ব্রাউজার থেকে যাওয়া অনুরোধ; server-এর নির্ভরতার জন্য mock server বা service virtualization.
- Glob
**/api/cart/itemsকি…/api/cart/items?x=1মেলায়? না, glob পুরো URL মেলায়, query সহ। - Parallel-এ test এলোমেলো ভাঙে কেন? Shared data: global reset, একই ব্যবহারকারী, আন্দাজ করা id; প্রতিটি worker-কে নিজের data দিন।
৯ · AI-এর যুগে Playwright test
AI সহকারীকে “বাজারঘরের checkout-এর Playwright test লিখে দাও” বললে চলনসই code আসে, কিন্তু চেনা দুর্বলতাগুলো এখানে বিশেষ রূপ নেয়। time.sleep(2) বা page.wait_for_timeout দিয়ে অপেক্ষা। প্রতিটি test-এ UI দিয়ে login. শুধু happy path, timeout বা decline নেই। Route দিয়ে সব mock করে দেওয়া, ফলে কোনো test আর আসল app ছোঁয় না, আর §৫-এর দ্বিগুণ charge-এর মতো ভুল কখনো ধরা পড়ে না। পাতায় এখন যা দেখায় সেটিই expected করে বসানো। Playwright-এর JavaScript API-র নাম Python-এ চালানো (storageState, getByRole), বা না-থাকা বিকল্প বানানো। Storage state ফাইল repository-তে রাখার পরামর্শ। আর না চালিয়েই “test পাস করবে” বলা।
AI-কে কাঠামো, নিয়ম আর সীমা দিন, আগে পরিকল্পনা চান:
AI-এর লেখা Playwright test হাতে পেলে — চেকলিস্ট
ভাবনার প্রশ্ন
প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।
প্র ০১প্রতিটি test-এ নতুন browser context কেন, আর এই isolation কোথায় গিয়ে থামে?
Browser automation-এর পুরোনো দিনে isolation-এর প্রায় একমাত্র উপায় ছিল প্রতিটি test-এ নতুন ব্রাউজার চালু করা। Selenium-এর WebDriver (২০০০-এর দশকের শেষ থেকে প্রচলিত) এভাবেই বেশি ব্যবহার হতো, আর প্রতিটি ব্রাউজার চালু হতে প্রায়ই এক সেকেন্ড বা তার বেশি লাগত; তাই অনেক দল একটি ব্রাউজার রেখে test-এর মাঝে cookie মুছত, যা প্রায়ই কিছু না কিছু রেখে যেত। Google-এর Chrome দল ২০১৭ সালে Puppeteer আনে, যা DevTools protocol দিয়ে Chrome চালায়; আর ২০২০ সালের শুরুতে Microsoft Playwright প্রকাশ করে, যার দলে Puppeteer-এর কয়েকজন প্রকৌশলী ছিলেন। Playwright-এর একটি কেন্দ্রীয় নকশা ছিল browser context: একটি ব্রাউজারের ভেতরে incognito জানালার মতো আলাদা জগৎ, যা বানাতে কয়েক মিলিসেকেন্ড লাগে।
ফল: প্রতিটি test-এর নিজের cookie, localStorage, cache, permission, এমনকি নিজের viewport আর locale. এই পর্বের run-এ একই ব্রাউজারে মিতুর context আর অপরিচিত context পাশাপাশি চলেছে, একজন অর্ডার দেখেছেন, অন্যজন login পাতা। একই কৌশলে এক test-এ ক্রেতা আর admin একসাথে চালানো যায়, যা আলাদা ব্রাউজার দিয়ে করলে ধীর আর জটিল হতো।
কিন্তু isolation থামে ব্রাউজারের দেয়ালে। Server-এর database, cache, queue, ইমেইলের inbox, বাইরের সেবার ledger, এগুলো সব context-এর কাছে এক। §৭-এ দুটি worker-এর context পুরো আলাদা ছিল, তবু মিতুর cart একটিই, তাই অর্ডার হারিয়েছে। Integration test-এর ভাষায়, test-এর state দুই জায়গায় থাকে: client-এর দিকে আর server-এর দিকে; Playwright শুধু প্রথমটির দায়িত্ব নেয়। দ্বিতীয়টির জন্য আছে reset endpoint, প্রতি test-এ নতুন data, প্রতি worker-এ আলাদা database, বা transaction rollback (পর্ব ২৮).
একটি সূক্ষ্ম কথা: context আলাদা বলে test-এর ক্রম-নির্ভরতা দূর হয় না। একটি test যদি server-এ স্থায়ী কিছু বদলায় (stock কমানো, review দেওয়া), পরের test সেটি দেখবে, context যত নতুনই হোক।
মূল উপলব্ধি: নতুন context ব্রাউজারের অবস্থা সস্তায় আলাদা করে; server-এর অবস্থা আলাদা রাখা test-নকশার কাজ, যা আপনাকে আলাদাভাবে করতে হয়।
প্র ০২Login-এর অবস্থা ফাইলে জমিয়ে রাখা কি নিরাপদ? storage_state-এর নিরাপত্তা আর মেয়াদ নিয়ে কী ভাববেন?
Web-এর login মূলত একটি cookie বা token: server একটি এলোমেলো, অনুমান-অযোগ্য মান দেয়, আর পরের প্রতিটি অনুরোধে ব্রাউজার সেটি ফেরত পাঠায়। ১৯৯৪ সালের দিকে Netscape-এ Lou Montulli cookie-র ধারণা আনেন, আর তখন থেকেই এর বড় ঝুঁকি একটিই: মানটি যার হাতে, সার্ভারের চোখে সে-ই ব্যবহারকারী। একে বলে session hijacking. এজন্য HttpOnly (JavaScript পড়তে পারে না), Secure (শুধু HTTPS) আর SameSite (অন্য সাইট থেকে পাঠানো সীমিত) এর মতো বৈশিষ্ট্য এসেছে; বাজারঘরের cookie-তে প্রথম আর তৃতীয়টি আছে, দ্বিতীয়টি নেই কারণ app শুধু localhost-এ HTTP-তে চলে।
storage_state ফাইল এই সুরক্ষাগুলো এড়িয়ে যায়: HttpOnly cookie-ও সেখানে সরল লেখা। Test-এ এটি ঠিক আছে, কারণ ব্যবহারকারী বানানো আর পরিবেশ test-এর। বিপদ আসে তিনভাবে। এক, ফাইল ভুলে repository-তে উঠে যায়, আর staging-এর session public হয়। দুই, CI-র artifact হিসেবে trace বা state ফাইল সবার জন্য খোলা থাকে। তিন, কেউ সুবিধার জন্য আসল ব্যক্তির account দিয়ে state বানান। প্রতিকার সহজ: ফাইল অস্থায়ী folder-এ বা .gitignore-করা folder-এ, প্রতিটি run-এ নতুন করে বানানো, বানানো ব্যবহারকারী, আর CI-র artifact স্বল্প মেয়াদে।
মেয়াদের দিকটিও test-নকশার প্রশ্ন। Server-এর session ঘণ্টায় বা দিনে ফুরাতে পারে, logout সব session মুছতে পারে, বা আমাদের reset-এর মতো test-এর একটি পদক্ষেপ সব মুছে দিতে পারে। তাই state পুরোনো ফাইল থেকে নয়, প্রতিটি run-এর শুরুতে নতুন করে বানানোই নিরাপদ, আর যে test session বাতিল করে (logout, password বদল) তাকে নিজের আলাদা ব্যবহারকারী দিন, যাতে অন্যদের state অক্ষত থাকে। সাইবার নিরাপত্তার দিক থেকে session-এর বিস্তারিত সাইবার নিরাপত্তা কোর্সে আছে; tester-এর কাজ হলো নিজের test যেন নতুন দুর্বলতা না বানায়।
মূল উপলব্ধি: storage_state একটি চাবি; বানানো ব্যবহারকারীর, প্রতি run-এ নতুন, আর কখনো প্রকাশ্য জায়গায় নয়।
প্র ০৩Route দিয়ে timeout সাজানো test সবুজ, অথচ আসল পথে দ্বিগুণ charge হলো। Stub-এর সীমা কোথায়, আর কোন স্তরে কী পরীক্ষা করবেন?
Gerard Meszaros-এর “xUnit Test Patterns” (২০০৭) বইয়ে test double-এর নামগুলো (dummy, stub, spy, mock, fake) গুছিয়ে দেওয়া হয়, আর Martin Fowler-এর “Mocks Aren't Stubs” লেখা (প্রথম ২০০৪ সালের দিকে, পরে হালনাগাদ) এই পার্থক্য জনপ্রিয় করে (পর্ব ২৪-এ বিস্তারিত)। Stub-এর কাজ একটি নির্দিষ্ট উত্তর দেওয়া, যাতে test একটি নির্দিষ্ট পথে যায়। এর অন্তর্নিহিত অনুমান হলো: আসল নির্ভরতা ওই উত্তর দিলে আর কিছু ঘটে না। আমাদের route ঠিক এই অনুমান করেছে: timeout মানে কিছুই হয়নি, charge ০।
বাস্তব timeout অন্যরকম। Network-এ timeout মানে “উত্তর পাইনি”, “কাজ হয়নি” নয়। অনুরোধ হয়তো পৌঁছেছে, কাজ হয়েছে, শুধু উত্তর পথে হারিয়েছে। বিতরণকৃত system-এ এটি একটি মৌলিক সমস্যা, “দুই সেনাপতির সমস্যা” নামে পরিচিত একটি পুরোনো চিন্তা-পরীক্ষা যার সাথে সম্পর্কিত: অবিশ্বস্ত চ্যানেলে কোনো পক্ষ নিশ্চিত হতে পারে না যে অন্য পক্ষ বার্তা পেয়েছে। এজন্যই payment-এর API-তে idempotency key আসে: একই key-তে পুনরায় চেষ্টা নিরাপদ। IETF-এর httpapi দলে Idempotency-Key header-কে মান হিসেবে লেখার একটি খসড়া নিয়ে কাজ হয়েছে।
বাজারঘরের API-তে key ঠিকমতো কাজ করে (পর্ব ২৯ আর ৩১-এর test তা দেখিয়েছে)। ভুলটি UI-র প্রবাহে: timeout-এর পরে নতুন পাতা, নতুন key. এই ভুল ধরা পড়ে শুধু তখন, যখন test একসাথে (১) আসল UI, (২) আসল server-এর পুনরায় চেষ্টার যুক্তি, আর (৩) নির্ভরতার বাস্তবসম্মত ব্যর্থতা চালায়। Route প্রথমটি দেয়, দ্বিতীয়টি বাদ দেয়; API test দ্বিতীয়টি দেয়, প্রথমটি বাদ দেয়।
তাই স্তর ভাগ করুন। Route দিয়ে UI-র প্রতিটি ব্যর্থতার বার্তা দ্রুত আর স্থিরভাবে যাচাই (timeout, decline, 500, ধীর উত্তর); server-এর দিকের নকল নির্ভরতা দিয়ে অল্প কয়েকটি পুরো-পথের test, যেখানে ledger বা database-এর পার্শ্বফল assert হয়। আর নকল নির্ভরতা যেন আসলটির মতো আচরণ করে (টাকা কেটে উত্তর হারানো), কেবল সহজ পথটি নয়; বাজারঘরের timeout mode ঠিক এজন্য charge লিখে তারপর ব্যর্থ হয়।
মূল উপলব্ধি: Stub যা জানে না, তা কখনো পরীক্ষা করে না। UI-র প্রতিক্রিয়ার জন্য route, পার্শ্বফলের জন্য আসল পথ, আর নকল নির্ভরতায় বাস্তবের অস্বস্তিকর আচরণ।
প্র ০৪সব test-এ trace চালু রাখলেই তো সবচেয়ে ভালো; তবু retain-on-failure কেন, আর trace কীভাবে ব্যবহার করলে দল সত্যিই উপকৃত হয়?
Playwright-এর Trace Viewer এসেছিল ২০২১ সালের দিকে (১.১২ সংস্করণের কাছাকাছি)। এর আগে ব্যর্থ UI test-এর প্রমাণ মানে ছিল একটি screenshot আর error-এর লেখা; CI-তে ব্যর্থ, নিজের কম্পিউটারে পাস, এমন test-এর কারণ খুঁজতে মানুষ ঘণ্টার পর ঘণ্টা log ছড়াতেন। Trace প্রতিটি action-এর আগে-পরের DOM, network আর console একটি ফাইলে রাখে, যা পরে যেকোনো কম্পিউটারে খোলা যায়। এই পর্বে trace-এর request body থেকেই দ্বিগুণ charge-এর কারণ বেরিয়েছে, যা screenshot (সবুজ “পেমেন্ট সফল”) কখনো দেখাত না।
তবে সব test-এ on রাখার দাম আছে। প্রতিটি snapshot আর network body লিখতে সময় আর জায়গা লাগে; হাজার test-এর suite-এ গিগাবাইট ছাড়াতে পারে, আর CI-র artifact জমা রাখার খরচ বাড়ে। retain-on-failure রেকর্ড ঠিকই করে, কিন্তু পাস করলে মুছে দেয়; আমাদের run-এ ৪৮টি test-এর পরে মাত্র ২২৮ KB থেকেছে। আরেকটি প্রচলিত পথ হলো retry-র সাথে trace: প্রথম চেষ্টায় trace নয়, শুধু পুনরায় চেষ্টায়; flaky test-এর জন্য এটি ঠিক কাজের, যদিও retry নিজে ব্যর্থতা লুকায় (পর্ব ৪০).
দল কীভাবে উপকৃত হয়? প্রথমত, CI প্রতিটি ব্যর্থ test-এর trace artifact হিসেবে রাখে আর bug report-এ link দেয়। দ্বিতীয়ত, trace পড়ার একটি অভ্যাস: সারাংশ (Errors, Network) → action → network → নির্দিষ্ট request. এই ক্রমে পড়লে test-এর দোষ (ভুল অপেক্ষা, ভুল locator) আর app-এর দোষ (ভুল উত্তর) আলাদা হয়। তৃতীয়ত, সীমা জানা: trace ব্রাউজারের গল্প বলে, server-এর ভেতরের নয়। আমাদের ক্ষেত্রে charge-এর সংখ্যা এসেছে ledger থেকে; trace শুধু দেখিয়েছে key আলাদা। পুরো ছবি পেতে server-এর log বা tracing-এর সাথে মেলাতে হয়, যার জন্য অনুরোধে একটি request id রাখা কাজের।
আর নিরাপত্তা: trace-এ cookie, header আর form-এর মান থাকে। তাই artifact-এর মেয়াদ ছোট, প্রবেশাধিকার সীমিত, আর test-এ বানানো ব্যবহারকারী।
মূল উপলব্ধি: Trace ব্যর্থতার সবচেয়ে সমৃদ্ধ প্রমাণ, কিন্তু ব্রাউজারের দিক থেকে; ব্যর্থ হলে রাখুন, নিয়ম মেনে পড়ুন, আর server-এর প্রমাণের সাথে মেলান।
প্র ০৫Parallel চালালে suite দ্রুত হওয়ার কথা; আমাদের run-এ কেন ধীর হলো, আর কখন parallel সত্যিই লাভজনক?
১৯৬৭ সালে Gene Amdahl একটি সরল যুক্তি দেন, যা এখন Amdahl-এর সূত্র নামে পরিচিত: কাজের যে অংশ ভাগ করা যায় না, সেটিই সর্বোচ্চ গতিবৃদ্ধির সীমা ঠিক করে। Test suite-এ ভাগ-অযোগ্য অংশ হলো প্রতিটি worker-এর শুরু: Python process চালু, plugin load, ব্রাউজার চালু, session fixture (login, reset). আমাদের ৬টি test-এর প্রতিটি কয়েক শ মিলিসেকেন্ডের; দুটি worker-এর শুরুর খরচ সেই লাভ খেয়ে ফেলেছে, তাই ১.৮১ সেকেন্ড থেকে ১.৯৮. একই কারণে shared-data সংস্করণ আরও ধীর (৩.৮ সেকেন্ডের বেশি), কারণ ব্যর্থ test-গুলো ২ সেকেন্ডের timeout পর্যন্ত অপেক্ষা করেছে।
pytest-xdist প্লাগইনের শুরু pytest-এর প্রথম দিকের লেখক Holger Krekel-এর হাতে, ২০১০ সালের আশেপাশে। এটি test-গুলো worker-এর মধ্যে ভাগ করে, ডিফল্টে যে worker খালি তাকে পরের test দেয়; --dist loadfile দিলে একটি ফাইলের সব test একই worker-এ যায়, যা কিছু shared fixture-এর জন্য সুবিধার। মনে রাখুন, session-scope fixture প্রতিটি worker-এ আলাদাভাবে চলে; “একবার login” মানে আসলে worker প্রতি একবার, আর “একবার reset” মানে worker প্রতি একবার, যা অন্য worker-এর কাজের মাঝখানে পড়তে পারে।
Parallel লাভজনক হয় যখন test অনেক, প্রতিটি কয়েক সেকেন্ডের, আর ভাগ-অযোগ্য অংশ ছোট। পূর্বশর্ত একটাই: test-গুলো সত্যিই স্বাধীন। স্বাধীনতার পরীক্ষা হিসেবে অনেক দল suite-কে এলোমেলো ক্রমে আর কয়েকটি worker-এ নিয়মিত চালায়; যে test শুধু নির্দিষ্ট ক্রমে পাস করে, সেটি আগেভাগে ধরা পড়ে। Machine বাড়িয়ে ভাগ করা (sharding) আরও বড় লাভ দেয়, কিন্তু তখন app আর database-ও প্রতিটি ভাগের জন্য আলাদা লাগে।
আর একটি মানবিক দিক: parallel suite-এর flaky ব্যর্থতা দলের আস্থা নষ্ট করে। “আবার চালান, পাস করবে” সংস্কৃতি একবার জন্মালে আসল bug-ও ওই অজুহাতে চাপা পড়ে।
মূল উপলব্ধি: Parallel-এর আগে isolation; আর গতিবৃদ্ধি মাপুন, ধরে নেবেন না। ছোট suite-এ শুরুর খরচই বেশি।
অনুশীলন
উত্তর দেখার আগে কাগজে নিজে করুন। ফলগুলো এই পর্বের সত্যিকারের run থেকে।
-
Spec থেকে UI test-এর নকশা: বাজারঘরের wallet পেমেন্টের নিয়ম: (ক) সফল হলে অবস্থা
paid, বার্তা “পেমেন্ট সফল হয়েছে।”; (খ) gateway প্রত্যাখ্যান করলে বার্তা “পেমেন্ট প্রত্যাখ্যাত হয়েছে। অন্য পদ্ধতি চেষ্টা করুন।”, অবস্থাplaced, কোনো charge নয়; (গ) timeout হলে timeout-এর বার্তা, অবস্থাplaced, আর পুনরায় চেষ্টার পরে মোট charge ঠিক একটি। Test mode-এ wallet-এর mode:success,decline,timeout,timeout_once. প্রতিটি নিয়মের জন্য একটি test-এর ছক বানান: route না test mode, কী assert, আর কেন।ID কৌশল Assert W1 সফল test mode successঅবস্থা paid, সফলের বার্তা, ledger-এ ১টি charge, পরিমাণ ৯৬১ W2 প্রত্যাখ্যান (UI) route: 303 → ?msg=payment_declinedপ্রত্যাখ্যানের বার্তা, অবস্থা placed, pay বোতাম আছে W3 প্রত্যাখ্যান (পুরো পথ) test mode declineএকই বার্তা, আর ledger-এ ০টি charge W4 timeout (UI) route: 303 → ?msg=gateway_timeouttimeout-এর বার্তা, অবস্থা placed W5 timeout + পুনরায় চেষ্টা test mode timeout_onceপ্রথমে বার্তা আর ১টি charge; চেষ্টার পরে paid আর মোট ঠিক ১টি charge Route-এর test (W2, W4) দ্রুত আর স্থির, শুধু UI-র প্রতিক্রিয়া দেখে। Test mode-এর test (W1, W3, W5) পার্শ্বফল, অর্থাৎ ledger দেখে; W5 নিয়ম (গ)-এর “ঠিক একটি” থেকে এসেছে, আর এই পর্বের run-এ এটিই ব্যর্থ হয়ে দ্বিগুণ charge ধরেছে।
timeoutmode (সবসময়) দিয়ে আরেকটি test রাখা যায়: বারবার চেষ্টায়ও paid হয় না, কিন্তু charge কি বাড়তে থাকে? প্রতিটি test-এর Arrange API দিয়ে (§৩-এরwallet_order). -
ফল আগে বলুন: Base URL
http://127.0.0.1:8793. নিচের প্রতিটি জোড়ায় Playwright-এর route মিলবে কি না? (ক)**/api/cart/itemsআর/api/cart/items?x=1(খ)**/api/cart/*আর/api/cart/items/3(গ)**/api/cart/**আর/api/cart/items/3(ঘ)**/*.{css,js}আর/static/app.css(ঙ)re.compile("cart")আর/static/app.css(চ)re.compile("cart")আর/cart(ছ)/orders/*/payআর/orders/8/payPlaywright 1.65.2-এর নিজের মেলানোর function দিয়ে যাচাই করা ফল: (ক) না, query string URL-এর অংশ আর glob পুরো URL মেলায়। (খ) না,
*/পার হয় না, আরitems/3-এ একটি/আছে। (গ) হ্যাঁ,**সব পার হয়। (ঘ) হ্যাঁ,{css,js}মানে css অথবা js. (ঙ) না, “app.css”-এ cart শব্দ নেই। (চ) হ্যাঁ, regex যেকোনো জায়গায় মেলে; সাবধান, একই regex/api/cart/items-ও মেলাবে। (ছ) হ্যাঁ,/দিয়ে শুরু করা glob base URL-এর সাথে জুড়ে পূর্ণ URL হয়ে যায়। (খ) আর (ঙ) সবচেয়ে চেনা ফাঁদ: route বসানো হলো, test পাস হলো, অথচ handler একবারও চলেনি। তাই route-এর ভেতরে একটি counter রাখুন বা trace-এর Route কলাম দেখুন। -
এই test-এ ভুল খুঁজুন: একজন সহকর্মী লিখলেন, “wallet timeout-এর test সবুজ, merge করে দিচ্ছি”। অন্তত পাঁচটি সমস্যা খুঁজুন।
STATE = "auth/rafi-real.json" # copied from my laptop, committed def test_timeout(browser): page = browser.new_page(storage_state=STATE) page.goto("http://127.0.0.1:8793/orders/8") page.route("*/orders/*/pay", lambda r: r.abort()) page.get_by_test_id("pay-button").click() time.sleep(3) assert "চেষ্টা" in page.content()(১) আসল ব্যক্তির state ফাইল repository-তে: নামেই “real”, ল্যাপটপ থেকে কপি; এটি একটি চাবি, আর session মুছলেই অকেজো। Fixture-এ প্রতি run-এ বানানো ব্যবহারকারীর state বানান। (২) অর্ডার ৮ আন্দাজ: Arrange নেই; অন্য test বা অন্য worker-এর ওপর নির্ভর। API দিয়ে নিজের অর্ডার বানিয়ে ফেরত id নিন। (৩) Route goto-র পরে: এখানে ক্ষতি হয়নি কারণ pay পরে চাপা হয়, কিন্তু অভ্যাসটি বিপজ্জনক; route সবসময় আগে। (৪) Pattern কিছুই মেলায় না:
*/orders/*/pay-এর প্রথম*http://127.0.0.1:8793পার হতে পারে না; route কখনো চলে না, অনুরোধ আসল app-এ যায়।**/orders/*/payলিখুন। (৫)abort()app-এর timeout নয়: abort দিলে ব্রাউজারের নিজের ত্রুটির পাতা আসে, বাজারঘরের বার্তা নয়; timeout-এর বার্তা চাইলে fulfill দিয়ে 303. (৬)time.sleep(3): অকারণ ধীর, আর ধীর machine-এ কম পড়তে পারে;expect(page.get_by_test_id("flash")).to_have_text(...). (৭)"চেষ্টা" in page.content(): খুব ঢিলা; পাতার অন্য কোথাও শব্দটি থাকলেও পাস। নির্দিষ্ট element-এ পুরো বার্তা আর অবস্থাplacedassert করুন। (৮)browser.new_page-এর context plugin চেনে না: test শেষে বন্ধ হয় না (session শেষে browser-এর সাথে বন্ধ হয়), আর--tracing-এর trace-এও আসে না;new_contextfixture নিন। -
Trace পড়ে কারণ বলুন: একটি test ব্যর্থ, বার্তা শুধু
Locator expected to have count '1',Actual value: 0. Trace-এর অংশ (সত্যিকারের):
(ক) আসলে কী ঘটেছে? (খ) সম্ভাব্য দুটি কারণ বলুন। (গ) Test-কে কীভাবে বদলালে বার্তা নিজেই কারণ বলে দিত?Duration: 2.1s Actions: 3 Network: 4 requests Errors: 1 1. 0:00.001 Create page 71ms 2. 0:00.073 Navigate /orders 31ms 3. 0:00.109 Expect "to_have_count" getByTestId('order-row') 2.0s ✗ 1. 0:00.078 GET 303 orders 3ms 2. 0:00.081 GET 200 login?next=%2Forders 3ms 3. 0:00.092 GET 200 app.css 7ms 4. 0:00.092 GET 200 app.js 9ms(ক)
/orders-এর উত্তর 303, আর ব্রাউজারlogin?next=%2Forders-এ গেছে: পাতাটি login পাতা, তাই অর্ডারের সারি ০টি, আর assertion ২ সেকেন্ড অপেক্ষা করে ব্যর্থ (✗)। এখানেErrors: 1, কারণ ব্যর্থ হয়েছে Playwright-এর নিজেরexpect. (খ) Context-এর cookie server আর মানছে না: storage_state বানানোর পরে কেউ reset বা logout করেছে (এই পর্বেরtest_reset_kills_saved_state-এ ঠিক তা-ই), অথবা session-এর মেয়াদ ফুরিয়েছে বা state ফাইলটিই পুরোনো। (গ) প্রথমে URL assert করুন:expect(page).to_have_url("/orders"); তখন বার্তায় সরাসরিlogin?next=%2Fordersআসত। আরও ভালো, state-নির্ভর fixture-এ একটি ছোট যাচাই রাখুন (nav-user-এ নাম দেখা যায় কি না), যাতে login হারালে test শুরুতেই স্পষ্ট বার্তায় থামে।
নিজেকে যাচাই করুন
ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।
ক্রমpytest-playwright-এ একটি routed timeout test-এর কাজগুলো ঘটার ক্রমে সাজান (▲▼ চেপে সরান)
- API দিয়ে reset, login আর অর্ডার তৈরি
- storage_state দিয়ে নতুন browser context খোলা
- page.route দিয়ে pay-এর অনুরোধের handler বসানো
- অর্ডারের পাতায় goto আর pay বোতামে click
- Handler নকল 303 দেয়, ব্রাউজার বার্তার পাতায় যায়
- বার্তা, অর্ডারের অবস্থা আর ledger assert করা
pytest-playwright-এ browser fixture-এর scope session আর context fixture-এর scope function. এর মূল কারণ কী?
- প্রতিটি test-এ একই context রাখা, যাতে login থেকে যায়
- Browser চালু করা ব্যয়বহুল, context বানানো সস্তা আর test-গুলোকে আলাদা রাখে
- প্রতিটি context নিজের database পায়
- Context headless চলে, browser headed
একটি suite session-scope fixture-এ একবার login করে storage_state ফাইল বানায়। মাঝখানের একটি test POST /api/test/reset ডাকে, যা server-এর সব session মোছে। পরের state-নির্ভর test-গুলোর কী হবে?
- ফাইল নিজে থেকে নতুন cookie পাবে, সব পাস
- Playwright নিজে আবার login করবে
- Login পাতায় redirect হয়ে ব্যর্থ হবে, যদিও তারা কিছু ভুল করেনি
- pytest সেগুলো স্বয়ংক্রিয়ভাবে skip করবে
Base URL http://127.0.0.1:8793-এ page.route("**/api/cart/items", handler) বসানো হলো। পাতা /api/cart/items?source=card-এ অনুরোধ পাঠায়। কী হবে?
- মিলবে না; handler চলবে না, অনুরোধ server-এ যাবে
- মিলবে, কারণ query string উপেক্ষা হয়
- Playwright একটি ত্রুটি তুলবে
- মিলবে, কারণ glob-এ ? যেকোনো অক্ষর
একটি web app-এর server নিজে একটি বাইরের payment gateway-কে HTTP-তে ডাকে। UI test-এ page.route("**/gateway/**", ...) বসিয়ে gateway-র timeout সাজানোর চেষ্টা হলো। ফল কী হবে?
- Gateway-র অনুরোধ ধরা পড়বে, timeout সাজানো যাবে
- শুধু pattern বদলালেই কাজ হবে
- context.route দিলে কাজ হবে
- ধরা পড়বে না; server-এর দিকের নকল নির্ভরতা লাগবে
একটি ব্যর্থ test-এর trace-এর সারাংশে Errors: 0, অথচ pytest বলছে test FAILED. সবচেয়ে সম্ভাব্য ব্যাখ্যা কী?
- Trace নষ্ট হয়ে গেছে
- ব্যর্থ হয়েছে Python-এর সাধারণ assert, Playwright-এর expect নয়
- Trace শুধু পাস করা test-এর জন্য
- একটি network অনুরোধ ব্যর্থ হয়েছে
৬টি UI test, প্রতিটি প্রায় ৩০০ ms, প্রতিটি test শুরুতে global reset ডাকে আর একই ব্যবহারকারী ব্যবহার করে। দল pytest -n 2 চালু করল। সবচেয়ে সম্ভাব্য ফল কী?
- ঠিক অর্ধেক সময়ে সব পাস
- xdist প্রতিটি worker-কে আলাদা database দেবে
- কিছু test এলোমেলোভাবে ব্যর্থ, আর গতিও তেমন বাড়বে না
- pytest সংঘাত টের পেয়ে run থামিয়ে দেবে
একই অনুরোধ মেলায় এমন তিনটি handler: প্রথমে context.route(A), তারপর page.route(B), তারপর page.route(C). B আর C দুটিই route.fallback() ডাকে। কোন ক্রমে handler চলবে?
- C → B → A
- A → B → C
- A → C → B
- শুধু C
শব্দকোষ
লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:
মনে রাখুন
- Scope: browser session-এ একবার, context আর page প্রতি test-এ নতুন; context ব্রাউজারের অবস্থা আলাদা করে, server-এর data নয়।
- storage_state: একবার login, assertion-এর পরে ফাইল; server-এর session মুছলে অকেজো; ফাইল আর trace গোপন চাবি।
- API দিয়ে setup: APIRequestContext login, cart আর অর্ডার বানায়; ব্রাউজার শুধু যাচাইয়ের অংশে; নির্দিষ্ট উত্তরের জন্য
expect_response. - Route: glob পুরো URL মেলায়,
*/পার হয় না; নতুন handler আগে; শুধু ব্রাউজারের অনুরোধ, তাই পার্শ্বফলের জন্য আসল পথের test-ও রাখুন। - Trace আর parallel: retain-on-failure, তারপর সারাংশ → action → network → request; parallel-এর আগে প্রতিটি worker-এর নিজের data.
আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ
- পর্ব ৩৮ · Selenium WebDriver — wait, browser driver আর Gridপরবর্তী পর্বএকই checkout flow এবার Selenium দিয়ে, আর implicit বনাম explicit wait-এর ফাঁদ।
- পর্ব ৩৬ · Playwright-এর মূল — locator, auto-wait আর assertionআগের পর্বActionability আর polling-এর সময়রেখা।
- পর্ব ৩৪ · Service virtualizationserver-এর নির্ভরতাMock server আর নকল wallet-এর ব্যর্থতা।
- সফটওয়্যার টেস্টিং ও QA · কোর্স হোম৮২টি পর্বপুরো কোর্সের রোডম্যাপ।
- পর্ব ২৩ · Fixture আর test datafixture-এর ভিত্তিScope, yield, factory আর isolation.
- Full-Stack ওয়েব ফ্রেমওয়ার্ক · পর্ব ৭৬TypeScript-এPlaywright Test, setup project আর trace.
- Full-Stack ওয়েব ফ্রেমওয়ার্ক · পর্ব ৭৭server-এর দিকেMSW দিয়ে অনুরোধ ধরা আর flaky test.
- পর্ব ২৯ · Tester-এর জন্য HTTP আর RESTidempotencyStatus code, redirect আর Idempotency-Key.