এই পর্বে যা শিখবেন
- রিপোর্টের চার রকম পাঠক চেনা, আর প্রত্যেকের প্রশ্ন অনুযায়ী একই ফল সাজানো
- একাধিক JUnit XML মিলিয়ে প্রতিটি test-এর ইতিহাস বানানো, আর ইতিহাস থেকে flaky test আর আসল regression আলাদা করা
- pytest-html আর Allure দিয়ে নিজের কম্পিউটারে সত্যিকারের রিপোর্ট বানানো: step, attachment, ব্যর্থতার শ্রেণি আর history
- Pass rate, defect escape rate, MTTD, MTTR, flaky ব্যর্থতার অংশ, suite-এর সময়, coverage আর mutation score-এর অর্থ ও সীমা বোঝা
- Goodhart's law-এর ফাঁদ এড়িয়ে dashboard নকশা করা আর মানুষের পড়ার মতো release summary লেখা
১ · রিপোর্ট কার জন্য — চার পাঠক, চার প্রশ্ন
হাসপাতালে রক্ত পরীক্ষার পর একই ফল চারজনের কাছে যায়। ল্যাবের টেকনিশিয়ান দেখেন কোন যন্ত্রে কোন নমুনা চলেছে, কোনো মান অস্বাভাবিক কি না। ডাক্তার দেখেন গত তিন মাসে hemoglobin বাড়ছে না কমছে। রোগী জানতে চান, “চিন্তার কিছু আছে?” আর হাসপাতালের ব্যবস্থাপক দেখেন কোন যন্ত্রে বারবার নমুনা আবার চালাতে হচ্ছে। কাগজের সংখ্যা একই, কিন্তু প্রশ্ন আলাদা। ডাক্তারকে শুধু “সব মিলিয়ে ৯৮% স্বাভাবিক” বললে তিনি কিছুই বুঝবেন না।
Test রিপোর্টও তাই। পর্ব ১৯ (Test execution আর reporting)-এ আপনি হাতে চালানো test-এর ফল লিখেছেন, RTM বানিয়েছেন আর test summary report-এর গঠন শিখেছেন। এই পর্ব সেখান থেকে স্বয়ংক্রিয় জগতে যায়: CI প্রতিদিন শত শত বার suite চালায়, প্রতিবার যন্ত্র-পাঠ্য ফাইল লেখে, আর সেই ফাইলগুলো থেকে মানুষের সিদ্ধান্তের তথ্য বের করতে হয়। প্রথমে পাঠকদের চিনে নিন:
| পাঠক | মূল প্রশ্ন | যা দেখাতে হবে | কখন |
|---|---|---|---|
| Developer | আমার পরিবর্তনে কী ভাঙল, কেন? | ব্যর্থ test-এর নাম, assertion-এর বার্তা, traceback, request-response | প্রতিটি push-এর কয়েক মিনিটের মধ্যে |
| QA lead | Suite কি বিশ্বাসযোগ্য? কোথায় দুর্বল? | প্রবণতা, flaky test, ধীর test, কোন feature-এ বারবার ব্যর্থতা | প্রতিদিন বা প্রতি sprint |
| Manager / product owner | ঝুঁকি কোথায়? সময়মতো হবে? | কোন requirement এখনো ঝুঁকিতে, গ্রাহকের কাছে কত bug গেল, প্রবণতা | প্রতি সপ্তাহ বা sprint |
| Release-এর দায়িত্বে থাকা মানুষ | এই build যাবে কি না? | Exit criteria-র অবস্থা, খোলা গুরুতর defect, বাকি ঝুঁকি আর কে তা মেনে নিলেন | প্রতিটি release-এর আগে |
Developer-এর দরকার বিস্তারিত; manager-এর দরকার দুই লাইনে ঝুঁকি আর সিদ্ধান্ত। ভালো রিপোর্টিং ব্যবস্থা তাই তিন স্তরে চলে: যন্ত্রের জন্য কাঠামোবদ্ধ ফাইল, ফাইল জমিয়ে ইতিহাস, আর ইতিহাস থেকে প্রতিটি পাঠকের জন্য আলাদা দৃশ্য।
Test run থেকে চার পাঠকের কাছে
test run → result files → history store → views for each reader
একটি সূক্ষ্ম কথা মনে রাখুন। পর্ব ২৬ (xUnit framework)-এ দেখেছেন, build-এর রং ঠিক করে exit code, XML নয়। রিপোর্ট আর gate দুটি আলাদা কাজ: quality gate থামায়, রিপোর্ট ব্যাখ্যা করে। CI-তে stage, gate আর artifact-এর নকশা পর্ব ৬৪ (CI-তে test pipeline)-এর বিষয়; এখানে আমরা ফলের ফাইল হাতে পাওয়ার পরের কাজ দেখব।
২ · JUnit XML — এবার একটি নয়, অনেকগুলো run
পর্ব ২৬-এ JUnit XML-এর গঠন পড়েছেন: <testsuites>, <testsuite>-এর গুনতি, ভেতরে <testcase>, ব্যর্থ হলে <failure>. সেটি আবার শেখানো হবে না। এখানে প্রশ্ন হলো, এমন অনেকগুলো ফাইল একসাথে পেলে কী করবেন। তিনটি কাজ বারবার আসে:
- মেলানো (merge): একই run-এর কয়েকটি ফাইল (unit, API, UI, বা সমান্তরালে চলা কয়েকটি ভাগ) যোগ করে একটি ছবি। গুনতি যোগ হয়, কিন্তু সময় যোগ করা ভুল হতে পারে: তিনটি ভাগ সমান্তরালে ৫ মিনিট করে চললে মোট অপেক্ষা ৫ মিনিট, ১৫ নয়।
- ইতিহাস: ভিন্ন run-এর ফাইল সময়ের ক্রমে সাজিয়ে প্রতিটি test-এর ফলের ধারা, যেমন
PPFPP(পাস, পাস, ফেল, পাস, পাস)। - প্রসঙ্গ জোড়া: প্রতিটি run কোন commit-এ, কোন পরিবেশে, কোন configuration-এ চলেছে। এটি ছাড়া ইতিহাস অর্থহীন, যেমন একটু পরে দেখবেন।
Test-এর পরিচয় স্থির রাখা
ইতিহাস বানাতে প্রতিটি test-কে run থেকে run-এ চিনতে হয়। JUnit XML-এ পরিচয় হলো classname আর name-এর জোড়া, যা pytest-এর node id থেকে আসে। Parametrize করা test-এর নামে বন্ধনীর ভেতরের id-ও থাকে, যেমন test_coupon_rule[coupon-1000]. তাই কেউ id বদলালে বা ফাইল সরালে ইতিহাসের চোখে পুরোনো test “মারা গেল” আর নতুন একটি “জন্মাল”; flaky-র পুরোনো দাগও হারিয়ে যায়। Parametrize-এ অর্থবহ, স্থির id দিন (যেমন ids=), এলোমেলো মান বা সময় দিয়ে id বানাবেন না।
Run-এর প্রসঙ্গ XML-এর ভেতরে
JUnit XML-এ <properties> অংশ আছে, যেখানে run-এর তথ্য রাখা যায়। pytest-এ record_testsuite_property নামের fixture দিয়ে পুরো suite-এর জন্য একটি property লেখা যায়, যেমন commit-এর id. (Test-প্রতি record_property pytest-এর ডিফল্ট “xunit2” রূপে সতর্কবার্তা দেয়; docs-এ মিলিয়ে নিন।)
এবার এই পাতাতেই পুরো ধারাটি চালান। কোড একটি ছোট test ফাইল লেখে, তারপর Pyodide-এর ভেতরের pytest দিয়ে পাঁচবার চালায়, প্রতিবার আলাদা JUnit XML-এ। প্রথম দুই run commit a1f-এ, পরের দুটি b2c-এ (এই commit-এ coupon-এর > ভুল করে >= হয়েছে), শেষটি c3d-এ (ঠিক করা)। test_badge হলো একটি অনুকরণ করা flaky test: run নম্বর দিয়ে seed করা random সংখ্যা, তাই প্রতিবার একই ফল দেয়, কিন্তু আচরণ flaky test-এর মতো। তারপর কোড XML পড়ে প্রতিটি test-এর ইতিহাস বানায় আর শ্রেণিতে ভাগ করে:
import contextlib, io, os, sys, pytest, xml.etree.ElementTree as ET
os.makedirs("/home/pyodide/p67", exist_ok=True); os.chdir("/home/pyodide/p67")
open("test_shop67.py", "w").write('''
import os, random, pytest
RUN, BUG = int(os.environ["RUN"]), os.environ["BUG"] == "1"
@pytest.fixture(autouse=True, scope="session")
def commit(record_testsuite_property):
record_testsuite_property("commit", os.environ["COMMIT"])
def coupon(t): return min(t // 10, 300) if (t >= 1000 if BUG else t > 1000) else 0
def test_coupon_1000(): assert coupon(1000) == 0
def test_coupon_1001(): assert coupon(1001) == 100
def test_coupon_cap(): assert coupon(5000) == 300
def test_badge(): assert random.Random(RUN).random() > 0.2 # simulated flake
''')
RUNS = [("a1f", "0"), ("a1f", "0"), ("b2c", "1"), ("b2c", "1"), ("c3d", "0")]
hist = {}
for n, (commit, bug) in enumerate(RUNS, 1):
os.environ.update(RUN=str(n), BUG=bug, COMMIT=commit)
sys.modules.pop("test_shop67", None)
with contextlib.redirect_stdout(io.StringIO()):
pytest.main(["-p", "no:cacheprovider", f"--junitxml=run{n}.xml", "test_shop67.py"])
suite = ET.parse(f"run{n}.xml").getroot().find("testsuite")
props = {p.get("name"): p.get("value") for p in suite.iter("property")}
for tc in suite.iter("testcase"):
hist.setdefault(tc.get("name"), []).append((props["commit"], tc.find("failure") is None))
t, f = int(suite.get("tests")), int(suite.get("failures"))
print(f"run{n} commit={props['commit']} tests={t} failed={f} pass={100 * (t - f) / t:.0f}%")
for name, h in hist.items():
by = {}
for c, ok in h: by.setdefault(c, set()).add(ok)
seq = "".join("P" if ok else "F" for _, ok in h)
if any(len(s) == 2 for s in by.values()): kind = "FLAKY: pass and fail on one commit"
elif "F" in seq: kind = "fails on " + ",".join(c for c, s in by.items() if s == {False})
else: kind = "stable"
print(f"{name:16} {seq} {kind}")আসল আউটপুট (ব্রাউজারের Python):
run1 commit=a1f tests=4 failed=1 pass=75%
run2 commit=a1f tests=4 failed=0 pass=100%
run3 commit=b2c tests=4 failed=1 pass=75%
run4 commit=b2c tests=4 failed=1 pass=75%
run5 commit=c3d tests=4 failed=0 pass=100%
test_coupon_1000 PPFFP fails on b2c
test_coupon_1001 PPPPP stable
test_coupon_cap PPPPP stable
test_badge FPPPP FLAKY: pass and fail on one commit
প্রতি run-এর সারাংশ বিভ্রান্তিকর। run1, run3 আর run4-এর pass rate একই, ৭৫%. শুধু এই সংখ্যা দেখলে মনে হবে তিনটি run-এর সমস্যা একই রকম। অথচ run1-এর ব্যর্থতা একটি flaky test, আর run3-run4-এর ব্যর্থতা আসল bug.
ইতিহাস আর commit একসাথে সত্য বলে। test_badge commit a1f-এ একবার ফেল, একবার পাস: কোড একই, ফল ভিন্ন, তাই flaky test-এর প্রার্থী। test_coupon_1000 commit b2c-এর দুটি run-এই ফেল, আগের আর পরের commit-এ পাস: এটি একটি পরিবর্তনের সাথে বাঁধা, স্থির ব্যর্থতা, অর্থাৎ regression, যা c3d-এ সারানো হয়েছে। খেয়াল করুন, শুধু ধারা PPFFP দেখে কিছু বলা যেত না; commit-এর property না থাকলে এটিও “কখনো পাস, কখনো ফেল”, অর্থাৎ ভুল করে flaky মনে হতো।
দুর্বলতা: কোনো commit-এ একবারই চলে ফেল করা flaky test-কে regression মনে হবে। তাই ফেল করা test সাধারণত একই commit-এ আবার চালানো হয়, পর্ব ৪০-এর rerun-এর মতো করে।
রিপোর্টে কম্পিউটারের নাম: pytest-এর JUnit XML-এর <testsuite>-এ hostname attribute-এ আসল কম্পিউটারের নাম লেখা থাকে, আর timestamp-এ স্থানীয় সময়। নিচের সত্যিকারের run-এও তাই ছিল; এই পাতার সব উদ্ধৃতি থেকে সেগুলো সরানো হয়েছে। নিজের ল্যাপটপের রিপোর্ট কোথাও প্রকাশ্যে দেওয়ার আগে একই কাজ করুন।
৩ · সত্যিকারের run — পাঁচবার suite, একটি বসানো bug, একটি flaky test
এবার আসল app, আসল tool. নিচের সবকিছু এই কোর্সের লেখার সময় একটি সাধারণ Windows ডেস্কটপে সত্যিকারভাবে চালানো, কোর্সের বাজারঘর app-এর একটি কপির বিরুদ্ধে (শুধু 127.0.0.1-এ চলে, কোনো বাইরের যোগাযোগ নেই)। Python 3.12.13, pytest 9.2.0 (MIT), httpx 0.28.1 (BSD-3-Clause), uv দিয়ে বানানো environment; path নিরপেক্ষ করা। Suite-এ দুটি অংশ:
- app-এর নিজের ১৫০টি test (FastAPI-র TestClient দিয়ে, server ছাড়া)
- একটি ছোট API subset, চলমান server-এর বিরুদ্ধে: coupon-এর তিনটি সীমা, shipped order cancel করলে 409, “oil” খুঁজলে দুটি পণ্য; আর ইচ্ছা করে বানানো একটি flaky test, যা নির্দিষ্ট সময়
sleepকরে একটি ২০ থেকে ৮০ মিলিসেকেন্ডের কাজের সাথে পাল্লা দেয় (পর্ব ৪০-এর চেনা ভুল অভ্যাস)। মোট ১৫৬টি test.
BASE = os.environ.get("BAZARGHAR_URL", "http://127.0.0.1:8854")
@allure.feature("pricing")
@pytest.mark.parametrize(("subtotal", "discount"),
[(1000, 0), (1001, 100), (3000, 300)])
def test_quote_coupon(api, subtotal, discount):
with allure.step(f"GET /api/pricing/quote?subtotal={subtotal}"):
r = api.get("/api/pricing/quote",
params={"subtotal": subtotal, "district": "Dhaka"})
allure.attach(r.text, "quote.json", allure.attachment_type.JSON)
assert r.json()["discount"] == discount
@allure.feature("cart")
def test_badge_after_add_flaky():
"""Deliberately flaky (lab only): a fixed sleep races a 20-80 ms worker."""
badge = {"count": 0}
def worker():
time.sleep(random.uniform(0.020, 0.080))
badge["count"] = 1
threading.Thread(target=worker).start()
time.sleep(0.060) # the bad habit: a fixed wait
assert badge["count"] == 1allure.step আর allure.attach পরের অংশে Allure-এর জন্য; pytest-এর ফলের ওপর এদের কোনো প্রভাব নেই। Suite পাঁচবার চালানো হলো। প্রতিবার server নতুন করে চালু হয়েছে; তৃতীয় run-এ server আর app-এর test দুটিতেই seeded bug coupon_ge চালু (coupon-এ >-এর জায়গায় >=)। একটি run-এর command এমন:
cd ~/bazarghar-qa
# run 3: the seeded bug is on in both the server and the suite
BAZARGHAR_TEST_MODE=1 BAZARGHAR_BUGS=coupon_ge \
uv run uvicorn bazarghar.asgi:app --host 127.0.0.1 --port 8854 &
BAZARGHAR_BUGS=coupon_ge uv run pytest tests tests_api -q \
--junitxml=results/run-3.xmlপাঁচটি run একটি ছোট Python script (run_all.py) চালিয়েছে: server চালু, test, তারপর নিজের চালু করা server-টিকে তার process id দিয়ে বন্ধ। সত্যিকারের আউটপুট:
run 1 bugs=- exit=1 wall=18.5s 1 failed, 155 passed in 17.18s
run 2 bugs=- exit=0 wall=14.3s 156 passed in 13.56s
run 3 bugs=coupon_ge exit=1 wall=14.1s 3 failed, 153 passed in 13.39s
run 4 bugs=- exit=0 wall=14.8s 156 passed in 14.05s
run 5 bugs=- exit=0 wall=13.9s 156 passed in 13.23s
প্রথম run-টি bug ছাড়া, অথচ লাল (exit 1). কোন test? এবার পাঁচটি XML মিলিয়ে দেখার script, merge_trend.py (৩৫ লাইনের মধ্যে, শুধু Python-এর standard library):
for f in files:
run = f.split("run-")[1].split(".")[0]
suite = ET.parse(f).getroot().find("testsuite")
for tc in suite.iter("testcase"):
tid = tc.get("classname") + "::" + tc.get("name")
bad = tc.find("failure") is not None or tc.find("error") is not None
history[tid][run] = ("F" if bad else "P", float(tc.get("time")))
t, fl = int(suite.get("tests")), int(suite.get("failures")) + int(suite.get("errors"))
print(f"{run:>3} {t:>9} {fl:>7} {100 * (t - fl) / t:>6.1f} {float(suite.get('time')):>9.2f}")
# … then: median time per test, and every test that failed at least once$ uv run python merge_trend.py
run tests failed pass% suite s
1 156 1 99.4 17.16
2 156 0 100.0 13.55
3 156 3 98.1 13.39
4 156 0 100.0 14.03
5 156 0 100.0 13.20
slowest (median of runs):
0.178s tests.test_orders::test_happy_path_to_delivered
0.172s tests.test_pages_and_meta::test_checkout_via_form
0.171s tests.test_payment::test_key_reused_for_other_order
failed at least once:
PPFPP tests.test_pricing::test_coupon_rule[coupon-1000]
PPFPP tests.test_pricing::test_quote_endpoint[1000-Dhaka-False-expected0]
FPPPP tests_api.test_api_live::test_badge_after_add_flaky
PPFPP tests_api.test_api_live::test_quote_coupon[1000-0]
এই ফলটি ধাপে ধাপে পড়ুন। “পরে” চাপুন:
| কাজ | |
| ডেটা | |
| ফল |
- ফাইল। পাঁচটি run, পাঁচটি XML. প্রতিটির
<testsuite>-এtests="156". গুনতি একই থাকা নিজেই একটি যাচাই: কোনো run-এ test কম থাকলে আগে খুঁজুন কেন (collection error, skip, ফাইল বাদ)। - একটি run. run-1-এ
failures="1",errors="0", সময় ১৭.১৬ সেকেন্ড। (১৫৬ − ১) ÷ ১৫৬ = ৯৯.৪%. একা দেখলে প্রশ্ন জাগে না: “প্রায় সবই পাস”। - পাশাপাশি। পাঁচটি run-এ ব্যর্থ ১, ০, ৩, ০, ০; pass rate ৯৯.৪, ১০০, ৯৮.১, ১০০, ১০০. এটুকুই সাধারণ dashboard দেখায়। দুটি লাল run, কিন্তু কারণ একই না আলাদা, সংখ্যা বলে না।
- Test-প্রতি ধারা। প্রতিটি test-এর পরিচয়
classname::name; ১৫৬টি পরিচয়ের প্রতিটির পাঁচটি ফল। বেশিরভাগের ধারাPPPPP. এই ধাপেই পরিচয় স্থির থাকার গুরুত্ব: নাম বদলালে ধারা ছিঁড়ে যায়। - লাল দাগ। অন্তত একবার ফেল করেছে মাত্র ৪টি test. তিনটির ধারা
PPFPP, একটিরFPPPP. মোট ১৫৬ × ৫ = ৭৮০টি ফলের মধ্যে ৪টি লাল; চোখ এখানেই রাখা দরকার। - প্রসঙ্গ। run 3-এ
coupon_geচালু ছিল, তাই তিনটিPPFPPএকই কারণে, একই সীমায় (১০০০ টাকা): একটি bug, তিনটি test.test_badge_after_add_flakyrun 1-এ ফেল করেছে, যখন কোড run 2, 4, 5-এর মতোই ছিল: flaky-র প্রার্থী। Dashboard-এ “৪টি ব্যর্থ test” লেখা থাকলে দুটি সম্পূর্ণ ভিন্ন কাজ এক সংখ্যায় হারিয়ে যেত। - সময়। সবচেয়ে ধীর test ০.১৭৮ সেকেন্ড (median), তাই suite-এ একক বড় বোঝা নেই। run 1-এর suite ১৭.১৬ সেকেন্ড, বাকিরা প্রায় ১৩.৫: প্রথম run-এ সাধারণত ফাইল আর import ঠান্ডা থাকে। একটি run দেখে “suite ধীর হচ্ছে” বলা ভুল হতো; প্রবণতা দেখতে অনেক run লাগে।
একটি run-এর সংখ্যা প্রশ্ন তোলে, উত্তর দেয় না। উত্তর আসে তিনটি জিনিস মিলিয়ে: প্রতিটি test-এর ইতিহাস, প্রতিটি run-এর প্রসঙ্গ (commit, bug switch, পরিবেশ), আর ব্যর্থতার বার্তা। এখানে তিনটি PPFPP-এর বার্তা একই সংখ্যা দেখায়: assert 100 == 0.
৪ · মানুষের জন্য HTML — pytest-html
XML যন্ত্রের জন্য; মানুষ ব্রাউজারে পড়তে চান। পর্ব ৪৪ (Acceptance testing আর UAT)-এ pytest-html দিয়ে sign-off-এর রিপোর্ট বানিয়েছিলেন। এখানে একই tool-কে রিপোর্টের দৃষ্টিতে দেখা যাক। Bug চালু থাকা তৃতীয় run-এ একই command-এ দুটি option যোগ হয়েছিল:
uv add --dev pytest-html==4.2.0 # MPL-2.0, brings pytest-metadata 3.1.1
uv run pytest tests tests_api -q --junitxml=results/run-3.xml \
--html=report-run3.html --self-contained-htmlফল একটি ফাইল, প্রায় ১৩৫ KB (১৫৬টি test-এর জন্য)। সত্যিকারের রিপোর্টে যা ছিল:
- সারাংশের সারি: “156 tests took 00:00:13”, আর ফলের ধরন অনুযায়ী গুনতি (Failed 3, Passed 153, বাকি শূন্য), প্রতিটিতে চাপ দিলে সেই ধরনের test দেখানো বা লুকানো।
- প্রতিটি test-এর সারি: ফল, পুরো test id (
tests_api/test_api_live.py::test_quote_coupon[1000-0]), সময় (যেমন “117 ms”), আর ব্যর্থ test-এ খোলা যায় এমন log: terminal-এর মতো পুরো traceback, শেষেE assert 100 == 0. - Environment-এর ছক: Python 3.12.13, platform (operating system-এর সংস্করণ), pytest আর pluggy-র সংস্করণ, আর চালু থাকা plugin-এর তালিকা। এটি আসে pytest-metadata থেকে; CI-তে চালালে সেখানকার কিছু তথ্যও যোগ হতে পারে।
--self-contained-html থাকায় CSS আর ডেটা এক ফাইলের ভেতরে; ইমেইলে বা CI-র artifact হিসেবে পাঠানো সহজ। সীমাও স্পষ্ট: এটি একটি run-এর ছবি। আগের run-এর সাথে তুলনা, ধাপের ভাগ বা ব্যর্থতার শ্রেণি নেই। সেগুলোর জন্য পরের tool.
Environment-এর ছকে কী যাচ্ছে, দেখে নিন: pytest-metadata CI-তে environment variable থেকে তথ্য তুলতে পারে, আর কোনো plugin বা দলের নিজের কোড চাইলে আরও তথ্য যোগ করতে পারে। কোনো secret, token বা অভ্যন্তরীণ ঠিকানা যেন রিপোর্টে না ঢোকে, তা একবার খুলে যাচাই করুন। ব্যর্থ test-এর log-এ API-র উত্তর ছাপা হলে সেখানে গ্রাহকের তথ্যও থাকতে পারে; test data কৃত্রিম রাখাই নিরাপদ (পর্ব ৬৫-এর masking দেখুন)।
৫ · Allure — step, attachment, শ্রেণি আর history
Allure Report একটি open source রিপোর্ট tool (Apache 2.0 লাইসেন্স)। শুরুতে Yandex-এর একটি দলের হাতে তৈরি বলে জানা যায়; এখন Qameta Software রক্ষণাবেক্ষণ করে। এর কাজের ধারা দুই ধাপে: test চলার সময় একটি adapter (এখানে allure-pytest 2.16.2, Apache 2.0) প্রতিটি test-এর জন্য একটি JSON ফাইল লেখে allure-results ফোল্ডারে; পরে Allure-এর commandline সেই ফোল্ডার থেকে একটি HTML রিপোর্ট বানায়। Commandline-এর 2.x সংস্করণ Java-য় লেখা, তাই একটি Java runtime লাগে। (Allure Report 3 নামে একটি নতুন প্রজন্ম Node.js-ভিত্তিক বলে প্রকল্পটি জানায়; এখানে পরিপক্ব 2.x ব্যবহার হয়েছে।)
Java ইনস্টল না করে
সিস্টেমে Java ইনস্টল করার দরকার নেই। এই run-এ Eclipse Temurin 21-এর portable JRE (GPLv2 with Classpath Exception) আর allure-commandline 2.46.2-এর zip দুটি একটি আলাদা ফোল্ডারে খুলে JAVA_HOME শুধু সেই terminal-এর জন্য বসানো হয়েছে; কাজ শেষে ফোল্ডারটি মুছে দেওয়া হয়েছে।
সত্যিকারের ফাঁদ, telemetry: Allure 2.x রিপোর্ট বানানোর সময় নিজে থেকে ব্যবহারের তথ্য পাঠাতে পারে, আর তৈরি হওয়া index.html-এ Google Analytics-এর script বসায়। বন্ধ করার environment variable ALLURE_NO_ANALYTICS. আমরা প্রথমে লিখেছিলাম ALLURE_NO_ANALYTICS=1, আর রিপোর্টের index.html-এ googletagmanager-এর script থেকেই গেল। Allure-এর কোড মানটিকে Java-র boolean হিসেবে পড়ে, যেখানে শুধু true মানে সত্য; 1 মানে মিথ্যা। ALLURE_NO_ANALYTICS=true দিয়ে আবার বানানোর পর index.html-এ analytics-এর একটিও লাইন ছিল না। শিক্ষা: “telemetry বন্ধ” বিশ্বাস না করে তৈরি ফাইলে খুঁজে দেখুন।
uv add --dev allure-pytest==2.16.2 # Apache-2.0
export JAVA_HOME=~/tools/jre-21 # portable JRE, lab folder only
export ALLURE_NO_ANALYTICS=true # "true", not "1"
# run 3 (bug on) and run 4 (clean) each wrote their own results folder:
# pytest ... --alluredir=allure-results-3 / --alluredir=allure-results-4
allure generate allure-results-3 -o allure-report --clean
cp -r allure-report/history allure-results-4/history # carry history forward
allure generate allure-results-4 -o allure-report --clean$ allure --version
2.46.2
$ allure generate allure-results-3 -o allure-report --clean
Report successfully generated to allure-report
$ allure generate allure-results-4 -o allure-report --clean
Report successfully generated to allure-report
(Windows-এ একই command PowerShell থেকে allure.bat দিয়ে চলেছে; প্রতিটি রিপোর্ট বানাতে প্রায় ১ সেকেন্ড।) তৃতীয় run-এর allure-results-3-এ ছিল ১৫৬টি result.json (প্রতি test একটি), ৬৪১টি container.json (fixture-এর setup আর teardown-এর হিসাব) আর ৪টি attachment. রিপোর্টের ডেটা থেকে যা পাওয়া গেল:
- Step:
test_cancel_shipped_order_is_409-এর ভেতরে দুটি নামসহ ধাপ, “login as rafi@bazarghar.test” (১১ মিলিসেকেন্ড) আর “cancel shipped order 5” (৫ মিলিসেকেন্ড), প্রতিটির আলাদা পাস-ফেল। লম্বা UI test-এ কোন ধাপে ভাঙল, তা এক নজরে দেখা যায়। - Attachment: প্রতিটি coupon test-এ API-র উত্তর
quote.json. bug-এর run-এ ১০০০ টাকার উত্তর ছিল{"subtotal":1000,"discount":100,"delivery":60,"total":960,…}; developer-কে আর নিজে request পাঠিয়ে দেখতে হয় না। - শ্রেণি: Allure ব্যর্থতাকে ডিফল্টে দুই ভাগে রাখে: assertion ব্যর্থ হলে “Product defects” (failed), অন্য কোনো exception হলে “Test defects” (broken). run 3-এ “Product defects: 3”. দলের নিজের নিয়ম লিখে শ্রেণি যোগ করা যায়, যেমন “timeout হলে পরিবেশের সমস্যা”।
- History: আগের রিপোর্টের
historyফোল্ডার নতুন results-এ কপি করায় দ্বিতীয় রিপোর্টের trend-এ দুটি বিন্দু: ১৫৩ পাস ৩ ফেল, তারপর ১৫৬ পাস।test_quote_coupon[1000-0]-এর পাতায় চিহ্ন “newPassed”, অর্থাৎ আগের run-এ ফেল, এবার পাস; পাশে আগের ফলের বার্তাAssertionError: assert 100 == 0. - Feature অনুযায়ী দল:
@allure.feature("pricing")-এর মতো label দিয়ে “Behaviors” দৃশ্যে test-গুলো ব্যবসার feature অনুযায়ী সাজানো যায়; product owner-এর কাছে ফাইলের নামের চেয়ে এটি বেশি অর্থবহ।
Allure-এর history নিজে থেকে জমে না; প্রতিটি নতুন রিপোর্টের আগে আগেরটির history ফোল্ডার আনতে হয়। CI-তে তাই আগের run-এর artifact বা একটি সংরক্ষিত ফোল্ডার থেকে কপি করার ধাপ লাগে, নইলে প্রতিবার trend-এ একটিই বিন্দু। রিপোর্টের index.html সরাসরি ফাইল হিসেবে খুললে অনেক ব্রাউজার ডেটা লোড করতে দেয় না; allure open একটি ছোট local server চালিয়ে খোলে, আর নতুন 2.x সংস্করণে এক ফাইলের রিপোর্টের option-ও আছে (--single-file, docs-এ মিলিয়ে নিন)। Allure-এর ডেটাতেও host label-এ কম্পিউটারের নাম ছিল; ওপরের উদ্ধৃতিতে তা নেই।
অনেক দল আর project-এর ফল দীর্ঘদিন এক জায়গায় রাখতে কিছু দল server-ভিত্তিক প্ল্যাটফর্ম ব্যবহার করে, যেমন ReportPortal (open source, Apache 2.0, শুরুতে EPAM-এর তৈরি বলে জানা যায়); ইতিহাস database-এ থাকে। এই কোর্সে তা চালানো হয়নি। GitLab CI-এর মতো কিছু CI নিজেই JUnit XML পড়ে merge request-এর পাতায় নতুন ব্যর্থ test দেখায়।
৬ · ইতিহাস আর প্রবণতা — flaky চেনা আর চার্টের ফাঁদ
Trend analysis মানে একটি সংখ্যাকে একবার নয়, অনেক run জুড়ে দেখা। পর্ব ৪০ (Flaky test)-এ দেখেছেন, test history থেকে flaky test খোঁজার জন্য কাঠামোবদ্ধ রিপোর্ট লাগে; ওপরের দুটি run-এ সেই কাঠামো তৈরি হলো। ইতিহাস থেকে সাধারণত চারটি প্রশ্নের উত্তর মেলে:
নতুন ব্যর্থতা
আগের run-এ পাস, এবার ফেল। Developer-এর সবচেয়ে জরুরি তালিকা, কারণ সাধারণত সর্বশেষ পরিবর্তনের সাথে যুক্ত।
Flaky প্রার্থী
একই commit-এ পাস আর ফেল দুটোই। Flake rate হিসাব করে quarantine-এর সিদ্ধান্ত (পর্ব ৪০)।
স্থায়ী লাল
অনেক run ধরে ফেল, কেউ দেখছেন না। সারান বা মুছুন; স্থায়ী লাল নতুন ব্যর্থতাকে আড়াল করে।
ধীরে বাড়া সময়
Suite duration বা একটি test-এর সময় ধীরে ধীরে বাড়ছে। একদিনে চোখে পড়ে না, তিন মাসে feedback দ্বিগুণ ধীর।
প্রবণতা দেখানোর প্রচলিত উপায় একটি sparkline: লেখার পাশে খুব ছোট রেখাচিত্র, অক্ষ বা লেবেল ছাড়া। ছোট বলে এর একটি বড় ফাঁদ আছে: অক্ষ কোথা থেকে শুরু। নিচের JavaScript সত্যিকারের পাঁচটি run-এর সংখ্যা দিয়ে একই ডেটা তিনভাবে আঁকে, আর লেখার sparkline-ও ছাপে। “চালান” চাপুন:
// Real numbers: five desktop runs of the bazarghar suite (156 tests)
const failed = [1, 0, 3, 0, 0];
const secs = [17.16, 13.55, 13.39, 14.03, 13.20];
const pass = failed.map(f => +(100 * (156 - f) / 156).toFixed(1));
const BARS = "▁▂▃▄▅▆▇█";
function spark(xs, lo = Math.min(...xs), hi = Math.max(...xs)) {
return xs.map(x => BARS[Math.round((x - lo) / (hi - lo) * 7)]).join("");
}
console.log("pass % auto axis ", spark(pass), pass.join(" "));
console.log("pass % 0-100 axis", spark(pass, 0, 100));
console.log("seconds auto axis ", spark(secs), secs.join(" "));
function line(xs, lo, hi, color, label) { // tiny SVG, 5 points
const pts = xs.map((x, i) => [10 + i * 50, 50 - (x - lo) / (hi - lo) * 40]);
return `<div>${label}</div><svg viewBox="0 0 220 56" width="220" height="56">
<polyline points="${pts.join(" ")}" fill="none" stroke="${color}" stroke-width="2"/>
${pts.map(([x, y]) => `<circle cx="${x}" cy="${y}" r="3" fill="${color}"/>`).join("")}</svg>`;
}
document.getElementById("ui").innerHTML =
line(pass, Math.min(...pass), 100, "#dc2626", "pass % — axis 98.1 to 100") +
line(pass, 0, 100, "#16a34a", "pass % — axis 0 to 100") +
line(secs, 0, Math.max(...secs), "#2563eb", "suite seconds — axis from 0");আসল আউটপুট (console):
pass % auto axis ▆█▁██ 99.4 100 98.1 100 100
pass % 0-100 axis █████
seconds auto axis █▂▁▂▁ 17.16 13.55 13.39 14.03 13.2
একই ডেটা, দুটি বিপরীত গল্প। ডেটার সর্বনিম্ন থেকে অক্ষ শুরু হলে (প্রথম লাল রেখা) ৯৮.১%-এর run দেখায় ভয়ংকর পতন। ০ থেকে ১০০ অক্ষে (সবুজ রেখা) পাঁচটি run সমান সরলরেখা, তিনটি ব্যর্থ test যেন নেই। দুটিই “সঠিক” আঁকা, দুটিই একা বিভ্রান্তিকর।
সমাধান চার্টে নয়, সংখ্যায়। ভালো dashboard sparkline-এর পাশে আসল মান লেখে (“৯৮.১%, ৩টি ব্যর্থ”), অক্ষের সীমা জানায়, আর pass rate-এর বদলে বা পাশাপাশি ব্যর্থ test-এর সংখ্যা দেখায়, কারণ “৩টি ব্যর্থ” কাজের তালিকা, “৯৮.১%” নয়। সময়ের রেখা ০ থেকে শুরু, তাই run 1-এর ১৭ সেকেন্ড একটি পরিমিত উঁচু বিন্দু।
৭ · কোন metric অর্থবহ — আর কোনটি শুধু দেখতে ভালো
পর্ব ১৯-এ Goodhart's law আর vanity metric-এর পরিচয় হয়েছে: যে সংখ্যা লক্ষ্য হয়ে যায়, সে আর ভালো মাপ থাকে না; আর কিছু সংখ্যা দেখতে ভালো লাগে কিন্তু কোনো সিদ্ধান্ত বদলায় না। এখানে স্বয়ংক্রিয় test-এর metric একে একে দেখা যাক। প্রতিটির জন্য তিনটি প্রশ্ন: কী মাপে, কী মাপে না, আর কোন সিদ্ধান্তে কাজে লাগে।
| Metric | হিসাব | কাজে লাগে | ফাঁদ |
|---|---|---|---|
| Pass rate | পাস ÷ চালানো test | একটি run-এর দ্রুত অবস্থা | হর বদলায় (skip, মুছে ফেলা test); ১টি গুরুতর ব্যর্থতা আর ১টি তুচ্ছ সমান ওজনের |
| Defect escape rate | release-এর পরে ধরা ÷ (testing-এ ধরা + পরে ধরা) | testing আসলে কী আটকায়, তার সবচেয়ে সরাসরি মাপ | দেরিতে জানা যায়; গ্রাহক না জানালে গোনা হয় না; গুরুত্ব অনুযায়ী ভাগ না করলে বিভ্রান্তিকর |
| Flaky ব্যর্থতার অংশ | flaky কারণে লাল build ÷ সব লাল build | মানুষ লাল রং বিশ্বাস করে কি না | flaky চেনার নিয়ম দুর্বল হলে সংখ্যাও ভুল |
| MTTD | ভুল কোড ঢোকা থেকে প্রথম লাল run | suite কত দ্রুত ধরে; রাতের run বনাম প্রতি push | কখন ঢুকল, তা প্রায়ই পরে জানা যায় |
| MTTR (লাল থেকে সবুজ) | প্রথম লাল run থেকে আবার সবুজ | দল লাল build কত গুরুত্ব দেয় | গড় একটি লম্বা ঘটনায় ফুলে ওঠে; median-ও দেখুন |
| Suite duration | এক run-এর মোট অপেক্ষা | developer কত দ্রুত ফল পান | সমান্তরাল ভাগে মোট CPU সময় আর অপেক্ষা আলাদা |
| Coverage | চলা লাইন ÷ মোট লাইন | কোন কোড কোনো test-এ চলেইনি | চলা মানে যাচাই নয়; লক্ষ্য হলে assertion-হীন test বাড়ে |
| Mutation score | killed ÷ (মোট − equivalent) | test ছোট ভুল ধরে কি না | দামি; equivalent mutant-এর অনিশ্চয়তা |
Defect escape rate-এর উল্টো দিক হলো defect detection percentage (DDP): testing-এ ধরা ÷ মোট। Escape rate ১০% মানে DDP ৯০%. Coverage আর mutation score-এর সম্পর্ক পর্ব ৫৯ (Mutation testing)-এ বিস্তারিত। আর delivery-র গতি ও স্থিতি মাপার চারটি DORA metric-এর মধ্যে দুটি testing-এর কাছাকাছি: পরিবর্তন ব্যর্থ হওয়ার হার আর সেবা ফেরাতে সময়। এগুলো সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৫৯-এ পড়ানো হয়েছে।
Metric বাছার একটি পদ্ধতি: লক্ষ্য → প্রশ্ন → মাপ
সংখ্যা দিয়ে শুরু করলে যা মাপা সহজ, তাই মাপা হয়। উল্টো পথ হলো Goal-Question-Metric (GQM), যা Victor Basili ও সহকর্মীরা ১৯৮০-এর দশকে NASA-র software-এর কাজে গড়ে তোলেন বলে উদ্ধৃত হয়। বাজারঘরে একটি উদাহরণ:
- লক্ষ্য: টাকার হিসাবের ভুল গ্রাহকের কাছে যেন না পৌঁছায়।
- প্রশ্ন: pricing-এর কত bug release-এর পরে ধরা পড়ছে? Pricing-এর test কি সীমার ভুল ধরে? লাল হলে কত দ্রুত সারানো হয়?
- মাপ: pricing-এর defect escape rate; pricing module-এর mutation score; pricing-এর test লাল থেকে সবুজ হওয়ার median সময়।
লক্ষ করুন, “pass rate” তালিকায় আসেনি, কারণ কোনো প্রশ্নের উত্তর সে দেয় না। আর প্রতিটি মাপ একটি প্রশ্নের সাথে বাঁধা, তাই সংখ্যা খারাপ হলে কী করতে হবে তা-ও জানা।
এবার একটি dashboard-এর ডেটায় এই চিন্তা চালান। নিচের সংখ্যাগুলো বাজারঘরের দলের তিনটি sprint-এর কাল্পনিক ডেটা; কোড প্রথমে metric হিসাব করে, তারপর পাঁচটি “গন্ধ” (smell) খোঁজে, অর্থাৎ এমন নকশা যেখানে সংখ্যা একটি গল্প বলছে আর বাস্তবতা আরেকটি:
from statistics import median
# invented dashboard data, three sprints of the bazarghar team
D = {"tests": [1180, 1240, 1105], "passed": [1121, 1203, 1094],
"line_cov": [71, 78, 86], "mutation": [64, 63, 61],
"found_in_test": [34, 29, 18], "escaped": [3, 4, 9],
"red_builds": [12, 15, 22], "flaky_reds": [3, 6, 11],
"hours_to_green": [[1, 2, 6], [2, 3, 9, 20], [4, 8, 30, 52]],
"suite_min": [11, 14, 19]}
pct = lambda a, b: [round(100 * x / y, 1) for x, y in zip(a, b)]
M = {"pass rate %": pct(D["passed"], D["tests"]),
"escape rate %": pct(D["escaped"], [f + e for f, e in zip(D["found_in_test"], D["escaped"])]),
"flake share %": pct(D["flaky_reds"], D["red_builds"]),
"median h to green": [median(h) for h in D["hours_to_green"]],
"line cov %": D["line_cov"], "mutation %": D["mutation"], "suite min": D["suite_min"]}
for k, v in M.items():
print(f"{k:18} {v}")
up = lambda xs: xs[-1] > xs[0]
smells = []
if up(M["pass rate %"]) and D["tests"][-1] < D["tests"][1]:
smells.append("pass rate up while tests were removed: check deleted/skipped tests")
if up(D["line_cov"]) and not up(D["mutation"]):
smells.append("coverage up, mutation score down: tests run code but check less")
if up(M["escape rate %"]):
smells.append("more bugs reach customers: the suite misses what matters")
if M["flake share %"][-1] > 30:
smells.append("most red builds are flaky: people will stop trusting red")
if D["suite_min"][-1] > 1.5 * D["suite_min"][0]:
smells.append("feedback is slower: suite time grew more than 50%")
print("\nsmells:", len(smells))
for s in smells:
print(" -", s)আসল আউটপুট:
pass rate % [95.0, 97.0, 99.0]
escape rate % [8.1, 12.1, 33.3]
flake share % [25.0, 40.0, 50.0]
median h to green [2, 6.0, 19.0]
line cov % [71, 78, 86]
mutation % [64, 63, 61]
suite min [11, 14, 19]
smells: 5
- pass rate up while tests were removed: check deleted/skipped tests
- coverage up, mutation score down: tests run code but check less
- more bugs reach customers: the suite misses what matters
- most red builds are flaky: people will stop trusting red
- feedback is slower: suite time grew more than 50%
Dashboard-এর ওপরের দুটি সংখ্যা, pass rate আর coverage, দুটিই সুন্দরভাবে বাড়ছে। নিচের প্রতিটি সংখ্যা উল্টো দিকে যাচ্ছে। ৩০% আর ৫০%-এর সীমা এখানে দলের নিজের বেছে নেওয়া উদাহরণ, কোনো শিল্প-মানদণ্ড নয়। নিচের stepper-এ এক এক করে পড়ুন।
| দেখছি | |
| মান | |
| প্রশ্ন |
- শিরোনাম। Pass rate ৯৫.০ থেকে ৯৯.০%. Sprint review-এ এটিই বড় হরফে দেখানো হয়, আর সবাই খুশি। কিন্তু এটি একটি ভগ্নাংশ; লব না হর, কোনটি বদলেছে?
- হর। Test ১২৪০ থেকে ১১০৫, অর্থাৎ শেষ sprint-এ ১৩৫টি test কম। ব্যর্থ test মুছে ফেলা বা skip করা pass rate বাড়ানোর সবচেয়ে সস্তা উপায়। মুছে ফেলা test-গুলোর তালিকা আর কারণ না দেখে সংখ্যাটি বিশ্বাস করা যায় না।
- Coverage বনাম mutation. Coverage ৭১ থেকে ৮৬%, অথচ mutation score ৬৪ থেকে ৬১%. নতুন test কোড চালাচ্ছে কিন্তু কম যাচাই করছে: coverage যখন লক্ষ্য, তখন এমনটাই ঘটে (পর্ব ৫৯)।
- গ্রাহকের দিক। Testing-এ ধরা bug ৩৪ থেকে ১৮, release-এর পরে ধরা ৩ থেকে ৯. Escape rate ৮.১ থেকে ৩৩.৩%. Testing-এ কম bug পাওয়াকে কেউ “কোড ভালো হয়েছে” বলে পড়তে পারতেন; escape rate বলে উল্টো: suite কম ধরছে।
- বিশ্বাস। লাল build-এর মধ্যে flaky কারণে ২৫ থেকে ৫০%; লাল থেকে সবুজ হওয়ার median সময় ২ থেকে ১৯ ঘণ্টা। দুটি একসাথে চেনা ছবি: অর্ধেক লাল যখন মিথ্যা, তখন মানুষ লালকে গুরুত্ব দেওয়া কমিয়ে দেন, আর আসল লালও পড়ে থাকে।
- সিদ্ধান্ত। শিরোনাম বদলান: pass rate-এর বদলে escape rate আর flaky অংশ বড় হরফে। কাজ: মুছে ফেলা ১৩৫টি test-এর পর্যালোচনা, flaky test-এর quarantine আর মালিক, নতুন test-এ mutation-এর নমুনা। Suite-এর সময় ১১ থেকে ১৯ মিনিট: পর্ব ৬৮ (বড় test suite)-এর কৌশল লাগবে।
সংখ্যার ধরন মিলিয়ে হিসাব: Severity-র মতো ক্রমবাচক মান (critical, major, minor) সংখ্যায় বদলে গড় করা ভুল: “গড় severity ২.৩” কোনো অর্থ বহন করে না, কারণ critical আর major-এর দূরত্ব minor আর trivial-এর দূরত্বের সমান নয়। গুনতি দেখান: “critical ১টি, major ৪টি”। একইভাবে সময়ের মতো বাঁকা বিন্যাসে median গড়ের চেয়ে বেশি সৎ: ওপরের তৃতীয় sprint-এ ৫২ ঘণ্টার একটি ঘটনা গড়কে ২৩.৫ ঘণ্টায় তোলে, median ১৯.
৮ · Dashboard আর মানুষের জন্য summary
একটি test dashboard সবার জন্য খোলা থাকে, তাই নকশার ভুল সবার ভুল সিদ্ধান্তে গড়ায়। কয়েকটি ব্যবহারিক নিয়ম:
- প্রতিটি সংখ্যার পাশে সংজ্ঞা আর হর। “Pass rate (চালানো test-এর মধ্যে; skip বাদ; ১,১০৫টি)”।
- প্রবণতা, একটি দিন নয়। শেষ ১০ বা ৩০টি run-এর sparkline, পাশে আসল মান।
- কাজের তালিকা সংখ্যার আগে। “নতুন ব্যর্থ test: ৩টি (pricing, মালিক …)”, তারপর শতাংশ।
- প্রতিটি সংখ্যার সাথে একটি সিদ্ধান্ত। “Flaky অংশ ৩০%-এর বেশি হলে নতুন UI test merge বন্ধ, আগে stabilize”. যে সংখ্যা কোনো সিদ্ধান্ত বদলায় না, তা সরিয়ে দিন।
- ব্যক্তির নয়, ব্যবস্থার মাপ। Tester-প্রতি bug বা developer-প্রতি ব্যর্থ build-এর মতো সংখ্যা মানুষকে সংখ্যার সাথে খেলতে শেখায় (পর্ব ০৩-এর নিরপেক্ষ ভাষার নীতি)।
Release summary — সংখ্যা থেকে সিদ্ধান্ত
পর্ব ১৯-এ test completion report-এর গঠন দেখেছেন। স্বয়ংক্রিয় run-এর পরে প্রতিদিন যে ছোট summary লেখা হয়, তার উদ্দেশ্য একই: সংখ্যাকে ঝুঁকি আর সিদ্ধান্তে রূপ দেওয়া। ওপরের সত্যিকারের তৃতীয় run (bug চালু) থেকে একটি summary ধাপে ধাপে গড়ে উঠুক:
| যোগ হলো | |
| খসড়া | |
| পাঠক যা বোঝেন |
- কাঁচা সংখ্যা। “১৫৬টি test, ১৫৩টি পাস, ৯৮.১%”. সত্য, কিন্তু পাঠক ভাববেন প্রায় সব ঠিক আছে। এই বাক্য দিয়ে summary শেষ হলে release চলে যেতে পারত।
- ব্যবসার ভাষা। তিনটি ব্যর্থ test-এর বার্তা একই:
assert 100 == 0. অর্থাৎ ঠিক ১০০০ টাকার অর্ডারে ১০০ টাকা ছাড় যাচ্ছে, অথচ নিয়ম “১০০০ টাকার বেশি হলে”। তিনটি test, একটি কারণ; summary-তে “৩টি ব্যর্থতা” নয়, “coupon-এর সীমায় একটি ভুল”। - ইতিহাস। একই তিনটি test আগের দুটি run-এ পাস, আর এই build-এ তিনটিই ফেল, ব্যর্থতার বার্তাও একই। তাই এটি flaky নয়, এই পরিবর্তনের regression. আলাদা লাইনে: run 1-এর flaky test-টি জানা সমস্যা, এই সিদ্ধান্তের সাথে সম্পর্কহীন।
- প্রভাব। যে cart-এর মোট ঠিক ১০০০ টাকা (যেমন সয়াবিন তেল ৮৮০ + আটা ১২০), সেখানে প্রতিটি অর্ডারে ১০০ টাকা বেশি ছাড়। বাকি সীমা, ১০০১ আর ৩০০০, ঠিক আছে। ঝুঁকি টাকার, আর গ্রাহক নিজে টের পাবেন না।
- সিদ্ধান্ত। সুপারিশ: এই build release হবে না। সমাধানের পর তিনটি test আবার চালানো (retest) আর pricing-এর পুরো regression. প্রতিটি কাজের মালিক আর সময় লিখুন। Exit criteria-য় “টাকার নিয়মে কোনো খোলা ব্যর্থতা নয়” থাকলে সিদ্ধান্ত নিয়মেই আসে।
- পাঠক অনুযায়ী। Developer পান তিনটি test id আর Allure-এর attachment-এর link. Manager পান দুই লাইন: “Coupon-এর ১০০০ টাকার সীমায় ভুল, প্রতি এমন অর্ডারে ১০০ টাকা ক্ষতি হতো; release আটকানো, আজ সমাধান প্রত্যাশিত।” একই তথ্য, দুই মাত্রা।
খেয়াল করুন, ভালো summary-তে residual risk খোলাখুলি লেখা থাকে: কী যাচাই হয়নি (যেমন এই run-এ UI test ছিল না), কোন flaky test quarantine-এ আছে আর সে কোন আচরণ পাহারা দিত। যা চালানো হয়নি, তা “পাস” নয়।
আরও গভীরে: Software measurement-এর তত্ত্বে Norman Fenton-এর মতো লেখকেরা (যেমন “Software Metrics: A Rigorous and Practical Approach”, যার প্রথম সংস্করণ ১৯৯১ সালে “Software Metrics: A Rigorous Approach” নামে বের হয়) মাপের ধরনের (nominal, ordinal, interval, ratio) কথা বলেন: কোন ধরনের সংখ্যায় কোন হিসাব বৈধ, যেমন ordinal severity-র গড় অবৈধ। Test-এর ফল জমিয়ে flaky চেনা, ব্যর্থতার স্বয়ংক্রিয় শ্রেণিভাগ আর কোন test আগে চালাতে হবে তা অনুমান করা নিয়ে শিল্প আর গবেষণায় অনেক কাজ প্রকাশিত হয়েছে; সবগুলোর ভিত্তি স্থির test-পরিচয় আর সংরক্ষিত run-প্রসঙ্গ।
পরীক্ষা ও ইন্টারভিউতে: বিশ্ববিদ্যালয়, চাকরি বা ইন্টারভিউর পরীক্ষায় এমন প্রশ্ন চেনা:
- JUnit XML কেন এত প্রচলিত? — প্রায় সব test tool লিখতে আর CI tool পড়তে পারে; আনুষ্ঠানিক মান নয়, কার্যত সাধারণ ভাষা।
- Testing-এ ৪০টি, release-এর পরে ১০টি defect: escape rate কত? — ১০ ÷ ৫০ = ২০%; DDP ৮০%.
- Flaky test আর regression ইতিহাস থেকে কীভাবে আলাদা করবেন? — একই commit-এ পাস ও ফেল দুটোই হলে flaky; একটি commit থেকে টানা ফেল আর একই বার্তা হলে regression.
- ৯৯% pass rate কি release-এর জন্য যথেষ্ট? — বলা যায় না; কোন ১% ব্যর্থ, কোন requirement-এর, আর কী চালানোই হয়নি, তা দেখতে হবে।
- Coverage-কে লক্ষ্য বানালে কী হয়? — Goodhart's law: assertion-হীন বা দুর্বল test বাড়ে; mutation score বা escape rate পাশাপাশি দেখুন।
৯ · AI-এর যুগে test report আর metric
AI সহকারী একটি লম্বা JUnit XML পড়ে কয়েক সেকেন্ডে ব্যর্থতাগুলো দলে ভাগ করে summary লিখে দিতে পারে। কিন্তু ঝুঁকিও এখানে। AI প্রায়ই “১৫৩/১৫৬ পাস, অবস্থা ভালো” লিখে দেয়; একটি ব্যর্থতাকে নিজে থেকে “সম্ভবত flaky” বলে দেয়, ইতিহাস না দেখেই; Allure বা pytest-html-এর এমন option বানায় যা নেই; হিসাবের সংখ্যা ভুল যোগ করে; আর ফাইলে থাকা hostname, path বা গ্রাহকের তথ্য summary-তে তুলে আনে। Test লেখার বেলায় চেনা দুর্বলতাগুলো, যেমন শুধু happy path, বর্তমান কোডের আচরণকে expected ধরা, sleep-ভিত্তিক অপেক্ষা আর না চালিয়ে “সব পাস” দাবি, রিপোর্টেও এসে পৌঁছায়: যে suite দুর্বল, তার সবুজ রিপোর্টও দুর্বল।
একটি run-এর ফল থেকে সিদ্ধান্তমুখী summary চাইতে পারেন এভাবে:
AI-এর রিপোর্ট বা metric হাতে পেলে — চেকলিস্ট
ভাবনার প্রশ্ন
প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।
প্র ০১JUnit XML কোনো আনুষ্ঠানিক মান নয়, তবু প্রায় সব tool কেন এটিই লেখে আর পড়ে?
JUnit XML-এর জন্ম কোনো মান-সংস্থার বৈঠকে নয়। Java-র JUnit framework আর Apache Ant build tool-এর একটি task ২০০০-এর দশকের শুরুর দিকে test-এর ফল একটি XML ফাইলে লিখত, যাতে Ant সেখান থেকে HTML রিপোর্ট বানাতে পারে। পরে Hudson (আজকের Jenkins) আর অন্য CI server এই ফাইল পড়ে ফল দেখাতে শুরু করে। তখন অন্য ভাষার tool-গুলোর সামনে একটি সহজ পথ খোলা ছিল: নিজের ফরম্যাট বানিয়ে প্রতিটি CI-কে শেখানোর বদলে CI যা আগেই পড়ে, সেটিই লেখা। pytest, Vitest, Go-র রূপান্তর tool, PHPUnit সবাই এই পথ নিয়েছে। একে বলা হয় de facto মান: কেউ ঘোষণা করেনি, কিন্তু সবাই মানে।
এর দামও আছে। পর্ব ২৬-এ দেখেছেন, একই ভুলে Go-র রূপান্তরে ব্যর্থ test-এর সংখ্যা দ্বিগুণ এসেছিল, কারণ parent test-ও একটি testcase. কোনো schema সবার জন্য বাধ্যতামূলক নয়, তাই attribute-এর নাম, property রাখার জায়গা, skip-এর বার্তা tool ভেদে একটু আলাদা; pytest নিজেই দুটি রূপ রাখে (xunit1, xunit2). কয়েকটি ভাষার দলের ফল এক dashboard-এ মেলালে এই পার্থক্য সংখ্যায় ঢুকে পড়ে।
বিকল্পও আছে। Perl-এর জগৎ থেকে আসা Test Anything Protocol (TAP) সরল লেখার লাইনে ফল দেয় আর JUnit XML-এর চেয়ে পুরোনো; Microsoft-এর জগতে TRX ফরম্যাট চলে; এই পর্বের Allure-এর রূপান্তর-তালিকায় JUnit XML, xUnit XML আর TRX পড়ার plugin-ই ছিল। সাম্প্রতিক বছরগুলোতে JSON-ভিত্তিক একটি সাধারণ ফরম্যাটের উদ্যোগও দেখা যায় (যেমন CTRF নামে একটি প্রকল্প), তবে সেগুলো কতটা ছড়াবে তা এখনো বলা কঠিন। Network effect এখানে প্রবল: যে ফরম্যাট সবচেয়ে বেশি tool পড়ে, নতুন tool সেটিই লেখে, আর তাতে সেটি আরও শক্ত হয়।
ব্যবহারিক পরামর্শ: দলের ভেতরে একটি মাত্র মিলনের স্তর রাখুন, যেমন এই পর্বের merge_trend.py-এর মতো একটি script, যা প্রতিটি tool-এর ছোট পার্থক্য এক জায়গায় সামলায়, আর test-এর পরিচয় কীভাবে গঠিত হবে তা লিখে রাখুন।
মূল উপলব্ধি: মান হওয়ার জন্য ঘোষণা লাগে না, ব্যবহার লাগে। JUnit XML-কে সাধারণ ভাষা হিসেবে ব্যবহার করুন, কিন্তু প্রতিটি tool-এর উপভাষা জেনে নিয়ে।
প্র ০২ম্যানেজার ঘোষণা করলেন, “এখন থেকে প্রতিটি sprint-এ pass rate ৯৯%-এর নিচে হলে দলের রেটিং কমবে।” কী ঘটার সম্ভাবনা, আর আপনি কী প্রস্তাব দেবেন?
এটি Goodhart's law-এর পাঠ্যপুস্তকের উদাহরণ। Charles Goodhart ১৯৭৫ সালে মুদ্রানীতির প্রসঙ্গে লক্ষ করেন, কোনো পরিসংখ্যান নিয়ন্ত্রণের লক্ষ্য হয়ে গেলে তার আগের আচরণ ভেঙে পড়ে; পরে Marilyn Strathern-এর ১৯৯৭ সালের একটি লেখায় তা আজকের জনপ্রিয় রূপ পায়। কাছাকাছি সময়ে Donald Campbell সামাজিক কর্মসূচির মূল্যায়নে একই রকম পর্যবেক্ষণ করেন। ঔপনিবেশিক দিল্লিতে সাপ মারার পুরস্কার দেওয়ায় মানুষ সাপ পালতে শুরু করে, এমন একটি “cobra effect”-এর গল্পও প্রায়ই বলা হয়, যদিও গল্পটির ঐতিহাসিক সত্যতা নিয়ে সন্দেহ আছে।
Pass rate-এর ক্ষেত্রে বিকৃতির পথগুলো অনুমান করা সহজ, কারণ এটি একটি ভগ্নাংশ, আর লব বাড়ানোর চেয়ে হর কমানো সস্তা। ব্যর্থ test-কে skip বা xfail চিহ্ন দেওয়া; লাল UI test “পরে দেখব” বলে suite থেকে সরানো; retry বাড়িয়ে flaky test-কে সবুজ দেখানো; সহজ, ব্যর্থ না হওয়ার মতো test বেশি লেখা। এই পর্বের কাল্পনিক dashboard-এ ঠিক এমনটাই দেখা গেছে: pass rate ৯৫ থেকে ৯৯%, test ১৩৫টি কম, আর গ্রাহকের কাছে পৌঁছানো bug তিনগুণ। সবচেয়ে বড় ক্ষতি অদৃশ্য: দল শেখে যে লাল রং লুকানোর জিনিস, অথচ test-এর পুরো মূল্য হলো খারাপ খবর দ্রুত দেওয়া।
প্রস্তাব দিতে গেলে প্রথমে লক্ষ্যটি স্বীকার করুন: ম্যানেজার চান গুণমান যেন খারাপ না হয়। তারপর GQM ধরে লক্ষ্য থেকে প্রশ্নে যান। “গ্রাহকের কাছে কত bug যায়?” এর উত্তর escape rate; “লাল build কত দ্রুত সারে?” এর উত্তর লাল থেকে সবুজ হতে median সময়; “লাল কি বিশ্বাসযোগ্য?” এর উত্তর flaky অংশ। এগুলোকে রেটিং নয়, আলোচনার উপকরণ রাখুন, আর একাধিক সংখ্যা একসাথে দেখান যাতে একটিকে বিকৃত করলে অন্যটিতে ধরা পড়ে। Skip আর মুছে ফেলা test-এর তালিকাও dashboard-এ রাখুন।
মূল উপলব্ধি: Metric-কে পুরস্কার বা শাস্তির সাথে বাঁধলে মানুষ metric-টিই সামলায়, গুণমান নয়। কয়েকটি পরস্পর-যাচাই করা সংখ্যা আর তাদের পেছনের তালিকা দেখান।
প্র ০৩Defect escape rate কেন pass rate-এর চেয়ে ভালো মাপ, আর তারও কী কী দুর্বলতা আছে?
Testing-এর উদ্দেশ্য হলো ভুল যেন ব্যবহারকারীর কাছে না পৌঁছায়। Pass rate মাপে suite-এর আজকের রং; একটি দুর্বল suite সবসময় সবুজ থাকতে পারে। Escape rate সরাসরি উদ্দেশ্যটি মাপে: যা ধরা দরকার ছিল, তার কত অংশ ফসকে গেল। ISTQB-এর syllabus-এ এর পরিপূরক defect detection percentage-কে test প্রক্রিয়ার কার্যকারিতার একটি মাপ হিসেবে দেখানো হয়। এ ধরনের মাপের ধারণা অনেক পুরোনো; ১৯৮০-৯০-এর দশকে বড় software প্রতিষ্ঠানগুলোর গুণমান-প্রক্রিয়ায় “phase containment” নামে এমন হিসাব ব্যবহারের কথা পাওয়া যায়, অর্থাৎ কোন ধাপের ভুল সেই ধাপেই ধরা পড়ল।
কিন্তু দুর্বলতাও বাস্তব। প্রথমত, দেরি: release-এর পরের bug কয়েক সপ্তাহ বা মাস ধরে আসে, তাই আজকের sprint-এর escape rate সম্পূর্ণ জানতে সময় লাগে; কোন সময়সীমা ধরে গোনা হবে (যেমন release-এর পরের ৩০ দিন), তা আগে ঠিক করুন। দ্বিতীয়ত, গোনা নির্ভর করে গ্রাহক জানালেন কি না; বাজারঘরের মতো দোকানে ১০০ টাকা বেশি ছাড় পেয়ে কেউ অভিযোগ করবেন না, অথচ ক্ষতি আসল। তাই monitoring আর হিসাবের reconciliation থেকে পাওয়া bug-ও গুনতে হয় (পর্ব ৬৬-এর production-এ testing). তৃতীয়ত, ওজন: একটি বানানের ভুল আর একটি টাকার ভুল সমান গোনা হলে সংখ্যা বিভ্রান্ত করে; severity অনুযায়ী আলাদা গুনুন। চতুর্থত, testing-এ ধরা bug কম হলে escape rate বেড়ে যেতে পারে, যদিও আসলে release-এ মোট bug কমেছে; শুধু শতাংশ নয়, সংখ্যাও দেখুন।
আর Goodhart এখানেও আছেন: escape rate লক্ষ্য হলে কেউ production-এর bug-কে “নতুন feature-এর অনুরোধ” বলে আলাদা খাতায় রাখতে পারেন। সংজ্ঞা লিখে রাখা আর নিরপেক্ষ triage এই চাপ কমায়।
মূল উপলব্ধি: Escape rate উদ্দেশ্যের সবচেয়ে কাছের মাপ, কিন্তু ধীর আর গোনা-নির্ভর। দ্রুত সংকেতের (ব্যর্থ test, flaky অংশ) সাথে মিলিয়ে দেখুন, আর severity অনুযায়ী ভাগ করুন।
প্র ০৪Flaky test খোঁজার জন্য ইতিহাসভিত্তিক পদ্ধতি বড় দলে কেন জনপ্রিয়, আর তার ফাঁদ কোথায়?
Flaky test খোঁজার সবচেয়ে সরল উপায় হলো একই commit-এ test বারবার চালানো। কিন্তু বড় suite-এ প্রতিটি test কুড়িবার চালানোর খরচ বিপুল। ইতিহাসভিত্তিক পদ্ধতি সেই খরচ এড়ায়: CI তো প্রতিদিন হাজারবার suite চালাচ্ছেই, প্রতিটি ফল জমিয়ে রাখলেই “একই commit-এ পাস আর ফেল” প্রায় বিনামূল্যে ধরা পড়ে। Google-এর মতো প্রতিষ্ঠানের প্রকাশিত blog আর গবেষণায় flaky test-কে বড় পরিসরের একটি স্থায়ী সমস্যা হিসেবে বর্ণনা করা হয়েছে, আর ফলের ইতিহাস জমিয়ে স্বয়ংক্রিয়ভাবে flaky চিহ্ন দেওয়ার পদ্ধতির কথাও প্রকাশিত হয়েছে; খুঁটিনাটি সংখ্যা উৎস ভেদে আলাদা, তাই এখানে উদ্ধৃত করা হলো না। পর্ব ৪০-এ DeFlaker-এর মতো গবেষণা-যন্ত্রের কথাও এসেছে, যা কোড পরিবর্তনের coverage দিয়ে বারবার না চালিয়ে flaky চেনার চেষ্টা করে।
ফাঁদগুলো এই পর্বেই দেখা গেছে। এক, প্রসঙ্গ হারানো: commit-এর তথ্য না থাকলে PPFFP আর FPPPP দুটোই “কখনো পাস, কখনো ফেল”; regression-কে flaky বলে quarantine করা সবচেয়ে বিপজ্জনক ভুল, কারণ আসল bug চুপচাপ release-এ যায়। দুই, পরিচয় ভাঙা: test-এর নাম বা parametrize id বদলালে ইতিহাস শূন্য থেকে শুরু হয়। তিন, পরিবেশের পার্থক্য: একই commit কিন্তু ভিন্ন machine, ভিন্ন browser বা ভিন্ন সময়ের ডেটা; তখন “flaky” আসলে পরিবেশ-নির্ভর ব্যর্থতা, যার সমাধান আলাদা। চার, retry-র আড়াল: CI নিজে থেকে retry করে সবুজ হলে প্রথম ব্যর্থতা রিপোর্টে আসে না, যদি না retry-র ফলও আলাদা করে রাখা হয়। Allure-এর রিপোর্টে retry-এর trend আলাদা widget-এ রাখা হয় এই কারণেই।
এর বাইরে একটি মানবিক দিক আছে। “Flaky” চিহ্ন পাওয়া test-কে কেউ দেখেন না, আর চিহ্নটি স্থায়ী হয়ে যায়। তাই চিহ্নের সাথে মালিক আর সময়সীমা দরকার, নইলে quarantine আসলে মুছে ফেলার ধীর রূপ।
মূল উপলব্ধি: ইতিহাস সস্তা আর শক্তিশালী, কিন্তু শুধু তখনই, যখন প্রতিটি ফলের সাথে commit, পরিবেশ আর retry-র তথ্য থাকে, আর test-এর পরিচয় স্থির থাকে।
প্র ০৫Test রিপোর্ট আর রিপোর্টিং tool কীভাবে গোপনীয়তার ঝুঁকি তৈরি করে, আর একজন tester কী করতে পারেন?
রিপোর্ট বানানো হয় ভেতরের মানুষের জন্য, কিন্তু ছড়িয়ে পড়ে: ticket-এ attachment, forum-এ প্রশ্ন, বিক্রেতার support-এ পাঠানো, প্রকাশ্য CI-র artifact. এই পর্বের সত্যিকারের run-এই কয়েকটি জায়গায় এমন তথ্য পাওয়া গেছে যা বাইরে যাওয়ার কথা নয়। pytest-এর JUnit XML-এ কম্পিউটারের নাম (hostname); Allure-এর ডেটায় host label-এ একই নাম আর thread label-এ process id; pytest-html-এর environment ছকে operating system-এর সংস্করণ; আর terminal-এর শেষ লাইনে রিপোর্ট ফাইলের পুরো path, যার ভেতরে Windows-এর ব্যবহারকারীর নাম। পর্ব ২৬-এ JUnit-এর Console Launcher-এর XML-এ এর চেয়েও বেশি দেখা গেছে: ষাটটির বেশি system property, যার মধ্যে ব্যবহারকারীর নাম আর পুরো PATH.
দ্বিতীয় ঝুঁকি attachment. API-র উত্তর, screenshot আর log খুবই কাজের, কিন্তু staging-এ production-এর আসল ডেটা থাকলে গ্রাহকের নাম, ফোন নম্বর বা ঠিকানা রিপোর্টে ঢোকে। বাংলাদেশসহ বহু দেশে ব্যক্তিগত তথ্য সুরক্ষা নিয়ে আইন ও নীতিমালা তৈরি হচ্ছে বা হয়েছে; খুঁটিনাটি দেশ ও সময় ভেদে আলাদা, তাই নিজের প্রতিষ্ঠানের নীতি আর আইনি পরামর্শ মেনে চলুন। নিরাপদ অভ্যাস হলো test data কৃত্রিম বা mask করা রাখা (পর্ব ৬৫), আর token বা password কখনো attachment-এ না রাখা।
তৃতীয় ঝুঁকি tool নিজে। এই পর্বের Allure 2.x রিপোর্ট বানানোর সময় ব্যবহারের তথ্য পাঠানোর কোড রাখে আর রিপোর্টের পাতায় analytics-এর script বসায়; বন্ধ করার উপায় আছে, কিন্তু 1 লিখলে কাজ করে না, true লাগে। আমরা তৈরি index.html-এ খুঁজে তবেই ধরতে পেরেছি। অভ্যন্তরীণ রিপোর্ট খোলামাত্র বাইরের server-এ অনুরোধ যায়, আর রিপোর্টের পরিচয়-নম্বর তার সাথে যেতে পারে। অনেক tool-এর telemetry বন্ধ করার নিজস্ব environment variable থাকে; প্রথম run-এর আগেই docs দেখে বসান, আর পরে তৈরি ফাইলে বাইরের ঠিকানা খুঁজে যাচাই করুন।
মূল উপলব্ধি: রিপোর্টও একটি পণ্য, তারও test লাগে। বাইরে পাঠানোর আগে hostname, path, token আর ব্যক্তিগত তথ্য খুঁজুন, আর tool-এর telemetry বন্ধ হয়েছে কি না প্রমাণসহ দেখুন।
অনুশীলন
উত্তর দেখার আগে কাগজে নিজে করুন। সব সংখ্যা scratch script-এ মেলানো।
-
Test নকশা (spec থেকে): দলের রিপোর্ট-script-এর জন্য একটি নিয়ম লেখা হলো: “প্রতিটি test-এর ফল commit অনুযায়ী ভাগ করা হবে। কোনো commit-এ একই test অন্তত একবার পাস আর অন্তত একবার ফেল করলে test-টি FLAKY. তা না হলে, কোনো commit-এ শুধু ফেল থাকলে FAILING. সব commit-এ শুধু পাস হলে STABLE. Skip হওয়া ফল হিসাবের বাইরে।” এই classifier-এর জন্য অন্তত ছয়টি test case নকশা করুন: input (commit আর ফল), expected শ্রেণি আর কোন partition বা সীমা যাচাই হচ্ছে।
একটি সম্ভাব্য সেট (P = পাস, F = ফেল, S = skip):
ID Input Expected কী যাচাই TC1 a:P, a:P, b:P STABLE সব পাস TC2 a:P, a:F FLAKY একই commit-এ দুই ফল, সবচেয়ে ছোট রূপ TC3 a:P, b:F, b:F FAILING নতুন commit-এ স্থির ফেল (regression) TC4 a:F, b:P FAILING ভিন্ন commit-এ পাস-ফেল flaky নয়; নিয়ম অনুযায়ী a-তে শুধু ফেল TC5 a:P, a:S, a:F FLAKY skip মাঝে থাকলেও পাস-ফেল গোনা হয় TC6 a:S, a:S নিয়মে নেই শুধু skip: spec-এর ফাঁক, দলকে জিজ্ঞাসা করুন (সম্ভবত NO DATA) TC7 a:F, a:F, b:P, b:F FLAKY FAILING আর FLAKY দুটোর শর্ত: নিয়মের ক্রম অনুযায়ী FLAKY আগে TC6 আর TC7 সবচেয়ে মূল্যবান: প্রথমটি spec-এর একটি ফাঁক বের করে, দ্বিতীয়টি দুই নিয়মের অগ্রাধিকার যাচাই করে। TC4 দেখায় নিয়মটি আক্ষরিকভাবে পড়লে “আগে ফেল, পরে সারানো” test-কেও FAILING বলা হয়; সেটি চাওয়া কি না, তাও প্রশ্ন। Scratch-এ এই পর্বের classifier-এর ধাঁচে একটি ছোট function লিখে TC1 থেকে TC7 চালিয়ে দেখা হয়েছে; TC6-এ সেটি STABLE দেয়, কারণ ফেল নেই: spec-এর ফাঁক থেকে নিঃশব্দ ভুল।
-
ফল আগে বলুন (predict): একটি CI run-এর JUnit XML-এর শুরু:
<testsuite tests="40" failures="2" errors="1" skipped="3">. (ক) কয়টি test পাস করেছে? (খ) সব test-এর ভিত্তিতে আর চালানো test-এর ভিত্তিতে pass rate কত? (গ) pytest-এর exit code কী হবে, আর build-এর রং? (ঘ) Error আর failure-এর পার্থক্য Allure কোন দুই শ্রেণিতে দেখায়?(ক) pytest-এর XML-এ
tests-এর মধ্যে skip-ও গোনা থাকে, তাই পাস = ৪০ − ২ − ১ − ৩ = ৩৪. (খ) সব test-এর ভিত্তিতে ৩৪ ÷ ৪০ = ৮৫.০%; চালানো test-এর ভিত্তিতে (skip বাদ) ৩৪ ÷ ৩৭ ≈ ৯১.৯%. একই run, দুটি সংখ্যা, তাই হর লিখতেই হবে। (গ) ফেল বা error থাকলে pytest exit code 1 দেয়, তাই build লাল। (ঘ) Assertion ব্যর্থ (failure) হলে Allure “failed”, শ্রেণি “Product defects”; অন্য exception (error, যেমন fixture-এ connection ভাঙা) হলে “broken”, শ্রেণি “Test defects”. Error প্রায়ই test বা পরিবেশের সমস্যা, পণ্যের নয়; তাই দুটিকে এক সংখ্যায় মেশানো triage ধীর করে। -
ভুল খুঁজুন: একজন সহকর্মী dashboard-এর জন্য এই function লিখে জানালেন, “গতকালের run-এ pass rate ৯৫%, release-এর শর্ত (৯৫%) পূরণ।” ওপরের অনুশীলনের XML-টিই গতকালের run. Function আর দাবিতে কী কী ভুল?
def pass_rate(path): s = ET.parse(path).getroot().find("testsuite") tests = int(s.get("tests")) return 100 * (tests - int(s.get("failures"))) / testsচারটি ভুল। (১)
errorsবাদ পড়েছে: error-এর test পাস গোনা হচ্ছে। (২)skippedবাদ পড়েছে: না চলা ৩টি test পাস গোনা হচ্ছে। ফলে (৪০ − ২) ÷ ৪০ = ৯৫.০%, অথচ আসল ৮৫.০% (সব test) বা ৯১.৯% (চালানো test); শর্তটি আসলে পূরণ হয়নি। (৩)find("testsuite")শুধু প্রথম testsuite পড়ে: একাধিক ফাইল বা ভাগ মেলানো XML-এ বাকি suite হারিয়ে যায়;iter("testsuite")দিয়ে সব যোগ করুন। (৪)testsশূন্য হলে (collection ভেঙে কোনো test চলেনি) ভাগে exception, অথচ ঠিক সেই অবস্থাটি সবচেয়ে বিপজ্জনক; শূন্য test-কে আলাদা করে “ব্যর্থ run” বলুন। দাবির দিক থেকে: “৯৫% পাস” কোন requirement-এর ব্যর্থতা লুকাচ্ছে, তা না দেখে শর্ত পূরণ বলা যায় না। Scratch-এ XML বানিয়ে function চালিয়ে ৯৫.০ পাওয়া গেছে। -
Metric হিসাব: বাজারঘরের দুটি release. Release A: testing-এ ধরা ৪৫টি defect, release-এর পরের ৩০ দিনে ধরা ৫টি; pass rate ৯৬%. Release B: testing-এ ৩০টি, পরে ১০টি; pass rate ৯৯%. Release B-র লাল build চারটি সবুজ হতে লেগেছিল ০.৫, ১, ১ আর ২৬ ঘণ্টা। (ক) দুটির escape rate আর DDP কত? (খ) লাল থেকে সবুজের গড় আর median কত, কোনটি রিপোর্টে দেবেন? (গ) কোন release-এর testing বেশি কার্যকর ছিল?
(ক) A: ৫ ÷ (৪৫ + ৫) = ১০.০%, DDP ৯০.০%. B: ১০ ÷ (৩০ + ১০) = ২৫.০%, DDP ৭৫.০%. (খ) গড় (০.৫ + ১ + ১ + ২৬) ÷ ৪ = ৭.১২৫ ঘণ্টা; median (১ + ১) ÷ ২ = ১ ঘণ্টা। দুটোই দিন, সাথে ব্যতিক্রমটির ব্যাখ্যা: “সাধারণত এক ঘণ্টায় সবুজ; একটি ঘটনায় ২৬ ঘণ্টা, কারণ …”। শুধু গড় দিলে মনে হবে দল সবসময় ধীর; শুধু median দিলে ২৬ ঘণ্টার ঘটনাটি হারিয়ে যাবে। (গ) A. B-র pass rate বেশি হলেও তার testing গ্রাহকের কাছে অনুপাতে আড়াইগুণ বেশি bug পৌঁছাতে দিয়েছে। Pass rate testing-এর কার্যকারিতা মাপে না।
নিজেকে যাচাই করুন
ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।
ক্রমCI-এর test run থেকে release summary পর্যন্ত ধাপগুলো সঠিক ক্রমে সাজান (▲▼ চেপে সরান)
- Test run, প্রতিটি run JUnit XML বা allure-results লেখে
- ফলের ফাইল run-এর commit আর পরিবেশের তথ্যসহ সংরক্ষণ
- অনেক run মিলিয়ে প্রতিটি test-এর ইতিহাস বানানো
- ব্যর্থতাকে শ্রেণিতে ভাগ: নতুন regression, flaky, পরিবেশ
- Metric-এর প্রবণতা হর আর সংজ্ঞাসহ দেখা
- পাঠক অনুযায়ী ঝুঁকি আর সিদ্ধান্তসহ summary লেখা
একটি release-এ testing-এর সময় ৪০টি defect ধরা পড়েছে, আর release-এর পরে গ্রাহকেরা আরও ১০টি পেয়েছেন। Defect escape rate কত?
- ২০%
- ২৫%
- ৮০%
- ৪%
একটি test-এর পাঁচটি run-এর ফল (commit, ফল): (a1, পাস), (a1, ফেল), (a1, পাস), (b2, পাস), (b2, পাস). কোন সিদ্ধান্ত সবচেয়ে যুক্তিসঙ্গত?
- Commit a1-এ একটি regression ঢুকেছে
- ব্যর্থতা একবার, তাই উপেক্ষা করা যায়
- Test-টি flaky-র প্রার্থী, কারণ একই commit-এ পাস ও ফেল দুটোই হয়েছে
- Commit b2-এ bug সারানো হয়েছে
একটি pytest run-এর JUnit XML: tests="200", failures="4", errors="0", skipped="20". চালানো test-এর (skip বাদ) ভিত্তিতে pass rate প্রায় কত?
- ৯৮.০%
- ৯৭.৮%
- ৮৮.০%
- ২.২%
Allure 2.x দিয়ে প্রতিটি CI run-এ রিপোর্ট বানানো হচ্ছে, কিন্তু trend-এর চার্টে সবসময় একটিই বিন্দু দেখা যায়। সবচেয়ে সম্ভাব্য কারণ কী?
- pytest JUnit XML লিখছে না
- ALLURE_NO_ANALYTICS=true দেওয়া আছে
- Test-এ allure.step ব্যবহার হয়নি
- আগের রিপোর্টের history ফোল্ডার নতুন results-এ কপি করা হচ্ছে না
কোনটি সাধারণত vanity metric হিসেবে গণ্য, অর্থাৎ দেখতে ভালো কিন্তু কোনো সিদ্ধান্তে কাজে লাগে না?
- Release-এর পরে ধরা পড়া defect-এর অংশ
- লাল build-এর মধ্যে flaky কারণে ব্যর্থতার অংশ
- এ পর্যন্ত লেখা মোট test case-এর সংখ্যা
- Suite একবার চলতে কত মিনিট লাগে
তিন sprint-এ line coverage ৭১% থেকে ৮৬% হলো, কিন্তু mutation score ৬৪% থেকে ৬১% হলো। সবচেয়ে যুক্তিসঙ্গত ব্যাখ্যা কোনটি?
- নতুন test-গুলো আগের চেয়ে শক্তিশালী
- নতুন test কোড চালাচ্ছে কিন্তু ফল যথেষ্ট যাচাই করছে না
- দুটি সংখ্যার একটি নিশ্চয়ই ভুল মাপা
- সব নতুন mutant equivalent, তাই চিন্তার কিছু নেই
একটি পরিবেশে Allure 2.x রিপোর্টের index.html-এ analytics-এর script বন্ধ করতে ALLURE_NO_ANALYTICS=1 বসানো হলো, কিন্তু script থেকে গেল। কেন?
- মানটি boolean হিসেবে পড়া হয়, আর শুধু true সত্য ধরা হয়; 1 নয়
- Variable-এর নাম ভুল, আসল নাম ALLURE_ANALYTICS_OFF
- Allure 2.x-এ analytics বন্ধ করা যায় না
- Variable-টি allure-pytest-এ বসাতে হয়, commandline-এ নয়
শব্দকোষ
লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:
মনে রাখুন
- রিপোর্টের চার পাঠক, চার প্রশ্ন: developer (কী ভাঙল), QA lead (প্রবণতা, flaky), manager (ঝুঁকি), release (যাবে কি না)। Build-এর রং ঠিক করে exit code, ফাইল বলে কেন।
- একাধিক JUnit XML মেলাতে লাগে স্থির test-এর পরিচয় আর প্রতিটি run-এর প্রসঙ্গ (commit, পরিবেশ); একই commit-এ পাস ও ফেল = flaky-র প্রার্থী, নতুন commit থেকে স্থির ফেল = regression.
- pytest-html এক run-এর মানুষ-পাঠ্য ছবি; Allure দেয় step, attachment, শ্রেণি আর history (আগের
historyফোল্ডার কপি করে)। Analytics বন্ধ:ALLURE_NO_ANALYTICS=true. - Pass rate-এর হর দেখুন; escape rate (DDP-র উল্টো), flaky অংশ, লাল থেকে সবুজের median সময় আর suite-এর সময় সিদ্ধান্তে কাজে লাগে; coverage আর mutation score একসাথে।
- সংখ্যা লক্ষ্য হলে বিকৃত হয় (Goodhart); লক্ষ্য → প্রশ্ন → মাপ (GQM) ধরে বাছুন, আর summary লিখুন ব্যবসার ভাষায়, ঝুঁকি আর সিদ্ধান্তসহ।
আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ
- পর্ব ৬৮ · বড় test suite — selection, sharding, flake budget আর রক্ষণাবেক্ষণপরবর্তী পর্বহাজারো test-এর suite দ্রুত রাখা: selection, sharding আর flake budget দিয়ে।
- সফটওয়্যার টেস্টিং ও QA · কোর্স হোম৮২টি পর্বপুরো কোর্সের রোডম্যাপ।
- পর্ব ১৯ · Test execution আর reportingআগের ধারণাRTM, অগ্রগতি আর test summary report.
- পর্ব ৪০ · Flaky testজুটি বিষয়কারণ, rerun, quarantine আর ইতিহাস থেকে খোঁজা।
- সফটওয়্যার ইঞ্জিনিয়ারিং ও Git · পর্ব ৫৯পাশের ট্র্যাকDeployment pipeline আর DORA metric.