সরাসরি পর্বে যান
পর্ব ১৯ · ৮২-এর মধ্যে · মডিউল ৩

Test execution, traceability matrix আর summary report

Test Execution, Traceability Matrix and Test Summary Report

Taught in Bangla, this lesson records pass, fail, blocked and not run results with build and evidence, and shows the same statuses in a real pytest 9.2.0 run with a JUnit XML report. It orders retests and regression after fixes, builds a full requirements traceability matrix with forward and backward gaps, and computes daily progress metrics in in-page Python. Readers query a results store with in-page SQL, then write an honest test summary report with residual risk and learn metric traps.

এই পর্বে যা শিখবেন

  • Test চালিয়ে প্রতিটি ফল সঠিক status, build আর প্রমাণসহ লেখা
  • Bug ঠিক হওয়ার পরে retest আর regression সাজানো, আর দিনের শেষে status update লেখা
  • Requirement, test আর defect মিলিয়ে পূর্ণ traceability matrix বানানো আর দুই দিকের ফাঁক খোঁজা
  • দৈনিক অগ্রগতির metric হিসাব করা, আর SQL দিয়ে ফলের ভান্ডারে প্রশ্ন করা
  • Residual risk-সহ সৎ test summary report লেখা, আর metric-এর ফাঁদ চেনা

১ · Test execution — plan থেকে হাতে-কলমে

মডিউল ৩-এর গল্পটি মনে করুন। পর্ব ১৫-এ বাজারঘরের নতুন feature “রিভিউ আর রেটিং” (US-12)-এর acceptance criteria AC1–AC6 আর দুটি non-functional requirement (NFR-1, NFR-2) লেখা হয়েছে। পর্ব ১৬-এ তা থেকে test case, পর্ব ১৭-এ plan (৩৬টি test case, exit criteria E1–E5, তিন দিনের execution), আর পর্ব ১৮-এ bug report আর tracker. পর্ব ১৭-এ তিন দিনের হিসাব দেখেছেন শুধু শর্তের চোখে; এখন সেই তিন দিনের ভেতরের কাজ: test চালানো, ফল লেখা, ফাঁক খোঁজা, আর শেষে জানানো release-এর জন্য কতটা প্রস্তুত।

বোর্ড পরীক্ষার ফল তৈরির কথা ভাবুন। পরীক্ষক খাতা দেখেন (execution), নম্বর তোলেন রেজিস্টারে (test log), কোনো খাতা হারালে বা অসুস্থতার জন্য পরীক্ষা না দিলে আলাদা চিহ্ন দেন (blocked, not run), আর শেষে বোর্ড প্রকাশ করে ফলের সারসংক্ষেপ: কতজন পরীক্ষা দিল, কতজন পাস, কোন বিষয়ে সমস্যা। “অনুপস্থিত” আর “ফেল” এক জিনিস নয়, আর কেউ এই দুটি মিশিয়ে ফেললে পাসের হার ভুল আসে। Test execution-ও ঠিক এমন হিসাবের কাজ।

Test execution মানে test case-এর ধাপগুলো system-এর ওপর চালিয়ে আসল ফলকে প্রত্যাশিত ফলের সাথে মেলানো, আর ফলটি লিখে রাখা। শুরু করার আগে কয়েকটি জিনিস প্রস্তুত থাকতে হয়, যা পর্ব ১৭-এর plan-এর entry criteria-তে লেখা থাকে: test environment চালু, সঠিক build বসানো, test data তৈরি, আর test case review করা। প্রথম কাজ একটি ছোট smoke test (US-12-এর plan-এ ৫টি): login, পণ্য খোঁজা, cart আর অর্ডারের তালিকা খোলে কি না। Smoke ভাঙলে পুরো build ফেরত যায়; ভাঙা build-এ বিস্তারিত test চালানো সময়ের অপচয়।

এরপর test-গুলো একটি নির্দিষ্ট ক্রমে চলে। একসাথে চালানোর জন্য বাছাই করা test case-এর দলকে বলে test run (কিছু tool-এ test cycle). ক্রম ঠিক করার তিনটি সাধারণ নিয়ম: বেশি ঝুঁকির আর high priority test আগে; যে test অন্যের পূর্বশর্ত তৈরি করে (যেমন অর্ডারকে delivered করা), সেটি আগে; আর একই data বা একই পাতার test পাশাপাশি, যাতে সেটআপ বারবার করতে না হয়। চালানোর সময় যা ঘটে, তা লেখা হয় test log-এ: কোন test, কোন build-এ, কোন environment-এ, কে, কখন, কী ফল, আর প্রমাণ (screenshot, log-এর অংশ)। ISTQB-এর syllabus-এ এই কাজগুলো test process-এর “test execution” ধাপে পড়ে; পুরোনো IEEE 829 মানে “test log” নামে আলাদা একটি দলিলই ছিল।

এই পর্বে ছক ছোট রাখতে US-12-এর test-গুলোকে ১১টি high-level test case-এ (TC-01 থেকে TC-11) ভাগ করে দেখানো হয়েছে, পর্ব ১৫-এর ছোট ছকের নম্বরের ধাঁচে। প্রতিটির নিচে পর্ব ১৬-এর মতো কয়েকটি low-level case (নির্দিষ্ট মানসহ), সব মিলিয়ে plan-এর ৩৬টি। High-level case-এর ফল হলো তার low-level case-গুলোর সবচেয়ে খারাপ ফল; নিয়মটি §৪-এ।

২ · ফল লেখা — pass, fail, blocked আর not run

প্রায় সব test management tool আর spreadsheet একই কয়েকটি status ব্যবহার করে, নামে সামান্য পার্থক্য থাকে। প্রতিটির অর্থ আর সাথে কী লিখতে হবে:

Statusঅর্থসাথে যা লিখতে হয়রিভিউ feature-এ উদাহরণ
Passসব ধাপ চলেছে, আসল ফল প্রত্যাশিত ফলের সাথে মিলেছেBuild, তারিখ, যে data ব্যবহার হলোTC-02: shipped অর্ডারে রিভিউ বোতাম নেই
FailTest চলেছে, কিন্তু অন্তত একটি ধাপের ফল প্রত্যাশিত নয়আসল ফল, প্রমাণ আর defect IDTC-06: “ ভালো চাল ” গৃহীত হলো → BG-148
Blockedপূর্বশর্ত পূরণ হয়নি, তাই test চালানোই যায়নিকে বা কী আটকে রেখেছে, আর কবে খুলতে পারেTC-07: staging-এর data reset, কোনো delivered অর্ডার নেই
Not runএখনো চালানো হয়নি (সময় বাকি, বা ইচ্ছা করে বাদ)বাদ হলে কারণ আর কার সম্মতিতেTC-11: আগামীকালের তালিকায়

কয়েকটি নিয়ম মেনে চললে log পরে কাজে লাগে। এক, fail-এর পাশে সবসময় defect ID, আর defect-এর ভেতরে test case-এর ID: দুই দিকের এই সংযোগই পরে traceability-র কাঁচামাল। দুই, “fail” মানে system-এর ভুল, এটি নিশ্চিত হওয়ার আগে লিখবেন না। Test case-এর প্রত্যাশিত ফল ভুল, বা environment-এর গোলমাল হলে সেটি test-এর সমস্যা; সেখানে test case ঠিক করে আবার চালাতে হয় (পর্ব ০২-এর false positive মনে করুন)। তিন, blocked-কে কখনো fail বলবেন না: TC-07 চালানোই যায়নি, তাই AC4 সম্পর্কে আমরা কিছুই জানি না। চার, “pass” লেখার আগে প্রতিটি ধাপের ফল সত্যিই চোখে দেখুন; ধাপ ৫-এ গিয়ে মনে হলো “আগেরগুলো তো ঠিকই ছিল”, এই অভ্যাস থেকে সবচেয়ে বিপজ্জনক ভুল হয়।

একটি test, একটি ফল নয়: একই test একাধিকবার চলে, বিভিন্ন build-এ। তাই log-এ প্রতিটি চালানো আলাদা সারি, আর রিপোর্টে সাধারণত দেখানো হয় সর্বশেষ ফল। কিন্তু সর্বশেষ ফল যদি পুরোনো build-এর হয়, সেটি আজকের build সম্পর্কে কিছু বলে না। §৬-এ SQL দিয়ে এটি নিজে দেখবেন।

Automation-এর ফলও একই ভাষায়

বাজারঘরের দলে কিছু test স্বয়ংক্রিয়ও চলে। তাদের ফলও এই চার ঘরে আসে, শুধু নাম আলাদা। নিচে রিভিউ feature-এর পাঁচটি test, দ্বিতীয় দিনের সকালে pytest দিয়ে build 1.4.0-এর কোডের ওপর। সেই সকালে staging-এর data reset হয়ে গিয়েছিল, তাই TC-07 চালানো যায়নি; তাকে skip চিহ্ন দেওয়া, কারণসহ।

import pytest

def can_review(status, stars, text):      # build 1.4.0
    if status != "delivered" or stars not in range(1, 6):
        return False
    return 10 <= len(text) <= 500

def average(stars):
    return round(sum(stars) / len(stars), 1)

def test_tc01_delivered_can_review():
    assert can_review("delivered", 5, "chal khub valo") is True

def test_tc02_shipped_cannot_review():
    assert can_review("shipped", 5, "chal khub valo") is False

def test_tc06_text_is_trimmed():           # AC3
    assert can_review("delivered", 4, "  valo chal  ") is False

@pytest.mark.skip(reason="BLOCKED: staging data reset, no delivered order")
def test_tc07_one_review_per_product():    # AC4
    pass

def test_tc08_average_half_up():           # AC5
    assert average([5, 4, 4, 4]) == 4.3

সত্যিকারের run (pytest 9.2.0, MIT licence; machine-এর path আর hostname নিরপেক্ষ মানে বদলানো, মাঝের traceback ছাঁটা):

$ uv run pytest -rA --junitxml=report.xml
platform win32 -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: ~/bazarghar-qa
collected 5 items

test_review.py ..FsF                                     [100%]
…
PASSED test_review.py::test_tc01_delivered_can_review
PASSED test_review.py::test_tc02_shipped_cannot_review
SKIPPED [1] test_review.py:20: BLOCKED: staging data reset, no delivered order
FAILED test_review.py::test_tc06_text_is_trimmed - AssertionError: assert Tru...
FAILED test_review.py::test_tc08_average_half_up - assert 4.2 == 4.3
========== 2 failed, 2 passed, 1 skipped in 0.07s ==========

$ head -c 160 report.xml   # প্রথম লাইনের শুরু
<testsuite name="pytest" errors="0" failures="2" skipped="1" tests="5" …>

ফলের লাইনে প্রতিটি অক্ষর একটি test: . পাস, F fail, s skip. দুটি fail ঠিক সেই দুটি ভুল, যা পর্ব ১৫-এ ধরা পড়েছিল: ফাঁকা না ছেঁটে অক্ষর গোনা (দুই পাশে দুটি করে ফাঁকা দিলে ৯ অক্ষরের লেখা ১৩ হয়ে যায়, তাই গৃহীত) আর Python-এর round-এর banker's rounding (৪.২৫ → ৪.২)। Tracker-এ (পর্ব ১৮-এর ধাঁচে) এদের নম্বর BG-148 আর BG-139; manual log-এ উঠবে TC-06 fail (BG-148), TC-08 fail (BG-139) আর TC-07 blocked হিসেবে। লক্ষ করুন, pytest-এর কাছে “skipped” একটি সাধারণ শব্দ; কারণটি আমরা নিজে “BLOCKED: …” লিখেছি বলেই রিপোর্টে বোঝা যায় এটি ইচ্ছাকৃত বাদ নয়, আটকে থাকা test. JUnit XML ফাইলের গুনতি (tests 5, failures 2, skipped 1) থেকে test management tool বা CI নিজেই হিসাব তোলে; এই ফরম্যাট আর Allure-এর মতো রিপোর্ট পর্ব ৬৭ (Test report আর metric)-এ বিস্তারিত। pytest-এর মূল কাজ শিখতে পাইথন প্রোগ্রামিং কোর্সের পর্ব ৪২ দেখুন।

৩ · Retest আর regression — execution চলার মধ্যেই

দ্বিতীয় দিনের শেষে ৩৬টির সবকটি চলেছে: ৩২ pass, ৪ fail. চারটি fail-এর পেছনে চারটি bug: BG-118 (emoji থাকলে ৫০০ code point-এর লেখা বাতিল, minor), BG-148 (ফাঁকা না ছেঁটে গোনা, minor), BG-139 (গড় ৪.২৫ দেখায় ৪.২, major) আর BG-133 (tablet-এ স্টারের সারি ২ px সরে আছে, trivial). Developer প্রথম তিনটি ঠিক করে নতুন build 1.4.1 দিলেন। এখন দুটি আলাদা কাজ। প্রথমটি confirmation testing, প্রচলিত নাম retest: যে test fail করেছিল, ঠিক সেটিই একই ধাপ আর একই data-য় আবার চালানো, যাতে নিশ্চিত হওয়া যায় bug সত্যিই গেছে। পাস করলে defect “verified”, তারপর “closed” (পর্ব ১৮-এর lifecycle). Fail করলে defect “reopened”.

দ্বিতীয়টি regression test: পরিবর্তনের আশপাশে আগে পাস করা test আবার চালানো, যাতে ঠিক করতে গিয়ে নতুন কিছু না ভাঙে। লেখা গোনা আর গড়ের কোড বদলেছে, তাই AC3 আর AC5-এর বাকি low-level case-গুলো (যেগুলো আগে পাস করেছিল) আবার চালানো যুক্তিসংগত; স্টার বাছা বা অর্ডারের status-এর test নয়। কতটা regression চালাবেন, তা ঠিক হয় পরিবর্তনের প্রভাব দেখে (পর্ব ০৫-এর impact analysis). নিচে তৃতীয় দিনটি ধাপে ধাপে দেখুন; গুনতি ৩৬টি low-level case-এর।

US-12 · ৩৬টি test case
সময়
যা ঘটল
pass · fail
খোলা bug
আজ চালানো
  1. দিনের শুরু। দ্বিতীয় দিনের শেষ অবস্থা: ৩২ pass, ৪ fail, মোট ৩৬. Developer রাতে জানিয়েছেন BG-118, BG-148 আর BG-139 ঠিক হয়েছে; tracker-এ তিনটিই “fixed”. BG-133 (trivial) এই build-এ ঠিক হবে না।
  2. নতুন build. Build 1.4.1 staging-এ বসল। প্রথমে plan-এর ৫টি smoke test; ৫টিই পাস, তাই দিনের কাজ শুরু। ৩৬-এর গুনতি বদলায়নি, কারণ smoke আলাদা একটি ছোট তালিকা।
  3. প্রথম retest. সবচেয়ে বড় bug আগে: BG-139. TC-08-এর যে case fail করেছিল, একই data ৫, ৪, ৪, ৪ দিয়ে আবার চালানো হলো; এবার গড় ৪.৩. Pass. গুনতি ৩৩ pass, ৩ fail; BG-139 verified, তারপর closed.
  4. বাকি দুটি retest. TC-06-এর “ ভালো চাল ” এবার বাতিল (BG-148), আর TC-05-এর emoji-সহ ৫০০ code point-এর লেখা এবার গৃহীত (BG-118). দুটিই pass: ৩৫ pass, ১ fail. খোলা bug শুধু BG-133.
  5. Regression. গোনা আর গড়ের কোড বদলেছে, তাই AC3 আর AC5-এর বাকি ৯টি low-level case (আগে পাস) আবার চালানো হলো, যেমন ৯, ১০ আর ৫০১ অক্ষর, আর অন্য গড়ের উদাহরণ। সবকটি পাস। গুনতি বদলায়নি, কিন্তু log-এ ৯টি নতুন সারি, build 1.4.1-সহ। আজ মোট ১২টি case চলেছে।
  6. Load check. NFR-2 যাচাই হলো আলাদা একটি load check-এ (৩৬টির বাইরে, performance দলের script): ৫০ জন একসাথে, ১০ মিনিট, p95 ১.৪ সেকেন্ড। লক্ষ্য ২ সেকেন্ড বা কম, তাই পাস। §৪-এ দেখবেন, এই check-টি প্রথমে RTM-এ যুক্তই ছিল না।
  7. Status update. দিনের শেষে দলের কাছে চার লাইন: “আজ build 1.4.1-এ ১২টি case আর load check চলেছে, সব পাস। BG-118, BG-148, BG-139 closed. মোট ৩৬-এর মধ্যে ৩৫ pass, ১ fail (TC-10, BG-133, trivial, খোলা)। Blocked বা বাকি কিছু নেই।” এই চার লাইন থেকেই summary report-এর খসড়া শুরু হবে (§৭)।

৪ · Requirements traceability matrix — পূর্ণ রূপ

পর্ব ১৫-এর শেষে traceability-র প্রথম ঝলক দেখেছেন: কোন AC-এর test আছে, কোনটির নেই। পূর্ণ requirements traceability matrix (RTM)-এ আরও দুটি ঘর যোগ হয়: প্রতিটি test-এর শেষ ফল, আর তার সাথে যুক্ত defect. তখন ছকটি শুধু “কী লেখা আছে” নয়, “কী জানা গেছে” বলে।

RequirementTest caseশেষ ফল (build)DefectRequirement-এর অবস্থা
AC3 লেখা ১০–৫০০TC-05, TC-06fail, fail (1.4.0)BG-118, BG-148fail
AC4 একটি রিভিউTC-07blocked (1.4.0)data resetblocked
NFR-2 p95 ≤ 2 s———NO TEST

Requirement-এর অবস্থা বের করার একটি সহজ, প্রচলিত নিয়ম: তার সব test-এর মধ্যে সবচেয়ে খারাপ ফলটি নিন, এই ক্রমে: fail, তারপর blocked, তারপর not run, তারপর pass. একই নিয়ম high-level case-এর বেলায়ও: দ্বিতীয় দিনের সকালে TC-06-এর চারটি low-level case-এর একটি fail, দুটি blocked, একটি not run; তাই TC-06 fail. কারণ requirement-টি একটিই নিয়ম; তার এক অংশ ভাঙা মানে নিয়ম ভাঙা।

দুই দিকে পড়লে দুই রকম ফাঁক ধরা পড়ে। Forward traceability (requirement → test) দেখায় কোন requirement-এর কোনো test নেই: coverage-এর ফাঁক। Backward traceability (test → requirement) দেখায় কোন test কোনো চলতি requirement-এর সাথে যুক্ত নয়: link দিতে ভুলে যাওয়া, পুরোনো test, scope-এর বাইরের কাজ, বা অলিখিত requirement-এর সংকেত। নিচের ছবিতে দ্বিতীয় দিনের সকালের অবস্থা, ঠিক যখন staging-এর data reset হয়ে test থামানো হয়েছে।

RTM-এর ছবি — দিন ২ সকাল, build 1.4.0

সবুজ pass · লাল fail · হলুদ blocked · ধূসর not run · ড্যাশ দেওয়া বাক্স ফাঁক

Requirements traceability matrix as links between requirements and test cases, with gaps Requirement Test case AC1 AC2 AC3 AC4 AC5 AC6 NFR-1 NFR-2 TC-01 TC-02 TC-03 TC-04 TC-05 TC-06 TC-07 TC-08 TC-09 TC-10 TC-11 ← কোনো test নেই link নেই →
ছবি ১৯.১ — বাঁ থেকে ডানে পড়লে forward traceability: NFR-2 থেকে কোনো রেখা বেরোয়নি। ডান থেকে বাঁয়ে পড়লে backward traceability: TC-10-এ কোনো রেখা আসেনি। রেখার রং test-এর ফল, বাঁয়ের বাক্সের রং requirement-এর অবস্থা।

এবার ছকটি সারি ধরে নিজে পূরণ করুন। নিচের শেষ সারিটি চলতি হিসাব: কয়টি requirement-এর অন্তত একটি test আছে, আর কয়টি পুরোপুরি পাস।

US-12 · দিন ২ সকাল
সারি
Test case
ফল
Defect / নোট
অবস্থা
test আছে · pass
  1. AC1. দুটি high-level test: delivered অর্ডারে রিভিউ দেওয়া যায় (TC-01), অন্য status-এ যায় না (TC-02). দুটিই পাস, তাই AC1 pass. চলতি হিসাব: ৮-এর ১টিতে test আছে, ১টি পাস।
  2. AC2. TC-03 (০, ৬, ৩.৫ স্টার বাতিল) আর TC-04 (১, ৩, ৫ গৃহীত), দুটিই পাস। ২/৮ আর ২/৮.
  3. AC3. দুটি test, দুটিই fail: TC-05-এ emoji-সহ ৫০০ code point বাতিল (BG-118), TC-06-এ ফাঁকা না ছেঁটে গোনা (BG-148). AC3 fail. Test আছে ৩/৮, কিন্তু পাস এখনো ২/৮.
  4. AC4. TC-07 blocked: রাতে staging-এর data reset, তাই কোনো delivered অর্ডার নেই। AC4 সম্পর্কে কিছুই জানা যায়নি; অবস্থা blocked, fail নয়। নোটের ঘরে blocker লেখা থাকায় সবাই জানেন কোন সমস্যা মেটাতে হবে।
  5. AC5. TC-08 fail: ৫, ৪, ৪, ৪-এর গড় ৪.২ দেখায়, চাই ৪.৩. BG-139 (major) যুক্ত। AC5 fail.
  6. AC6. TC-09 (সব স্টারের রিভিউ পাতায় দেখা যায়) একই কারণে blocked: পাতায় দেখানোর মতো রিভিউই নেই। Test লেখা আছে বলে forward হিসাবে এটি “covered” (৬/৮), কিন্তু AC6 পূরণ হয়েছে কি না, জানা নেই। Coverage আর পাস দুটি আলাদা প্রশ্ন।
  7. NFR-1. TC-11 (“আমার অর্ডার” থেকে এক tap-এ form) এখনো চলেনি, আজকের তালিকায় আছে। Not run. এখন ৭/৮-এ test আছে, পাস ২/৮.
  8. NFR-2. “৫০ জন একসাথে, p95 ≤ ২ সেকেন্ড” plan-এর E5-এ আছে, কিন্তু ৩৬টি test case-এর কোনোটি এর সাথে যুক্ত নয়। কারণ যাচাইটি হবে performance দলের আলাদা load check-এ, যা tool-এ ঢোকানোই হয়নি। Forward ফাঁক ধরা পড়ল; সমাধান: load check-কে LC-01 নামে tool-এ যোগ করে NFR-2-এর সাথে link করা, যাতে তার ফলও RTM-এ আসে।
  9. উল্টো দিক। TC-10-এর requirement-এর ঘর ফাঁকা; কেউ link দিতে ভুলে গেছেন। পড়ে দেখা গেল এটি ছোট পর্দায় রিভিউ-এর স্টার ঠিক জায়গায় দেখায় কি না যাচাই করে, তাই AC6-এর test. Link ঠিক করা হলো। হিসাব বদলায়নি (AC6-এর আগেই test ছিল): ৮-এর ৭টিতে test আছে, মাত্র ২টি পুরোপুরি পাস।

হাতে ছক বানানো ছোট feature-এ চলে; ৩০০ requirement আর ১,০০০ test-এ যন্ত্র লাগে। নিচের Python ঠিক এই হিসাব করে: requirement, test আর defect-এর data থেকে RTM বানায়, সবচেয়ে খারাপ ফলের নিয়মে অবস্থা ঠিক করে, আর দুই দিকের ফাঁক ছাপে। “চালান” চাপুন; প্রথমবার ব্রাউজারে Python (Pyodide) নামতে কয়েক সেকেন্ড লাগে।

REQS = ["AC1", "AC2", "AC3", "AC4", "AC5", "AC6", "NFR-1", "NFR-2"]
# high-level test case: (requirement, worst result so far, defect or blocker)
TESTS = {
    "TC-01": ("AC1", "pass", ""),         "TC-02": ("AC1", "pass", ""),
    "TC-03": ("AC2", "pass", ""),         "TC-04": ("AC2", "pass", ""),
    "TC-05": ("AC3", "fail", "BG-118"),   "TC-06": ("AC3", "fail", "BG-148"),
    "TC-07": ("AC4", "blocked", "data"),  "TC-08": ("AC5", "fail", "BG-139"),
    "TC-09": ("AC6", "blocked", "data"),  "TC-10": ("", "not run", ""),
    "TC-11": ("NFR-1", "not run", ""),
}
WORST_FIRST = ["fail", "blocked", "not run", "pass"]

rtm = {r: [] for r in REQS}
orphans = []
for tc, (req, result, note) in TESTS.items():
    if req in rtm:
        rtm[req].append((tc, result, note))
    else:
        orphans.append(f"{tc} -> {req or 'no link'}")

passed = 0
for req, rows in rtm.items():
    if not rows:
        print(f"{req:6} {'-':12} NO TEST")
        continue
    status = min((r for _, r, _ in rows), key=WORST_FIRST.index)
    passed += status == "pass"
    tcs = " ".join(tc for tc, _, _ in rows)
    notes = " ".join(n for _, _, n in rows if n)
    print(f"{req:6} {tcs:12} {status:8} {notes}".rstrip())

tested = sum(1 for rows in rtm.values() if rows)
print(f"forward: {tested}/{len(REQS)} have a test, {passed}/{len(REQS)} passed")
print("backward:", ", ".join(orphans) or "none")

আসল আউটপুট (ব্রাউজারের Python):

AC1    TC-01 TC-02  pass
AC2    TC-03 TC-04  pass
AC3    TC-05 TC-06  fail     BG-118 BG-148
AC4    TC-07        blocked  data
AC5    TC-08        fail     BG-139
AC6    TC-09        blocked  data
NFR-1  TC-11        not run
NFR-2  -            NO TEST
forward: 7/8 have a test, 2/8 passed
backward: TC-10 -> no link

মূল কৌশল এক লাইনে: min(..., key=WORST_FIRST.index). তালিকায় fail-এর স্থান ০, pass-এর ৩; তাই সবচেয়ে ছোট স্থানের ফলটিই সবচেয়ে খারাপ, আর সেটিই requirement-এর অবস্থা। শেষের দুই লাইনে দুটি আলাদা সংখ্যা দেখুন: ৮-এর ৭টিতে test আছে (৮৭.৫%), কিন্তু পাস মাত্র ২টি (২৫%). কেউ শুধু প্রথম সংখ্যাটি রিপোর্টে লিখলে পাঠক ভাববেন feature প্রায় তৈরি। এই data-য় দুটি পরিবর্তন করে দেখুন: "TC-10"-এর requirement "AC6" লিখলে backward লাইনে none আসে, আর "NFR-2"-এর জন্য "LC-01": ("NFR-2", "not run", "") যোগ করলে forward ফাঁকও বন্ধ হয়, হিসাব ৮/৮.

৫ · অগ্রগতি মাপা — planned, executed, passed আর defect

Execution চলার সময় দল আর ম্যানেজার প্রতিদিন একই প্রশ্ন করেন: “আমরা কোথায়?” এর উত্তর দেয় test progress report (ISO/IEC/IEEE 29119-3-এ নাম test status report): পরিকল্পনার তুলনায় কতটা চলেছে, কতটা পাস, কতগুলো defect খোলা, আর কোনো বাধা আছে কি না। চারটি মূল সংখ্যা:

  • Planned: plan অনুযায়ী আজ পর্যন্ত কয়টি test চলার কথা।
  • Executed: কয়টি সত্যিই চলেছে, মানে pass বা fail. Blocked এখানে পড়ে না, কারণ সেটি চলেনি।
  • Passed: সর্বশেষ ফল পাস এমন test.
  • Defect: নতুন খোলা, বন্ধ আর খোলা থাকা, severity অনুযায়ী ভাগ করে (পর্ব ১৮-এর severity আর priority). খোলা defect-এর দৈনিক রেখা নিচের দিকে নামছে কি না, সেটিই প্রধান প্রবণতা।

US-12-এর plan-এ ৩৬টি low-level test case, তিন দিনের execution (পর্ব ১৭)। নিচের কোড চারটি মুহূর্তের সংখ্যা থেকে শতাংশ বের করে: প্রথম দিনের শেষ, দ্বিতীয় দিনের সকাল (data reset), দ্বিতীয় দিনের শেষ আর তৃতীয় দিনের শেষ। সাথে plan-এর suspension শর্তটিও যাচাই করে: বাকি test-এর ২৫%-এর বেশি blocked হলে test থামানো। শতাংশগুলো আলাদা হরের ওপর, আর সেটিই এই হিসাবের মূল শিক্ষা।

TOTAL = 36                       # low-level test cases for US-12
# checkpoint: planned so far, pass, fail, blocked, defects opened, closed
SNAPS = [("D1 end",  20, 17, 3, 0, 3, 0),
         ("D2 9am",  36, 17, 3, 9, 0, 0),
         ("D2 end",  36, 32, 4, 0, 1, 0),
         ("D3 end",  36, 35, 1, 0, 0, 3)]

print("when    exec/plan  pass/exec  pass/all  blk  open  note")
open_bugs = 0
for when, plan, ok, bad, blk, opened, closed in SNAPS:
    executed = ok + bad                  # blocked is NOT executed
    remaining = TOTAL - executed
    open_bugs += opened - closed
    note = "SUSPEND" if remaining and blk / remaining > 0.25 else ""
    print(f"{when}  {executed:2}/{plan} {100 * executed / plan:3.0f}%"
          f"  {100 * ok / executed:5.1f}%  {100 * ok / TOTAL:6.1f}%"
          f"  {blk:3}  {open_bugs:4}  {note}".rstrip())

আসল আউটপুট (ব্রাউজারের Python):

when    exec/plan  pass/exec  pass/all  blk  open  note
D1 end  20/20 100%   85.0%    47.2%    0     3
D2 9am  20/36  56%   85.0%    47.2%    9     3  SUSPEND
D2 end  36/36 100%   88.9%    88.9%    0     4
D3 end  36/36 100%   97.2%    97.2%    0     1

সারিগুলো পড়ুন। প্রথম দিনের plan ছিল ২০টি, চলেছে ২০টি: পরিকল্পনামতো। দ্বিতীয় দিনের সকালে plan পুরো ৩৬, কিন্তু চলেছে ২০; বাকি ১৬-এর ৯টি blocked, ৯/১৬ ≈ ৫৬%, যা ২৫%-এর সীমার অনেক ওপরে, তাই SUSPEND. Blocked-কে চালানোর হিসাবে ধরা হয়নি, তাই exec ৫৬%-এ নেমে এসে সমস্যাটি সংখ্যাতেই দেখা গেল। খোলা bug ৩ → ৩ → ৪ → ১: শেষ দিনে তিনটি fix-এর retest পাস করায় একসাথে নেমেছে।

এবার মাঝের দুই কলাম। প্রথম দিনের শেষে চালানো test-এর ৮৫.০% পাস, শুনতে ভালো। কিন্তু ৩৬-এর হিসাবে পাস মাত্র ৪৭.২%, কারণ ১৬টি তখনো চলেইনি। দুটোই সত্য; কোনটি কিসের শতাংশ না লিখলে ৮৫% শুনে পাঠক ভাববেন কাজ প্রায় শেষ। শেষ দিনে সব চলেছে বলে দুই হিসাব মিলে গেছে: ৯৭.২%. নিয়ম: প্রতিটি শতাংশের পাশে হর লিখুন, যেমন “৩৬-এর ৩৫ (৯৭.২%)”.

এই সংখ্যাগুলো সাধারণত একটি ছবিতেও দেখানো হয়: দিনের পর দিন planned আর executed-এর দুটি ক্রমবর্ধমান রেখা (ধীরে শুরু, মাঝে দ্রুত, শেষে ধীর হওয়ায় অনেকে একে S-curve বলেন), আর খোলা defect-এর রেখা। Executed রেখা planned থেকে অনেক পিছিয়ে পড়লে প্রশ্ন উঠবে: test data, environment, নাকি অনেক blocked test? খোলা defect-এর রেখা শেষ দিকে না নামলে release-এর তারিখ নিয়ে আলোচনা দরকার। পরিকল্পনা আর estimation-এর দিক থেকে এগুলো পর্ব ৭৪ (Test management আর estimation)-এ আবার আসবে।

৬ · SQL দিয়ে ফলের ভান্ডারে প্রশ্ন

বেশিরভাগ test management tool ভেতরে ফলগুলো একটি database-এ রাখে, আর অনেক tool ফল export করতে দেয়। তখন SQL জানা tester নিজেই প্রশ্ন করতে পারেন, রিপোর্টের জন্য অপেক্ষা না করে। নিচে রিভিউ feature-এর একটি কাল্পনিক ভান্ডার: test_cases (১১টি high-level test, কোন requirement, priority; TC-10-এর link এখন ঠিক করা), results (প্রতিটি চালানো একটি সারি: দিন ১ আর ২ build 1.4.0, দিন ৩ build 1.4.1), আর defects. এটি পাতার ভেতরের SQLite; query বদলে নিজে চালান। JOIN আর subquery-র ভিত্তি ডেটাবেস ও SQL কোর্সের পর্ব ১৯ আর পর্ব ২১-এ।

-- 1) each test case's LATEST result (not run if none)
SELECT t.tc, t.req, COALESCE(r.status, 'not run') AS latest, r.build
FROM test_cases t
LEFT JOIN results r ON r.run_id =
     (SELECT MAX(run_id) FROM results WHERE tc = t.tc)
ORDER BY t.tc;

-- 2) status counts: latest result only vs every run
SELECT COALESCE(r.status, 'not run') AS latest, COUNT(*) AS n
FROM test_cases t
LEFT JOIN results r ON r.run_id =
     (SELECT MAX(run_id) FROM results WHERE tc = t.tc)
GROUP BY latest ORDER BY n DESC;

SELECT status, COUNT(*) AS all_runs FROM results GROUP BY status;

-- 3) open defects with the requirement they hit
SELECT d.id, d.severity, d.req FROM defects d WHERE d.state = 'open';

পাতার run-এ প্রথম query দিল ১১টি সারি: TC-05, TC-06 আর TC-08 pass, build 1.4.1 (retest-এর পরে); TC-10 fail, build 1.4.0; বাকি সাতটি pass, build 1.4.0. LEFT JOIN ব্যবহারের কারণ: কোনো test একবারও না চললে তার কোনো results সারি থাকে না; সাধারণ JOIN সেটিকে চুপচাপ বাদ দিত, অথচ “not run” জানাটাই দরকার। COALESCE সেই ফাঁকা ঘরে “not run” বসায়। প্রথম দিনের শেষে চালালে TC-07, TC-09, TC-10 আর TC-11 এভাবেই “not run” হয়ে আসত।

দ্বিতীয় অংশে দুটি গুনতি পাশাপাশি: সর্বশেষ ফলে pass 10, fail 1; আর সব চালানো ধরলে blocked 2, fail 5, pass 10, মোট ১৭টি সারি। দ্বিতীয় হিসাব রিপোর্টে দিলে মনে হবে ৫টি test এখনো fail, যা সত্য নয়। তৃতীয় query দিল BG-133 trivial AC6. প্রথম ফলের একটি সূক্ষ্ম কথা লক্ষ করুন: সাতটি test-এর “সর্বশেষ” pass build 1.4.0-এর, অথচ এখন চলছে 1.4.1. পুরোনো build-এর ফলকে চলতি build-এর প্রমাণ বলা যায় না; অনুশীলনে এমন test খোঁজার একটি query আছে।

৭ · Test summary report — সৎ উপসংহার

Test-এর কাজ শেষে (একটি release, একটি sprint বা একটি project-এর) লেখা হয় test completion report. পুরোনো IEEE 829 (১৯৮৩ সালে প্রথম, ২০০৮ সালে সংশোধিত) একে বলত test summary report; এখন ISO/IEC/IEEE 29119-3 আর ISTQB-এর নতুন syllabus “test completion report” নাম ব্যবহার করে। নাম যাই হোক, পাঠক একজন ব্যস্ত মানুষ, যিনি একটি প্রশ্নের উত্তর চান: “আমি কী জেনে সিদ্ধান্ত নেব?” ভালো রিপোর্টে সাধারণত এই অংশগুলো থাকে:

অংশUS-12 · রিভিউ আর রেটিং (এক পাতার রূপ)
পরিচয়TSR-US12 · তিন দিন · staging · build 1.4.0 আর 1.4.1
কী test হলোAC1–AC6, NFR-1 (৩৬টি test case); NFR-2 আলাদা load check-এ (LC-01)
কী test হলো নাসম্পাদনা আর ভাষা moderation (scope-এর বাইরে); ডেলিভারির পরে রিভিউ-এর সময়সীমা (PO-র খোলা প্রশ্ন, তাই কোনো AC বা test নেই); ৫০ জনের বেশি ভিড়
ফল৩৬ planned · ৩৬ executed · ৩৫ pass · ১ fail (TC-10) · ০ blocked; LC-01: p95 ১.৪ সেকেন্ড
Defect৪টি পাওয়া · ৩টি closed (BG-118, BG-148, BG-139) · ১টি খোলা: BG-133 (trivial), PO-র সম্মতিতে known issue
Exit criteriaE1–E5, ৫-এর ৫টি পূরণ (পর্ব ১৭-এর plan)
Residual riskছোট tablet-এ স্টারের সারি ২ px সরে থাকে; সেলের দিনের বড় ভিড়ে সাড়ার সময় অজানা; সময়সীমার নিয়ম না থাকায় বহু মাস পরেও রিভিউ দেওয়া যায়
বিচ্যুতি আর শিক্ষাদিন ২ সকালে staging-এর data reset, ৯টি test blocked, কয়েক ঘণ্টা suspension; পরের release-এ data তৈরির script entry criteria-তে
সুপারিশRelease-এর সুপারিশ, একটি known issue-সহ (নিচের উপসংহার); সিদ্ধান্ত PO আর release-এর দায়িত্বপ্রাপ্তদের

ছকের সবচেয়ে কঠিন লাইন residual risk: সব test শেষে যে ঝুঁকি রয়ে যায়। পর্ব ০৩-এর প্রথম নীতি মনে করুন: test ভুলের উপস্থিতি দেখায়, অনুপস্থিতি প্রমাণ করে না। তাই পাঁচে পাঁচ exit criteria পূরণ হলেও “কোনো ঝুঁকি নেই” সৎ বাক্য নয়। সৎ রিপোর্ট বলে কোন জায়গা যাচাই হয়নি, কোন জানা ভুল রয়ে গেছে, আর তার ফল ব্যবহারকারীর কাছে কেমন দেখাবে। রিপোর্টের শেষে আসে উপসংহার, যা অনেকে শুধু পড়েন। নিচে একটি দুর্বল খসড়া থেকে ভালো উপসংহারে যাওয়া দেখুন।

প্রথম খসড়া৩টি সমস্যা
“সব test পাস। কোনো bug নেই।
Release-এর জন্য প্রস্তুত।”
সংখ্যাহরসহ
36-এর 36 test চলেছে;
36-এর 35 pass (97.2%)
1 fail: TC-10 (BG-133, trivial)
4 bug পাওয়া, 3 closed
Exit criteria৫-এর ৫
✓ E1 36/36 চালানো
✓ E2 pass 97.2% (≥ 95%)
✓ E3 খোলা critical/major: 0
✓ E4 প্রতিটি AC আর NFR-1-এ pass
✓ E5 NFR-2: p95 1.4 s (≤ 2 s)
Residual riskব্যবহারকারীর ভাষায়
১. ছোট tablet-এ স্টার 2 px সরে
২. সেলের দিনের ভিড় যাচাই হয়নি
   (শুধু 50 জন, 10 মিনিট)
৩. সময়সীমা নেই: পুরোনো অর্ডারেও
   রিভিউ দেওয়া যায়
সুপারিশশর্তসহ
Release-এর সুপারিশ, যদি:
- PO BG-133-কে known issue
  হিসেবে লিখিতভাবে মানেন
- সেলের আগে বড় load test
সিদ্ধান্ত: PO আর release owner
চূড়ান্ত৪ লাইন
36-এর 35 pass; exit criteria 5/5.
খোলা: BG-133 (trivial, প্রদর্শন)।
ঝুঁকি: বড় ভিড় আর সময়সীমা অজানা।
Known issue-সহ release-এর সুপারিশ।
  1. প্রথম খসড়া। তিনটি দাবিই সমস্যার। “সব test পাস” সত্য নয়, TC-10 fail. “কোনো bug নেই” মিথ্যা, BG-133 খোলা। “প্রস্তুত” একটি সিদ্ধান্ত, যা tester-এর একার নয়। এমন বাক্য পরে কিছু ভাঙলে tester-এর বিশ্বাসযোগ্যতা নষ্ট করে।
  2. সংখ্যা। প্রথমে মাপা তথ্য, প্রতিটি শতাংশের হরসহ: ৩৬-এর ৩৬ চলেছে, ৩৬-এর ৩৫ পাস। Fail-টির নাম, defect ID আর severity. পাঠক নিজে যাচাই করতে পারেন, বিশ্বাসের দরকার নেই।
  3. Exit criteria. পর্ব ১৭-এর plan-এ লেখা পাঁচটি মানদণ্ডের সাথে এক এক করে মেলানো, প্রতিটির পাশে মাপা মান। পাঁচটিই পূরণ। মান না লিখে শুধু ✓ দিলে পাঠক জানতে পারেন না E2 কত কাছ দিয়ে পূরণ হয়েছে।
  4. Residual risk. প্রতিটি ঝুঁকি ব্যবহারকারীর চোখে: “BG-133 খোলা” বললে PO বোঝেন না, “ছোট tablet-এ স্টার একটু সরে থাকে” বললে বোঝেন। যা যাচাই হয়নি (সেলের ভিড়, সময়সীমা), সেটিও ঝুঁকি; ফল খারাপ জানা নেই, জানাই নেই।
  5. সুপারিশ। Tester শর্তসহ মত দেন, কিন্তু সিদ্ধান্তের মালিক ঠিক করে লেখেন। Known issue-র জন্য PO-র লিখিত সম্মতি, আর বড় load test-এর জন্য একটি তারিখ: এতে ঝুঁকি কারও ঘাড়ে চুপচাপ চাপে না।
  6. চূড়ান্ত উপসংহার। চার লাইনে সংখ্যা, মানদণ্ড, ঝুঁকি আর শর্তসহ সুপারিশ। যিনি শুধু এটুকু পড়েন, তিনিও সঠিক ছবি পান; বিস্তারিত চাইলে ওপরের ছক আছে।
একটি দরকারি অভ্যাস

Summary report-এ প্রতিটি বাক্যের পেছনে একটি উৎস রাখুন: সংখ্যার পেছনে test log বা query, ঝুঁকির পেছনে RTM-এর একটি সারি বা defect ID. কেউ জিজ্ঞেস করলে “কোথা থেকে এল?” দেখাতে পারা মানে রিপোর্টটি মতামত নয়, তথ্য।

৮ · Dashboard আর metric — সংখ্যার ফাঁদ

অনেক দল ওপরের সংখ্যাগুলো একটি test dashboard-এ রাখে, যা সবাই যেকোনো সময় দেখতে পারেন। এটি স্বচ্ছতার জন্য ভালো, কিন্তু সংখ্যা যখন লক্ষ্য হয়ে যায়, তখন বিকৃত হয়। অর্থনীতিবিদ Charles Goodhart ১৯৭৫ সালে মুদ্রানীতির প্রসঙ্গে এমন একটি পর্যবেক্ষণ দেন; পরে নৃবিজ্ঞানী Marilyn Strathern-এর ১৯৯৭ সালের একটি লেখায় তা জনপ্রিয় রূপ পায়, যা এখন Goodhart's law নামে চলে: কোনো মাপ লক্ষ্য হয়ে গেলে তা আর ভালো মাপ থাকে না। Testing-এ এর চেনা রূপ:

Metric লক্ষ্য হলেযা ঘটতে পারেভালো প্রশ্ন
Pass rate ≥ ৯৫%Fail করা test “blocked” বা “not run” করে রাখা; সহজ test বেশি লেখাকোন requirement এখনো পাস করেনি, কেন?
প্রতিদিন N টি testছোট ছোট অর্থহীন test, তাড়াহুড়োয় “pass”আজ কোন ঝুঁকি সম্পর্কে নতুন কী জানলাম?
Tester-প্রতি bug-এর সংখ্যাএকই bug ভেঙে কয়েকটি report; দলের মধ্যে বিরোধকোন bug ব্যবহারকারীর কাছে পৌঁছানোর আগে থামল?
শূন্য খোলা defectDefect “not a bug” বা deferred করে বন্ধDeferred defect-গুলোর ঝুঁকি কে মেনে নিয়েছেন?
RTM coverage ১০০%প্রতিটি requirement-এ একটি দুর্বল test যোগসীমা আর ব্যতিক্রমের test আছে কি?

কিছু সংখ্যা শুনতে ভালো, কিন্তু কোনো সিদ্ধান্তে কাজে লাগে না; এদের বলে vanity metric, যেমন “এই বছর ২,০০০ test case লেখা হয়েছে”। ভালো dashboard-এর তিনটি গুণ: প্রতিটি সংখ্যার সংজ্ঞা আর হর লেখা থাকে, সংখ্যার সাথে প্রবণতা দেখায় (একটি দিনের ছবি নয়), আর প্রতিটি সংখ্যা একটি সিদ্ধান্তের সাথে যুক্ত থাকে (“খোলা major defect ০ না হলে release নয়”)। কোন metric অর্থবহ, তা নিয়ে বিস্তারিত পর্ব ৬৭ (Test report আর metric — JUnit XML, Allure আর কোন metric অর্থবহ)-এ, আর defect trend, RCA ও process improvement পর্ব ৭৫ (Quality metric আর process improvement)-এ। Software metric-এর সাধারণ পরিচয় সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৬২-এ আছে।

আরও গভীরে: নিয়ন্ত্রিত শিল্পে traceability ঐচ্ছিক নয়। বিমানের software-এর নির্দেশিকা DO-178C (২০১১) উচ্চ স্তরের requirement থেকে নিচের স্তরের requirement, কোড আর test পর্যন্ত দুই দিকের traceability-র উদ্দেশ্য রাখে; চিকিৎসা-যন্ত্রের software-এর মান IEC 62304 আর গাড়ির ISO 26262-ও requirement-এর যাচাই প্রমাণসহ দেখাতে বলে। বড় project-এ এই সংযোগ হাতে রাখা কঠিন, তাই গবেষণায় “traceability link recovery” নামে একটি ধারা আছে, যেখানে লেখার মিল বা machine learning দিয়ে হারানো সংযোগ খোঁজা হয়। তবে স্বয়ংক্রিয়ভাবে পাওয়া সংযোগ মানুষের যাচাই ছাড়া প্রমাণ হিসেবে চলে না।

পরীক্ষা ও ইন্টারভিউতে: বিশ্ববিদ্যালয়, চাকরি বা ইন্টারভিউর পরীক্ষায় এমন প্রশ্ন খুব চেনা:

  • RTM কী, আর কেন লাগে? — Requirement, test case, ফল আর defect-এর সংযোগের ছক; test-হীন requirement আর requirement-হীন test খুঁজতে, আর প্রতিটি requirement-এর অবস্থা জানাতে।
  • Blocked আর fail-এর পার্থক্য? — Fail-এ test চলেছে কিন্তু ফল মেলেনি; blocked-এ পূর্বশর্তের অভাবে test চালানোই যায়নি।
  • Retest আর regression testing-এর পার্থক্য? — Retest ঠিক হওয়া bug-এর test আবার চালায়; regression পরিবর্তনের আশপাশে আগে পাস করা test চালায়, নতুন ভাঙন খুঁজতে।
  • Test summary report-এ কী থাকে? — পরিধি, কী হলো আর কী হলো না, ফলের সংখ্যা, defect-এর অবস্থা, exit criteria-র মূল্যায়ন, residual risk আর সুপারিশ।
  • Testing কখন থামাবেন? — Exit criteria পূরণ হলে, অথবা বাকি ঝুঁকি দায়িত্বপ্রাপ্তরা লিখিতভাবে মেনে নিলে; “সব bug শেষ” কখনো মানদণ্ড নয়।

৯ · AI-এর যুগে test execution আর reporting

AI assistant একটি test log বা CSV দেখে কয়েক সেকেন্ডে summary report-এর খসড়া লিখে দেয়। কাজ বাঁচে, কিন্তু এই পর্বের প্রতিটি ফাঁদ সেখানে বেশি দেখা যায়। AI প্রায়ই blocked আর not run-কে মিশিয়ে ফেলে, সবচেয়ে সুন্দর শোনায় এমন শতাংশ বাছে (হর না বলে), সব চালানোর সারি গুনে fail বেশি দেখায়, আর “release-এর জন্য প্রস্তুত” জাতীয় সিদ্ধান্ত নিজেই লিখে দেয়। Test লেখাতে বললে আরও পরিচিত ভুল: শুধু happy path, কোড যা করে সেটিকেই প্রত্যাশিত ফল ধরা (ফলে ভুল কোডেও test পাস), সীমা বাদ পড়া, নেই এমন tool option বা field বানানো, অপেক্ষার জন্য sleep, এত mock যে আসল কিছু যাচাই হয় না, আর না চালিয়েই “সব test পাস” দাবি।

AI-কে হিসাবের সহকারী হিসেবে ব্যবহার করুন, সিদ্ধান্তের মালিক হিসেবে নয়:

তুমি একজন অভিজ্ঞ test lead. নিচে release 1.4-এর test log (CSV) আর requirement-এর তালিকা দিলাম। ১. প্রতিটি test case-এর সর্বশেষ ফল আর তার build বের করো; blocked আর not run আলাদা রাখো। ২. প্রতিটি শতাংশের পাশে হর লেখো (যেমন "46-এর 45"). ৩. কোন requirement-এর test নেই আর কোন test-এর requirement নেই, তালিকা দাও। ৪. Residual risk ব্যবহারকারীর ভাষায় লেখো; release-এর সিদ্ধান্ত নিজে দেবে না। ৫. প্রতিটি সংখ্যার পাশে লেখো সেটি কোন সারি থেকে গোনা, যাতে আমি মিলিয়ে দেখতে পারি। (log এখানে বসাও; আসল ক্রেতার নাম বা ফোন নম্বর মুছে দেওয়া)

AI-এর লেখা রিপোর্ট বা test হাতে পেলে — যাচাইয়ের চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন, তারপর “→ উত্তর” চাপুন।

প্র ০১Ariane 5-এর প্রথম উড্ডয়ন ১৯৯৬ সালে ব্যর্থ হয়। তদন্তে উঠে আসে, একটি গুরুত্বপূর্ণ পরিস্থিতি আদৌ test হয়নি। “কী test হলো না” লিখে রাখা কেন summary report-এর সবচেয়ে দামি অংশ?

১৯৯৬ সালের ৪ জুন Ariane 5 উৎক্ষেপণের প্রায় ৪০ সেকেন্ড পরে পথ হারিয়ে ধ্বংস হয়। তদন্ত বোর্ডের (Jacques-Louis Lions-এর নেতৃত্বে) প্রতিবেদনের সারকথা: দিক নির্ণয়ের যন্ত্র (inertial reference system)-এর software Ariane 4 থেকে আনা হয়েছিল। একটি হিসাবে ৬৪-bit দশমিক সংখ্যাকে ১৬-bit পূর্ণসংখ্যায় বদলানোর সময় মানটি সীমা ছাড়িয়ে যায়, কারণ Ariane 5-এর অনুভূমিক গতি Ariane 4-এর চেয়ে অনেক বেশি ছিল। দুটি যন্ত্রই একই কারণে বন্ধ হয়।

Test-এর দিক থেকে প্রতিবেদনের একটি কথা বিশেষ গুরুত্বপূর্ণ। Ariane 5-এর আসল উড্ডয়নপথের data যন্ত্রটির requirement-এ রাখা হয়নি, আর সেই পথের data দিয়ে পুরো ব্যবস্থার একটি পূর্ণ simulation-ও করা হয়নি। অর্থাৎ ঝুঁকিপূর্ণ পরিস্থিতিটি “not run”-এর ঘরে ছিল, কিন্তু সিদ্ধান্ত নেওয়ার মানুষের সামনে সেটি স্পষ্ট ঝুঁকি হিসেবে আসেনি।

Summary report-এ পাস করা test-এর তালিকা সাধারণত লম্বা আর আশ্বাসজনক। কিন্তু সিদ্ধান্তের জন্য বেশি দরকারি তথ্য উল্টো দিকে: কী যাচাই হয়নি, কেন হয়নি, আর তার সম্ভাব্য ফল কী। বাজারঘরের রিপোর্টের একটি বাক্য, “load check হয়েছে শুধু ৫০ জনে, ১০ মিনিট; সেলের দিনের ভিড় যাচাই হয়নি”, PO-কে সুযোগ দেয় বলতে: “তাহলে সেলের আগে বড় load test চাই।” এই বাক্য না থাকলে সেই সুযোগই আসে না। RTM-এর forward ফাঁক আর না চলা test এই অংশের কাঁচামাল।

আরেকটি শিক্ষা: পুরোনো system-এ পাস করা test নতুন প্রেক্ষাপটে প্রমাণ নয়। Ariane 4-এ যে কোড নির্ভরযোগ্য ছিল, নতুন উড্ডয়নপথে তার অনুমান ভেঙে যায়। বাজারঘরে পুরোনো build-এর “pass” ঠিক এমনই।

মূল উপলব্ধি: “কী test হয়নি” লিখিত না থাকলে সেই ঝুঁকি কেউ জেনে-বুঝে মেনে নেন না; চুপচাপ production-এ চলে যায়।

প্র ০২Challenger দুর্ঘটনার (১৯৮৬) তদন্তে Richard Feynman লিখেছিলেন, প্রযুক্তিতে বাস্তবতাকে জনসংযোগের ওপরে রাখতে হয়। একজন tester-এর রিপোর্ট লেখায় এই কথার মানে কী?

১৯৮৬ সালের জানুয়ারিতে মহাকাশযান Challenger উৎক্ষেপণের কিছুক্ষণ পরে ভেঙে যায়। Rogers Commission-এর তদন্তে দেখা যায়, booster-এর জোড়ার O-ring ঠান্ডা আবহাওয়ায় ঠিকমতো কাজ করেনি, আর এ নিয়ে প্রকৌশলীদের উদ্বেগ আগেই ছিল। কমিশনের সদস্য পদার্থবিদ Richard Feynman তাঁর আলাদা পরিশিষ্টে লেখেন, প্রকৌশলীদের অনুমিত ব্যর্থতার সম্ভাবনা আর ব্যবস্থাপনার বলা সম্ভাবনার মধ্যে বিশাল ফারাক ছিল। শেষ বাক্যটি বিখ্যাত: সফল প্রযুক্তির জন্য বাস্তবতাকে জনসংযোগের ওপরে রাখতে হবে, কারণ প্রকৃতিকে বোকা বানানো যায় না।

Test রিপোর্টে “জনসংযোগ”-এর প্রলোভন ছোট আকারে প্রতিদিন আসে। Release-এর চাপ থাকলে মনে হয়, প্রথম দিনেই “৮৫% পাস” জানাই, “৩৬-এর ১৬টি এখনো চলেনি” পরে বলব। বা গড়ের bug-কে “minor” লিখি, অথচ সেটি পণ্যের পাতায় বহু ক্রেতাকে ভুল গড় দেখাবে। প্রতিটি সিদ্ধান্ত আলাদাভাবে ছোট, কিন্তু একসাথে পাঠকের মনে এমন ছবি তৈরি করে যা বাস্তব নয়।

এর প্রতিকার কাঠামোগত: শতাংশের সাথে হর, ঝুঁকি ব্যবহারকারীর ভাষায়, exit criteria-র প্রতিটির স্পষ্ট ✓ বা ✗, আর সিদ্ধান্তের মালিকের নাম। এই কাঠামো tester-কেও রক্ষা করে: চাপের মুখে তিনি মত নয়, লিখিত তথ্য দেখান। সাথে দরকার এমন একটি দল-সংস্কৃতি, যেখানে খারাপ খবর আনার জন্য কাউকে দোষ দেওয়া হয় না (পর্ব ০৩-এর blameless culture). খারাপ খবর দেরিতে আসার খরচ সবসময় বেশি।

মূল উপলব্ধি: Summary report-এর কাজ পাঠককে আশ্বস্ত করা নয়, সঠিক ছবি দেওয়া; বাস্তবতা রিপোর্টের ভাষা শুনে বদলায় না।

প্র ০৩Tester কি release-এর “gatekeeper”? Release আটকানোর ক্ষমতা tester-এর হাতে থাকা উচিত কি না, এ নিয়ে testing জগতে দীর্ঘ বিতর্ক আছে। দুই দিকের যুক্তি কী?

অনেক প্রতিষ্ঠানে একসময় নিয়ম ছিল, QA “sign-off” না দিলে release হবে না। শুনতে নিরাপদ, কিন্তু Cem Kaner, James Bach আর Bret Pettichord ২০০২ সালের বই Lessons Learned in Software Testing-এ এই ভূমিকার বিরুদ্ধে যুক্তি দেন; তাঁদের মূল কথা মোটামুটি এমন: tester-এর কাজ পণ্যের মান সম্পর্কে তথ্য দেওয়া, release-এর সিদ্ধান্ত নেওয়া নয়।

Gatekeeper ভূমিকার সমস্যা কয়েকটি। এক, release-এর সিদ্ধান্তে ব্যবসার অনেক তথ্য লাগে (বাজারের তারিখ, চুক্তি, প্রতিযোগিতা) যা tester-এর কাছে থাকে না। দুই, “QA পাস দিয়েছে” কথাটি মানের দায় একজনের ঘাড়ে চাপায়, অথচ মান পুরো দলের কাজ (পর্ব ০৪-এর whole-team approach). তিন, gate আটকালে tester-কে দলের প্রতিপক্ষ মনে হয়, আর চাপের মুখে gate প্রায়ই খুলেও যায়, তখন দায়টা আবার tester-এর।

অন্য দিকে, নিয়ন্ত্রিত শিল্পে (বিমান, চিকিৎসা-যন্ত্র) স্বাধীন যাচাইয়ের একটি আনুষ্ঠানিক ধাপ থাকে, আর সেখানে নির্দিষ্ট প্রমাণ ছাড়া release আইনত সম্ভব নয়। সেখানেও সিদ্ধান্ত নেয় একটি দায়িত্বপ্রাপ্ত কর্তৃপক্ষ, তবে স্বাধীন tester-এর মূল্যায়ন তার বাধ্যতামূলক অংশ।

বাজারঘরের মতো দলে বাস্তবসম্মত মাঝামাঝি পথ: exit criteria আগে থেকে সবাই মিলে ঠিক করা (পর্ব ১৭), tester সৎভাবে জানান কোনটি পূরণ হয়েছে, আর পূরণ না হলে ঝুঁকি মেনে নেওয়ার লিখিত সিদ্ধান্ত নেন PO বা release owner. Tester-এর ক্ষমতা আসে তথ্যের মান থেকে, পদ থেকে নয়।

মূল উপলব্ধি: Tester আলো ফেলেন, দরজা খোলেন বা বন্ধ করেন সিদ্ধান্তের মালিক; কিন্তু আলো ঠিকমতো না পড়লে কোনো সিদ্ধান্তই ভালো হয় না।

প্র ০৪নিয়ন্ত্রিত শিল্পে requirement থেকে test পর্যন্ত traceability বাধ্যতামূলক, অথচ অনেক agile দল RTM-কে বাড়তি কাগজের কাজ মনে করে। কোন অবস্থায় কতটা traceability যুক্তিসংগত?

বিমানের software-এর জন্য DO-178C (২০১১ সালে প্রকাশিত, আগের DO-178B-এর উত্তরসূরি) প্রতিটি requirement থেকে কোড আর test পর্যন্ত, আর উল্টো দিকেও, সংযোগ দেখানোর উদ্দেশ্য রাখে। কারণ সহজ: সনদ দেওয়ার কর্তৃপক্ষকে দেখাতে হয় প্রতিটি নিয়ম যাচাই হয়েছে, আর কোনো কোড এমন নেই যার কোনো requirement নেই। চিকিৎসা-যন্ত্র আর গাড়ির software-এর মানেও একই ধরনের প্রমাণ চাওয়া হয়। সেখানে RTM না থাকলে পণ্যই বাজারে যায় না।

অন্য প্রান্তে একটি ছোট startup-এর দল, যারা দিনে কয়েকবার release করে। সেখানে প্রতিটি requirement-এর জন্য spreadsheet-এ আলাদা সারি রাখা সত্যিই খরচ, আর ছক দ্রুত পুরোনো হয়ে যায়। Agile Manifesto (২০০১)-ও “বিস্তারিত দলিলের চেয়ে চালু software”-কে বেশি মূল্য দেয়, যদিও দলিলকে মূল্যহীন বলে না।

মাঝামাঝি সমাধান হলো traceability-কে আলাদা কাজ না বানিয়ে কাজের ভেতরে বসানো। User story-র ID test case-এর নামে বা tag-এ রাখা (যেমন test_tc06_...-এর মন্তব্যে AC3), defect-এ story-র link, আর tool সেখান থেকে ছক নিজেই বানায়। এই পর্বের Python block ঠিক এই ধারণা: data আগেই আছে, ছক একটি query মাত্র।

কতটা যথেষ্ট, তা ঠিক করে ঝুঁকি (পর্ব ৭৩, Risk-based testing): payment-এর নিয়মে প্রতিটি AC-এর সাথে test আর ফল যুক্ত রাখা যুক্তিসংগত; বোতামের রঙে নয়। প্রশ্নটি “RTM রাখব কি না” নয়, “কোন প্রশ্নের উত্তর দিতে কতটা সংযোগ লাগবে”।

মূল উপলব্ধি: Traceability-র মূল্য তার প্রশ্নের উত্তরে (কী যাচাই হয়নি, কোন test অপ্রয়োজনীয়); সংযোগ কাজের ভেতরে রাখলে খরচ কমে, প্রশ্নের উত্তর থাকে।

প্র ০৫খোলা defect-এর সংখ্যা প্রতিদিন কমছে। এটি কি নিশ্চিতভাবে বলে যে software-এর মান বাড়ছে? Defect trend পড়ার সময় কোন বিকল্প ব্যাখ্যাগুলো মাথায় রাখা দরকার?

Defect-এর প্রবণতা থেকে মান অনুমান করার চেষ্টা পুরোনো। ১৯৭০ আর ১৯৮০-র দশকে software reliability growth model নিয়ে অনেক কাজ হয়, যেমন John Musa-র execution time model; মূল ধারণা: test চলতে থাকলে আর ভুল ঠিক হতে থাকলে নতুন ব্যর্থতা আসার হার কমবে, আর সেই বক্ররেখা থেকে বাকি ভুলের একটি আন্দাজ পাওয়া যায়। এই মডেলগুলো কিছু শর্ত ধরে নেয়, যেমন test-এর ধরন আর তীব্রতা মোটামুটি একই থাকা।

বাস্তবে সেই শর্ত প্রায়ই ভাঙে, আর তখন কমতে থাকা রেখা অন্য কিছু বলতে পারে। Tester-রা হয়তো নতুন test লেখা বন্ধ করে পুরোনো test-ই বারবার চালাচ্ছেন (পর্ব ০৩-এর pesticide paradox). হয়তো দলের অর্ধেক মানুষ অন্য project-এ গেছেন। হয়তো কঠিন অংশ (load, payment-এর ব্যতিক্রম) এখনো শুরুই হয়নি। হয়তো চাপের মুখে defect “deferred” বা “not a bug” করে বন্ধ হচ্ছে। চারটি ক্ষেত্রেই রেখা নামে, কিন্তু মান বাড়েনি।

তাই defect trend সবসময় অন্য তথ্যের সাথে পড়তে হয়: একই সময়ে কতটা test চলেছে (executed রেখা), কোন অংশে (RTM), কতজন tester, আর বন্ধ হওয়া defect-এর মধ্যে কতগুলো সত্যিই ঠিক হয়ে verified. বাজারঘরের সংখ্যায় খোলা defect ৪ থেকে ১-এ নেমেছে ঠিক সেদিন, যেদিন তিনটি fix-এর retest পাস করল; তার আগেই ৩৬টির সবকটি অন্তত একবার চলেছে, আর বন্ধ হওয়া তিনটিই verified. তাই এখানে নামাটি বিশ্বাসযোগ্য। অর্ধেক test না চলেই রেখা নামলে, বা বন্ধগুলো “deferred” হলে, একই নামা সন্দেহজনক হতো।

মূল উপলব্ধি: একটি রেখা একা কোনো গল্প বলে না; defect trend-কে test-এর পরিমাণ আর পরিধির সাথে মিলিয়ে না পড়লে নামতে থাকা রেখাও ভুল আশ্বাস দেয়।

অনুশীলন

খাতা-কলমে করুন; উত্তর খোলার আগে নিজের উত্তর লিখে রাখুন।

  1. RTM থেকে ফাঁক আর নতুন test: বাজারঘরের delivery charge-এর নিয়ম: R1 ঢাকার ভেতরে ৬০ টাকা; R2 ঢাকার ভেতরে অর্ডার (coupon-এর আগের দাম) ২০০০ টাকা বা বেশি হলে ফ্রি; R3 ঢাকার বাইরে ১২০ টাকা; R4 ঢাকার বাইরে Plus সদস্যের জন্য ৬০ টাকা। বিদ্যমান test: TC-D1 (ঢাকা, 1500 → 60, pass), TC-D2 (ঢাকা, 2500 → 0, pass), TC-D3 (রাজশাহী, 800 → 120, fail, DEF-140), TC-D4 (ঢাকা, 1000, Plus → 60, pass). (ক) RTM বানিয়ে প্রতিটি requirement-এর অবস্থা লিখুন। (খ) Forward ফাঁক কোথায়? (গ) সীমার কৌশল দিয়ে ফাঁক ভরাতে অন্তত তিনটি নতুন test case দিন।

    (ক) R1 ← TC-D1, TC-D4 (দুটিই ঢাকা আর ২০০০-এর কম; Plus হওয়ায় ঢাকার ভেতরে নিয়ম বদলায় না) → pass. R2 ← TC-D2 → pass. R3 ← TC-D3 → fail (DEF-140). R4 ← কোনো test নেই → NO TEST. TC-D4 দেখতে R4-এর মতো (Plus), কিন্তু ঢাকার ভেতরে, তাই সেটি R1-এর test; এটি একটি সাধারণ ভুল সংযোগ।

    (খ) R4-এর কোনো test নেই। আর R2-এর একটি মাত্র test, সীমা থেকে দূরে (2500), তাই “২০০০ বা বেশি”-র সীমা যাচাই হয়নি; RTM-এ “covered” দেখালেও এটি দুর্বল coverage.

    (গ) পর্ব ০৮-এর দুই-মান পদ্ধতিতে: TC-D5 ঢাকা, 1999 → 60 (R1/R2-এর সীমা); TC-D6 ঢাকা, 2000 → 0 (R2); TC-D7 খুলনা, Plus, 800 → 60 (R4); TC-D8 খুলনা, Plus নয়, 2500 → 120 (R3: ঢাকার বাইরে ২০০০-এর বেশিতেও ফ্রি নয়)। চাইলে TC-D9: ঢাকা, coupon-সহ 2100 টাকার অর্ডার, ছাড়ের পরে 2000-এর নিচে → তবু 0, কারণ সীমা coupon-এর আগের দামে।

  2. JUnit XML পড়ুন: রাতের automation run-এর ফাইলের প্রথম লাইন: <testsuite tests="7" failures="1" errors="1" skipped="2">. (ক) কয়টি test পাস করেছে? (খ) একটি failure আর একটি error-এর পার্থক্য কী, আর manual log-এ প্রতিটি কীভাবে লিখবেন? (গ) দুটি skip-এর একটির কারণ “BLOCKED: payment mock down”, অন্যটির “not in this release”. Log-এ কোনটি কোন status?

    (ক) ৭ − ১ − ১ − ২ = ৩টি পাস। JUnit XML-এ পাসের আলাদা গুনতি থাকে না; মোট থেকে বাকিগুলো বাদ দিতে হয়।

    (খ) pytest-এর মতো tool-এ failure মানে assertion মেলেনি: test চলেছে, ফল প্রত্যাশিত নয়, তাই fail, defect খোঁজা দরকার। error মানে test-এর বাইরে কিছু ভেঙেছে, যেমন fixture বা setup-এ exception, তাই test-এর মূল যাচাই হয়তো চলেইনি। Log-এ error-কে সরাসরি fail লেখার আগে কারণ দেখুন: environment বা setup-এর সমস্যা হলে এটি blocked-এর কাছাকাছি, আর test code-এর ভুল হলে test ঠিক করতে হবে।

    (গ) “payment mock down” → blocked (পূর্বশর্ত নেই; mock চালু হলে চলবে, blocker-এর নাম লিখুন)। “not in this release” → not run (ইচ্ছাকৃত বাদ, কারণসহ)। দুটোকে একই “skipped” রাখলে রিপোর্টে আটকে থাকা কাজ আর পরিকল্পিত বাদ আলাদা করা যায় না।

  3. রিপোর্টের ভুল খুঁজুন: একজন সহকর্মীর লেখা summary-র অংশ: “৬০টি test-এর ৫০টি পাস, ৫টি fail, ৫টি blocked; তাই execution ১০০% সম্পূর্ণ আর pass rate ৯০.৯%. সব requirement covered. কোনো খোলা defect নেই (২টি deferred). Release-এর জন্য প্রস্তুত।” অন্তত চারটি সমস্যা খুঁজে ঠিক করে লিখুন।
    • Execution ১০০% নয়: blocked test চলেনি। চালানো ৫৫, তাই “৬০-এর ৫৫ চলেছে (৯১.৭%)”.
    • Pass rate-এর হর: ৯০.৯% = ৫০/৫৫, চালানো test-এর হিসাবে; ৬০-এর হিসাবে ৮৩.৩%. দুটোই হরসহ লিখুন।
    • “সব requirement covered”: test থাকা আর পাস করা আলাদা; ৫টি fail আর ৫টি blocked যে requirement-গুলোতে, সেগুলো পূরণ হয়েছে বলা যায় না। RTM থেকে requirement ধরে অবস্থা দিন।
    • “কোনো খোলা defect নেই”: deferred defect ঠিক হয়নি; সেগুলো residual risk. Severity আর কে deferral মেনেছেন, লিখুন।
    • “প্রস্তুত”: সিদ্ধান্ত tester-এর একার নয়, আর ১০টি অজানা বা ভাঙা test রেখে এই দাবি অসৎ। Exit criteria মিলিয়ে শর্তসহ সুপারিশ দিন।

    সংখ্যাগুলো যাচাই করা: ৫০ + ৫ = ৫৫; ৫০/৫৫ = ৯০.৯%; ৫০/৬০ = ৮৩.৩%; ৫৫/৬০ = ৯১.৭%.

  4. Query লিখুন: §৬-এর ভান্ডারে চলতি build 1.4.1. এমন সব test case খুঁজুন, যাদের সর্বশেষ ফল 1.4.1-এর নয় (পুরোনো build-এর ফল, বা একবারও চলেনি)। আগে আন্দাজ করুন কয়টি সারি আসবে, তারপর §৬-এর editor-এ চালিয়ে মিলিয়ে নিন।
    SELECT t.tc, COALESCE(r.build, 'never') AS last_build
    FROM test_cases t
    LEFT JOIN results r ON r.run_id =
         (SELECT MAX(run_id) FROM results WHERE tc = t.tc)
    WHERE r.build IS NULL OR r.build <> '1.4.1'
    ORDER BY t.tc;

    ফল ৮টি সারি: TC-01, TC-02, TC-03, TC-04, TC-07, TC-09, TC-10 আর TC-11, সবগুলোর last_build 1.4.0 (পাতার SQLite-এ চালিয়ে মিলিয়ে নেওয়া)। কোনো test “never” নয়, কারণ দ্বিতীয় দিনের মধ্যে সবকটি চলেছে। এই আটটির সাতটি পাস, কিন্তু নতুন build-এ আবার চালানো হয়নি; 1.4.1-এর পরিবর্তন শুধু লেখা গোনা আর গড়ের কোডে, তাই impact analysis বলে এগুলো সম্ভবত নিরাপদ। “সম্ভবত” শব্দটিই রিপোর্টে যাওয়া উচিত, “নিশ্চিত” নয়। r.build IS NULL শর্তটি দরকার, কারণ SQL-এ NULL <> '1.4.1' সত্য নয়, অজানা; শর্তটি না থাকলে কখনো না চলা test বাদ পড়ত।

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমএকটি test fail করার পর থেকে কাজগুলো সঠিক ক্রমে সাজান (▲▼ চেপে সরান)

  1. আসল ফল আর প্রমাণসহ test-টিকে fail লিখে defect report করা
  2. Developer ঠিক করে নতুন build দেন, defect “fixed” হয়
  3. নতুন build-এ smoke test চালিয়ে build গ্রহণ করা
  4. একই ধাপ আর data-য় fail করা test-টি আবার চালানো (retest)
  5. পরিবর্তনের আশপাশের পাস করা test চালানো (regression), তারপর defect বন্ধ করা

একটি test case চালাতে একটি delivered অর্ডারসহ test ক্রেতা লাগে, কিন্তু test environment-এ এমন কোনো ক্রেতা নেই। Test log-এ এই test-এর সঠিক status কোনটি?

  • Fail
  • Pass
  • Blocked
  • Not run

একটি bug ঠিক হওয়ার পরে ঠিক সেই test-টি একই ধাপ আর data-য় আবার চালানোকে কী বলে?

  • Regression testing
  • Confirmation testing (retest)
  • Smoke testing
  • Exploratory testing

একটি requirement-এর তিনটি test-এর সর্বশেষ ফল: pass, fail, pass. “সবচেয়ে খারাপ ফল” নিয়মে RTM-এ এই requirement-এর অবস্থা কী হবে?

  • Pass, কারণ বেশিরভাগ test পাস
  • Blocked
  • ৬৬.৭% পাস, তাই আংশিক pass
  • Fail

একটি release-এ ৫০টি test case. ৪০টি পাস, ৪টি fail, ৪টি blocked, ২টি চালানো হয়নি। চালানো (executed) test-এর হিসাবে pass rate কত?

  • প্রায় ৯০.৯% (৪৪-এর ৪০)
  • ৮০% (৫০-এর ৪০)
  • প্রায় ৮৩.৩% (৪৮-এর ৪০)
  • ১০০% (৪০-এর ৪০)

Test summary (completion) report-এর “residual risk” অংশে কী লেখা উচিত?

  • সব পাস করা test-এর নাম
  • খোলা বা deferred defect, যাচাই না হওয়া অংশ আর তাদের সম্ভাব্য প্রভাব
  • “কোনো ঝুঁকি নেই” লিখে নিশ্চিত করা
  • প্রত্যেক tester কত ঘণ্টা কাজ করেছেন

একটি দলে লক্ষ্য ঠিক হলো “pass rate সবসময় ৯৫% বা বেশি”। কিছুদিন পরে দেখা গেল fail করা test-গুলো প্রায়ই “blocked” লেখা হচ্ছে। এই ঘটনাটি কোন ধারণার সবচেয়ে ভালো উদাহরণ?

  • Pesticide paradox
  • Defect clustering
  • Goodhart's law
  • Regression

Traceability matrix-এ এমন একটি requirement পাওয়া গেল, যার সাথে কোনো test case যুক্ত নেই। কোন ধরনের traceability-র যাচাইয়ে এটি ধরা পড়ে, আর এটি কী নির্দেশ করে?

  • Backward traceability; একটি অপ্রয়োজনীয় test
  • Forward traceability; coverage-এর একটি ফাঁক
  • Code coverage; মৃত কোড
  • Regression testing; একটি নতুন bug

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. চারটি ফল আলাদা রাখুন: pass, fail, blocked, not run; fail-এর পাশে defect ID, blocked-এর পাশে blocker, প্রতিটির পাশে build.
  2. Bug ঠিক হলে আগে retest, তারপর আশপাশের regression; পুরোনো build-এর pass নতুন build-এর প্রমাণ নয়।
  3. RTM-এ requirement, test, শেষ ফল আর defect; requirement-এর অবস্থা তার সবচেয়ে খারাপ ফল। Forward ফাঁক = test-হীন requirement, backward ফাঁক = requirement-হীন test.
  4. প্রতিটি শতাংশের হর লিখুন; blocked চালানো test নয়। খোলা defect-এর প্রবণতা test-এর পরিমাণের সাথে মিলিয়ে পড়ুন।
  5. Summary report-এ কী হলো না আর residual risk সবচেয়ে দামি; সিদ্ধান্ত দায়িত্বপ্রাপ্তদের, metric লক্ষ্য হলে বিকৃত হয়।

পরের পর্বে: লেখা ধাপের বাইরে গিয়ে খোঁজা: session-based exploratory testing-এ charter লেখা, ৩০ মিনিটের time box, heuristic আর নোট, আর রিভিউ form-এর লুকানো bug নিজে খুঁজে বের করা।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান