সরাসরি পর্বে যান
পর্ব ২১ · ৮২-এর মধ্যে · মডিউল ৪

pytest-এর মূল — assert, fixture, parametrize আর marker

pytest Essentials — assert, Fixtures, Parametrize and Markers

Taught in Bangla, this lesson covers what pytest adds over unittest: plain assert with assertion rewriting, discovery rules and node ids, parametrize with ids and indirect, function-scoped fixtures and conftest.py, and skip, skipif, strict xfail and registered markers. A real pytest 9.2.0 run on 24 Bazarghar tests catches a planted delivery charge bug, and readers read real output of -k, -m, --lf, -x, -ra and --durations. In-page Python demos cover raises, approx and running unittest alongside pytest.

এই পর্বে যা শিখবেন

  • pytest কী কী কাজ নিজে করে দেয়, যা unittest-এ হাতে করতে হয়, আর দুটি কীভাবে একসাথে চলে
  • Test discovery-র নিয়ম, node id পড়া, আর একটি run-এর চার ধাপ: config, collection, চালানো, রিপোর্ট
  • Assertion rewriting-এর রিপোর্ট লাইন ধরে পড়ে ভুলের উৎস খুঁজে বের করা
  • parametrize-এ ids, pytest.param, decorator জোড়া আর indirect; fixture, conftest.py আর marker
  • -k, -m, node id, -x, --lf, -ra, --durations, pytest.raises আর pytest.approx দিয়ে প্রতিদিনের কাজ

১ · কেন pytest — সাধারণ assert থেকে বিস্তারিত রিপোর্ট

পরীক্ষার হলে একজন পরিদর্শকের কথা ভাবুন। ঘণ্টা বাজলে তিনি রোল নম্বর ধরে সব খাতা জমা নেন; কাউকে নাম ধরে ডাকতে হয় না। পরীক্ষক খাতা দেখে শুধু “ভুল” লেখেন না, পাশে লাল কালিতে লেখেন “উত্তর ২৯৯, লেখা হয়েছে ৩০০”। শেষে একটি তালিকা: কে পাস, কে ফেল, কে অনুপস্থিত। ভালো test runner ঠিক এই তিনটি কাজ করে: নিজে test খুঁজে নেয়, ভুল হলে আসল আর প্রত্যাশিত মান দুটোই দেখায়, আর শেষে পরিষ্কার হিসাব দেয়।

মডিউল ১ থেকে ৩-এ আপনি test নকশা করেছেন: partition, সীমা, decision table, test case টেবিল। মডিউল ৪ থেকে সেই নকশা হবে চালানো যায় এমন unit test, আর এর প্রধান হাতিয়ার pytest. এখান থেকে সাধারণ Python জানা দরকার: function, class, exception আর decorator. ভুলে গেলে Python প্রোগ্রামিং কোর্সের পর্ব ২৫ (exception) আর পর্ব ৩৭ (decorator) দেখে নিন। pytest-এর প্রথম পরিচয় আছে Python প্রোগ্রামিং কোর্সের পর্ব ৪২-এ, আর unit test-এর ধারণা সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৪৬-এ। এখানে আমরা যাব অনেক গভীরে: discovery-র নিয়ম, রিপোর্টের প্রতিটি লাইন, marker দিয়ে suite ভাগ করা, আর একটি সত্যিকারের প্রকল্পে প্রতিটি flag চালিয়ে দেখা।

Kent Beck Smalltalk-এর জন্য SUnit লেখেন, আর Erich Gamma-র সাথে ১৯৯০-এর দশকের শেষ দিকে Java-র জন্য JUnit; এই পরিবারকে বলে xUnit. Python-এ Steve Purcell-এর PyUnit ২০০১ সালে Python 2.1-এ unittest নামে standard library-তে ঢোকে, JUnit-এর আদলে class আর assertEqual-ধরনের method নিয়ে। pytest-এর শুরু ২০০৪ সালের দিকে Holger Krekel-এর হাতে, “py” library-র py.test হিসেবে; pytest 3.0 (২০১৬) থেকে command-এর নাম pytest. আজকের assertion rewriting যোগ হয় মোটামুটি ২০১১ সালে (pytest 2.1). pytest MIT লাইসেন্সে মুক্ত।

pytest নিজে যা করে দেয়

কাজunittest-এpytest-এ
Test লেখাTestCase-এর subclass-এ methodসাধারণ function; class ঐচ্ছিক
যাচাইassertEqual, assertIn, assertRaises… প্রায় ৩০টি methodসাধারণ assert; মান দেখানো pytest-এর দায়িত্ব
প্রস্তুতি আর পরিষ্কারsetUp/tearDownfixture, parameter-এর নাম দিয়ে চাওয়া
এক test, অনেক inputsubTest-এর loop@pytest.mark.parametrize, প্রতিটি সারি আলাদা test
বাদ দেওয়া, জানা ভুল@skip, @expectedFailureskip, skipif, xfail আর নিজের marker
বাছাই করে চালানোmodule বা class-এর নাম-k, -m, node id, --lf

নিচের কোডে দুটি পুরোনো পথের সীমা দেখুন। বাজারঘরের coupon নিয়ম: অর্ডার ১০০০ টাকার বেশি হলে ১০% ছাড়, সর্বোচ্চ ৩০০ টাকা, ভগ্নাংশ বাদ (floor). কোডে একটি বসানো ভুল আছে: floor-এর জায়গায় round. প্রথমে Python-এর সাধারণ assert, তারপর unittest-এর assertEqual. “চালান” চাপুন; প্রথমবার ব্রাউজারে Pyodide নামতে কয়েক সেকেন্ড লাগে।

import sys, unittest

def coupon_discount(total):              # seeded defect: round, not floor
    if total > 1000:
        return min(round(total / 10), 300)
    return 0

# 1) plain assert in plain Python: the message is empty
try:
    assert coupon_discount(2999) == 299
except AssertionError as e:
    print("plain assert ->", repr(e))

# 2) unittest: the right assertX method gives the values
class CouponTest(unittest.TestCase):
    def test_table(self):
        for total, expected in [(1000, 0), (1001, 100), (2999, 299), (3000, 300)]:
            with self.subTest(total=total):
                self.assertEqual(coupon_discount(total), expected)

suite = unittest.defaultTestLoader.loadTestsFromTestCase(CouponTest)
unittest.TextTestRunner(stream=sys.stdout, verbosity=2).run(suite)

আসল আউটপুট (ব্রাউজারের Python):

plain assert -> AssertionError()
test_table (__main__.CouponTest.test_table) ...
  test_table (__main__.CouponTest.test_table) (total=2999) ... FAIL

======================================================================
FAIL: test_table (__main__.CouponTest.test_table) (total=2999)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "main.py", line 19, in test_table
    self.assertEqual(coupon_discount(total), expected)
    ~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AssertionError: 300 != 299

----------------------------------------------------------------------
Ran 1 test in 0.001s

FAILED (failures=1)

প্রথম লাইনটি খেয়াল করুন: সাধারণ assert ব্যর্থ হলে AssertionError-এর বার্তা খালি। কোন মান এসেছিল, জানার উপায় নেই। unittest মান দেখায় (300 != 299), কিন্তু শুধু তখনই, যখন আপনি সঠিক assertEqual method বেছে নেন; assertTrue(a == b) লিখলে আবার শুধু False is not true. আরও দেখুন, চারটি সারি মিলে unittest-এর হিসাবে একটি test (“Ran 1 test”): subTest ব্যর্থ সারি আলাদা দেখায়, কিন্তু সারিগুলো আলাদা test হিসেবে গোনে না, আলাদা করে চালানোও যায় না। pytest এই তিনটি সমস্যাই মেটায়: সাধারণ assert-এ পূর্ণ মান, প্রতিটি সারি আলাদা test, আর প্রতিটির নিজের ঠিকানা।

২ · Test discovery — pytest কীভাবে test খুঁজে পায়

pytest-কে কোনো তালিকা দিতে হয় না। সে নামের নিয়ম দেখে test খোঁজে; একে বলে test discovery, আর খুঁজে পাওয়া test-গুলো জড়ো করার ধাপকে বলে collection. নিয়মগুলো (ডিফল্ট, config দিয়ে বদলানো যায়):

  1. শুরুর জায়গা: command-এ path দিলে সেখান থেকে; না দিলে config-এর testpaths (আমাদের প্রকল্পে tests), তাও না থাকলে বর্তমান ফোল্ডার। Config ফাইল (pyproject.toml, pytest.ini ইত্যাদি) যে ফোল্ডারে পাওয়া যায়, সেটি rootdir.
  2. ফাইল: test_*.py অথবা *_test.py. pricing_check.py নামের ফাইল কখনো দেখা হবে না।
  3. Function: module-এর ভেতরে test দিয়ে শুরু নামের function. check_coupon() নীরবে বাদ পড়ে, কোনো সতর্কবার্তা ছাড়া।
  4. Class: Test দিয়ে শুরু class, যার __init__ নেই; ভেতরে test দিয়ে শুরু method. __init__ থাকলে class বাদ, শুধু একটি warning.
  5. unittest: unittest.TestCase-এর যেকোনো subclass, নাম যা-ই হোক; তার test দিয়ে শুরু method.
  6. conftest.py: test ফাইলের আগে পড়া হয়; এর fixture ওই ফোল্ডার আর নিচের সব test পায়, import ছাড়াই।

প্রতিটি খুঁজে পাওয়া test-এর একটি ঠিকানা থাকে, যাকে বলে node id: ফাইলের path, তারপর ::, তারপর class (থাকলে) আর function-এর নাম, আর parametrize করা হলে বন্ধনীতে সেই সারির id. এই ঠিকানা দিয়েই একটি test আলাদা করে চালানো যায়, রিপোর্টে এটিই ছাপা হয়, আর CI-র ফলেও এটিই থাকে।

pytest-এর এক run — চার ধাপ আর একটি node id

One pytest run: configure, collect, run with fixtures, report

pytest run: config → collection → চালানো → রিপোর্ট; node id = ফাইল :: function [id] ১ · Config পড়া rootdir · pyproject.toml · conftest.py ২ · Collection test_*.py → test_… → সারি → node id ৩ · চালানো fixture setup → test → teardown ৪ · রিপোর্ট . F s x → FAILURES → সারাংশ লাইন একটি node id: tests/test_pricing.py ::test_coupon_discount [edge-1001] ← ফাইল ← function ← সারির id
ছবি ২১.১ — প্রতিটি pytest command এই চার ধাপে চলে। --co (collect-only) দ্বিতীয় ধাপেই থামে; -k আর -m দ্বিতীয় ধাপের পরে তালিকা ছাঁটে। তিন রঙের অংশ জুড়ে এক লাইনে লিখলে পূর্ণ node id.

এবার বাজারঘরের প্রকল্পে (§৩-এ পুরোটা দেখবেন) একটি pytest -v run ধাপে ধাপে দেখুন। প্রতিটি অংশ সত্যিকারের আউটপুট থেকে নেওয়া। “পরে” চাপুন:

  1. Configpyprojectrootdir
  2. Collect24 itemsnode id
  3. Runfixturesetup, test
  4. FailuresE …বিস্তারিত
  5. সারাংশ1 failedশেষ লাইন
Headerকোন config, কোন ফোল্ডার
platform win32 -- Python 3.12.13,
  pytest-9.2.0, pluggy-1.7.0
rootdir: ~/bazarghar-qa
configfile: pyproject.toml
testpaths: tests
Collectionনাম দেখে খোঁজা
collecting ... collected 24 items
(pytest --co -q থেকে কয়েকটি)
tests/test_orders.py::
  test_new_order_is_placed
tests/test_orders_unittest.py::
  OrderFlowTest::test_full_flow_ends_delivered
tests/test_pricing.py::
  test_coupon_discount[edge-1001]
চালানোপ্রতিটি test, একটি করে
test_new_order_is_placed PASSED [  4%]
…
test_coupon_discount[edge-1000] PASSED [ 37%]
…
test_breakdown_free_…_discount FAILED [ 79%]
…
test_display_average_rounds_half_up XFAIL
test_review_after_real_wallet_payment SKIPPED
FAILURESব্যর্থ test-এর বিস্তারিত
___ test_breakdown_free_…_discount ___
>  assert breakdown("Dhaka", 2100) == {…}
E  AssertionError: assert {…} == {…}
E  Differing items:
E  {'delivery': 60} != {'delivery': 0}
E  {'payable': 1950} != {'payable': 1890}
tests\test_pricing.py:36: AssertionError
সারাংশশেষ লাইনটিই সবার আগে পড়ুন
FAILED tests/test_pricing.py::
  test_breakdown_free_…_discount
1 failed, 21 passed, 1 skipped,
1 xfailed in 0.14s
  1. Config পড়া। pytest প্রথমে rootdir আর config ফাইল ঠিক করে: এখানে pyproject.toml, যেখানে testpaths = ["tests"]. Header-এ Python আর pytest-এর version থাকে; bug report-এ এগুলো লিখতে হয় (পর্ব ১৮). Path এখানে নিরপেক্ষ করা।
  2. Collection. tests ফোল্ডারে চারটি test_*.py ফাইল থেকে ২৪টি test: সাধারণ function, unittest-এর class-এর method, আর parametrize-এর প্রতিটি সারি আলাদা item. প্রতিটির ঠিকানা একটি node id.
  3. চালানো। ফাইলের ক্রমে, প্রতিটি test-এর আগে তার fixture তৈরি, পরে পরিষ্কার। -v-তে প্রতিটির ফল: PASSED, FAILED, XFAIL (জানা ভুল, প্রত্যাশামতো ব্যর্থ), SKIPPED. ডানের শতাংশ মানে কতগুলো test শেষ হলো।
  4. FAILURES অংশ। সব test শেষ হওয়ার পরে প্রতিটি ব্যর্থ test-এর বিস্তারিত: > চিহ্নিত লাইন যেখানে assert ব্যর্থ, E দিয়ে শুরু লাইনে pytest-এর ব্যাখ্যা, শেষে ফাইল আর লাইন নম্বর। §৩-এর stepper এই অংশ লাইন ধরে পড়বে।
  5. সারাংশ লাইন। সবচেয়ে নিচে: ১টি failed, ২১টি passed, ১টি skipped, ১টি xfailed, মোট ২৪. লম্বা আউটপুটে আগে এই লাইন পড়ুন, তারপর ওপরের FAILED তালিকা। Exit code-ও আলাদা: সব পাস হলে 0, কোনো test fail করলে 1; CI এটি দেখেই লাল-সবুজ ঠিক করে।

নীরবে বাদ পড়া test সবচেয়ে বিপজ্জনক। নাম check_coupon_cap হলে test কখনো চলে না, আর রিপোর্টে কোনো লাল দাগও পড়ে না। নতুন test লিখে প্রথমবার pytest --co -q চালিয়ে দেখুন সেটি তালিকায় আছে কি না; সংখ্যা মেলান। §অনুশীলন ৩-এ একটি সত্যিকারের উদাহরণ আছে।

৩ · সত্যিকারের run — বাজারঘরের প্রকল্প, একটি ভুল আর assertion rewriting

নিচের সবকিছু এই কোর্সের লেখার সময় একটি সাধারণ Windows ডেস্কটপে সত্যিকারভাবে চালানো হয়েছে: Python 3.12.13, pytest 9.2.0 (MIT লাইসেন্স), uv দিয়ে বানানো একটি প্রকল্পে। Path আর header-এর কম্পিউটার-নির্দিষ্ট অংশ নিরপেক্ষ করা। প্রকল্প বানানো আর pytest যোগ করা (uv আর virtual environment-এর পরিচয় Python প্রোগ্রামিং কোর্সের পর্ব ২৩-এ):

mkdir bazarghar-qa && cd bazarghar-qa
uv init --vcs none --author-from none
uv add pytest
uv run pytest --version      # pytest 9.2.0

প্রকল্পের গঠন ছোট: একটি package bazarghar (pricing, orders, reviews) আর একটি tests ফোল্ডার।

bazarghar-qa/
├── pyproject.toml
├── bazarghar/
│   ├── __init__.py
│   ├── pricing.py      coupon, delivery, bill
│   ├── orders.py       order status machine
│   └── reviews.py      star average (AC5)
└── tests/
    ├── conftest.py     shared fixtures
    ├── test_orders.py
    ├── test_orders_unittest.py
    ├── test_pricing.py
    └── test_reviews.py

pyproject.toml-এ pytest-এর অংশ। pythonpath দিয়ে প্রকল্পের মূল ফোল্ডার import-এর পথে যোগ হয়, যাতে test ফাইল bazarghar খুঁজে পায়; marker দুটি পরে §৬-এ।

[tool.pytest.ini_options]
testpaths = ["tests"]
pythonpath = ["."]
addopts = "--strict-markers"
markers = [
    "slow: long-running checks (deselect with -m 'not slow')",
    "money: rules that change what the customer pays",
]

কোডের কেন্দ্র pricing.py. নিয়মগুলো কোর্সের স্থির নিয়ম: coupon আগের মতো; delivery ঢাকার ভেতরে ৬০ টাকা, অর্ডার ২০০০ টাকা বা বেশি হলে ফ্রি, বাইরে ১২০, Plus সদস্যের বাইরে ৬০; আর ২০০০-এর সীমা মাপা হয় coupon ছাড়ের আগের টাকায়। breakdown function-এ developer একটি ভুল করেছেন: delivery-র হিসাবে ছাড়ের পরের টাকা পাঠিয়েছেন।

"""Bazarghar pricing rules (course example)."""


def coupon_discount(total):
    """10% off above 1000 taka, at most 300, whole taka."""
    if total < 0:
        raise ValueError("total must not be negative")
    if total > 1000:
        return min(total // 10, 300)
    return 0


def delivery_charge(district, total, member=False):
    """Dhaka 60 (free from 2000), outside 120 (Plus 60)."""
    if district == "Dhaka":
        return 0 if total >= 2000 else 60
    return 60 if member else 120


def breakdown(district, total, member=False):
    """Bill for one order; delivery uses total BEFORE discount."""
    discount = coupon_discount(total)
    delivery = delivery_charge(district, total - discount, member)
    return {"subtotal": total, "discount": discount,
            "delivery": delivery, "payable": total - discount + delivery}

Test ফাইলের মূল অংশ। Expected মানগুলো requirement থেকে হিসাব করা, কোড থেকে নয়: ঢাকায় ২১০০ টাকার অর্ডারে ছাড় ২১০, ছাড়ের আগের টাকা ২০০০-এর বেশি বলে delivery ফ্রি, পরিশোধ ১৮৯০.

import pytest

from bazarghar.pricing import breakdown, coupon_discount, delivery_charge


@pytest.mark.money
@pytest.mark.parametrize(
    ("total", "expected"),
    [(1000, 0), (1001, 100), (2999, 299), (3000, 300), (5000, 300)],
    ids=["edge-1000", "edge-1001", "below-cap", "cap-3000", "cap-5000"],
)
def test_coupon_discount(total, expected):
    assert coupon_discount(total) == expected


def test_coupon_rejects_negative_total():
    with pytest.raises(ValueError, match="negative"):
        coupon_discount(-5)

# … test_delivery_charge (§৪) …

@pytest.mark.money
def test_breakdown_free_delivery_uses_total_before_discount():
    assert breakdown("Dhaka", 2100) == {
        "subtotal": 2100, "discount": 210, "delivery": 0, "payable": 1890,
    }


@pytest.mark.slow
def test_coupon_never_exceeds_cap_or_ten_percent():
    for total in range(0, 400_001):
        d = coupon_discount(total)
        assert 0 <= d <= 300 and d <= total // 10

সত্যিকারের run, -v (verbose) দিয়ে:

$ uv run pytest -v
============================= test session starts =============================
platform win32 -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
cachedir: .pytest_cache
rootdir: ~/bazarghar-qa
configfile: pyproject.toml
testpaths: tests
collecting ... collected 24 items

tests/test_orders.py::test_new_order_is_placed PASSED                    [  4%]
tests/test_orders.py::test_paid_order_can_be_cancelled_and_refunded PASSED [  8%]
… (orders আর unittest-এর আরও ৬টি PASSED)
tests/test_pricing.py::test_coupon_discount[edge-1000] PASSED            [ 37%]
tests/test_pricing.py::test_coupon_discount[edge-1001] PASSED            [ 41%]
tests/test_pricing.py::test_coupon_discount[below-cap] PASSED            [ 45%]
tests/test_pricing.py::test_coupon_discount[cap-3000] PASSED             [ 50%]
tests/test_pricing.py::test_coupon_discount[cap-5000] PASSED             [ 54%]
tests/test_pricing.py::test_coupon_rejects_negative_total PASSED         [ 58%]
… (test_delivery_charge-এর ৪টি PASSED)
tests/test_pricing.py::test_breakdown_free_delivery_uses_total_before_discount FAILED [ 79%]
tests/test_pricing.py::test_coupon_never_exceeds_cap_or_ten_percent PASSED [ 83%]
tests/test_reviews.py::test_average_is_close_to_four_point_three_three PASSED [ 87%]
tests/test_reviews.py::test_display_average_simple_case PASSED           [ 91%]
tests/test_reviews.py::test_display_average_rounds_half_up XFAIL (BU...) [ 95%]
tests/test_reviews.py::test_review_after_real_wallet_payment SKIPPED     [100%]

================================== FAILURES ===================================
___________ test_breakdown_free_delivery_uses_total_before_discount ___________

    @pytest.mark.money
    def test_breakdown_free_delivery_uses_total_before_discount():
>       assert breakdown("Dhaka", 2100) == {
            "subtotal": 2100, "discount": 210, "delivery": 0, "payable": 1890,
        }
E       AssertionError: assert {'subtotal': ...ayable': 1950} == {'subtotal': ...ayable': 1890}
E
E         Omitting 2 identical items, use -vv to show
E         Differing items:
E         {'delivery': 60} != {'delivery': 0}
E         {'payable': 1950} != {'payable': 1890}
E
E         Full diff: (-: missing in left side, +: extra in left side)...
E
E         ...Full output truncated, use '-vv' to show

tests\test_pricing.py:36: AssertionError
=========================== short test summary info ===========================
FAILED tests/test_pricing.py::test_breakdown_free_delivery_uses_total_before_discount
============= 1 failed, 21 passed, 1 skipped, 1 xfailed in 0.14s ==============

Header-এর প্রথম লাইনে Python-এর ঠিকানাসহ পূর্ণ path ছিল, সেটি বাদ দেওয়া হয়েছে; একই রকম PASSED লাইনগুলো “…” দিয়ে ছোট করা। এবার FAILURES অংশটি লাইন ধরে পড়ি। Stepper-এ লম্বা লাইন ছাঁটা হয়েছে, লেখা অপরিবর্তিত:

1___ test_breakdown_free_…_discount ___2> assert breakdown("Dhaka", 2100) == {3   "subtotal": 2100, "discount": 210,4   "delivery": 0, "payable": 1890, }5E AssertionError: assert {'subtotal':6E  ...ayable': 1950} == {'subtotal':7E  ...ayable': 1890}8E Omitting 2 identical items9E Differing items:10E {'delivery': 60} != {'delivery': 0}11E {'payable': 1950} != {'payable': 1890}12tests\test_pricing.py:36: AssertionError
যা জানা গেল
test
বাঁ পাশ
ডান পাশ
সন্দেহ
  1. শিরোনাম: কোন test. নিচু দাগের মাঝে test-এর নাম। নামটি নিজেই বলে দেয় কোন নিয়ম যাচাই হচ্ছিল: “free delivery uses total before discount”. ভালো নামের দাম এখানেই; নামকরণ নিয়ে বিস্তারিত পর্ব ২২-এ।
  2. > চিহ্নিত লাইন: কোথায় থামল। যে assert ব্যর্থ, তার পুরো statement. ==-এর বাঁয়ে function call, ডানে requirement থেকে হিসাব করা expected dict. নিয়ম মনে রাখুন: pytest-এ বাঁ পাশ সাধারণত “কোড যা দিল”, কারণ আমরা assert actual == expected লিখি।
  3. E-এর প্রথম লাইন: দুই পাশের মান। এটিই assertion rewriting-এর কাজ: pytest দুই পাশের আসল মান বসিয়ে দেখাচ্ছে। লাইন লম্বা বলে মাঝখান ছাঁটা (...), তবু শেষটুকু পড়া যায়: কোড দিয়েছে payable 1950, চাওয়া হয়েছিল 1890. পার্থক্য ঠিক ৬০ টাকা।
  4. মিলে যাওয়া অংশ। “Omitting 2 identical items”: চারটি key-এর দুটি হুবহু মিলেছে, subtotal আর discount. অর্থাৎ coupon-এর হিসাব ঠিক; ভুল খুঁজতে হবে অন্য জায়গায়। -vv দিলে এই মিলে যাওয়া অংশ আর পুরো diff-ও দেখা যায়।
  5. পার্থক্যের তালিকা। দুটি key আলাদা: delivery 60 বনাম 0, payable 1950 বনাম 1890. Payable হিসাব করা হয় delivery থেকে, তাই আসল কারণ delivery; payable-এর পার্থক্য তার ফল। একটি ভুল থেকে কয়েকটি লক্ষণ দেখা দিলে কারণটি খুঁজুন (root cause), সব লক্ষণ আলাদা bug হিসেবে লিখবেন না।
  6. জায়গা আর অনুমান। ফাইল আর লাইন: test_pricing.py:36. এবার কোড পড়ে অনুমান মেলান: ২১০০ − ২১০ = ১৮৯০, যা ২০০০-এর কম, তাই delivery ৬০. অর্থাৎ breakdown ছাড়ের পরের টাকা পাঠাচ্ছে, যা নিয়মবিরুদ্ধ। সমাধান এক শব্দের: total - discount-এর জায়গায় total.

ভুল ঠিক করার পর পুরো suite না চালিয়ে শুধু আগেরবার ব্যর্থ test চালানো যায়: --lf (last failed). pytest আগের ফল .pytest_cache ফোল্ডারে রাখে। ঠিক করার আগে আর পরে:

$ uv run pytest --lf -v            # ঠিক করার আগে
collecting ... collected 1 item
run-last-failure: rerun previous 1 failure (skipped 3 files)

tests/test_pricing.py::test_breakdown_free_delivery_uses_total_before_discount FAILED [100%]
…
$ uv run pytest --lf -q            # এক শব্দ বদলের পরে
.                                                                        [100%]
1 passed in 0.01s
$ uv run pytest -q -ra
......................xs                                                 [100%]
=========================== short test summary info ===========================
SKIPPED [1] tests\test_reviews.py:21: mobile-wallet sandbox URL not set
XFAIL tests/test_reviews.py::test_display_average_rounds_half_up - BUG-142: round() uses banker's rounding
22 passed, 1 skipped, 1 xfailed in 0.13s

নতুনদের সবচেয়ে পরিচিত error: pyproject.toml থেকে pythonpath = ["."] লাইনটি সরিয়ে চালালে (সত্যিকারের run, path নিরপেক্ষ করা):

ImportError while loading conftest '~/bazarghar-qa/tests/conftest.py'.
tests\conftest.py:3: in <module>
    from bazarghar.orders import Order
E   ModuleNotFoundError: No module named 'bazarghar'

কোনো test চলার আগেই থেমেছে, কারণ conftest.py সবার আগে load হয়। কোড ঠিক আছে; Python শুধু bazarghar package খুঁজে পাচ্ছে না। সমাধান দুটি: config-এ pythonpath, অথবা package-টি প্রকল্পে install করা (বড় প্রকল্পে src/ ফোল্ডার আর install করাই প্রচলিত)। “test ভুল” আর “পরিবেশ ভুল” আলাদা করে চেনা tester-এর জরুরি দক্ষতা: প্রথমটিতে F, দ্বিতীয়টিতে E বা collection error.

-q (quiet) আউটপুটে প্রতিটি test একটি অক্ষর: . পাস, F fail, E error (test-এর বাইরে, যেমন fixture-এ সমস্যা), s skip, x xfail, X xpass. শেষ লাইন সবুজ, কিন্তু কাজ শেষ নয়: -ra (report all) দেখাচ্ছে একটি test বাদ পড়েছে আর একটি জানা ভুল এখনো খোলা। §৬-এ এই দুটিতে ফিরব।

Assertion rewriting আসলে কী করে

pytest একটি import hook বসায়। Test module (আর conftest.py) import হওয়ার আগে তার syntax tree-তে প্রতিটি assert এমন কোডে বদলে যায়, যা মাঝের প্রতিটি মান মনে রাখে; ব্যর্থ হলে সেগুলো দিয়ে বার্তা বানায়। এজন্য সাধারণ assert-ই যথেষ্ট। তবে নিয়মটি শুধু test module-এ খাটে: আপনার নিজের helper module-এ লেখা assert নতুন করে লেখা হয় না, যদি না pytest.register_assert_rewrite দিয়ে বলে দেন। আরেকটি সতর্কতা: প্রোডাকশন কোডে নিয়ম যাচাইয়ে assert ব্যবহার করবেন না, কারণ python -O-তে সব assert মুছে যায়।

৪ · parametrize — একটি test, অনেক case

পর্ব ০৭ (equivalence partitioning) আর পর্ব ০৮ (boundary value analysis)-এ আপনি টেবিল বানিয়েছেন: input, expected, কোন কৌশল থেকে এলো। parametrize সেই টেবিলকে সরাসরি কোডে আনে। Decorator-এ দুটি জিনিস: argument-এর নাম, আর সারির তালিকা। pytest প্রতিটি সারির জন্য test function একবার করে চালায়, আর প্রতিটি সারিকে আলাদা test হিসেবে গোনে, রিপোর্ট করে, আলাদা করে চালাতে দেয়।

  • ids: প্রতিটি সারির নাম। না দিলে pytest মান থেকে নাম বানায়: Dhaka-1999-False-60. ছোট সংখ্যায় এটি চলে, কিন্তু below-cap বা plus-outside-এর মতো নাম বলে দেয় সারিটি কেন আছে।
  • pytest.param(..., id=..., marks=...): একটি সারিকে আলাদা নাম বা marker দেওয়া, যেমন একটি সারি slow বা xfail. পুরো test নয়, শুধু ওই সারিটি বাদ বা জানা ভুল হিসেবে চিহ্নিত হয়, বাকি সারিগুলো স্বাভাবিকভাবে চলে; অনুশীলন ৪-এ এর একটি সত্যিকারের গণনা আছে।
  • Decorator জোড়া: দুটি parametrize একসাথে দিলে সব সমন্বয়, গুণফল। জেলা ৩টি × সদস্য ২টি = ৬টি test. Pairwise-এর আলোচনা মনে রাখুন (পর্ব ১১): গুণফল দ্রুত বিশাল হয়।
  • Indirect: সারির মান সরাসরি test-এ না গিয়ে আগে একটি fixture-এ যায় (request.param), fixture সেটি দিয়ে বস্তু তৈরি করে দেয়। §৫-এ সত্যিকারের উদাহরণ।

Delivery-র test-এ দুই রকম id একসাথে। শেষ সারিটি pytest.param দিয়ে নাম পেয়েছে, বাকিগুলোর নাম মান থেকে:

@pytest.mark.parametrize(
    ("district", "total", "member", "expected"),
    [
        ("Dhaka", 1999, False, 60),
        ("Dhaka", 2000, False, 0),
        ("Khulna", 2500, False, 120),
        pytest.param("Khulna", 500, True, 60, id="plus-outside"),
    ],
)
def test_delivery_charge(district, total, member, expected):
    assert delivery_charge(district, total, member) == expected
Collection-এর সময় pytest যা বানায়
decorator
সারি
node id
test সংখ্যা
  1. Decorator পড়া। test_coupon_discount-এর ওপরে argument-এর নাম ("total", "expected"), পাঁচটি tuple আর পাঁচটি id. Collection-এর সময়েই pytest এগুলো থেকে আলাদা test বানাবে; test চলার আগেই সংখ্যা ঠিক হয়ে যায়।
  2. প্রথম সারি। (1000, 0) থেকে একটি test, node id test_coupon_discount[edge-1000]. চলার সময় total = 1000, expected = 0. এটি পর্ব ০৮-এর সীমার মান: ঠিক ১০০০ টাকায় ছাড় নেই।
  3. পাঁচটি সারি, পাঁচটি test. বাকি চারটি: সীমার ঠিক ওপরে ১০০১, cap-এর নিচে ২৯৯৯, cap-এ ৩০০০, আর অনেক ওপরে ৫০০০. একটি ব্যর্থ হলে বাকিরা চলতে থাকে, আর রিপোর্ট বলে ঠিক কোন সারি। pytest "…[edge-1001]" দিয়ে শুধু একটি চালানো যায়।
  4. Id না দিলে। Delivery-র তিনটি সারির নাম মান জুড়ে তৈরি: Dhaka-1999-False-60. চতুর্থটি pytest.param-এর id পেয়েছে: plus-outside. সংখ্যার নাম লম্বা আর অর্থহীন হতে পারে; বড় টেবিলে নিজের নাম দিন। pytest 9-এ strict_parametrization_ids চালু থাকলে একই id দুবার দিলে error হয়।
  5. দুটি decorator. district (Dhaka, Khulna) আর member (False, True) আলাদা decorator-এ দিলে ২ × ২ = ৪টি test. Id-তে function-এর সবচেয়ে কাছের (নিচের) decorator-এর মান আগে আসে: [False-Dhaka]. সংখ্যাটি একটি scratch run-এ --co দিয়ে মেলানো: “4 tests collected”.

এবার pytest নিজেই চালিয়ে দেখুন, এই পাতাতেই। Pyodide-এ pytest আগে থেকেই আছে (এখানে version 9.0.2); কোড দুটি ছোট ফাইল লিখে pytest.main ডাকে। Coupon কোডে §১-এর সেই round-এর ভুল:

import os, sys, pytest
os.makedirs("/home/pyodide/p21a", exist_ok=True)
os.chdir("/home/pyodide/p21a"); sys.path.insert(0, os.getcwd())
for m in ("pricing21a", "test_coupon"):
    sys.modules.pop(m, None)             # re-run after you edit the code

open("pricing21a.py", "w").write('''
def coupon_discount(total):              # seeded defect: round, not floor
    if total > 1000:
        return min(round(total / 10), 300)
    return 0
''')
open("test_coupon.py", "w").write('''
import pytest
from pricing21a import coupon_discount

@pytest.mark.parametrize(("total", "expected"),
    [(1000, 0), (1001, 100), (2999, 299), (3000, 300)],
    ids=["edge-1000", "edge-1001", "below-cap", "cap-3000"])
def test_coupon_discount(total, expected):
    assert coupon_discount(total) == expected
''')
pytest.main(["-v", "--no-header", "-p", "no:cacheprovider", "test_coupon.py"])

আসল আউটপুট:

============================= test session starts ==============================
collecting ... collected 4 items

test_coupon.py::test_coupon_discount[edge-1000] PASSED                   [ 25%]
test_coupon.py::test_coupon_discount[edge-1001] PASSED                   [ 50%]
test_coupon.py::test_coupon_discount[below-cap] FAILED                   [ 75%]
test_coupon.py::test_coupon_discount[cap-3000] PASSED                    [100%]

=================================== FAILURES ===================================
_______________________ test_coupon_discount[below-cap] ________________________

total = 2999, expected = 299

    @pytest.mark.parametrize(("total", "expected"),
        [(1000, 0), (1001, 100), (2999, 299), (3000, 300)],
        ids=["edge-1000", "edge-1001", "below-cap", "cap-3000"])
    def test_coupon_discount(total, expected):
>       assert coupon_discount(total) == expected
E       assert 300 == 299
E        +  where 300 = coupon_discount(2999)

test_coupon.py:9: AssertionError
=========================== short test summary info ============================
FAILED test_coupon.py::test_coupon_discount[below-cap] - assert 300 == 299
========================= 1 failed, 3 passed in 0.02s ==========================

§১-এর unittest-এ চারটি সারি ছিল “১টি test”; এখানে ৪টি আলাদা test, আর ব্যর্থটির নাম below-cap. FAILURES অংশের শুরুতে pytest সেই সারির মানও দেখিয়েছে: total = 2999, expected = 299. তারপর rewriting-এর বিশেষ লাইন + where 300 = coupon_discount(2999): বাঁ পাশের ৩০০ কোথা থেকে এলো, সেই function call সহ। ২৯৯৯-এর ১০% হলো ২৯৯.৯; floor করলে ২৯৯, কিন্তু round দেয় ৩০০. সীমার ঠিক নিচের একটি সারি ভুলটি ধরল, অন্য তিনটি ধরেনি। নিজে চেষ্টা করুন: round(total / 10)-এর জায়গায় total // 10 লিখে আবার চালান; চারটিই পাস করবে। --no-header দিয়ে platform-এর লাইন বাদ রাখা হয়েছে।

৫ · Fixture-এর শুরু — function scope আর conftest.py

অনেক test-এর একই প্রস্তুতি লাগে: একটি নতুন অর্ডার, একটি খালি cart, একটি test user. unittest-এ এটি setUp-এ যায়। pytest-এ লেখা হয় fixture: @pytest.fixture দেওয়া একটি function, যা জিনিসটি তৈরি করে ফেরত দেয়। Test শুধু parameter-এ fixture-এর নাম লেখে; pytest নাম মিলিয়ে fixture চালায় আর ফলটি পাঠায়। একে বলে dependency injection: test নিজে বস্তু বানায় না, চেয়ে নেয়।

ডিফল্ট scope হলো function: প্রতিটি test নিজের নতুন বস্তু পায়। এক test অর্ডার এগিয়ে নিলেও পরের test আবার placed অবস্থার অর্ডার পায়; test-গুলো একে অপরের ওপর নির্ভর করে না। বাজারঘরের অর্ডারের অবস্থা-যন্ত্র পর্ব ১০ (state transition testing)-এর: placed → paid → packed → shipped → delivered; shipped-এর আগে cancel চলে, আর paid হওয়ার পরে cancel হলে refund. Fixture দুটি রাখা হয়েছে tests/conftest.py-এ, তাই ফোল্ডারের সব test এগুলো পায়:

import pytest

from bazarghar.orders import Order


@pytest.fixture
def order():
    """A fresh order in 'placed' state for every test."""
    return Order()


@pytest.fixture
def order_at(request):
    """An order advanced request.param steps (indirect parametrize)."""
    o = Order()
    for _ in range(request.param):
        o.advance()
    return o
def test_new_order_is_placed(order):
    assert order.status == "placed"


@pytest.mark.parametrize("order_at", [0, 1, 2], indirect=True,
                         ids=["placed", "paid", "packed"])
def test_cancel_allowed_before_shipped(order_at):
    order_at.cancel()
    assert order_at.status == "cancelled"

দ্বিতীয় test-এ indirect parametrize: সংখ্যা ০, ১, ২ test-এ যায় না, যায় order_at fixture-এ; fixture অর্ডারটিকে ততবার এগিয়ে দেয়। এভাবে “কোন অবস্থার অর্ডার” টেবিলে থাকে, বস্তু বানানোর কাজ fixture-এ। --setup-show দিয়ে দেখা যায় কোন fixture কখন তৈরি আর কখন ভাঙা হলো (সত্যিকারের run):

$ uv run pytest --setup-show -q "tests/test_orders.py::test_new_order_is_placed" "tests/test_orders.py::test_cancel_allowed_before_shipped[paid]"

        SETUP    F order
        tests/test_orders.py::test_new_order_is_placed (fixtures used: order) .
        TEARDOWN F order
        SETUP    F order_at[1]
        tests/test_orders.py::test_cancel_allowed_before_shipped[paid] (fixtures used: order_at, request) .
        TEARDOWN F order_at[1]
2 passed in 0.01s

F মানে function scope: প্রতিটি test-এর আগে SETUP, পরে TEARDOWN. order_at[1]-এর ১ হলো indirect মান, অর্থাৎ একবার এগোনো, paid অবস্থা। দুটি node id সরাসরি command-এ দেওয়া হয়েছে, তাই শুধু এই দুটিই চলেছে। এই প্রকল্পে orders-এর মোট ৬টি test: সাধারণ ৩টি আর indirect-এর ৩টি সারি।

unittest-এর setUp-এর সাথে পার্থক্যটি ছোট মনে হলেও কাজের। setUp class-এর সব test-এর জন্য একই প্রস্তুতি চালায়, কোনো test-এর দরকার না থাকলেও; আর প্রস্তুতি ভাগ করতে হলে class-এর উত্তরাধিকার লাগে। Fixture চলে শুধু যে test নাম ধরে চায় তার জন্য, আলাদা ফাইলের test-ও conftest.py থেকে একই fixture পায়, আর একটি test একসাথে কয়েকটি fixture চাইতে পারে। Test-এর parameter পড়েই বোঝা যায় তার কী কী লাগে, যা review-এ বড় সুবিধা।

পর্ব ২৩-এর জন্য রাখা: class, module আর session scope, yield দিয়ে পরিষ্কারের কাজ, fixture-এর ভেতরে fixture, autouse-এর বিপদ, factory fixture আর tmp_path, monkeypatch-এর মতো built-in fixture: সব আসবে পর্ব ২৩ (Fixture আর test data — scope, factory আর builder)-এ। এখানে শুধু মূল নিয়মটি মনে রাখুন: ডিফল্টে প্রতিটি test নতুন বস্তু পায়, আর এটিই test isolation-এর ভিত্তি।

৬ · Marker — skip, skipif, xfail আর নিজের marker

Marker হলো test-এর গায়ে লাগানো লেবেল: @pytest.mark.নাম. কিছু marker-এর অর্থ pytest নিজে জানে, কিছু আপনি বানান। লেবেল দুটি কাজে লাগে: test-এর আচরণ বদলানো (বাদ দেওয়া, জানা ভুল হিসেবে চালানো), আর -m দিয়ে বাছাই।

Markerকী করেবাজারঘরে উদাহরণ
skip(reason=…)চালায়ই না; ফল sযে feature এখনো তৈরি হয়নি
skipif(শর্ত, reason=…)শর্ত সত্য হলে বাদwallet sandbox-এর ঠিকানা না থাকলে
xfail(reason=…, strict=…)চালায়, ব্যর্থ হওয়াই প্রত্যাশিত; ফল xজানা bug, ticket খোলা
parametrize, usefixtures, filterwarningsসারি, fixture, warning-এর নিয়ম§৪ আর §৫

বাজারঘরের review ফিচারের AC5 (পর্ব ১৫): গড় rating এক দশমিকে, half up; ৪.২৫ হবে ৪.৩. কোডে round(x, 1) লেখা, যা Python-এ banker's rounding, তাই ৪.২৫ থেকে ৪.২. Bug-টি ticket BUG-142-এ খোলা; সমাধান আসতে দেরি আছে। Test মুছে না ফেলে xfail দেওয়া হলো, আর wallet-এর একটি integration test skipif:

@pytest.mark.xfail(reason="BUG-142: round() uses banker's rounding", strict=True)
def test_display_average_rounds_half_up():
    assert display_average([4, 4, 5, 4]) == 4.3


@pytest.mark.skipif(not os.environ.get("WALLET_SANDBOX_URL"),
                    reason="mobile-wallet sandbox URL not set")
def test_review_after_real_wallet_payment():
    ...

এই কোর্সে mobile-wallet সবসময় mock, তাই দ্বিতীয় test সবসময় skip হয়; শুধু skipif-এর রূপ দেখানোর জন্য রাখা। strict=True-এর গুরুত্ব দেখা যায় bug ঠিক হওয়ার দিন। Developer display_average-এ Decimal দিয়ে half-up গোল করা বসালেন; xfail সরাতে ভুলে গেলেন। সত্যিকারের run:

$ uv run pytest -q tests/test_reviews.py
..Fs                                                                     [100%]
================================== FAILURES ===================================
_____________________ test_display_average_rounds_half_up _____________________
[XPASS(strict)] BUG-142: round() uses banker's rounding
=========================== short test summary info ===========================
FAILED tests/test_reviews.py::test_display_average_rounds_half_up - [XPASS(st...
1 failed, 2 passed, 1 skipped in 0.01s

প্রত্যাশিত-ব্যর্থ test পাস করেছে (XPASS), আর strict থাকায় সেটি FAILED. এটিই চাওয়া: suite জোর করে মনে করিয়ে দেয় “marker সরান, test এখন সাধারণ regression test”. strict ছাড়া ফল হতো নীরব X, আর ভবিষ্যতে bug ফিরে এলেও test x দেখিয়ে সবুজ থাকত।

নিজের marker — নিবন্ধন বাধ্যতামূলক রাখুন

বাজারঘরে দুটি নিজের marker: slow (দীর্ঘ যাচাই) আর money (যে নিয়মে গ্রাহকের পরিশোধ বদলায়)। pyproject.toml-এর markers তালিকায় নিবন্ধিত, আর addopts-এ --strict-markers, ফলে বানান ভুল সাথে সাথে ধরা পড়ে। কেউ @pytest.mark.slwo লিখলে (সত্যিকারের run):

$ uv run pytest -q tests/test_typo.py

=================================== ERRORS ====================================
_____________________ ERROR collecting tests/test_typo.py _____________________
'slwo' not found in `markers` configuration option
=========================== short test summary info ===========================
ERROR tests/test_typo.py - Failed: 'slwo' not found in `markers` configuratio...
!!!!!!!!!!!!!!!!!!! Interrupted: 1 error during collection !!!!!!!!!!!!!!!!!!!!
1 error in 0.07s

strict ছাড়া এটি শুধু একটি warning হতো, আর -m "not slow" চালালে ভুল বানানের test-টি “slow নয়” ধরে প্রতিবার চলত; উল্টো দিকে -m slow-এর রাতের run থেকে নীরবে বাদ পড়ত। pytest 9-এ config-এ strict = true একসাথে চারটি কড়াকড়ি চালু করে: strict_config, strict_markers, strict_xfail (সব xfail ডিফল্টে strict) আর strict_parametrization_ids; এই তালিকা ডেস্কটপের pytest --help থেকে মেলানো। নিবন্ধিত marker-এর তালিকা দেখায় pytest --markers.

এবার এই পাতাতেই marker, -m আর -k পরখ করুন। কোড একটি pytest.ini লেখে (pyproject-এর সমতুল্য পুরোনো ফরম্যাট), তারপর তিনটি command চালায়:

import os, sys, pytest
os.makedirs("/home/pyodide/p21b", exist_ok=True); os.chdir("/home/pyodide/p21b")
sys.modules.pop("test_marks", None)
open("pytest.ini", "w").write("[pytest]\naddopts = --strict-markers\n"
    "markers =\n    slow: long checks\n    money: changes what the customer pays\n")
open("test_marks.py", "w").write('''
import pytest

def display_average(stars):
    return round(sum(stars) / len(stars), 1)

@pytest.mark.money
def test_half_star_is_kept():
    assert display_average([5, 4]) == 4.5

@pytest.mark.xfail(reason="BUG-142 banker's rounding", strict=True)
def test_rounds_half_up():
    assert display_average([4, 4, 5, 4]) == 4.3

@pytest.mark.skip(reason="wallet sandbox not set up")
def test_wallet_payment():
    pass

@pytest.mark.slow
def test_single_rating_unchanged():
    assert all(display_average([s]) == s for s in range(1, 6) for _ in range(20000))
''')
for args in (["-q", "-ra"], ["-q", "-m", "not slow"], ["-q", "-k", "half"]):
    print("$ pytest", *(repr(a) if " " in a else a for a in args))
    pytest.main(args + ["-p", "no:cacheprovider", "test_marks.py"])

আসল আউটপুট:

$ pytest -q -ra
.xs.                                                                     [100%]
=========================== short test summary info ============================
SKIPPED [1] test_marks.py:15: wallet sandbox not set up
XFAIL test_marks.py::test_rounds_half_up - BUG-142 banker's rounding
2 passed, 1 skipped, 1 xfailed in 0.06s
$ pytest -q -m 'not slow'
.xs                                                                      [100%]
1 passed, 1 skipped, 1 deselected, 1 xfailed in 0.01s
$ pytest -q -k half
.x                                                                       [100%]
1 passed, 2 deselected, 1 xfailed in 0.01s

প্রথম run-এ চার অক্ষর .xs.: ফাইলের ক্রমে পাস, xfail, skip, পাস। -ra skip আর xfail-এর কারণ ছেপেছে, যা review-এ খুব কাজের: “কতগুলো test চুপচাপ বাদ যাচ্ছে, আর কেন?” দ্বিতীয় run-এ -m 'not slow' একটি test বাদ দিয়েছে (deselected); বাদ পড়াটি skip নয়, test-টি তালিকা থেকেই সরেছে। তৃতীয় run-এ -k half নামের ভেতরে “half” আছে এমন দুটি test রেখেছে। test_rounds_half_up-এর x আসল: round(4.25, 1) Python-এ সত্যিই 4.2 দেয়। নিজে চেষ্টা করুন: @pytest.mark.slow-কে @pytest.mark.slwo করে চালান।

৭ · দরকারি flag — বাছাই করে চালানো আর রিপোর্ট ছোট-বড় করা

বড় প্রকল্পে হাজার হাজার test থাকে। প্রতিদিনের কাজে দরকার: শুধু যা বদলেছেন তার test, প্রথম ব্যর্থতায় থামা, আর ধীর test খুঁজে বের করা। সবচেয়ে কাজের flag:

Flagকাজকখন
-v / -qপ্রতিটি test-এর লাইন / শুধু অক্ষরপড়তে / CI log ছোট রাখতে
-x, --maxfail=Nপ্রথম (বা N-তম) ব্যর্থতায় থামাএকটি ভুলের পিছু নেওয়ার সময়
--lf / --ffশুধু আগের ব্যর্থ / আগের ব্যর্থ আগে, তারপর বাকিঠিক করার পরে দ্রুত যাচাই
-k "expr"নামের অংশ দিয়ে বাছাই; and, or, notএকটি ফিচারের test
-m "expr"marker দিয়ে বাছাইদ্রুত বনাম পূর্ণ suite
node idএকটি ফাইল, function বা সারিএকটি ব্যর্থ সারি বারবার
--coশুধু তালিকা, চালানো নয়নতুন test খুঁজে পাচ্ছে কি না
-rapass ছাড়া সব ফলের কারণসহ সারাংশskip/xfail নজরে রাখা
--durations=Nসবচেয়ে ধীর N-টি ধাপsuite ধীর হলে
--tb=shortছোট tracebackঅনেক ব্যর্থতা একসাথে

-k নামের অংশ মেলায়, অর্থ নয়

-k-এর expression প্রতিটি test-এর নাম (parametrize id সহ), তার ফাইল আর class-এর নাম, আর marker-এর নামের সাথে মেলে; অক্ষরের ছোট-বড় মানে না। এটি substring মেলানো, তাই অবাক করা ফল আসে। বাজারঘরে coupon-এর test থেকে cap-এর সারিগুলো বাদ দিতে চাইলেন (সত্যিকারের run):

$ uv run pytest -v -k "coupon and not cap"
collecting ... collected 24 items / 21 deselected / 3 selected

tests/test_pricing.py::test_coupon_discount[edge-1000] PASSED            [ 33%]
tests/test_pricing.py::test_coupon_discount[edge-1001] PASSED            [ 66%]
tests/test_pricing.py::test_coupon_rejects_negative_total PASSED         [100%]

====================== 3 passed, 21 deselected in 0.02s =======================

“coupon” আছে এমন test ৭টি। “cap” বাদ দেওয়ায় গেল cap-3000, cap-5000, নামে “cap” থাকা test_coupon_never_exceeds_cap_or_ten_percent, আর below-cap-ও, যা আপনি হয়তো রাখতে চেয়েছিলেন। -k money দিলে marker-এর নাম মিলে ৬টি test আসে। শিক্ষা: সন্দেহ হলে আগে --co -q -k "…" দিয়ে তালিকা দেখুন। Marker দিয়ে বাছাই এর চেয়ে নির্ভরযোগ্য, কারণ লেবেল আপনি ইচ্ছা করে লাগান:

$ uv run pytest -v -m money
collecting ... collected 24 items / 18 deselected / 6 selected

tests/test_pricing.py::test_coupon_discount[edge-1000] PASSED            [ 16%]
… (edge-1001, below-cap, cap-3000, cap-5000 PASSED)
tests/test_pricing.py::test_breakdown_free_delivery_uses_total_before_discount PASSED [100%]

====================== 6 passed, 18 deselected in 0.02s =======================
$ uv run pytest -q -m "not slow"
21 passed, 1 skipped, 1 deselected, 1 xfailed in 0.05s

Class বা ফাইলের ওপরে দেওয়া marker ভেতরের সব test পায়, তাই test_coupon_discount-এর money পাঁচটি সারিতেই গেছে। এবার ধীর test খোঁজা আর প্রথম ব্যর্থতায় থামা (ভুল ঠিক করার আগের run-এ -x):

$ uv run pytest -q --durations=3 --durations-min=0
......................xs                                                 [100%]
============================= slowest 3 durations =============================
0.08s call     tests/test_pricing.py::test_coupon_never_exceeds_cap_or_ten_percent
0.00s call     tests/test_reviews.py::test_display_average_rounds_half_up
0.00s setup    tests/test_orders.py::test_cancel_allowed_before_shipped[placed]
22 passed, 1 skipped, 1 xfailed in 0.13s
$ uv run pytest -x -q              # ভুল ঠিক করার আগে
…
FAILED tests/test_pricing.py::test_breakdown_free_delivery_uses_total_before_discount
!!!!!!!!!!!!!!!!!!!!!!!!!! stopping after 1 failures !!!!!!!!!!!!!!!!!!!!!!!!!!
1 failed, 18 passed in 0.05s

--durations প্রতিটি test-এর তিনটি ধাপ আলাদা মাপে: setup, call, teardown. চার লাখ মানের loop-ওয়ালা slow test একাই ০.০৮ সেকেন্ড, বাকিরা প্রায় শূন্য; পুরো suite ০.১৩ সেকেন্ড। এই ছোট প্রকল্পে সংখ্যা তুচ্ছ, কিন্তু আসল প্রকল্পে এই তালিকাই বলে দেয় কোন test database বা network-এর অপেক্ষায় সময় খাচ্ছে। (--durations-min=0 না দিলে ০.০০৫ সেকেন্ডের কম সময় লুকানো থাকে।) -x-এ ১৯তম test ব্যর্থ হতেই run থেমেছে, বাকি ৫টি চলেনি।

কাজের ধারা — একটি ভুলের পিছু নেওয়া, ছয় ধাপে

  1. পুরো suite একবার: pytest -q -ra. সারাংশ লাইন আর skip/xfail-এর কারণ পড়ুন।
  2. প্রথম ব্যর্থতায় মন দিন: pytest -x; একসাথে অনেক লাল হলে প্রায়ই একটিই কারণ।
  3. শুধু সেই test: FAILED লাইনের node id কপি করে pytest -vv "node id"; -vv পুরো diff দেখায়।
  4. রিপোর্ট পড়ুন, অনুমান লিখুন: কোন key আলাদা, where কোন call দেখাচ্ছে, requirement কী বলে।
  5. ঠিক করে দ্রুত যাচাই: pytest --lf, তারপর pytest --ff যাতে বাকি সবও চলে।
  6. শেষে পূর্ণ suite: ধীর অংশসহ, -m ছাড়া; ঠিক করা ভুল যেন অন্য কিছু না ভাঙে, অর্থাৎ regression না ঘটে।

৮ · pytest.raises, approx আর unittest-এর সাথে একসাথে চলা

pytest.raises যাচাই করে যে একটি exception আসলেই এসেছে। with pytest.raises(ValueError, match="negative"):-এর ভেতরের কোড ValueError না দিলে test ব্যর্থ। match একটি regular expression, যা বার্তার যেকোনো জায়গায় খোঁজা হয় (re.search), তাই পুরো বার্তা লিখতে হয় না। as excinfo লিখলে exception-টি হাতে পাওয়া যায়, আর excinfo.value থেকে বিস্তারিত যাচাই করা যায়। খেয়াল রাখুন, শুধু যে লাইন exception দেবে সেটিই with-এর ভেতরে রাখুন; বেশি কোড রাখলে ভুল লাইনের exception-ও test পাস করিয়ে দিতে পারে।

def test_refund_message_names_the_rule(order):
    order.cancel()                      # cancelled, never paid
    with pytest.raises(ValueError) as excinfo:
        order.refund()
    assert "paid, cancelled" in str(excinfo.value)

এখানে with-এর ভেতরে শুধু refund(); cancel() বাইরে, কারণ সেটি exception দিলে test ভুল কারণে পাস করত। Exception-এর বার্তা যাচাই করা জরুরি, যখন একই ধরনের exception কয়েকটি আলাদা নিয়ম থেকে আসতে পারে। বাজারঘরের Order-এ cancel আর refund দুটিই ValueError দেয়, শুধু বার্তা আলাদা। (এই test একটি আলাদা ফাইলে, একই order fixture দিয়ে সত্যিকারভাবে চালানো, পাস; §৩-এর ২৪টির মধ্যে গোনা নয়।)

pytest.approx দশমিক সংখ্যার (floating point) তুলনায় সহনশীলতা দেয়। কম্পিউটারে 0.1 + 0.2 হয় 0.30000000000000004, তাই == দিয়ে তুলনা ভুল ফল দেয়। ডিফল্ট সহনশীলতা আপেক্ষিক ১০−৬ (আর খুব ছোট একটি absolute সীমা); abs= বা rel= দিয়ে বদলানো যায়। টাকার হিসাবে অবশ্য approx নয়: বাজারঘরের দাম পূর্ণ টাকায় int, আর ভগ্নাংশ লাগলে Decimal, যাতে তুলনা হুবহু হয়।

unittest-এর সাথে মিল: pytest unittest.TestCase-এর test সরাসরি চালায়, তাই পুরোনো suite না বদলেই pytest-এ আনা যায় আর নতুন test pytest-ধাঁচে লেখা যায়। বাজারঘরের test_orders_unittest.py ঠিক এমন: setUp আর assertRaises-ওয়ালা একটি class, যা §৩-এর run-এ অন্য test-এর পাশেই PASSED দেখিয়েছে। সীমাও আছে: TestCase-এর method-এ parameter দিয়ে fixture চাওয়া যায় না, আর parametrize সেখানে কাজ করে না। তাই স্থানান্তরের সাধারণ পথ: পুরোনো test যেমন আছে চলুক, নতুন test pytest-ধাঁচে, আর কোনো class বদলানোর দরকার হলে তখনই function-এ রূপান্তর।

নিচের কোডে তিনটি একসাথে: approx, raises, আর একটি unittest class, সবই pytest চালাচ্ছে। একটি test ইচ্ছা করে float-কে == দিয়ে তুলনা করছে:

import os, sys, pytest
os.makedirs("/home/pyodide/p21c", exist_ok=True); os.chdir("/home/pyodide/p21c")
sys.modules.pop("test_reviews21", None)
open("test_reviews21.py", "w").write('''
import unittest, pytest

def average_stars(stars):
    if not stars:
        raise ValueError("no ratings yet")
    return sum(stars) / len(stars)

def test_float_needs_approx():
    assert 0.1 + 0.2 == pytest.approx(0.3)
    assert average_stars([5, 4, 4]) == pytest.approx(4.333, abs=1e-3)

def test_empty_list_raises():
    with pytest.raises(ValueError, match="no ratings"):
        average_stars([])

def test_exact_float_compare():
    assert average_stars([5, 4, 4]) == 4.333

class OldStyleTest(unittest.TestCase):
    def test_one_rating(self):
        self.assertEqual(average_stars([3]), 3.0)
''')
pytest.main(["-v", "--no-header", "--tb=short", "-p", "no:cacheprovider",
             "test_reviews21.py"])

আসল আউটপুট:

============================= test session starts ==============================
collecting ... collected 4 items

test_reviews21.py::test_float_needs_approx PASSED                        [ 25%]
test_reviews21.py::test_empty_list_raises PASSED                         [ 50%]
test_reviews21.py::test_exact_float_compare FAILED                       [ 75%]
test_reviews21.py::OldStyleTest::test_one_rating PASSED                  [100%]

=================================== FAILURES ===================================
___________________________ test_exact_float_compare ___________________________
test_reviews21.py:18: in test_exact_float_compare
    assert average_stars([5, 4, 4]) == 4.333
E   assert 4.333333333333333 == 4.333
E    +  where 4.333333333333333 = average_stars([5, 4, 4])
=========================== short test summary info ============================
FAILED test_reviews21.py::test_exact_float_compare - assert 4.333333333333333...
========================= 1 failed, 3 passed in 0.01s ==========================

চারটি test একই তালিকায়: তিনটি সাধারণ function আর unittest class-এর method (OldStyleTest::test_one_rating), যার node id-তে class-এর নাম। approx-ওয়ালা test পাস করেছে: ০.১ + ০.২ আর ০.৩ প্রায়-সমান ধরা হলো, আর ৪.৩৩৩৩… ০.০০১-এর মধ্যে ৪.৩৩৩. == দিয়ে লেখা test ব্যর্থ: assert 4.333333333333333 == 4.333, সাথে where লাইনে function call. --tb=short দেওয়ায় traceback এক লাইনের। খালি তালিকায় ValueError এসেছে আর বার্তায় “no ratings” পাওয়া গেছে, তাই raises-এর test পাস।

আরও গভীরে: pytest-এর প্রায় সব কিছু plugin: collection, রিপোর্ট, এমনকি -k. ভেতরে pluggy নামের একটি hook ব্যবস্থা আছে; conftest.py বা আলাদা package-এ hook function লিখে collection বা রিপোর্ট বদলানো যায়, আর -p no:cacheprovider-এর মতো option দিয়ে plugin বন্ধ করা যায়। pytest-xdist (সমান্তরাল চালানো), pytest-cov (coverage), pytest-mock-এর মতো অনেক জনপ্রিয় plugin এই ব্যবস্থার ওপর দাঁড়িয়ে; mock আর coverage আসবে পর্ব ২৪ আর পরের মডিউলে। Assertion rewriting import hook-এর ওপর নির্ভর করে বলে test module-এর compile করা রূপ আলাদা cache-এ রাখা হয়; অদ্ভুত পুরোনো আচরণ দেখলে __pycache__ মুছে দেখার এটি একটি কারণ।

পরীক্ষা ও ইন্টারভিউতে:

  • pytest কোন ফাইল আর function test হিসেবে ধরে? test_*.py বা *_test.py; test দিয়ে শুরু function; __init__-হীন Test* class-এর test* method; আর unittest.TestCase.
  • ৩টি মানের আর ২টি মানের দুটি parametrize একসাথে দিলে কয়টি test? ৩ × ২ = ৬; প্রতিটি আলাদা node id.
  • skip আর xfail-এর পার্থক্য? skip চালায়ই না; xfail চালায়, ব্যর্থ হওয়া প্রত্যাশিত। strict xfail পাস করলে FAILED (XPASS strict).
  • সাধারণ assert দিয়ে pytest কীভাবে দুই পাশের মান দেখায়? Assertion rewriting: import-এর সময় test module-এর assert বদলে মাঝের মান মনে রাখা হয়।
  • শুধু আগেরবার ব্যর্থ test আবার চালানোর flag? --lf; ব্যর্থগুলো আগে চালিয়ে বাকিও চালাতে --ff.

৯ · AI-এর যুগে pytest

AI সহকারী মুহূর্তে pytest-এর test লিখে দেয়, দেখতেও সুন্দর। কিন্তু সাধারণ ভুলগুলো চেনা: শুধু happy path, সীমার মান (১০০০, ১০০১, ২৯৯৯) বাদ; কোড পড়ে তার বর্তমান আচরণই expected হিসেবে লেখা, ফলে round-এর ভুলে সে লিখবে coupon_discount(2999) == 300, যা ভুল কোডে পাস করে; এমন pytest option বা marker বানানো যা নেই (যেমন নিবন্ধনহীন marker, যা strict ছাড়া নীরবে চলে যায়); float-কে == দিয়ে তুলনা; xfail দিয়ে ব্যর্থ test “ঢেকে” দেওয়া; এত mock যে আসল কোড চলেই না; আর না চালিয়েই “সব test পাস” দাবি।

AI-কে requirement দিন, আর টেবিল আগে চান, কোড পরে:

তুমি একজন অভিজ্ঞ QA engineer. বাজারঘরের delivery charge-এর নিয়ম নিচে দিলাম; কোড দিচ্ছি না। নিয়ম: ঢাকার ভেতরে ৬০ টাকা, অর্ডার ২০০০ টাকা বা বেশি হলে ফ্রি; বাইরে ১২০ টাকা, Plus সদস্যের ৬০ টাকা; ২০০০-এর সীমা coupon ছাড়ের আগের টাকায়। ১. প্রথমে test case টেবিল দাও: id, district, total, member, expected, কোন partition বা সীমা থেকে এলো। প্রতিটি expected নিয়মের কোন বাক্য থেকে, পাশে লেখো। ২. তারপর একটি pytest ফাইল দাও: @pytest.mark.parametrize, প্রতিটি সারির অর্থবহ id (pytest.param(..., id=...)), কোনো mock নয়। ৩. শুধু pytest-এর official docs-এ থাকা feature ব্যবহার করো; নিজের marker লাগলে pyproject.toml-এর markers অংশও দাও। ৪. Float তুলনা লাগলে pytest.approx; টাকার মান পূর্ণসংখ্যা। ৫. তুমি test চালাওনি, তাই "সব পাস" লিখবে না; বরং কোন একটি ভুল কোড (যেমন ছাড়ের পরের টাকায় সীমা মাপা) কোন সারি ধরবে, তা বলো।

AI-এর লেখা pytest test হাতে পেলে — চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।

প্র ০১xUnit পরিবার assertEqual-ধরনের method বেছে নিয়েছিল; pytest কেন সাধারণ assert-এ ফিরল?

১৯৯০-এর দশকে Smalltalk-এর SUnit আর Java-র JUnit যখন তৈরি হয়, তখন ভাষার নিজের assert ব্যর্থ হলে শুধু “ব্যর্থ” বলত, কোন মান এসেছিল বলত না। তাই framework নিজের method দিল: assertEquals(expected, actual), যা দুটি মানই হাতে পায় আর বার্তায় দেখাতে পারে। Python-এর unittest এই নকশা প্রায় হুবহু নেয়, ফলে আজও প্রায় ত্রিশটি assert… method আছে: সমান, অন্তর্ভুক্ত, প্রায়-সমান, regex মেলানো, আরও অনেক। দুর্বলতা দুটি। প্রথমত, মুখস্থের বোঝা: ভুল method বাছলে বার্তা অর্থহীন হয়, যেমন assertTrue(a == b) শুধু “False is not true” বলে। দ্বিতীয়ত, প্রকাশের সীমা: জটিল শর্ত লিখতে গেলে method-এর ভেতরে আটকে যেতে হয়।

pytest অন্য পথে গেল। নীতিটি সহজ: ভাষার নিজের assert-ই থাকবে, মান দেখানোর দায়িত্ব নেবে tool. শুরুতে pytest ব্যর্থ assert-কে পরে আবার মূল্যায়ন করে মান বের করত (reinterpretation), যা কখনো কখনো ভুল ফল দিত, বিশেষ করে যখন মূল্যায়নের পার্শ্বপ্রতিক্রিয়া থাকে। মোটামুটি ২০১১ সালে (pytest 2.1) এল assertion rewriting: import-এর সময় syntax tree বদলে মাঝের মান সংরক্ষণ। ফলে একবারই মূল্যায়ন, আর বার্তায় dict-এর পার্থক্য, তালিকার প্রথম আলাদা উপাদান, লম্বা লেখার diff.

এর দাম আছে। Rewriting “জাদু”: শুধু test module-এ খাটে, helper module-এ নয়; আর import hook-এর কারণে অদ্ভুত পরিবেশে (কিছু packaging বা পুরোনো cache) সমস্যা হতে পারে। তবু অভিজ্ঞতা বলে, test পড়া সহজ হওয়ার লাভ অনেক বড়: assert breakdown(...) == {...} পড়লে নিয়মটিই চোখে পড়ে। Java-তেও পরে AssertJ বা Hamcrest-এর মতো লাইব্রেরি পাঠযোগ্য assertion আর বিস্তারিত বার্তার দিকে গেছে, অন্য পথে একই লক্ষ্য।

মূল উপলব্ধি: ভালো test framework লেখার বোঝা কমায় আর ব্যর্থতার বার্তায় তথ্য বাড়ায়। pytest সেই বোঝা ভাষা থেকে tool-এ সরিয়েছে।

প্র ০২জানা bug-এর ব্যর্থ test: মুছে ফেলবেন, skip দেবেন, নাকি xfail? দলের নিয়ম কী হওয়া উচিত?

ধরুন BUG-142 (৪.২৫ থেকে ৪.২ দেখানো) ঠিক হতে দুই sprint লাগবে। এর মধ্যে CI লাল থাকলে দুটি ক্ষতি: অন্য সবাই নতুন ব্যর্থতা দেখতে পান না, কারণ “ওটা তো সবসময় লাল”; আর ধীরে ধীরে দল লাল রঙে অভ্যস্ত হয়ে যায়। সমাজবিজ্ঞানের “broken windows” রূপকটি software দলে প্রায়ই উদ্ধৃত হয়: একটি ভাঙা জানালা মেরামত না হলে আরও ভাঙা সহনীয় মনে হয়।

তিনটি পথের তুলনা। মুছে ফেলা সবচেয়ে খারাপ: নিয়মটির যাচাই হারিয়ে যায়, আর bug ঠিক হলেও কেউ test ফিরিয়ে আনার কথা মনে রাখেন না। skip চালায়ই না, তাই কোডের বর্তমান অবস্থা নিয়ে কোনো তথ্য দেয় না; পরিবেশের কারণে চালানো অসম্ভব হলে (sandbox নেই, ভিন্ন OS) এটি ঠিক, কিন্তু জানা bug-এর জন্য নয়। xfail test চালায় আর ব্যর্থতাকে প্রত্যাশিত হিসেবে লেখে: suite সবুজ, কিন্তু -ra-তে প্রতিদিন কারণসহ দেখা যায়। strict=True দিলে bug ঠিক হওয়ার দিন test নিজে লাল হয়ে বলে “আমাকে সাধারণ test বানাও”, যা আমরা §৬-এ সত্যিকারের run-এ দেখেছি।

দলের নিয়ম হিসেবে যুক্তিসঙ্গত: প্রতিটি xfail-এ reason-এ ticket নম্বর; strict বাধ্যতামূলক (pytest 9-এ strict = true বা xfail_strict); নির্দিষ্ট সময় পরপর xfail-এর তালিকা review; আর raises= দিয়ে নির্দিষ্ট exception বেঁধে দেওয়া, যাতে অন্য কারণে ব্যর্থতা xfail-এর আড়ালে না যায়। Flaky test-এর জন্য xfail নয়, ওটা আলাদা সমস্যা: কারণ খুঁজে ঠিক করা বা quarantine, পর্ব ৪০-এ।

মূল উপলব্ধি: জানা bug লুকানো নয়, লেবেল করা দরকার। xfail(strict) bug-এর অস্তিত্ব আর তার সমাধান, দুটোই suite-কে দিয়ে স্বয়ংক্রিয়ভাবে জানায়।

প্র ০৩slow marker দিয়ে suite ভাগ করে প্রতিদিন শুধু দ্রুত অংশ চালানো কি নিরাপদ?

দ্রুত feedback test-এর সবচেয়ে বড় গুণগুলোর একটি। Developer প্রতিটি ছোট বদলের পরে যদি দশ মিনিট অপেক্ষা করেন, তিনি test চালানো বাদ দেবেন। তাই অনেক দল দুটি স্তর রাখে: প্রতিটি commit-এ -m "not slow" (মিনিটের মধ্যে), আর রাতে বা merge-এর আগে পূর্ণ suite. Test pyramid-এর যুক্তিও এমন (পর্ব ০৫): নিচে অনেক দ্রুত unit test, ওপরে কম ধীর test.

ঝুঁকিগুলো বাস্তব। প্রথম ঝুঁকি, ধীর অংশ কেউ চালায় না: রাতের job ব্যর্থ হলে কেউ দেখেন না, বা job-টিই একদিন বন্ধ হয়ে যায়। দ্বিতীয় ঝুঁকি, marker-এর বানান ভুল: নিবন্ধন আর strict না থাকলে @pytest.mark.slwo দেওয়া test দুই দিক থেকেই ভুল জায়গায় পড়ে। তৃতীয় ঝুঁকি, “slow” আসলে কেন ধীর? প্রায়ই কারণ লুকানো network, অপ্রয়োজনীয় sleep, বা প্রতিটি test-এ database নতুন করে বানানো। --durations দিয়ে নিয়মিত তালিকা দেখলে অনেক ধীর test দ্রুত করা যায়, marker লাগে না।

নিরাপদ ব্যবস্থার কয়েকটি উপাদান: সব marker নিবন্ধিত আর strict; ধীর suite-এর ফল সবার দেখার জায়গায়, ব্যর্থ হলে release আটকায়; money-এর মতো ঝুঁকিভিত্তিক marker যাতে টাকা-জড়িত নিয়ম কখনো দ্রুত suite থেকে বাদ না যায়; আর মাঝে মাঝে marker-এর তালিকা review. ঝুঁকিভিত্তিক বাছাইয়ের ধারণা পর্ব ০৩-এর নীতি আর পর্ব ১৭-এর test strategy-র সাথে মেলে।

মূল উপলব্ধি: Marker দিয়ে ভাগ করা ঠিক আছে, যদি ধীর অংশ নিশ্চিতভাবে চলে আর তার ফল কেউ দেখেন। ভাগ করা মানে বাদ দেওয়া নয়, সময় বদলানো।

প্র ০৪parametrize কি সবসময় আলাদা test-এর চেয়ে ভালো?

parametrize-এর শক্তি তিনটি। Test design টেবিল আর কোড এক রূপের: পর্ব ০৭–০৮-এর partition আর সীমার সারি হুবহু decorator-এ বসে, তাই review-এ টেবিল আর কোড মেলানো সহজ। প্রতিটি সারি আলাদা ফল দেয়, তাই একটি ব্যর্থতা বাকিদের ঢাকে না; unittest-এর সাধারণ loop-এ প্রথম ব্যর্থতায় বাকি সারি চলতই না। আর নতুন সারি যোগ করা এক লাইনের কাজ, যা boundary যোগ করতে উৎসাহ দেয়।

কিন্তু সীমা আছে। যখন সারিগুলোর আচরণ আলাদা, তখন এক function জোর করে সব সামলায়: ভেতরে if expected_error: ধরনের শর্ত ঢোকে, যা test-এ logic, একটি পরিচিত test smell (পর্ব ২২)। যেমন coupon-এর সাধারণ মান আর ঋণাত্মক মানে exception, দুটি আলাদা test হওয়াই ভালো, যা বাজারঘরের ফাইলে করা হয়েছে (test_coupon_rejects_negative_total). দ্বিতীয় সমস্যা, id ছাড়া বড় টেবিল: test_x[3-7-True-None-12] দেখে কেউ বুঝবেন না কোন নিয়ম ভাঙল।

তৃতীয় সমস্যা গুণফল। দুটি decorator জোড়া দিলে সব সমন্বয়: ৩ × ২ = ৬ ঠিক আছে, কিন্তু পাঁচটি factor-এ চারটি করে মান হলে ৪৫ = ১০২৪. পর্ব ১১-এর pairwise এখানে কাজে লাগে: সমন্বয়ের তালিকা আগে বানিয়ে এক decorator-এ দেওয়া। আর হাজার সারির test suite ধীর করে, তাই কোনগুলো সত্যিই আলাদা partition, কোনগুলো একই partition-এর অপ্রয়োজনীয় সদস্য, ভাবা দরকার।

মূল উপলব্ধি: একই আচরণ, ভিন্ন data হলে parametrize; ভিন্ন আচরণ হলে আলাদা test. প্রতিটি সারির নাম বলবে সারিটি কেন আছে।

প্র ০৫নতুন Python প্রকল্পে unittest নাকি pytest? আর পুরোনো unittest suite থাকলে কী করবেন?

unittest-এর বড় সুবিধা: standard library-র অংশ, কিছু install করতে হয় না। কঠোর পরিবেশে, যেখানে বাইরের package আনতে অনুমতি লাগে, বা খুব ছোট script-এ এটি যথেষ্ট। CPython-এর নিজের test suite-ও unittest-ভিত্তিক। নকশাটি JUnit-এর আদলে, তাই Java থেকে আসা কারও কাছে পরিচিত (Java প্রোগ্রামিং কোর্সের পর্ব ৪৭)।

pytest-এর সুবিধা প্রায় সব প্রতিদিনের কাজে: কম boilerplate, সাধারণ assert-এ সমৃদ্ধ বার্তা, parametrize, fixture-এর নমনীয় scope, marker দিয়ে বাছাই, আর বিশাল plugin জগৎ (সমান্তরাল চালানো, coverage, mock, BDD, যা এই কোর্সের পরের পর্বগুলোতে আসবে)। Python সম্প্রদায়ের জরিপগুলোতে pytest সাধারণত সবচেয়ে বেশি ব্যবহৃত testing tool হিসেবে আসে; নির্দিষ্ট শতাংশ জরিপভেদে ভিন্ন, তাই সংখ্যা উদ্ধৃত করছি না। Pyodide-এ pytest আগে থেকেই থাকায় এই পাতাতেও আপনি চালাতে পেরেছেন।

পুরোনো unittest suite থাকলে বড় পুনর্লিখনের দরকার নেই, কারণ pytest unittest-এর test সরাসরি চালায়। প্রথম দিন শুধু runner বদলান: python -m unittest-এর জায়গায় pytest. সাথে সাথে পাবেন -k, --lf, -x, --durations. নতুন test pytest-ধাঁচে লিখুন। কোনো পুরোনো class-এ parametrize বা fixture লাগলে তখন সেটিকে function-এ রূপান্তর করুন। এভাবে ধাপে ধাপে স্থানান্তর ঝুঁকি কমায়: প্রতিটি ধাপে suite সবুজ থাকে, আর কোন test হারাল তা --co-এর সংখ্যা মিলিয়ে নিশ্চিত হওয়া যায়।

মূল উপলব্ধি: নতুন প্রকল্পে সাধারণত pytest; পুরোনো suite-এ “বড় বিস্ফোরণ” নয়, runner বদলে ধীরে স্থানান্তর। দুটি একসাথে চলে, এটিই pytest-এর একটি বড় সুবিধা।

অনুশীলন

উত্তর দেখার আগে কাগজে নিজে করুন। সব সংখ্যা আর আউটপুট সত্যিকারের pytest 9.2.0 run থেকে।

  1. Spec থেকে parametrize টেবিল: বাজারঘরের delivery charge-এর নিয়ম: ঢাকার ভেতরে ৬০ টাকা, অর্ডার ২০০০ টাকা বা বেশি হলে ফ্রি; বাইরে ১২০ টাকা, Plus সদস্যের ৬০ টাকা। delivery_charge(district, total, member)-এর জন্য ছয় সারির একটি @pytest.mark.parametrize লিখুন, প্রতিটি সারির অর্থবহ id সহ। কোন সারি কোন partition বা সীমা থেকে এলো, বলুন।
    @pytest.mark.parametrize(("district", "total", "member", "expected"), [
        pytest.param("Dhaka", 1999, False, 60, id="dhaka-1999"),
        pytest.param("Dhaka", 2000, False, 0, id="dhaka-2000-free"),
        pytest.param("Dhaka", 1999, True, 60, id="dhaka-plus-no-effect"),
        pytest.param("Khulna", 5000, False, 120, id="outside-never-free"),
        pytest.param("Khulna", 5000, True, 60, id="outside-plus"),
        pytest.param("Khulna", 500, True, 60, id="outside-plus-small"),
    ])
    def test_delivery_charge(district, total, member, expected):
        assert delivery_charge(district, total, member) == expected

    প্রথম দুটি সারি ঢাকার ২০০০-এর সীমার দুই পাশ (দুই-মান BVA). তৃতীয়টি দেখায় ঢাকায় Plus সদস্য হলেও নিয়ম একই। চতুর্থটি ধরে “বাইরেও ২০০০-এর বেশি হলে ফ্রি” ধরনের ভুল। শেষ দুটি বাইরের Plus সদস্যের partition, বড় আর ছোট অর্ডারে। সত্যিকারের run-এ ছয়টি id নিয়ে ৬টি test, সব PASSED.

  2. রিপোর্ট পড়ুন আর আগে বলুন: (ক) একটি run-এ এই লাইন এলো: E assert 60 == 0, তার নিচে E + where 60 = delivery_charge('Dhaka', 2000). কোন পাশ কোডের ফল, আর কোডের সম্ভাব্য ভুল কী? (খ) বাজারঘরের প্রকল্পে delivery-র চারটি node id হলো [Dhaka-1999-False-60], [Dhaka-2000-False-0], [Khulna-2500-False-120], [plus-outside], আর আরেকটি test আছে test_breakdown_free_delivery_uses_total_before_discount. pytest -k "delivery and not Khulna" কয়টি test বাছবে?

    (ক) বাঁ পাশের ৬০ কোডের ফল (where লাইন বলছে এটি delivery_charge('Dhaka', 2000) থেকে), ডান পাশের ০ requirement. ঠিক ২০০০ টাকায় ফ্রি হওয়ার কথা, কোড ৬০ নিচ্ছে: সম্ভবত total >= 2000-এর জায়গায় total > 2000, একটি off-by-one.

    (খ) ৪টি, সত্যিকারের run-এ: 4/24 tests collected (20 deselected). বাদ পড়েছে শুধু Khulna-2500-False-120. plus-outside সারিতে মান Khulna হলেও id-তে “Khulna” নেই, তাই সেটি থেকে যায়। আর test_breakdown_free_delivery_…-এর নামে “delivery” আছে, তাই সেটিও আসে। -k নাম মেলায়, মান বা অর্থ নয়।

  3. Test ফাইলে ভুল খুঁজুন: একজন সহকর্মী নিচের ফাইল লিখে জানালেন, “pytest চালালাম, কোনো failure নেই।” Run-এর শেষ লাইন ছিল 1 xpassed, 1 warning in 0.01s. ফাইলে তিনটি সমস্যা খুঁজে বের করুন।
    def check_coupon_cap():
        assert coupon_discount(5000) == 300
    
    
    class TestCoupon:
        def __init__(self):
            self.total = 1001
    
        def test_just_above_1000(self):
            assert coupon_discount(self.total) == 100
    
    
    @pytest.mark.xfail(reason="BUG-150")
    def test_average_of_three():
        assert average_stars([5, 4, 4]) == pytest.approx(4.333, abs=0.001)

    সত্যিকারের run-এ collected 1 item: তিনটি test-এর মধ্যে চলেছে মাত্র একটি। (১) check_coupon_cap নাম test দিয়ে শুরু হয়নি, তাই কখনো collect হয় না, কোনো সতর্কবার্তাও নেই। নাম দিন test_coupon_cap. (২) TestCoupon-এ __init__ আছে; pytest class-টি বাদ দেয়, শুধু warning দেয়: PytestCollectionWarning: cannot collect test class 'TestCoupon' because it has a __init__ constructor. প্রস্তুতি fixture-এ বা সরাসরি test-এর ভেতরে রাখুন। (৩) xfail-এর test পাস করছে (XPASS (BUG-150)), অর্থাৎ bug হয় ঠিক হয়ে গেছে, নয়তো test ভুল জিনিস যাচাই করছে; strict না থাকায় suite সবুজ থেকে গেছে। strict=True দিন, তাহলে এটি FAILED হতো, আর marker সরানোর সিদ্ধান্ত নিতে হতো। “কোনো failure নেই” মানে “সব যাচাই হলো” নয়: আগে --co -q দিয়ে সংখ্যা দেখুন।

  4. গুনে বলুন: একটি ফাইলে দুটি test. প্রথমটির ওপরে দুটি decorator: parametrize("district", ["Dhaka", "Sylhet", "Rangpur"]) আর তার নিচে parametrize("member", [False, True]). দ্বিতীয়টির ওপরে একটি parametrize চার সারির, যার শেষ সারি pytest.param(10**7, 300, marks=pytest.mark.slow, id="huge"). (ক) মোট কয়টি test collect হবে? (খ) -m "not slow"-এ কয়টি চলবে? (গ) প্রথম test-এর প্রথম node id কী? (ঘ) -k "Dhaka or huge"-এ কয়টি?

    (ক) ৩ × ২ = ৬, আর ৪, মোট ১০; সত্যিকারের run: 10 tests collected. (খ) শুধু huge সারিতে slow, তাই ৯; run: 9 passed, 1 deselected. (গ) নিচের decorator-এর মান আগে: test_small_order_charge[False-Dhaka]. (ঘ) Dhaka আছে ২টি id-তে (False-Dhaka, True-Dhaka), আর huge ১টি: মোট ৩; run: 3 passed, 7 deselected.

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমএকটি pytest command-এর কাজগুলো ঘটার ক্রমে সাজান (▲▼ চেপে সরান)

  1. rootdir আর config ফাইল (pyproject.toml) পড়া
  2. conftest.py load করা
  3. test_*.py থেকে test collect করে node id বানানো
  4. একটি test-এর fixture setup
  5. test function চালানো, তারপর teardown
  6. FAILURES অংশ আর সারাংশ লাইন ছাপা

ডিফল্ট নিয়মে test_pricing.py ফাইলের কোনটি pytest test হিসেবে collect করবে?

  • def check_coupon():
  • def test_coupon():
  • __init__-ওয়ালা class TestCoupon-এর test_cap method
  • def coupon_test():

একটি test-এর ওপরে দুটি decorator: parametrize("district", ["Dhaka", "Sylhet", "Rangpur"]) আর parametrize("member", [False, True]). কয়টি test collect হবে?

  • ২
  • ৫
  • ৬
  • ৯

@pytest.mark.xfail(reason="BUG-142", strict=True) দেওয়া একটি test-এর bug ঠিক হয়ে গেছে, আর test এখন পাস করে। pytest কী দেখাবে?

  • FAILED, কারণ [XPASS(strict)]
  • PASSED
  • XPASS, suite সবুজ
  • SKIPPED

Coupon-এর parametrize-এর id: edge-1000, edge-1001, below-cap, cap-3000. pytest -k "coupon and not cap" এই চারটির কোনগুলো চালাবে?

  • চারটিই
  • edge-1000, edge-1001, below-cap
  • শুধু cap-3000
  • শুধু edge-1000 আর edge-1001

গড় rating sum([5, 4, 4]) / 3 যাচাইয়ের সবচেয়ে ভালো assert কোনটি?

  • assert avg == 4.333
  • assert avg == pytest.approx(4.333, abs=0.001)
  • assert avg > 0
  • assert round(avg) == 4

একটি পুরোনো প্রকল্পে unittest.TestCase-এর ২০০টি test আছে। দল pytest-এ যেতে চায়। প্রথম ধাপ হিসেবে কোনটি ঠিক?

  • সব test আগে pytest-ধাঁচে নতুন করে লেখা
  • TestCase-এর method-এ সরাসরি @pytest.mark.parametrize বসানো
  • runner হিসেবে pytest চালানো শুরু করা; পুরোনো test যেমন আছে চলবে
  • unittest আর pytest আলাদা প্রকল্পে রাখা

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. Discovery: test_*.py/*_test.py, test-শুরু function, __init__-হীন Test* class, TestCase. নতুন test-এর পরে --co -q দিয়ে সংখ্যা মেলান।
  2. রিপোর্ট পড়া: আগে সারাংশ লাইন, তারপর > লাইন, তারপর E লাইন; বাঁ পাশ কোডের ফল, ডান পাশ expected; where বলে মান কোথা থেকে এলো।
  3. parametrize: প্রতিটি সারি আলাদা test আর node id; অর্থবহ ids; দুটি decorator মানে গুণফল; indirect মান যায় fixture-এ।
  4. Fixture আর marker: ডিফল্ট function scope, প্রতিটি test নতুন বস্তু; marker নিবন্ধন আর --strict-markers; জানা bug-এ xfail(strict=True) আর ticket.
  5. প্রতিদিনের flag: -k substring মেলায়, -m marker; -x, --lf, -ra, --durations; float-এ approx, exception-এ raises(match=…).

পরের পর্বে: pytest চালানো শিখলেন; এবার ভালো test লেখার পালা। Arrange-Act-Assert, আচরণভিত্তিক নাম, একটি test-এ একটি আচরণ, আর পরিচিত test smell: একটি “দুর্গন্ধযুক্ত” test ভুল কোডেও পাস করে, পরিষ্কার রূপটি ভুল ধরে।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান