সরাসরি পর্বে যান
পর্ব ৩১ · ৮২-এর মধ্যে · মডিউল ৫

Code দিয়ে API testing — pytest, httpx আর JSON Schema

API Testing in Code — pytest, httpx and JSON Schema

Taught in Bangla, this lesson writes API tests in code with an httpx client fixture, a reset endpoint before each test and a login factory. It parametrizes coupon and delivery rules, builds negative tests from 400 to 422 that also check error codes, and validates bodies against JSON Schema from the app's own OpenAPI document to catch type drift. A real pytest run passes 25 tests on the Bazarghar demo shop; three seeded bugs give two failures and a timing warning, and Schemathesis finds two mismatches in 38 cases.

এই পর্বে যা শিখবেন

  • একটি API test কী কী যাচাই করে, আর Postman-এর বদলে code-এ লেখার লাভ কোথায়
  • pytest আর httpx দিয়ে client, reset আর login fixture বানানো; test data-র setup ও teardown
  • Coupon আর delivery-র নিয়ম থেকে parametrize করা API case, আর 400 থেকে 422 পর্যন্ত negative test-এর ছক
  • JSON Schema পড়া-লেখা, OpenAPI থেকে schema নিয়ে $ref-সহ যাচাই, আর schema drift ধরা
  • Response time-এর নরম যাচাই, আর schemathesis দিয়ে OpenAPI থেকে স্বয়ংক্রিয় test-এর প্রথম স্বাদ

১ · API test আসলে কী যাচাই করে

মোবাইল রিচার্জের কথা ভাবুন। আপনি ১০০ টাকা পাঠালেন। শুধু “সফল” বার্তা দেখেই কি আপনি নিশ্চিন্ত হন? না। আপনি দেখেন নম্বরটি ঠিক কি না, টাকার অঙ্ক ঠিক কি না, ব্যালান্স সত্যিই বেড়েছে কি না, আর বার্তাটি কত দেরিতে এলো। একটি ভুল নম্বরে পাঠাতে চাইলে কী হয়, সেটিও একবার দেখে রাখেন। API test ঠিক এই কাজ, শুধু মানুষের বদলে program করে, প্রতিবার একইভাবে, কয়েক সেকেন্ডে।

API হলো দুটি program-এর কথা বলার চুক্তি। বাজারঘরের ক্ষেত্রে mobile app বা ওয়েবসাইট HTTP-তে JSON পাঠায়, server JSON ফেরত দেয়। HTTP-র method, status code আর header এই মডিউলের আগের একটি পর্বে (পর্ব ২৯, Tester-এর জন্য HTTP আর REST) এসেছে; ভিত্তি ঝালিয়ে নিতে চাইলে কম্পিউটার নেটওয়ার্ক কোর্সের পর্ব ৩৬ দেখুন। পর্ব ৩০-এ একই API Postman আর Newman দিয়ে যাচাই করা হয়েছে। এই পর্বে আমরা test লিখব সাধারণ Python code-এ, pytest দিয়ে, যা আপনি পর্ব ২১ আর পর্ব ২৩-এ শিখেছেন।

একটি API response-এর ছয়টি যাচাইয়ের জায়গা

কীবাজারঘরের উদাহরণকোথায় ভুল লুকায়
Status codeনতুন অর্ডারে 201, অন্যের অর্ডারে 404ভুল হলেও 200; 500 ফেরত দেওয়া
Header401-এ WWW-Authenticate: BearerContent-Type ভুল, নিরাপত্তা header নেই
Body-র মান১০০১ টাকায় ছাড় ১০০, delivery ৬০, মোট ৯৬১সীমার মানে off-by-one
Body-র গঠনprice integer, average number বা nullসংখ্যা string হয়ে যাওয়া, field-এর নাম বদল
পার্শ্বফলpay-এর পরে অর্ডার paid, wallet-এ একটিই chargeদুবার কাটা, stock ফেরত না আসা
সময়search আধা সেকেন্ডের মধ্যেহঠাৎ ধীর query

প্রথম তিনটি সবাই দেখেন। চতুর্থটি, গঠন, প্রায়ই বাদ পড়ে, অথচ mobile app সবচেয়ে বেশি ভাঙে এখানেই: server-এর একটি বদলে 155 হয়ে গেল "155", আর app-এ যোগফল হলো “155120”. পঞ্চমটি, পার্শ্বফল, শুধু response দেখে বোঝা যায় না; আরেকটি GET বা test-mode endpoint দিয়ে state পড়তে হয়।

কেন code-এ, যখন Postman আছে

Postman-এর collection দ্রুত শুরু করা যায়, আর developer নন এমন সহকর্মীও পড়তে পারেন। Code-এ লেখা API test-এর সুবিধা অন্য জায়গায়: (১) আপনার পুরো test design, partition আর সীমা, parametrize-এর টেবিলে বসে; (২) fixture দিয়ে login, data আর পরিষ্কারের কাজ একবার লিখে সবখানে; (৩) Git-এ diff আর code review সহজ, কারণ সব সাধারণ লেখা; (৪) একই suite-এ unit, API আর schema test একসাথে, একই রিপোর্ট; (৫) যেকোনো Python library, যেমন JSON Schema validator বা ডাটাবেস client, সরাসরি ব্যবহার। অনেক দল দুটোই রাখে: Postman অনুসন্ধানের জন্য, code-এর suite CI-র জন্য।

এই কোর্সের ভাগাভাগিও মনে রাখুন। Full-Stack কোর্সের পর্ব ৭৫ Node-এর Supertest দিয়ে app-এর ভেতর থেকে API test দেখিয়েছে, test database আর factory-সহ। এখানে আমরা app-কে বাইরে থেকে দেখি, একজন tester-এর মতো: চলমান server, আসল HTTP, আর শুধু প্রকাশিত চুক্তি। Python-এ HTTP client-এর প্রথম পরিচয় Python প্রোগ্রামিং কোর্সের পর্ব ৫০-এ।

বাজারঘরের API test-এর কাঠামো

pytest fixtures → httpx → the app on 127.0.0.1 → SQLite; OpenAPI → JSON Schema

pytest → httpx → বাজারঘর app → SQLite; OpenAPI থেকে schema যাচাই আর schemathesis pytest · tests/*.py conftest.py-এর fixture: client · fresh_data login("mitu") httpx.Client HTTP request · JSON · Bearer token বাজারঘর app FastAPI · 127.0.0.1 শুধু নিজের কম্পিউটারে reset test mode নতুন seed SQLite অর্ডার, cart, রিভিউ /openapi.json · app নিজে দেয় → components/schemas/Quote → jsonschema: response যাচাই → schemathesis: নিজে request বানিয়ে চুক্তি পরীক্ষা
ছবি ৩১.১ — Test নিজের কম্পিউটারে চলা app-এ আসল HTTP পাঠায়। Reset endpoint প্রতিটি test-কে একই শুরুর অবস্থা দেয়, আর app-এর নিজের OpenAPI document থেকে body-র গঠন যাচাই হয়।

এবার একটি পূর্ণ API test ধাপে ধাপে দেখুন। বাজারঘরের seed-এ মিতুর cart খালি। Test-টি সয়াবিন তেল (৮৮০) আর আলু (১২১) যোগ করে, মোট ১০০১ টাকা, তারপর অর্ডার দেয় আর নগদে টাকা দেয়। গঠনটি পর্ব ২২-এর Arrange-Act-Assert. প্রতিটি মান সত্যিকারের run থেকে:

  1. Resetfixtureনতুন seed
  2. Arrangelogin, cartপ্রস্তুতি
  3. Actorder, payযা যাচাই হবে
  4. Assertstatus, bodyমিলিয়ে দেখা
Request আর response
request
status
body থেকে
অবস্থা
  1. Reset: সবার আগে, fixture-এ। autouse fixture প্রতিটি test-এর আগে POST /api/test/reset পাঠায়। ফলে seed-এর সাতটি অর্ডার ফিরে আসে, সব session মুছে যায়, cart খালি। পরের অর্ডার নিশ্চিতভাবে id 8 পাবে, তাই test সেটি assert করতে পারে।
  2. Arrange: login. login("mitu") factory fixture POST /api/auth/login পাঠায় আর 200-এর body থেকে access_token নিয়ে Authorization: Bearer … header বানিয়ে দেয়। Token কোথাও hard-code করা নেই, তাই reset-এর পরেও কাজ করে।
  3. Arrange: cart. দুটি POST /api/cart/items: product 3 (৮৮০) তারপর product 9 (১২১). প্রতিটির status 200 সাথে সাথে assert করা হয়েছে, যাতে প্রস্তুতি ব্যর্থ হলে ভুল জায়গায় দোষ না পড়ে। Subtotal এখন ১০০১, coupon-এর সীমার ঠিক ওপরে (পর্ব ০৮)।
  4. Act: অর্ডার। POST /api/orders, ফোন নম্বরে দুই পাশে ফাঁকা জায়গা রেখে: " 01712345678 ". উত্তর 201 Created, id 8, আর ফোন নম্বর ছাঁটা অবস্থায় ফিরেছে। এটিও একটি নিয়ম, তাই এটিও assert-এর তালিকায়।
  5. Act: pay. POST /api/orders/8/pay. নগদ পদ্ধতিতে fake gateway লাগে না, অর্ডার সরাসরি paid. State machine-এর একটি ধাপ (পর্ব ১০) API দিয়ে পার হলো।
  6. Assert: সব একসাথে মেলানো। 201, id 8, ছাঁটা ফোন, pricing হুবহু {1001, 100, 60, 961}, তারপর 200, status paid, paid true. সব মিলেছে, test পাস। খেয়াল করুন, Act-এর সব call আগে, assert পরে; কোনো assert ব্যর্থ হলে pytest dict-এর পার্থক্য দেখাবে।

২ · প্রকল্প আর fixture — client, reset আর login

নিচের সবকিছু এই কোর্সের লেখার সময় একটি সাধারণ Windows ডেস্কটপে সত্যিকারভাবে চালানো হয়েছে। App হলো কোর্সের নিজস্ব বাজারঘর (FastAPI, শুধু 127.0.0.1-এ চলে, বাইরে কোনো network call করে না)। Test প্রকল্পে চারটি library: pytest 9.2.0 (MIT), httpx 0.28.1 (BSD-3-Clause), jsonschema 4.26.0 (MIT) আর schemathesis 4.33.4 (MIT; সাথে আসে Hypothesis 6.170.15, MPL-2.0). Path নিরপেক্ষ করা।

# টার্মিনাল ১: app, test mode-এ, নতুন seed নিয়ে
cd bazarghar
BAZARGHAR_TEST_MODE=1 uv run bazarghar --port 8784 --test-mode --reset

# টার্মিনাল ২: test প্রকল্প
mkdir bazarghar-api-tests && cd bazarghar-api-tests
uv init --vcs none --author-from none
uv add pytest httpx jsonschema schemathesis
BAZARGHAR_URL=http://127.0.0.1:8784 uv run pytest -v

App-এর test mode শুধু test পরিবেশের জন্য: এতে /api/test/reset-এর মতো endpoint খোলে, যা production-এ কখনো থাকা উচিত নয়। বাজারঘরে test mode বন্ধ থাকলে এই route-গুলোর অস্তিত্বই নেই (404). এবার conftest.py, যেখানে তিনটি fixture:

import os
import httpx
import pytest

BASE_URL = os.environ.get("BAZARGHAR_URL", "http://127.0.0.1:8765")


@pytest.fixture(scope="session")
def client():
    with httpx.Client(base_url=BASE_URL, timeout=5.0) as c:
        yield c


@pytest.fixture(autouse=True)
def fresh_data(client):
    r = client.post("/api/test/reset")          # seed data back, sessions dropped
    assert r.status_code == 200, "app is not in test mode"
    yield


@pytest.fixture
def login(client):
    def _login(user):
        r = client.post("/api/auth/login",
                        json={"email": f"{user}@bazarghar.test",
                              "password": f"{user}1234"})
        assert r.status_code == 200, r.text
        return {"Authorization": f"Bearer {r.json()['access_token']}"}
    return _login

client, session scope: পুরো run-এ একটিই httpx.Client. এটি TCP connection আবার ব্যবহার করে (connection pool), তাই প্রতিটি request-এ নতুন সংযোগের খরচ নেই। base_url থাকায় test-এ শুধু path লিখলেই চলে, আর অন্য পরিবেশে চালাতে শুধু environment variable বদলাতে হয়। timeout=5.0 জরুরি: সময়সীমা না থাকলে আটকে থাকা server পুরো CI-কে ঝুলিয়ে রাখে। with শেষে client বন্ধ হয়, অর্থাৎ yield fixture-এর teardown.

fresh_data, autouse: প্রতিটি test-এর আগে নিজে থেকে চলে। পর্ব ২৩-এ autouse-এর বিপদ নিয়ে সতর্ক করা হয়েছিল: এটি লুকানো থাকে। এখানে সচেতনভাবে নেওয়া সিদ্ধান্ত, কারণ এই suite-এর প্রতিটি test-এর একই শুরুর অবস্থা দরকার; নাম আর comment সেটি বলে দেয়। Reset ব্যর্থ হলে বার্তা স্পষ্ট: app test mode-এ নেই।

login, factory fixture: Bearer token সরাসরি না দিয়ে একটি function দেয়, যাতে একই test-এ দুজন ব্যবহারকারী লাগলে (রাফি আর সুমি) দুবার ডাকা যায়। Password seed-এর বানানো মান, আসল কোনো গোপন তথ্য নয়।

Reset endpoint আর সমান্তরাল run একসাথে চলে না। একটি test reset করলে অন্য worker-এর চলমান test-এর data মুছে যায়। তাই এই ধরনের suite হয় একটি একটি করে চলে, নয়তো প্রতিটি worker নিজের app আর নিজের database পায় (পর্ব ২৮, Integration testing-এ test database-এর কৌশল)। আরেকটি পথ: reset না করে প্রতিটি test নিজের নতুন ব্যবহারকারী আর নিজের data বানায়, যাতে কেউ কারও জিনিস ছোঁয় না। এটি ধীর, কিন্তু shared পরিবেশে একমাত্র নিরাপদ পথ।

৩ · নিয়ম থেকে parametrize — coupon আর delivery

বাজারঘরের নিয়ম দুটি আবার: coupon, পণ্যের দাম ১০০০ টাকার বেশি হলে ১০% ছাড়, ভগ্নাংশ বাদ, সর্বোচ্চ ৩০০, delivery-তে নয়। Delivery, ঢাকায় ৬০ টাকা, ছাড়ের আগের দাম ২০০০ বা বেশি হলে ফ্রি; বাইরে ১২০, Plus সদস্যের ৬০. App-এ একটি login-ছাড়া calculator আছে: GET /api/pricing/quote. পর্ব ০৯-এর decision table আর পর্ব ০৮-এর সীমা থেকে সাতটি সারি বেছে parametrize:

import pytest

CASES = [
    # subtotal, district, plus, discount, delivery, total
    pytest.param(1000, "Dhaka", False, 0, 60, 1060, id="coupon-edge-1000"),
    pytest.param(1001, "Dhaka", False, 100, 60, 961, id="coupon-edge-1001"),
    pytest.param(3009, "Dhaka", False, 300, 0, 2709, id="coupon-cap"),
    pytest.param(1999, "Dhaka", False, 199, 60, 1860, id="dhaka-1999"),
    pytest.param(2000, "Dhaka", False, 200, 0, 1800, id="dhaka-free-2000"),
    pytest.param(2000, "Rajshahi", False, 200, 120, 1920, id="outside"),
    pytest.param(500, "Rajshahi", True, 0, 60, 560, id="plus-outside"),
]


@pytest.mark.parametrize(
    ("subtotal", "district", "plus", "discount", "delivery", "total"), CASES)
def test_quote_follows_rules(client, subtotal, district, plus,
                             discount, delivery, total):
    r = client.get("/api/pricing/quote",
                   params={"subtotal": subtotal, "district": district,
                           "plus": str(plus).lower()})
    assert r.status_code == 200
    body = r.json()
    assert (body["discount"], body["delivery"], body["total"]) == (
        discount, delivery, total)

প্রতিটি expected মান নিয়মের বাক্য থেকে হিসাব করা, app চালিয়ে দেখে নয়। যেমন dhaka-1999: ১৯৯৯-এর ১০% = ১৯৯.৯, ভগ্নাংশ বাদে ১৯৯; ১৯৯৯ < ২০০০, তাই delivery ৬০; মোট ১৯৯৯ − ১৯৯ + ৬০ = ১৮৬০. আর dhaka-free-2000 হলো সেই সারি, যা “ছাড়ের পরে সীমা মাপা” ধরনের ভুল ধরে: ২০০০ − ২০০ = ১৮০০, যা ২০০০-এর কম, কিন্তু নিয়ম বলে ছাড়ের আগের দামে মাপুন, তাই delivery ০. params-এ plus ছোট হাতের "false" হিসেবে যায়; query string-এ boolean বলে কিছু নেই, সবই লেখা, তাই server কীভাবে পড়ে সেটিও এক অর্থে test হচ্ছে।

App ঠিক থাকলে পুরো suite (§৪–§৬-এর test-সহ মোট ২৫টি) চালালে, সত্যিকারের আউটপুট (header-এর path আর একই রকম PASSED লাইন ছাঁটা; pytest ফাইল বর্ণানুক্রমে চালায়, তাই negative test আগে):

$ BAZARGHAR_URL=http://127.0.0.1:8784 uv run pytest -v --durations=3
platform win32 -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
hypothesis profile 'default'
rootdir: ~/bazarghar-api-tests
configfile: pyproject.toml
plugins: anyio-4.16.0, hypothesis-6.170.15, schemathesis-4.33.4
collecting ... collected 25 items

tests/test_negative.py::test_error_matrix[400-empty-cart] PASSED         [  4%]
tests/test_negative.py::test_error_matrix[401-no-token] PASSED           [  8%]
…
tests/test_order_flow.py::test_checkout_1001_gets_coupon_and_pays PASSED [ 44%]
tests/test_pricing_api.py::test_quote_follows_rules[coupon-edge-1000] PASSED [ 48%]
tests/test_pricing_api.py::test_quote_follows_rules[coupon-edge-1001] PASSED [ 52%]
tests/test_pricing_api.py::test_quote_follows_rules[coupon-cap] PASSED   [ 56%]
tests/test_pricing_api.py::test_quote_follows_rules[dhaka-1999] PASSED   [ 60%]
tests/test_pricing_api.py::test_quote_follows_rules[dhaka-free-2000] PASSED [ 64%]
tests/test_pricing_api.py::test_quote_follows_rules[outside] PASSED      [ 68%]
tests/test_pricing_api.py::test_quote_follows_rules[plus-outside] PASSED [ 72%]
…
tests/test_schema.py::test_quote_strict_schema PASSED                    [ 96%]
tests/test_schema.py::test_search_is_fast_enough PASSED                  [100%]

============================= slowest 3 durations =============================
0.09s setup    tests/test_schema.py::test_response_matches_openapi[/api/products?q=oil-ProductList]
0.08s setup    tests/test_negative.py::test_error_matrix[400-empty-cart]
0.05s setup    tests/test_negative.py::test_error_matrix[409-cancel-shipped]
============================= 25 passed in 1.56s ==============================

২৫টি আসল HTTP test দেড় সেকেন্ডে, প্রতিটির আগে একটি reset-সহ। --durations দেখাচ্ছে সবচেয়ে বেশি সময় যাচ্ছে setup-এ, অর্থাৎ reset, login আর প্রথম connection-এ, test-এর নিজের কাজে নয়। Suite বড় হলে প্রথম অপ্টিমাইজেশনের জায়গা এটিই। Header-এ plugins লাইনে hypothesis আর schemathesis দেখে অবাক হবেন না: install করা package নিজের pytest plugin নিবন্ধন করে, §৭-এ এদের কাজ দেখবেন।

৪ · Negative test — ভুল অনুরোধে ঠিক ভুল উত্তর

বাসের টিকিট কাউন্টারের কথা ভাবুন। ভালো কাউন্টারম্যান ভুল টাকা দিলে বলেন “টাকা কম”, ভুল তারিখ দিলে বলেন “ওই দিনের বাস নেই”, আর আপনার টিকিট অন্য কেউ চাইলে দেন না। সব ক্ষেত্রে শুধু “হবে না” বললে যাত্রী বুঝতেন না কী ঠিক করতে হবে। API-ও তাই: প্রতিটি ভুলের আলাদা status code আর আলাদা error code. Negative test যাচাই করে, ভুল অনুরোধে app ঠিক ভুল উত্তর দেয়, data নষ্ট করে না, আর কিছু ফাঁস করে না। বাস্তবে API-র বেশিরভাগ bug থাকে এই পথে, happy path-এ নয়।

বাজারঘরে দুই ধরনের error body. ব্যবসার নিয়ম ভাঙলে {"detail": {"code": "...", "message": "..."}}; আর request-এর গঠনই ভুল হলে (যেমন সংখ্যার জায়গায় লেখা) FastAPI-র নিজের 422, যেখানে detail একটি তালিকা। Test-কে দুটিই চিনতে হবে। নিচের stepper-এ ছকটি এক সারি করে দেখুন:

বাজারঘরের error ছক (সত্যিকারের run-এ সব পাস)
কে, কী
status
code
যা শেখায়
  1. 400 Bad Request: খালি cart. Body-র গঠন ঠিক, কিন্তু অর্ডার বানানোর মতো কিছু নেই। cart_empty. Test যাচাই করে, কোনো খালি অর্ডার তৈরি হয়নি; পরের test-এ reset থাকায় এর কোনো প্রভাবও থাকবে না।
  2. 401 Unauthorized: token নেই। নামটি বিভ্রান্তিকর, আসল অর্থ “unauthenticated”, কে আপনি জানা নেই। বাজারঘর WWW-Authenticate: Bearer header-ও দেয়, যা HTTP-র নিয়ম; suite-এ এর জন্য আলাদা একটি test আছে, ভুল token দিয়ে।
  3. 403 Forbidden: পরিচয় জানা, অনুমতি নেই। মিতু login করা customer, কিন্তু stock বদলানো শুধু admin-এর কাজ। ছকে আরেকটি 403-ও আছে: সুমি এমন পণ্যের রিভিউ দিতে চাইছেন, যার অর্ডার এখনো placed, তাই not_eligible (রিভিউয়ের AC1, পর্ব ১৫)।
  4. 404 Not Found: অন্যের অর্ডার। অর্ডার 6 আছে, কিন্তু সেটি সুমির। রাফি চাইলে 403 নয়, 404: “এমন অর্ডার নেই”। 403 দিলে রাফি জানতেন id 6-এ কারও অর্ডার আছে, আর id গুনে গুনে দোকানের মোট অর্ডারের সংখ্যা বের করতে পারতেন। ভাবনার প্রশ্ন ৫-এ বিস্তারিত।
  5. 409 Conflict: অবস্থার সাথে সংঘাত। অর্ডার 5 shipped, আর নিয়মে shipped-এর পরে cancel নেই। অনুরোধ ঠিক, ব্যবহারকারী ঠিক, কিন্তু resource-এর বর্তমান অবস্থা এটি মানে না। একই রিভিউ দ্বিতীয়বার দিলেও 409, already_reviewed.
  6. 422 Unprocessable: নিয়মে অবৈধ মান। “ভালো” দুই পাশের ফাঁকা বাদে ৪টি অক্ষর, নিয়মে ১০–৫০০ (AC3). এটি ব্যবসার 422, {code, message} আকারে। আর "stars": "5" (সংখ্যার বদলে লেখা) পাঠালে আসে FastAPI-র গঠনগত 422, যেখানে detail[0].loc = ["body", "stars"].

ছকটি code-এ একটি parametrize. প্রতিটি সারিতে কে (token ছাড়া হলে None), method, path, body, প্রত্যাশিত status আর error code:

MATRIX = [
    pytest.param("mitu", "POST", "/api/orders", CHECKOUT,
                 400, "cart_empty", id="400-empty-cart"),
    pytest.param(None, "GET", "/api/cart", None,
                 401, "not_authenticated", id="401-no-token"),
    pytest.param("mitu", "PUT", "/api/admin/products/1/stock", {"stock": 5},
                 403, "forbidden", id="403-not-admin"),
    pytest.param("rafi", "GET", "/api/orders/6", None,
                 404, "order_not_found", id="404-other-customer"),
    pytest.param("rafi", "POST", "/api/orders/5/transition",
                 {"action": "cancel"},
                 409, "invalid_transition", id="409-cancel-shipped"),
    # … 403-not-delivered, 409-second-review, 422-short-text
]


@pytest.mark.parametrize(
    ("user", "method", "path", "body", "status", "code"), MATRIX)
def test_error_matrix(client, login, user, method, path, body, status, code):
    headers = login(user) if user else {}
    r = client.request(method, path, json=body, headers=headers)
    assert r.status_code == status, r.text[:70]
    assert r.json()["detail"]["code"] == code


def test_stars_as_string_is_a_schema_error(client, login):
    r = client.post("/api/products/2/reviews", headers=login("mitu"),
                    json={"stars": "5", "text": "ডাল খুব ভালো, আবার কিনব"})
    assert r.status_code == 422
    assert r.json()["detail"][0]["loc"] == ["body", "stars"]

তিনটি নকশার সিদ্ধান্ত দেখুন। প্রথমত, status-এর সাথে code-ও: একই 409 দুটি ভিন্ন কারণে আসে (invalid_transition, already_reviewed); শুধু status দেখলে ভুল কারণে আসা 409-ও পাস করত। দ্বিতীয়ত, assert-এর বার্তায় r.text[:70]: ব্যর্থ হলে response-এর শুরুটা রিপোর্টে আসে, পুরো লম্বা JSON নয়। তৃতীয়ত, গঠনগত 422 আলাদা test-এ, কারণ তার body-র আকার আলাদা; এক function-এ if দিয়ে দুটি সামলানো পর্ব ২২-এর “test-এ logic” smell. প্রতিটি সারির id-তে status code রাখায় pytest -k 409 দিয়ে শুধু conflict-এর সারি চালানো যায়।

এবার ব্রাউজারেই একই ধরনের ছক চালিয়ে দেখুন। এখানে network নেই, তাই app-এর বদলে একটি ছোট in-memory stand-in, যার handle() function একটি API-র মতো (status, body) ফেরত দেয়। এতে একটি বসানো ভুল: অন্যের অর্ডারে 404-এর বদলে 403. “চালান” চাপুন:

import os, sys, pytest
os.makedirs("/home/pyodide/p31b", exist_ok=True)
os.chdir("/home/pyodide/p31b"); sys.path.insert(0, os.getcwd())
for m in ("fakeapi31", "test_matrix"): sys.modules.pop(m, None)
open("fakeapi31.py", "w").write('''
ORDERS = {5: {"owner": "rafi", "status": "shipped"},
          6: {"owner": "sumi", "status": "placed"}}
def handle(method, path, user=None, body=None):
    if user is None:
        return 401, {"detail": {"code": "not_authenticated"}}
    order = ORDERS.get(int(path.split("/")[3]))
    if order is None:
        return 404, {"detail": {"code": "order_not_found"}}
    if order["owner"] != user:           # seeded defect: leaks with 403
        return 403, {"detail": {"code": "forbidden"}}
    if body == {"action": "cancel"} and order["status"] == "shipped":
        return 409, {"detail": {"code": "invalid_transition"}}
    return 200, order
''')
open("test_matrix.py", "w").write('''
import pytest
from fakeapi31 import handle
@pytest.mark.parametrize("user,method,path,body,status,code", [
    (None, "GET", "/api/orders/5", None, 401, "not_authenticated"),
    ("rafi", "GET", "/api/orders/99", None, 404, "order_not_found"),
    ("rafi", "GET", "/api/orders/6", None, 404, "order_not_found"),
    ("rafi", "POST", "/api/orders/5/x", {"action": "cancel"}, 409,
     "invalid_transition")],
    ids=["401", "404-missing", "404-not-yours", "409-shipped"])
def test_error(user, method, path, body, status, code):
    got, out = handle(method, path, user, body)
    assert (got, out["detail"]["code"]) == (status, code)
''')
pytest.main(["-q", "--no-header", "--tb=line", "-p", "no:cacheprovider",
             "test_matrix.py"])

আসল আউটপুট:

..F.                                                                     [100%]
=================================== FAILURES ===================================
E   AssertionError: assert (403, 'forbidden') == (404, 'order_not_found')

      At index 0 diff: 403 != 404
      Use -v to get more diff
/home/pyodide/p31b/test_matrix.py:13: AssertionError: assert (403, 'forbidden') == (404, 'order_not_found')
=========================== short test summary info ============================
FAILED test_matrix.py::test_error[404-not-yours] - AssertionError: assert (40...
1 failed, 3 passed in 0.01s

চারটি সারির তিনটি পাস: token ছাড়া 401, না-থাকা অর্ডারে 404, আর shipped অর্ডার বাতিলে 409. ব্যর্থ শুধু 404-not-yours: রাফি সুমির অর্ডার 6 চাইলে stand-in দিয়েছে (403, 'forbidden'), যেখানে চাওয়া (404, 'order_not_found'). খেয়াল করুন, status আর code একটি tuple-এ একসাথে মেলানোয় রিপোর্টে দুটিই দেখা যাচ্ছে। এই ভুলে অর্ডার কিন্তু ফাঁস হয়নি, শুধু তার অস্তিত্ব জানা গেছে; তাই শুধু “অন্যের data দেখা যায় না” যাচাই করা test এটি ধরত না। Stand-in-এর if order["owner"] != user শাখায় 403-এর জায়গায় 404 আর order_not_found লিখে আবার চালান: চারটিই পাস।

৫ · JSON Schema — body-র গঠনের চুক্তি

পরীক্ষার খাতা দেখার আগে পরীক্ষক মিলিয়ে নেন: রোল নম্বরের ঘরে সংখ্যা আছে, প্রতিটি প্রশ্নের উত্তরের জায়গা আছে, অতিরিক্ত কাগজে নাম লেখা আছে। উত্তর ঠিক কি না, সেটি পরের কাজ। JSON Schema হলো JSON-এর জন্য এই প্রথম ধাপের নিয়মের তালিকা, যা নিজেও JSON-এ লেখা। এর মূল keyword অল্প কয়েকটি:

Keywordঅর্থবাজারঘরের উদাহরণ
typeমানের ধরন: object, array, string, integer, number, boolean, nullprice: integer
requiredযে key থাকতেই হবেQuote-এ ছয়টি key
propertiesপ্রতিটি key-এর নিজের schemarating → average, count
additionalPropertiesতালিকার বাইরের key চলবে কি নাfalse দিলে নতুন key-ও ধরা পড়ে
enum, minimum, maximumঅনুমোদিত মান, সীমাdelivery ∈ {0, 60, 120}; ছাড় ০–৩০০
anyOf, $refবিকল্পের যেকোনো একটি; অন্য জায়গার schema-র উল্লেখaverage: number অথবা null

Schema কোথা থেকে আসবে? বাজারঘরের মতো FastAPI app নিজের OpenAPI document নিজেই বানায়, /openapi.json-এ। এর components/schemas অংশে প্রতিটি response-এর schema, যেমন Quote, Product, ErrorResponse. OpenAPI 3.1-এর schema অংশ JSON Schema-র 2020-12 সংস্করণের সাথে মেলানো, তাই jsonschema library সরাসরি পড়তে পারে। একটাই কাজ বাকি: schema-গুলো একে অপরকে "$ref": "#/components/schemas/Rating" দিয়ে উল্লেখ করে, তাই validator-কে পুরো document-টি দিতে হয়, যাতে সে উল্লেখ খুঁজে পায়। OpenAPI-র বিস্তারিত পরিচয় Full-Stack কোর্সের পর্ব ৩৫-এ।

from jsonschema import Draft202012Validator
from referencing import Registry
from referencing.jsonschema import DRAFT202012


@pytest.fixture(scope="session")
def openapi(client):
    return client.get("/openapi.json").json()


@pytest.fixture(scope="session")
def validator_for(openapi):
    """Validator for components/schemas/<name>, with $ref resolution."""
    registry = Registry().with_resource(
        "urn:bazarghar", DRAFT202012.create_resource(openapi))

    def _make(name):
        ref = {"$ref": f"urn:bazarghar#/components/schemas/{name}"}
        return Draft202012Validator(ref, registry=registry)
    return _make


@pytest.mark.parametrize(("path", "schema"), [
    ("/api/products?q=oil", "ProductList"),
    ("/api/products/1", "ProductDetail"),
    ("/api/products/1/reviews", "ReviewSummary"),
    ("/api/pricing/quote?subtotal=1001", "Quote"),
])
def test_response_matches_openapi(client, validator_for, path, schema):
    r = client.get(path)
    assert r.status_code == 200
    errors = [f"{list(e.absolute_path)}: {e.message}"
              for e in validator_for(schema).iter_errors(r.json())]
    assert errors == []

OpenAPI document একবারই আনা হয় (session scope), তারপর referencing library-র Registry-তে একটি নাম (urn:bazarghar) দিয়ে রাখা হয়। প্রতিটি test শুধু schema-র নাম চায়, আর $ref সেই document-এর ভেতরে খুঁজে নেওয়া হয়। validate() প্রথম ভুলেই exception তোলে; iter_errors() সব ভুল দেয়, প্রতিটির path সহ। Test-এ সব ভুল একসাথে দেখাই ভালো, কারণ একটি drift প্রায়ই কয়েকটি field-এ একসাথে আসে। সত্যিকারের run-এ চারটি সারিই পাস, আর 404-এর body-ও ErrorResponse-এর সাথে মিলেছে।

Schema drift — যেখানে সংখ্যা লেখা হয়ে যায়

Schema drift মানে response-এর গঠন চুপিচুপি চুক্তি থেকে সরে যাওয়া: field-এর নাম বদল, সংখ্যা থেকে string, null আসা, key হারানো। Server-এর নিজের test-এ সাধারণত ধরা পড়ে না, কারণ server-এর কাছে "155" আর 155 দুটোই “দাম”। ধরা পড়ে client-এ, প্রায়ই ব্যবহারকারীর ফোনে। নিচে ডিমের (product 12) দুটি রেকর্ড করা response: v1.0, যা আজকের app সত্যিই দেয়, আর একটি কল্পিত v1.1 build, যেখানে একজন developer দাম আর গড় rating-কে “সুন্দর দেখানোর জন্য” string বানিয়েছেন। pytest আর jsonschema এই পাতাতেই চলবে:

import os, sys, json, pytest, jsonschema
os.makedirs("/home/pyodide/p31a", exist_ok=True)
os.chdir("/home/pyodide/p31a"); sys.path.insert(0, os.getcwd())
sys.modules.pop("test_drift", None)

# recorded: GET /api/products/12 from v1.0 and from a drifted v1.1 build
v10 = {"id": 12, "sku": "EGG-12", "price": 155, "in_stock": True,
       "rating": {"average": 2.0, "count": 2}}
v11 = {"id": 12, "sku": "EGG-12", "price": "155", "in_stock": True,
       "rating": {"average": "2.0", "count": 2}}
json.dump({"v1.0": v10, "v1.1": v11}, open("recorded.json", "w"))

open("test_drift.py", "w").write('''
import json, pytest
from jsonschema import Draft202012Validator
SCHEMA = {"type": "object",
  "required": ["id", "sku", "price", "in_stock", "rating"],
  "properties": {"id": {"type": "integer"}, "sku": {"type": "string"},
    "price": {"type": "integer", "minimum": 0},
    "in_stock": {"type": "boolean"},
    "rating": {"type": "object", "required": ["average", "count"],
      "properties": {"average": {"type": ["number", "null"]},
                     "count": {"type": "integer"}}}}}
RECORDED = json.load(open("recorded.json"))

@pytest.mark.parametrize("build", ["v1.0", "v1.1"])
def test_product_schema(build):
    v = Draft202012Validator(SCHEMA)
    errors = ["/".join(map(str, e.absolute_path)) + ": " + e.message
              for e in v.iter_errors(RECORDED[build])]
    assert not errors, " | ".join(errors)
''')
pytest.main(["-q", "--no-header", "--tb=short", "-p", "no:cacheprovider",
             "test_drift.py"])

আসল আউটপুট:

.F                                                                       [100%]
=================================== FAILURES ===================================
__________________________ test_product_schema[v1.1] ___________________________
test_drift.py:19: in test_product_schema
    assert not errors, " | ".join(errors)
E   AssertionError: price: '155' is not of type 'integer' | rating/average: '2.0' is not of type 'number', 'null'
E   assert not ["price: '155' is not of type 'integer'", "rating/average: '2.0' is not of type 'number', 'null'"]
=========================== short test summary info ============================
FAILED test_drift.py::test_product_schema[v1.1] - AssertionError: price: '155...
1 failed, 1 passed in 0.02s

v1.0 পাস, v1.1 ব্যর্থ, আর বার্তায় দুটি ভুলই এক লাইনে: price: '155' is not of type 'integer' আর rating/average: '2.0' is not of type 'number', 'null'. Assert-এর বার্তা হিসেবে ভুলের তালিকা জুড়ে দেওয়ায় pytest-এর ছাঁটা diff-এর ওপর নির্ভর করতে হয়নি। একটি জিনিস লক্ষ করুন: v1.1-এ কোনো key হারায়নি, মানও “দেখতে” একই। শুধু key আছে কি না দেখা test, বা body["price"] == 155-এর বদলে str(body["price"]) == "155" লেখা test, দুটিই পাস করত। jsonschema এই পাতার Pyodide-এ নিজে থেকে load হয়েছে; desktop-এ jsonschema 4.26.0-এর বার্তাও হুবহু এক।

এবার একই v1.1 response validator কীভাবে ধাপে ধাপে হাঁটে, দেখুন। বাঁয়ে response, ডানে validator-এর হাতের কাজ:

1{2  "id": 12,3  "sku": "EGG-12",4  "price": "155",5  "in_stock": true,6  "rating": {7    "average": "2.0",8    "count": 29  }10}
Validator যা দেখছে
keyword
চাই
পেল
ভুলের তালিকা
  1. পুরো body. প্রথমে বাইরের স্তর: type: object মিলল, আর required-এর পাঁচটি key-ই আছে। কোনো key হারায়নি, তাই শুধু “field আছে কি না” দেখা test এখানে পাস করে যেত।
  2. সাধারণ field. id integer, sku string, in_stock boolean. সব ঠিক। খেয়াল করুন, JSON-এ true আর "true" আলাদা; দ্বিতীয়টি হলে এখানেই ধরা পড়ত।
  3. price: প্রথম drift. চাই integer, পেল "155", উদ্ধৃতিচিহ্নের ভেতরে, অর্থাৎ string. Validator তালিকায় লেখে: price: '155' is not of type 'integer'. minimum: 0 আর যাচাই হয় না, কারণ string-এ সংখ্যার সীমা খাটে না।
  4. rating: ভেতরের object. Validator ভেতরে ঢোকে, যেন আরেকটি ছোট schema. type: object আর দুটি required key, ঠিক আছে। count integer, ঠিক।
  5. rating/average: দ্বিতীয় drift. চাই number বা null (রিভিউ না থাকলে null), পেল "2.0". Path এখানে দুই স্তরের: rating/average. iter_errors থামেনি, তাই একই run-এ দুটি ভুলই পাওয়া গেল।
  6. ফল। তালিকায় ২টি ভুল, তাই assert errors == [] ব্যর্থ, আর pytest-এর রিপোর্টে দুটি বার্তাই দেখা যায়। একটি bug report-এর (পর্ব ১৮) জন্য এটুকুই যথেষ্ট প্রমাণ: কোন build, কোন endpoint, কোন field, কী চাই, কী এলো।

Generated schema বনাম কড়া schema

একটি অস্বস্তিকর সত্য: app-এর নিজের বানানো schema প্রায়ই ঢিলেঢালা। বাজারঘরের Quote schema-য় additionalProperties নেই, তাই নতুন একটি key এলে কেউ টের পাবে না; delivery শুধু integer, তাই ৭৫ টাকাও “বৈধ”; ছাড়ের ৩০০-এর সর্বোচ্চ সীমাও নেই। আরও বড় কথা, schema যদি code থেকেই বানানো হয়, তবে code বদলালে schema-ও বদলায়, আর test সবুজই থাকে। তাই test-এর জন্য একটি কড়া schema রাখুন, যা requirement থেকে হাতে লেখা। নিচের ব্লকে app-এর /openapi.json-এর একটি টুকরো (Quote), $ref দিয়ে তার ওপর কড়া নিয়ম জোড়া, আর চারটি response:

import jsonschema
from jsonschema import Draft202012Validator
from referencing import Registry
from referencing.jsonschema import DRAFT202012

INT = {"type": "integer"}
openapi = {"components": {"schemas": {"Quote": {"type": "object",
    "required": ["subtotal", "discount", "delivery", "total",
                 "district", "plus"],
    "properties": {"subtotal": INT, "discount": INT, "delivery": INT,
                   "total": INT, "district": {"type": "string"},
                   "plus": {"type": "boolean"}}}}}}   # as FastAPI makes it
reg = Registry().with_resource("urn:bz", DRAFT202012.create_resource(openapi))
QUOTE = {"$ref": "urn:bz#/components/schemas/Quote"}
STRICT = {"$ref": "urn:bz#/components/schemas/Quote",
          "unevaluatedProperties": False,
          "properties": {"discount": {"maximum": 300},
                         "delivery": {"enum": [0, 60, 120]}}}

ok = {"subtotal": 1001, "discount": 100, "delivery": 60, "total": 961,
      "district": "Dhaka", "plus": False}
cases = {"real 1001": ok,
         "extra key": {**ok, "coupon": "AUTO10"},
         "delivery 75": {**ok, "delivery": 75},
         "discount 350": {**ok, "discount": 350}}
for name, body in cases.items():
    gen = len(list(Draft202012Validator(QUOTE, registry=reg).iter_errors(body)))
    strict = [e.message for e in
              Draft202012Validator(STRICT, registry=reg).iter_errors(body)]
    print(f"{name:12} generated: {gen} error | strict: {strict or 'ok'}")

আসল আউটপুট:

real 1001    generated: 0 error | strict: ok
extra key    generated: 0 error | strict: ["Unevaluated properties are not allowed ('coupon' was unexpected)"]
delivery 75  generated: 0 error | strict: ['75 is not one of [0, 60, 120]']
discount 350 generated: 0 error | strict: ['350 is greater than the maximum of 300']

App যেভাবে schema বানায় (generated), সেটি চারটি response-এই শূন্য ভুল দেখায়: নতুন key, ৭৫ টাকা delivery, ৩৫০ টাকা ছাড়, সবই “বৈধ”। কড়া schema প্রথমটি মানে আর বাকি তিনটি ধরে। কৌশলটি দেখুন: $ref দিয়ে app-এর schema পুরো নেওয়া হয়েছে, তার ওপর শুধু অতিরিক্ত নিয়ম জোড়া; ফলে app-এর schema বদলালে (নতুন required key) কড়া schema-ও তা পায়। additionalProperties $ref-এর ভেতরের properties দেখতে পায় না, তাই এখানে 2020-12-এর unevaluatedProperties, যা $ref-এর ভেতরে যাচাই হওয়া key-গুলোও গোনে। enum: [0, 60, 120] আর maximum: 300 এসেছে সরাসরি নিয়মের বাক্য থেকে।

৬ · সময়, test data আর বসানো ভুলে সত্যিকারের run

Response time — নরম যাচাই

Functional test-এ সময় মাপা লোভনীয়, কিন্তু বিপজ্জনক। একটি CI machine-এ অন্য কাজ চললে একটি request হঠাৎ ধীর হতে পারে, আর assert took < 0.5 লাল হয়ে যায়, যদিও কোডে কোনো ভুল নেই। এটিই flaky test-এর একটি পরিচিত উৎস (পর্ব ৪০-এ বিস্তারিত)। মধ্যপথ হলো নরম যাচাই: সীমা পার হলে test ব্যর্থ নয়, একটি সতর্কবার্তা, যা রিপোর্টে থাকে আর কেউ দেখেন। আসল গতির প্রশ্ন, যেমন ৫০ জন একসাথে থাকলে p95 কত, তা performance testing-এর বিষয় (পর্ব ৪৬)।

def test_search_is_fast_enough(client):
    start = time.perf_counter()
    r = client.get("/api/products", params={"q": "চাল"})
    took = time.perf_counter() - start
    assert r.status_code == 200
    if took > 0.5:                     # soft: warn, do not fail
        warnings.warn(f"search took {took:.2f}s (budget 0.5s)")

httpx নিজেও r.elapsed দেয়, request পাঠানো থেকে response-এর header আসা পর্যন্ত। এখানে perf_counter নেওয়া হয়েছে, কারণ ব্যবহারকারী যা অনুভব করেন তা পুরো body পড়া পর্যন্ত। কোনটি মাপছেন, test-এর নামে বা comment-এ লিখে রাখুন। Search-এ বাংলা শব্দ “চাল” পাঠানো হয়েছে; httpx নিজেই URL-এ UTF-8 encode করে, আর এভাবেই বাংলা লেখার পথও একই সাথে যাচাই হয়।

Test data — setup আর teardown

এই suite-এ setup আর teardown-এর মূল দায়িত্ব reset endpoint-এর। কিন্তু reset সবসময় পাওয়া যায় না: shared staging পরিবেশে অন্য দলও কাজ করে। তখন তিনটি নিয়ম কাজে আসে। এক, প্রতিটি test নিজের data বানায় (নতুন ব্যবহারকারী, নতুন cart) আর yield-এর পরে মুছে দেয়। দুই, data-র নামে একটি চিহ্ন থাকে (যেমন qa-31-…), যাতে ভুলে থেকে গেলেও খুঁজে মোছা যায়। তিন, কোনো test আরেকটি test-এর তৈরি data-র ওপর নির্ভর করে না; “অর্ডার 8 আগের test বানিয়েছে” ধরনের নির্ভরতা test isolation ভাঙে, আর ক্রম বদলালে বা একটি test একা চালালে suite ভেঙে পড়ে।

তিনটি বসানো ভুল চালু করে

এবার app-কে বসানো ভুলসহ চালানো হলো: coupon_ge (ছাড় >= 1000-এ), cancel_after_shipped (shipped অর্ডারও বাতিল হয়) আর slow_search (search-এ ১.৫ সেকেন্ড দেরি)। Test-এ একটি অক্ষরও বদলানো হয়নি। সত্যিকারের আউটপুট (warning-এর path ছাঁটা):

$ BAZARGHAR_BUGS=coupon_ge,cancel_after_shipped,slow_search \
    uv run bazarghar --port 8784 --test-mode --reset      # app, আরেক টার্মিনালে
$ uv run pytest -q --tb=short
....F......F.............                                                [100%]
================================== FAILURES ===================================
____________________ test_error_matrix[409-cancel-shipped] ____________________
tests\test_negative.py:36: in test_error_matrix
    assert r.status_code == status, r.text[:70]
E   AssertionError: {"id":5,"customer_id":3,"status":"cancelled","district":"Rajshahi","ad
E   assert 200 == 409
E    +  where 200 = <Response [200 OK]>.status_code
_________________ test_quote_follows_rules[coupon-edge-1000] __________________
tests\test_pricing_api.py:24: in test_quote_follows_rules
    assert (body["discount"], body["delivery"], body["total"]) == (
E   assert (100, 60, 960) == (0, 60, 1060)
E
E     At index 0 diff: 100 != 0
E     Use -v to get more diff
============================== warnings summary ===============================
tests/test_schema.py::test_search_is_fast_enough
  ~/bazarghar-api-tests/tests/test_schema.py:74: UserWarning: search took 1.50s (budget 0.5s)
    warnings.warn(f"search took {took:.2f}s (budget 0.5s)")
=========================== short test summary info ===========================
FAILED tests/test_negative.py::test_error_matrix[409-cancel-shipped] - Assert...
FAILED tests/test_pricing_api.py::test_quote_follows_rules[coupon-edge-1000]
2 failed, 23 passed, 1 warning in 4.64s

409-cancel-shipped: চাওয়া হয়েছিল 409, এসেছে 200; বার্তার শুরুতেই পরিণতি: "status":"cancelled". অর্থাৎ ভুলটি শুধু ভুল উত্তর নয়, data-ও বদলে গেছে, একটি পাঠানো অর্ডার বাতিল। এখানেই reset fixture-এর মূল্য: পরের test-এ অর্ডার 5 আবার shipped, তাই একটি ব্যর্থতা অন্য test-এ ছড়ায়নি। coupon-edge-1000: ঠিক ১০০০ টাকায় ছাড় ১০০, মোট ৯৬০; নিয়মে “বেশি হলে”, তাই ০ আর ১০৬০. >-এর জায়গায় >=, ঠিক সেই off-by-one, যা ধরতে পর্ব ০৮-এ সীমার দুই পাশে মান রাখা হয়। পাশের সারি coupon-edge-1001 পাস করেছে; শুধু ১০০১ রাখলে এই ভুল ধরা পড়ত না। Search: ১.৫০ সেকেন্ড, বাজেট ০.৫; suite লাল হয়নি, কিন্তু সতর্কবার্তা রিপোর্টে আছে। আর পুরো run-এর সময় ১.৫৬ থেকে ৪.৬৪ সেকেন্ড: দুটি search test মিলে প্রায় তিন সেকেন্ড দেরি।

৭ · Schemathesis — OpenAPI থেকে নিজে নিজে test

এতক্ষণ প্রতিটি case আমরা হাতে বেছেছি। এবার উল্টো পথ: একটি tool OpenAPI document পড়ে নিজে হাজারো request বানাবে, বৈধ আর অবৈধ দুই রকম, আর প্রতিটি response-এ কয়েকটি সাধারণ নিয়ম যাচাই করবে: server error (5xx) নেই, status code document-এ লেখা আছে, body document-এর schema মানে, অবৈধ input প্রত্যাখ্যাত হয়। এটি property-based testing-এর API রূপ; পদ্ধতিটির গভীর আলোচনা পর্ব ৫৮-এ (Property-based testing — Hypothesis আর shrinking). Schemathesis ভেতরে Hypothesis ব্যবহার করে।

শুধু নিজের app-এ, নিজের কম্পিউটারে। Schemathesis অল্প সময়ে অনেক অদ্ভুত request পাঠায়, যার কিছু data বদলায়। অন্যের server-এ, এমনকি অনুমতি ছাড়া নিজের প্রতিষ্ঠানের shared পরিবেশেও, এটি চালানো আক্রমণের মতো দেখায় আর ক্ষতি করতে পারে। নিচের run শুধু 127.0.0.1-এ, শুধু login-ছাড়া তিনটি “rules” endpoint-এ, প্রতিটিতে সর্বোচ্চ ২৫টি উদাহরণ, নির্দিষ্ট seed দিয়ে।

$ uv run st run http://127.0.0.1:8784/openapi.json --include-tag rules \
    --max-examples 25 --seed 31 --workers 1 --phases examples,coverage,fuzzing
Schemathesis v4.33.4
━━━━━━━━━━━━━━━━━━━━

 ✅  Loaded specification from http://127.0.0.1:8784/openapi.json (in 0.23s)

     Base URL:         http://127.0.0.1:8784/
     Specification:    Open API 3.1.0
     Operations:       3 selected / 28 total
…
 ✅  Examples (in 0.05s)
     ✅ 1 passed  ⏭  2 skipped
 ❌  Coverage (in 0.18s)
     ✅ 2 passed  ❌ 1 failed
 ❌  Fuzzing (in 0.04s)
     ✅ 1 passed  ❌ 2 failed

=================================== FAILURES ===================================
____________________________ GET /api/pricing/quote ____________________________
- ST108 Response violates schema

    [{"input":"null","loc":["query","plus"],"msg":"Input should be a valid
    boolean, unable to interpret input","type":"bool_parsing"}] is not of type "object"

    Validated against the response schema for status code 422.
    Schema at /components/schemas/ErrorDetail: …
…
Reproduce with:
    curl -X GET 'http://127.0.0.1:8784/api/pricing/quote?plus=null&plus=null&subtotal=0'

___________________________ POST /api/phone/validate ___________________________
- ST103 Undocumented status code

    Received: 400
    Documented: 200, 422

[400] Bad Request:
    `{"detail":"There was an error parsing the body"}`
…
Test cases:
  38 generated, 2 found 2 unique failures

Seed: 31
============================= 2 failures in 1.50s ==============================

ST108, schema-র অমিল: plus=null পাঠালে app 422 দেয়, যা ঠিক। কিন্তু app-এর OpenAPI বলছে 422-এর body হবে ErrorResponse, অর্থাৎ {"detail": {code, message}}, আর আসলে এসেছে FastAPI-র গঠনগত 422, যার detail একটি তালিকা। আমরা §৪-এ দুই রকম 422 আলাদা করে চিনেছিলাম; tool দেখিয়ে দিল, document শুধু একটির কথা বলে। দোষ কার, code-এর না document-এর, সেটি দলের সিদ্ধান্ত; কিন্তু যে mobile app ওই document দেখে error পড়ার code লিখবে, সে ভাঙবে। ST103, document-এ নেই এমন status: ভাঙা byte-এর body পাঠালে app 400 দেয়, অথচ document-এ শুধু 200 আর 422. দুটিই হাতে লেখা কোনো test-এ ধরা পড়েনি, কারণ আমরা plus=null বা অর্থহীন byte পাঠানোর কথা ভাবিইনি।

উল্টো দিকটিও সমান জরুরি। একই command coupon_ge চালু থাকা app-এ চালানো হলো: ফল হুবহু একই, “38 generated, 2 found 2 unique failures”, coupon-এর ভুলের কোনো চিহ্ন নেই। কারণ ১০০০ টাকায় ছাড় ১০০ হলেও response-এর গঠন পুরোপুরি বৈধ: integer, সব key আছে। Schemathesis জানে চুক্তির আকার, ব্যবসার নিয়ম জানে না। তাই এটি হাতে লেখা parametrize test-এর বদলি নয়, পরিপূরক।

দুটি কাজের কথা। প্রথমত, প্রতিটি ব্যর্থতার সাথে একটি curl command আর st replay id আসে, যা bug report-এ সরাসরি বসানো যায়। দ্বিতীয়ত, CI-তে এমন run বাঁধা সংখ্যায় রাখুন (--max-examples, --seed), যাতে প্রতিবার একই case চলে; random অংশ রাতের দীর্ঘ run-এ। লক্ষ করুন, একই seed দিয়ে আগের একটি পরীক্ষামূলক run-এ “43 generated” এসেছিল; ব্যর্থতা পেলে কিছু phase আগেই থামে, তাই সংখ্যা সামান্য বদলায়, পাওয়া ব্যর্থতা দুটি একই থাকে।

আরও গভীরে: Schemathesis-এর stateful phase OpenAPI-র link বা response-এর id ধরে request-এর শিকল বানায়, যেমন “অর্ডার তৈরি → সেই id-তে pay → সেই id-তে cancel”, আর “মুছে ফেলার পরেও পাওয়া যায়” ধরনের ভুল খোঁজে। গবেষণাতেও এই দিকটি সক্রিয়: Zac Hatfield-Dodds আর Dmitry Dygalo-র একটি কাজ (ICSE ২০২২-এ poster হিসেবে উপস্থাপিত) ১৬টি open-source web service-এ আটটি tool তুলনা করেছিল, আর Microsoft Research-এর RESTler (২০১৯ সালের দিকে) request-এর নির্ভরতা থেকে ক্রম শেখার পথ দেখিয়েছিল। সীমা একই থাকে: এরা চুক্তির আকার আর সাধারণ নিয়ম যাচাই করে, ব্যবসার নিয়ম আপনাকেই লিখতে হয়। আর OpenAPI নিজে যত দুর্বল, এদের যাচাইও তত দুর্বল।

পরীক্ষা ও ইন্টারভিউতে:

  • 401 আর 403-এর পার্থক্য? 401: পরিচয় জানা নেই বা token অবৈধ; 403: পরিচয় জানা, কিন্তু অনুমতি নেই।
  • অন্য ব্যবহারকারীর resource চাইলে 403 না 404? অনেক API 404 দেয়, যাতে resource-এর অস্তিত্বই ফাঁস না হয়; test-এ এটি আলাদা সারি হিসেবে রাখুন।
  • JSON Schema-য় validate আর iter_errors-এর পার্থক্য? প্রথমটি প্রথম ভুলে exception তোলে; দ্বিতীয়টি সব ভুল path-সহ দেয়।
  • Schema validation কি functional test-এর বদলি? না; সঠিক গঠনে ভুল মান (১০০০ টাকায় ছাড় ১০০) schema ধরে না।
  • API test-এ test data কীভাবে আলাদা রাখবেন? প্রতিটি test-এর আগে reset বা per-test data আর teardown; কোনো test অন্য test-এর data-র ওপর নির্ভর করবে না।

৮ · AI-এর যুগে API test

AI সহকারীকে “এই API-র test লিখে দাও” বললে সুন্দর দেখতে একটি ফাইল আসে। চেনা দুর্বলতাগুলো API-তে বিশেষ রূপ নেয়। শুধু happy path: 200 আর 201, কোনো 403 বা 409 নেই। Response দেখে assert লেখা: app এখন যা দেয়, সেটিই expected, ফলে coupon_ge চালু থাকা app থেকে ১০০০ টাকায় ১০০ ছাড় “সঠিক” হিসেবে বসে যায়। বানানো field আর endpoint: /api/v1/orders বা order_total, যা OpenAPI-তে নেই। শুধু status code দেখা, error-এর code নয়। time.sleep(2) দিয়ে “অপেক্ষা”। সব কিছু mock করা, যাতে আসল HTTP কখনো যায়ই না। আসল token বা ব্যক্তিগত তথ্য test-এ বসিয়ে দেওয়া। আর না চালিয়েই “সব test পাস করবে” দাবি।

AI-কে চুক্তি আর নিয়ম দিন, আগে ছক চান, তারপর code:

তুমি একজন অভিজ্ঞ SDET. বাজারঘর নামের একটি দোকানের API-র জন্য pytest + httpx test লিখবে। নিচে OpenAPI-র প্রাসঙ্গিক অংশ আর ব্যবসার নিয়ম দিলাম; app-এর code দিচ্ছি না। নিয়ম: coupon ১০০০ টাকার বেশি হলে ১০%, ভগ্নাংশ বাদ, সর্বোচ্চ ৩০০; delivery ঢাকায় ৬০, ছাড়ের আগের দাম ২০০০ বা বেশি হলে ফ্রি, বাইরে ১২০, Plus সদস্যের ৬০। Error-এর আকার: {"detail": {"code", "message"}}; অন্যের অর্ডার 404. ১. প্রথমে test case-এর ছক দাও: id, request, প্রত্যাশিত status, প্রত্যাশিত error code বা মান, আর নিয়মের কোন বাক্য থেকে এলো। 400, 401, 403, 404, 409, 422 প্রতিটির অন্তত একটি সারি রাখো। ২. তারপর code: session-scope httpx.Client fixture (timeout সহ), প্রতিটি test-এর আগে POST /api/test/reset, login-এর factory fixture, parametrize-এ অর্থবহ id. ৩. শুধু OpenAPI-তে থাকা path আর field ব্যবহার করো; কোনো field নিশ্চিত না হলে প্রশ্ন করো, বানিও না। ৪. কোনো sleep নয়, কোনো mock নয়, কোনো আসল token বা ব্যক্তিগত তথ্য নয়। ৫. তুমি test চালাওনি, তাই "সব পাস" লিখবে না; বরং বলো কোন সারি কোন সম্ভাব্য ভুল (যেমন > এর জায়গায় >=) ধরবে।

AI-এর লেখা API test হাতে পেলে — চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।

প্র ০১UI দিয়ে তো পুরো দোকানই পরীক্ষা করা যায়; তাহলে আলাদা করে API-র স্তরে এত test কেন?

Mike Cohn তাঁর “Succeeding with Agile” (২০০৯) বইয়ে test pyramid-এর ছবিটি জনপ্রিয় করেন: নিচে অনেক unit test, মাঝে service বা API স্তরের test, ওপরে অল্প UI test. পরে Martin Fowler-এর ওয়েবসাইটে Ham Vocke-এর “The Practical Test Pyramid” (২০১৮) লেখাটি একই যুক্তি বিস্তারিত করে। যুক্তিটি সহজ: যত ওপরের স্তর, তত ধীর, তত ভঙ্গুর, আর ব্যর্থ হলে কারণ খোঁজা তত কঠিন। সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৫১-এ এর হিসাব আছে।

বাজারঘরের সংখ্যা দেখুন। এই পর্বের ২৫টি API test দেড় সেকেন্ডে শেষ, প্রতিটির আগে পুরো data reset সহ। একই coupon-এর সাতটি সারি UI দিয়ে যাচাই করতে হলে প্রতিবার login, পণ্য খোঁজা, cart-এ যোগ, checkout পাতা খোলা, তারপর সংখ্যা পড়া; প্রতিটি কয়েক সেকেন্ড, আর একটি button-এর নাম বদলালেই সব ভাঙে। তার ওপর UI-তে সব কিছু পৌঁছানো যায় না: অন্যের অর্ডারে 404 দেখার জন্য UI-তে কোনো button নেই, অথচ আক্রমণকারী সরাসরি API ডাকেন। Mobile app, ওয়েবসাইট আর অংশীদার, সবাই একই API ব্যবহার করে, তাই নিয়মের আসল পাহারাদার API.

তবে API test UI test-এর বদলি নয়। Checkout পাতায় district বদলালে মোট টাকা ঠিক সময়ে বদলায় কি না, button চাপা যায় কি না, screen reader পড়তে পারে কি না, এগুলো শুধু UI স্তরেই দেখা যায় (মডিউল ৬ আর পর্ব ৫৪)। ভালো বণ্টন: ব্যবসার নিয়মের সব সারি API বা unit স্তরে, আর UI-তে কয়েকটি গুরুত্বপূর্ণ যাত্রা, যেমন “login থেকে অর্ডার পর্যন্ত” একবার। Pyramid কোনো আইন নয়; কিছু দল “trophy” বা অন্য আকার পছন্দ করে। কিন্তু প্রশ্নটি সবসময় একই: একটি নির্দিষ্ট ঝুঁকি সবচেয়ে সস্তায়, সবচেয়ে নির্ভরযোগ্যভাবে কোন স্তরে ধরা যায়?

মূল উপলব্ধি: নিয়মের বেশিরভাগ যাচাই API স্তরে দ্রুত, স্থির আর সরাসরি; UI test থাকুক যাত্রা আর অভিজ্ঞতার জন্য।

প্র ০২OpenAPI document আর app-এর আচরণ না মিললে কোনটি “সঠিক”? Schemathesis-এর ST108 থেকে কী শিখবেন?

OpenAPI-র শুরু Swagger নামে, ২০১০-১১ সালের দিকে Tony Tam-এর হাতে, একটি অনলাইন অভিধান কোম্পানির নিজের API বর্ণনার জন্য। ২০১৫ সালে Linux Foundation-এর অধীনে OpenAPI Initiative তৈরি হয়, আর Swagger-এর নির্দেশিকা সেখানে দান করা হয়; ২০১৭ সালে আসে OpenAPI 3.0, আর ২০২১ সালে 3.1, যা schema অংশকে JSON Schema 2020-12-এর সাথে মিলিয়ে দেয়। “Swagger” নামটি এখন মূলত tool-গুলোর নাম, যেমন Swagger UI.

Document দুইভাবে জন্মায়। Design-first: আগে document লেখা, দলগুলো তাতে একমত হয়, তারপর code; তখন document-ই চুক্তি, code ভুল। Code-first: বাজারঘরের মতো, code থেকে document বানানো; তখন document হলো code-এর প্রতিচ্ছবি, আর প্রতিচ্ছবিতে ফাঁক থাকতে পারে। ST108 ঠিক এমন ফাঁক: code-এ দুটি 422-এর পথ, document-এ একটি। FastAPI-র গঠনগত 422 নিজে আলাদা HTTPValidationError schema রাখে, কিন্তু app-এর লেখক 422-এর জন্য নিজের ErrorResponse ঘোষণা করেছেন, যা গঠনগত ভুলের ক্ষেত্রে মেলে না।

Tester হিসেবে আপনার কাজ রায় দেওয়া নয়, অমিলটি স্পষ্ট করে তোলা আর পরিণতি দেখানো। কে এই document পড়ে? যদি mobile দল এখান থেকে code বানায় (OpenAPI থেকে client তৈরি খুব প্রচলিত), তবে তাদের error-পড়ার code তালিকা পেলে crash করতে পারে। তাহলে ঠিক করা হবে দুই পথের একটি: document-এ 422-কে দুই রকম body-র anyOf হিসেবে লেখা, অথবা app-এ সব 422-কে এক আকারে আনা। দ্বিতীয়টি client-এর জন্য সহজ, কিন্তু পুরোনো client ভাঙতে পারে; তখন version পরিবর্তনের প্রশ্ন আসে।

দীর্ঘমেয়াদি শিক্ষা: document আর আচরণের মিল নিজেই একটি test-এর লক্ষ্য। প্রতিটি build-এ schemathesis-এর মতো একটি ছোট, বাঁধা run, আর consumer-এর প্রত্যাশা যাচাই (পর্ব ৩২, Contract testing), দুটি মিলে drift আগে ধরে।

মূল উপলব্ধি: Document আর code-এর কোনটি সত্য, তা প্রক্রিয়ার ওপর নির্ভর করে; কিন্তু দুটি না মিললে যে-ই ভুল হোক, ক্ষতি হয় client-এর। অমিল খোঁজা tester-এর কাজ।

প্র ০৩Test-এর schema কতটা কড়া হওয়া উচিত? additionalProperties: false কি সবসময় ভালো?

JSON Schema-র যাত্রা শুরু ২০০৯-১০ সালের দিকে IETF-এর খসড়া হিসেবে; draft-04 (২০১৩) বহু বছর সবচেয়ে প্রচলিত ছিল, তারপর draft-06, draft-07, 2019-09 আর বর্তমান 2020-12. প্রতিটি সংস্করণে keyword-এর অর্থ সামান্য বদলেছে, যেমন unevaluatedProperties এসেছে 2019-09-এ। তাই validator কোন সংস্করণ মানছে, সেটি জানা জরুরি; এই পর্বে সব জায়গায় Draft202012Validator.

কড়াকড়ির প্রশ্নে দুটি পুরোনো দর্শন মুখোমুখি। ১৯৮০ সালের দিকে TCP-র নির্দেশিকায় Jon Postel-এর robustness principle: “যা পাঠান তাতে রক্ষণশীল, যা গ্রহণ করেন তাতে উদার হোন”। Client-এর দিক থেকে এর রূপ “tolerant reader”: অচেনা field উপেক্ষা করুন, যাতে server নতুন field যোগ করলেও আপনি না ভাঙেন। এই যুক্তিতে production client-এ additionalProperties: false দিয়ে response প্রত্যাখ্যান করা প্রায়ই ভুল: server একটি নতুন, নিরীহ field যোগ করল, আর সব ফোনের app থেমে গেল।

কিন্তু test-এর কাজ ভিন্ন: পরিবর্তন সম্পর্কে জানা। Test-এ কড়া schema থাকলে নতুন field এলে test লাল হয়, দল সিদ্ধান্ত নেয় এটি ইচ্ছাকৃত কি না, তারপর schema হালনাগাদ হয়। এর দাম রক্ষণাবেক্ষণ: প্রতিটি যোগে test বদলাতে হয়। মধ্যপথ: যে field-গুলো নিশ্চিতভাবে চুক্তির অংশ, সেগুলোর type, enum আর সীমা কড়া; অজানা field-এ test ব্যর্থ না করে সতর্কবার্তা; আর নিরাপত্তার জন্য কিছু জিনিস চিরকাল নিষিদ্ধ, যেমন user object-এ password_hash বা token. শেষেরটি “অতিরিক্ত তথ্য ফাঁস” ধরার একটি সস্তা উপায়, OWASP-এর API তালিকায় যার আলাদা উল্লেখ আছে।

আরেকটি সতর্কতা: হাতে লেখা কড়া schema নিজেও ভুল হতে পারে। তাই প্রতিটি নিয়ম requirement-এর সাথে মিলিয়ে লিখুন, যেমন delivery-র enum: [0, 60, 120] এসেছে সরাসরি নিয়মের বাক্য থেকে।

মূল উপলব্ধি: Production client উদার, test কড়া; কারণ client-এর কাজ টিকে থাকা, আর test-এর কাজ পরিবর্তন চোখে পড়ানো।

প্র ০৪Schemathesis-এর মতো tool হাজার case বানায়; তবু হাতে বাছা parametrize test কেন দরকার?

Property-based testing-এর শুরু Haskell-এ: Koen Claessen আর John Hughes-এর QuickCheck, ২০০০ সালের একটি গবেষণাপত্রে। ধারণা: নির্দিষ্ট উদাহরণের বদলে একটি সাধারণ বৈশিষ্ট্য (property) লিখুন, যেমন “যেকোনো তালিকা দুবার উল্টালে আগের তালিকা”, আর tool এলোমেলো input বানিয়ে খুঁজুক কোথায় ভাঙে; ভাঙলে input ছোট করে (shrinking) সবচেয়ে সরল উদাহরণ দেখাক। Python-এ David MacIver-এর Hypothesis (২০১৩ সালের দিকে শুরু) এই ধারণা জনপ্রিয় করে, আর Schemathesis সেটি API-তে আনে: OpenAPI-ই হলো input-এর বর্ণনা, আর “5xx নেই”, “document মানা” হলো property.

শক্তি স্পষ্ট: আমাদের run-এ ৩৮টি case থেকে দুটি অমিল, যা কোনো মানুষ ভাবেননি (plus=null, ভাঙা byte). কিন্তু দুর্বলতাও এই run-এই দেখা গেল: coupon_ge চালু থাকলেও ফল হুবহু এক। কারণ tool-এর কাছে “ঠিক উত্তর” কী, সেটি অজানা; সে শুধু জানে উত্তরের আকার। একে বলে test oracle-এর সমস্যা: input বানানো সহজ, কিন্তু প্রতিটি input-এর সঠিক output জানা কঠিন। ১০০০ টাকায় ছাড় ০, এটি আসে requirement থেকে, আর সেই জ্ঞান আছে আপনার parametrize-এর সারিতে।

দুটি জগৎ জোড়া দেওয়া যায়। Hypothesis দিয়ে নিজের property লিখুন: “যেকোনো subtotal-এ ছাড় ০ থেকে ৩০০-এর মধ্যে”, “ছাড় কখনো subtotal-এর ১০%-এর বেশি নয়”, “ঢাকায় ২০০০ বা বেশি হলে delivery ০”। এগুলো business-জ্ঞানওয়ালা property, যা /api/pricing/quote-এ হাজার subtotal দিয়ে চালানো যায়। তবু সীমার নির্দিষ্ট সারি (১০০০, ১০০১, ২০০০) রাখুন, কারণ এলোমেলো generator ঠিক ১০০০ বাছবেই, তার নিশ্চয়তা নেই; Hypothesis সীমার মান খোঁজার চেষ্টা করে, কিন্তু আপনার জানা সীমা স্পষ্ট লেখাই নিরাপদ।

CI-তে খরচও ভাবুন: বাঁধা সংখ্যা আর seed দিয়ে দ্রুত run প্রতিটি commit-এ, দীর্ঘ এলোমেলো run রাতে। পর্ব ৫৮-এ property লেখার কৌশল বিস্তারিত।

মূল উপলব্ধি: স্বয়ংক্রিয় generator অজানা কোণ খোঁজে, হাতে বাছা case জানা নিয়ম পাহারা দেয়। একটি অন্যটির বদলি নয়।

প্র ০৫অন্যের অর্ডারে 403 না দিয়ে 404 কেন? Negative test-এ authorization কীভাবে নিয়মিত যাচাই করবেন?

OWASP-এর API Security Top 10-এর প্রথম সংস্করণ (২০১৯) আর হালনাগাদ (২০২৩), দুটিতেই এক নম্বরে Broken Object Level Authorization, সংক্ষেপে BOLA: একজন ব্যবহারকারী URL-এর id বদলে অন্যের জিনিস দেখতে বা বদলাতে পারেন। পুরোনো নাম IDOR. বিষয়টির নিরাপত্তার দিক সাইবার নিরাপত্তা কোর্সের পর্ব ৩৮ আর পর্ব ৪৩-এ; এখানে tester-এর দৃষ্টি।

403 বনাম 404: দুটিই অন্যের অর্ডার দেখায় না, তাই মূল নিরাপত্তা ঠিক। কিন্তু 403 বলে “এটি আছে, আপনার নয়”। আক্রমণকারী id ১ থেকে ১০০০ পর্যন্ত চেষ্টা করে 403 আর 404 গুনে জানতে পারেন দোকানে কতটি অর্ডার, কত দ্রুত বাড়ছে, এমনকি নতুন অর্ডারের id আন্দাজ করতে পারেন। 404 দিলে আছে আর নেই, দুটি একই রকম দেখায়। এজন্য GitHub-এর মতো অনেক বড় API ব্যক্তিগত resource-এ অনুমতি না থাকলে 404 দেয়, এটি তাদের প্রকাশ্য documentation-এ লেখা আছে। বাজারঘরও তাই করে, আর এই পর্বের in-page ব্লকে ঠিক এই ভুলটিই বসানো ছিল।

নিয়মিত যাচাইয়ের একটি সহজ কৌশল হলো “দুই ব্যবহারকারীর ছক”: প্রতিটি সুরক্ষিত endpoint-এর জন্য তিনটি সারি, মালিক (200), অন্য customer (404 বা 403, দলের নিয়ম অনুযায়ী) আর token ছাড়া (401). Endpoint-এর তালিকা OpenAPI থেকে নিলে কোনো নতুন endpoint বাদ পড়ে না; parametrize এই গুণফল সহজে বানায়। Schemathesis-এর ignored_auth আর object_level_authorization নামের check-ও আছে; দ্বিতীয়টির জন্য সাধারণত দুজন ব্যবহারকারীর তথ্য আলাদা config-এ দিতে হয়।

দুটি সূক্ষ্ম দিক। এক, শুধু GET নয়: অন্যের অর্ডারে cancel বা pay পাঠালে কী হয়, সেটিই বেশি বিপজ্জনক; আর assert শুধু status-এ নয়, পরে মালিকের চোখে অর্ডারের অবস্থা অপরিবর্তিত কি না, সেটিও। দুই, admin-এর সারি: admin সব দেখতে পারেন, তাই admin দিয়ে test চালালে অনুমতির ভুল ঢাকা পড়ে; সবসময় সাধারণ customer দিয়ে negative test লিখুন।

মূল উপলব্ধি: Authorization-এর ভুল সাধারণ ব্যবহারে দেখা যায় না, ধরতে হয় ইচ্ছা করে। প্রতিটি সুরক্ষিত endpoint-এ মালিক, অন্যজন আর অপরিচিত, এই তিনটি সারি রাখুন।

অনুশীলন

উত্তর দেখার আগে কাগজে নিজে করুন। সব ফল বাজারঘর app-এর সত্যিকারের run থেকে।

  1. Spec থেকে API test: POST /api/phone/validate body {"phone": "..."} নেয় আর {"valid", "normalized"} ফেরত দেয়। নিয়ম: দুই পাশের ফাঁকা জায়গা বাদ, তারপর ঠিক ১১টি ASCII অঙ্ক, শুরু 01, তৃতীয় অঙ্ক 3–9; অবৈধ হলে normalized null. Body-তে phone না থাকলে বা সংখ্যা হলে 422. Partition আর সীমা থেকে একটি parametrize ছক বানান (অন্তত ৮টি সারি), প্রতিটির expected status আর body সহ।
    @pytest.mark.parametrize(("phone", "valid", "normalized"), [
        pytest.param(" 01712345678 ", True, "01712345678", id="trim-ends"),
        pytest.param("01312345678", True, "01312345678", id="third-digit-3"),
        pytest.param("01912345678", True, "01912345678", id="third-digit-9"),
        pytest.param("01212345678", False, None, id="third-digit-2"),
        pytest.param("0171234567", False, None, id="10-digits"),
        pytest.param("017123456789", False, None, id="12-digits"),
        pytest.param("01712 345678", False, None, id="inner-space"),
        pytest.param("০১৭১২৩৪৫৬৭৮", False, None, id="bangla-digits"),
    ])
    def test_phone_rule(client, phone, valid, normalized):
        r = client.post("/api/phone/validate", json={"phone": phone})
        assert r.status_code == 200
        assert r.json() == {"valid": valid, "normalized": normalized}
    
    
    @pytest.mark.parametrize("body", [{}, {"phone": 1712345678}],
                             ids=["missing", "number-not-string"])
    def test_phone_bad_body_is_422(client, body):
        assert client.post("/api/phone/validate", json=body).status_code == 422

    তৃতীয় অঙ্কের দুই সীমা ৩ আর ৯ বৈধ, ঠিক নিচে ২ অবৈধ; দৈর্ঘ্যের সীমায় ১০ আর ১২. দুই পাশের ফাঁকা বাদ যায়, কিন্তু মাঝের ফাঁকা নয়। বাংলা অঙ্ক validator গ্রহণ করে না (রূপান্তর আলাদা ধাপের কাজ, পর্ব ১৪)। খেয়াল করুন, অবৈধ ফোন নম্বর 200 পায়, valid: false সহ; 422 শুধু body-র গঠন ভুল হলে। সত্যিকারের run: 10 passed in 0.56s.

  2. Failure পড়ুন আর আগে বলুন: একটি run-এ এই রিপোর্ট এলো: test_quote_follows_rules[dhaka-free-2000] FAILED, E assert (200, 60, 1860) == (200, 0, 1800). (ক) কোন নিয়ম ভেঙেছে, আর app-এর সম্ভাব্য ভুল কী? (খ) একই app-এ coupon-cap সারি (৩০০৯ টাকা, ঢাকা) পাস করবে কি না, হিসাব করে বলুন। (গ) outside সারি (২০০০, রাজশাহী)?

    (ক) ছাড় ২০০ ঠিক, কিন্তু delivery ৬০ এসেছে, ০ নয়। ২০০০ − ২০০ = ১৮০০, যা ২০০০-এর কম; অর্থাৎ app free delivery-র সীমা মাপছে ছাড়ের পরের দামে, অথচ নিয়মে ছাড়ের আগের দামে। এটি বাজারঘরের delivery_after_discount বসানো ভুলের আচরণ। (খ) ৩০০৯ − ৩০০ = ২৭০৯, যা ২০০০-এর ওপরে, তাই ভুল থাকলেও delivery ০, সারিটি পাস করবে। একই ভুল সব সারিতে দেখা যায় না; ধরা পড়ে শুধু সেই সারিতে, যেখানে ছাড়ের আগে আর পরে সীমার দুই পাশে পড়ে (ঢাকায় ২০০০ থেকে ২২২১ টাকার দাম)। (গ) ঢাকার বাইরে free delivery-ই নেই, তাই ১২০, পাস।

  3. এই test-এ ভুল খুঁজুন: একজন সহকর্মী লিখলেন, “cancel-এর test সবুজ”। Test-টিতে অন্তত চারটি সমস্যা খুঁজে বের করুন।
    TOKEN = "Bearer 9f8e7d6c5b4a"           # copied from my browser
    
    def test_cancel():
        r = httpx.post("http://127.0.0.1:8765/api/orders/8/transition",
                       json={"action": "cancel"},
                       headers={"Authorization": TOKEN})
        time.sleep(2)
        assert r.status_code in (200, 409)
        assert "cancel" in r.text

    (১) Hard-code করা token: ব্রাউজার থেকে কপি করা, অর্থাৎ কারও আসল session; গোপন তথ্য code-এ, আর reset বা logout-এর পরে অকেজো হয়ে test 401 পাবে। login fixture দিয়ে প্রতিবার নতুন token নিন। (২) অন্য test-এর data-র ওপর নির্ভরতা: অর্ডার 8 seed-এ নেই, কোনো আগের test বানালে তবেই আছে; একা চালালে বা ক্রম বদলালে ভাঙে। Arrange-এ নিজে অর্ডার বানান। (৩) যে assert ব্যর্থ হতে পারে না: in (200, 409) সফল আর ব্যর্থ, দুটোই মেনে নেয়; test কিছুই যাচাই করছে না। একটি নির্দিষ্ট অবস্থা থেকে একটি নির্দিষ্ট ফল চান: placed অর্ডারে 200 আর status == "cancelled", shipped অর্ডারে 409 আর invalid_transition. (৪) "cancel" in r.text: 409-এর message-এও “cancel” শব্দ আছে, তাই এটিও সবসময় সত্য; JSON পড়ে নির্দিষ্ট field মেলান। (৫) time.sleep(2): response আসার পরে অপেক্ষা অর্থহীন, শুধু suite ধীর করে। (৬) Fixture-এর client নয়, সরাসরি URL: পরিবেশ বদলালে প্রতিটি test-এ ঠিকানা বদলাতে হবে।

  4. Schema-র ফল আগে বলুন: কড়া Quote schema: ছয়টি key required, additionalProperties: false, discount integer ০–৩০০, delivery enum [0, 60, 120]. দুটি response: (ক) {"subtotal": 1001, "discount": 100, "delivery": 60, "total": 961, "district": "Dhaka", "plus": false, "coupon": "AUTO10"} (খ) একই, coupon ছাড়া, কিন্তু "discount": "100" আর "delivery": 75. iter_errors প্রতিটিতে কয়টি আর কী কী ভুল দেবে? App-এর generated schema (additionalProperties নেই, delivery শুধু integer) কয়টি দেবে?

    (ক) কড়া schema: ১টি, Additional properties are not allowed ('coupon' was unexpected). Generated schema: ০, নতুন key নীরবে পার পায়। (খ) কড়া schema: ২টি, ['discount'] '100' is not of type 'integer' আর ['delivery'] 75 is not one of [0, 60, 120] (jsonschema 4.26.0-এর সত্যিকারের বার্তা)। Generated schema: ১টি, শুধু discount-এর type; ৭৫ টাকা delivery integer হিসেবে বৈধ। এই উদাহরণ দেখায়, enum-এর মতো নিয়মভিত্তিক সীমা শুধু হাতে লেখা schema-তেই থাকে।

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমpytest-এ একটি API test-এর কাজগুলো ঘটার ক্রমে সাজান (▲▼ চেপে সরান)

  1. Session-scope fixture একটি httpx.Client তৈরি করে
  2. Autouse fixture reset endpoint ডেকে seed ফিরিয়ে আনে
  3. Login fixture token নিয়ে Authorization header বানায়
  4. Test নিজের request পাঠায় (Act)
  5. Status, error code, body-র মান আর schema assert করা হয়
  6. সব test শেষে client বন্ধ হয় (session teardown)

একটি API-তে ব্যবহারকারী login করা, কিন্তু admin-এর কাজ (stock বদলানো) করতে চাইছেন। কোন status code সবচেয়ে উপযুক্ত?

  • 400
  • 401
  • 403
  • 409

একটি negative test শুধু assert r.status_code == 409 যাচাই করে। API-তে 409 দুটি কারণে আসে: invalid_transition আর already_reviewed. সবচেয়ে বড় ঝুঁকি কী?

  • 409 HTTP-তে অবৈধ status
  • ভুল কারণে আসা 409-এও test পাস করবে
  • pytest একটি warning দেবে
  • Test ধীর হয়ে যাবে

Schema-তে "price": {"type": "integer"}. Response-এ "price": "155". Draft202012Validator(schema).iter_errors(body) কী দেবে?

  • কোনো ভুল নয়, কারণ 155 একটি সংখ্যা
  • একটি ValidationError exception
  • একটি ভুল: price required
  • একটি ভুল: '155' is not of type 'integer'

Schemathesis একটি API-র OpenAPI থেকে ৩৮টি case বানিয়ে চালাল। App-এ coupon-এর নিয়মে >-এর জায়গায় >=-এর ভুল আছে (১০০০ টাকায় ছাড় ১০০), কিন্তু response-এর গঠন ঠিক। Schemathesis-এর সাধারণ check এটি ধরবে কি?

  • না, কারণ এটি গঠন যাচাই করে, ব্যবসার নিয়ম জানে না
  • হ্যাঁ, যথেষ্ট case হলেই
  • হ্যাঁ, not_a_server_error check দিয়ে
  • শুধু seed দিলে ধরবে

একটি API suite প্রতিটি test-এর আগে POST /api/test/reset ডাকে। দল চার worker-এ সমান্তরাল চালানো শুরু করল, একই app আর একই database-এ। সবচেয়ে সম্ভাব্য ফল কী?

  • Suite চারগুণ দ্রুত, আর কোনো পরিবর্তন নেই
  • প্রতিটি worker শুধু নিজের data reset করবে
  • এলোমেলো, মাঝে মাঝে ব্যর্থতা, কারণ একজনের reset অন্যের data মুছে দেয়
  • pytest সংঘাত টের পেয়ে run থামিয়ে দেবে

একটি API test-এ response time যাচাই করা হবে, যাতে CI-তে অযথা লাল না হয় কিন্তু ধীর হলে দল জানে। কোন পদ্ধতি সবচেয়ে উপযুক্ত?

  • assert took < 0.5 প্রতিটি test-এ
  • সীমা পার হলে warnings.warn, আর গতির আসল মাপ আলাদা performance test-এ
  • প্রতিটি request-এর পরে time.sleep
  • সময় কখনো যাচাই না করা

FastAPI app-এর /openapi.json থেকে নেওয়া Quote schema-তে additionalProperties নেই। Response-এ একটি নতুন key "coupon": "AUTO10" এলো। এই schema দিয়ে যাচাই করলে কী হবে?

  • একটি ভুল: Additional properties are not allowed
  • একটি ভুল: required লঙ্ঘন
  • Validator crash করবে
  • কোনো ভুল নয়, নতুন key নীরবে পার পায়

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. ছয়টি যাচাই: status, header, body-র মান, body-র গঠন, পার্শ্বফল আর সময়; গঠন আর পার্শ্বফল সবচেয়ে বেশি বাদ পড়ে।
  2. Fixture: session-scope httpx.Client (base_url, timeout), প্রতিটি test-এর আগে reset, login-এর factory; কোনো hard-code token নয়।
  3. Negative ছক: 400, 401, 403, 404, 409, 422 প্রতিটির সারি; status-এর সাথে error code; অন্যের resource-এ 404.
  4. JSON Schema: OpenAPI থেকে $ref-সহ যাচাই, iter_errors-এ সব ভুল; generated schema ঢিলেঢালা, তাই requirement থেকে কড়া schema-ও।
  5. সীমা জানুন: সময়ের যাচাই নরম; schemathesis চুক্তির অমিল খোঁজে, ব্যবসার নিয়মের ভুল নয়; শুধু নিজের app-এ, localhost-এ।

পরের পর্বে: এই পর্বে provider-এর দিক থেকে schema যাচাই করলেন। এবার consumer-এর দিক: বাজারঘরের mobile app ঠিক কোন field-এর ওপর নির্ভর করে, তা একটি contract-এ লেখা, আর provider সেটি মানে কি না যাচাই। Pact আর consumer-driven contract.

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান