সরাসরি পর্বে যান
পর্ব ৩০ · ৮২-এর মধ্যে · মডিউল ৫

Postman আর Newman দিয়ে API testing

API Testing with Postman and Newman

Taught in Bangla, this lesson treats a Postman collection as a hand-written v2.1 JSON file with a separate environment file. It writes pm.test and pm.expect assertions, chains a login token through order and payment, and keeps secrets out with --env-var. A real Newman 6.2.3 run sends 11 requests with 17 assertions to the Bazarghar demo shop on localhost; with two seeded bugs both the CSV-driven coupon run and the checkout flow go red with exit code 1 and a JUnit XML report.

এই পর্বে যা শিখবেন

  • Postman-এর collection, folder, environment, variable-এর scope আর script-এর ভূমিকা বুঝে নিজে collection-এর JSON পড়া ও লেখা
  • pm.test আর pm.expect দিয়ে status, body, header আর সময়ের assertion লেখা, আর দুর্বল assertion চেনা
  • Login token থেকে order আর payment পর্যন্ত request chaining, আর তার ঝুঁকি (ক্রম-নির্ভরতা) সামলানো
  • CSV দিয়ে data-driven run, Newman-এর আউটপুট আর failure টেবিল পড়া, CI-র জন্য JUnit XML তৈরি
  • Secret collection-এর বাইরে রাখা, আর Bruno ও Insomnia-র মতো বিকল্পের সাথে তুলনা

১ · API test কেন, আর Postman কোথায় বসে

মোবাইল রিচার্জের কথা ভাবুন। আপনি app-এর স্ক্রিনে নম্বর আর টাকার অঙ্ক দেন, বোতাম চাপেন। কিন্তু আসল কাজ ঘটে পর্দার পেছনে: app একটি সার্ভারকে একটি বার্তা পাঠায়, সার্ভার হিসাব করে উত্তর দেয়। স্ক্রিনের রং বদলালেও এই বার্তা আর উত্তরের নিয়ম বদলায় না। একজন tester যদি সরাসরি সেই বার্তা পাঠিয়ে উত্তর যাচাই করেন, তিনি স্ক্রিন তৈরি হওয়ার আগেই, অনেক দ্রুত, আর অনেক বেশি ক্ষেত্রে নিয়ম পরীক্ষা করতে পারেন। এটিই API testing.

বাজারঘরের ক্ষেত্রেও তাই। Coupon, delivery charge, order-এর অবস্থা, payment: সব নিয়ম থাকে JSON API-র পেছনে, আর ওয়েব পেজ সেই API ডাকে। UI দিয়ে একটি checkout test-এ কয়েক সেকেন্ড লাগে; একই যাচাই API দিয়ে কয়েক মিলিসেকেন্ডে হয়। তাই test pyramid-এ (সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৫১) API test থাকে মাঝের স্তরে: unit test-এর চেয়ে বাস্তবের কাছাকাছি, UI test-এর চেয়ে দ্রুত আর কম ভঙ্গুর। HTTP-র method, status code আর JSON-এর ভিত্তি এই মডিউলের পর্ব ২৯ (Tester-এর জন্য HTTP আর REST)-এর বিষয়; এখানে ধরে নিচ্ছি আপনি request আর response-এর গঠন চেনেন।

Postman হলো API-তে request পাঠানো, উত্তর দেখা আর সেই উত্তরের ওপর test লেখার একটি desktop ও web app. Manual tester-রা এটি দিয়ে API ঘুরে দেখেন, developer-রা debug করেন, আর automation-এর দল এর collection CI-তে চালায়। CI-তে চালানোর কাজটি করে Newman: Postman-এর collection চালানোর command line tool, Node.js-এর package হিসেবে। Postman app নিজে বাণিজ্যিক (proprietary) software, কিছু অংশ বিনা খরচে ব্যবহার করা যায়; Newman আর এর ভেতরের collection ও sandbox লাইব্রেরি open source, Apache-2.0 লাইসেন্সে।

Postman শুরু হয় ২০১২ সালের দিকে, Abhinav Asthana-র একটি পার্শ্ব-প্রকল্প হিসেবে, Chrome browser-এর একটি extension রূপে; পরে এটি একটি কোম্পানি হিসেবে বড় হয়, যার শুরু ভারতের বেঙ্গালুরুতে (সূত্রভেদে তারিখ সামান্য আলাদা)। Collection-কে command line-এ চালানোর জন্য Newman আসে কয়েক বছরের মধ্যে। শুরুর দিকে test লেখা হতো tests["নাম"] = শর্ত ধাঁচে; ২০১৭ সালের দিকে Postman নতুন pm.* API আনে, যার assertion-এর ভেতরে আছে JavaScript-এর জনপ্রিয় Chai লাইব্রেরি। পুরোনো ধাঁচ এখনও পুরোনো collection-এ দেখা যায়, কিন্তু নতুন কাজে pm.test.

Postman-এর শব্দভান্ডার

ধারণামানেবাজারঘরে উদাহরণ
Collectionক্রম অনুযায়ী সাজানো request-এর দল, script-সহ; একটি JSON ফাইলbazarghar-api: login থেকে payment
FolderCollection-এর ভেতরে request-এর উপদলauth, cart, orders
Environmentএকসেট variable-এর মান; আলাদা ফাইলlocal: baseUrl, email
Variable{{নাম}}, চলার সময় মান বসে{{token}}, {{orderId}}
Pre-request scriptRequest পাঠানোর আগে চলা JavaScriptনতুন Idempotency-Key বানানো
Test scriptউত্তর আসার পরে চলা JavaScript, assertion-সহdiscount ২০০ কি না যাচাই
Collection Runner / Newmanপুরো collection ক্রমানুসারে চালানো, GUI-তে বা command line-এnpx newman run …

এই পর্বের কাজ: বাজারঘরের সত্যিকারের app (এই মডিউলের সব পর্বে একই app, শুধু নিজের কম্পিউটারের 127.0.0.1-এ, test mode-এ) চালিয়ে তার ওপর দুটি collection চালানো। প্রথমটি checkout-এর পুরো পথ, দ্বিতীয়টি coupon আর delivery-র নিয়ম CSV থেকে। তারপর app-এর দুটি বসানো ভুল চালু করে দেখব কোন assertion লাল হয়।

Newman-এর run — ফাইল থেকে CI-র লাল-সবুজ পর্যন্ত

Collection, environment, CSV and a secret go into newman; requests go to the local app; reporters feed CI

Newman-এর প্রবাহ: collection, environment, CSV, secret → newman run ↔ বাজারঘর app → cli আর JUnit XML → CI collection.json request + script environment.json baseUrl, email data.csv প্রতি সারি একটি iteration secret CI store → --env-var newman run প্রতিটি item-এ: pre-request → request → test script HTTP বাজারঘর 127.0.0.1 test mode cli আউটপুট √ আর failure টেবিল JUnit XML CI-র রিপোর্টের জন্য CI job exit code 0 → সবুজ · 1 → লাল
ছবি ৩০.১ — Newman নিজে কিছু জানে না; সব জ্ঞান আসে চারটি input থেকে। Collection আর environment ফাইল Git-এ থাকে, secret থাকে না। Request যায় শুধু নিজের যন্ত্রের app-এ, আর ফল দুই পথে বের হয়: মানুষের জন্য cli, যন্ত্রের জন্য JUnit XML আর exit code.

২ · Collection আর environment — দুটি JSON ফাইল

Postman-এর GUI-তে collection দেখায় বাম পাশে একটি গাছের মতো: ফোল্ডার, তার নিচে request, প্রতিটিতে Params, Headers, Body, Scripts ট্যাব। কিন্তু export করলে বা Git-এ রাখলে সেটি সাধারণ একটি JSON ফাইল, যার ফরম্যাট Postman প্রকাশ্যে দিয়েছে (Collection v2.1 schema). এই পর্বের কম্পিউটারে Postman desktop app install করা হয়নি; collection সরাসরি সেই ফরম্যাটে হাতে লেখা, আর Newman তা ঠিকভাবেই পড়েছে। Postman app-এ import করলে একই গাছ দেখা যাবে। ফাইলের একটি request-এর অংশ:

{
  "info": { "name": "bazarghar-api",
    "schema": "https://schema.getpostman.com/json/collection/v2.1.0/collection.json" },
  "item": [
    {
      "name": "05 quote for Dhaka",
      "request": {
        "method": "GET",
        "header": [{ "key": "Authorization", "value": "Bearer {{token}}" }],
        "url": "{{baseUrl}}/api/cart/quote?district=Dhaka"
      },
      "event": [{ "listen": "test", "script": { "exec": [
        "const q = pm.response.json();",
        "pm.test('coupon: 10% of 2000 = 200', () => pm.expect(q.discount).to.eql(200));",
        "pm.test('free delivery in Dhaka at 2000', () => pm.expect(q.delivery).to.eql(0));",
        "pm.test('total 1800', () => pm.expect(q.total).to.eql(1800));"
      ] } }]
    }
  ]
}

লক্ষ করুন তিনটি জিনিস। প্রথমত, URL-এ কোনো host লেখা নেই, আছে {{baseUrl}}. দ্বিতীয়ত, token-ও নেই, আছে {{token}}. তৃতীয়ত, test script একটি লেখার তালিকা (exec), প্রতিটি লাইন আলাদা string; GUI-র Scripts ট্যাবে এটিই একটানা কোড হিসেবে দেখায়। Environment ফাইলটি আরও ছোট:

{
  "name": "local",
  "values": [
    { "key": "baseUrl",  "value": "http://127.0.0.1:8783", "type": "default", "enabled": true },
    { "key": "email",    "value": "mitu@bazarghar.test",   "type": "default", "enabled": true },
    { "key": "password", "value": "",                      "type": "secret",  "enabled": true }
  ]
}

Password-এর মান ইচ্ছা করে খালি। "type": "secret" Postman-এর GUI-তে মান তারকা চিহ্নে ঢেকে রাখে, কিন্তু ফাইলে লেখা থাকলে ফাইলে ঠিকই থাকে; তাই মান আসবে run-এর সময়, বাইরে থেকে (§৮)।

Manual tester-এর জন্য GUI-তে একই কাজের পথ: বাম পাশের collection-এ request বেছে Send চাপলে নিচে উত্তর, ওপরের ডান কোণে environment বাছাইয়ের তালিকা, request-এর Scripts ট্যাবে pre-request আর test script, আর উত্তরের অংশে Test Results ট্যাবে প্রতিটি pm.test-এর সবুজ বা লাল ফল। পুরো collection একসাথে চালাতে Collection Runner, যেখানে CSV ফাইলও দেওয়া যায়। Script-এ console.log লিখলে তার ফল দেখায় Postman Console-এ; ব্যর্থ test বুঝতে এটিই প্রথম ভরসা। GUI আর Newman একই ফাইল, একই script চালায়, তাই GUI-তে সবুজ collection Newman-এও সাধারণত সবুজ; পার্থক্য হলে প্রথমে environment আর variable-এর মান মিলিয়ে দেখুন।

Variable-এর scope — কোন মান জেতে

Postman-এ একই নামের variable কয়েক জায়গায় থাকতে পারে। Postman-এর নথি অনুযায়ী scope-এর ক্রম, বড় থেকে ছোট: global → collection → environment → data → local. একই নাম দুই জায়গায় থাকলে সবচেয়ে সংকীর্ণ scope-এর মান জেতে। অর্থাৎ CSV-র একটি সারির (data) মান environment-এর মানকে ঢেকে দেয়, আর script-এ pm.variables.set দিয়ে রাখা local মান সবার ওপরে। Newman-এ --env-var "নাম=মান" environment-এর মানকে বদলে দেয়। নিচের stepper-এ login request-এর variable কীভাবে মান পায়, আর environment বদলালে কী হয়, ধাপে ধাপে দেখুন:

1POST {{baseUrl}}/api/auth/login2{"email": "{{email}}",3 "password": "{{password}}"}4# env local: baseUrl, email5#   password = "" (secret)6$ newman run … -e local7   --env-var "password=…"
এই মুহূর্তে
baseUrl
email
password
কোথা থেকে
  1. Collection-এ শুধু নাম। Request-এ তিনটি variable: baseUrl, email, password. Collection জানে না এগুলোর মান কী; তাই একই ফাইল যেকোনো পরিবেশে চলতে পারে।
  2. Environment মান দিল। -e env/local.json দুটি মান দেয়: host আর e-mail. Password-এর মান খালি, কারণ ফাইলটি Git-এ যাবে। এই অবস্থায় চালালে login 401 দেবে (§৮-এ সত্যিকারের run).
  3. Command line জিতল। --env-var "password=mitu1234" environment-এর খালি মানকে বদলে দিল। মানটি এল run-এর সময়, ফাইলে লেখা হয়নি। এটি নকল test account-এর password, আসল কারও নয়।
  4. সব মান বসল। Newman পাঠাল POST http://127.0.0.1:8783/api/auth/login; সত্যিকারের run-এ উত্তর 200, ১৪ মিলিসেকেন্ডে। আউটপুটে URL দেখা যায়, কিন্তু body-র password দেখা যায় না।
  5. অন্য environment. একই collection, শুধু baseUrl বদলে একটি কাল্পনিক staging ঠিকানা দেওয়া হলো। Collection-স্তরের pre-request script ঠিকানা দেখে থামিয়ে দিল: সত্যিকারের run-এ requests: 0, একটি request-ও যায়নি। ভুল পরিবেশে test data reset করা থেকে এই পাহারাই বাঁচায়।

৩ · Test script আর pm.expect

প্রতিটি request-এর উত্তর আসার পরে তার test script চলে Postman-এর sandbox-এ, একটি আলাদা JavaScript পরিবেশে। সেখানে pm নামের একটি object পাওয়া যায়। তিনটি অংশ সবচেয়ে বেশি লাগে: pm.test(নাম, function) একটি নামযুক্ত test খোলে; pm.response দিয়ে উত্তরের status, header, body আর সময় পড়া যায়; আর pm.expect হলো Chai-এর BDD-ধাঁচের assertion, যা বাক্যের মতো পড়া যায়। একটি pm.test-এর ভেতরে assertion ব্যর্থ হলে শুধু সেই test লাল হয়; পরের test আর পরের request চলতে থাকে।

যাচাইলেখার ধরন
Status codepm.response.to.have.status(201)
যেকোনো 2xxpm.response.to.be.success
Headerpm.response.to.have.header('Idempotent-Replayed', 'true')
Body-র মানpm.expect(json.discount).to.eql(200)
ধরনpm.expect(json.access_token).to.be.a('string')
উত্তরের সময়pm.expect(pm.response.responseTime).to.be.below(500)
Error-এর codepm.expect(json.detail.code).to.eql('not_authenticated')

eql মান মেলায় ভেতর পর্যন্ত (deep equality), তাই object আর array-তেও চলে; equal একই মান বা একই object খোঁজে। সময়ের assertion সাবধানে ব্যবহার করুন: নিজের যন্ত্রে ৫ মিলিসেকেন্ড, ব্যস্ত CI-তে হয়তো ৩০০; খুব কড়া সীমা flaky test বানায়। এখানে ৫০০ মিলিসেকেন্ডের ঢিলা সীমা শুধু বড় ধীরতা ধরার জন্য, performance test-এর বদলে নয় (তার জন্য মডিউল ৮)।

Postman-এর sandbox ব্রাউজারে নেই, কিন্তু তার মূল নিয়ম ছোট একটি শিক্ষণ মডেলে দেখা যায়। নিচের কোড আসল Postman নয়, একটি ছোট pm-এর মতো shim; উত্তরটি বাজারঘরের app থেকে রেকর্ড করা, যখন delivery_after_discount ভুল চালু ছিল (ঢাকায় ২০০০ টাকার cart, ছাড়ের পরে ১৮০০ দেখে delivery চার্জ বসায়)। শেষ test-টি ইচ্ছা করে দুর্বল। “চালান” চাপুন:

// Teaching shim of Postman's pm API (not the real sandbox)
const recorded = { code: 200, responseTime: 5,   // recorded from the app
  body: '{"subtotal":2000,"discount":200,"delivery":60,"total":1860,"district":"Dhaka","plus":false}' };
const results = [];
function expect(actual) {
  const fail = (msg) => { throw new Error(msg); };
  const show = (v) => JSON.stringify(v);
  return { to: {
    eql: (exp) => show(actual) === show(exp) ||
      fail(`expected ${show(actual)} to deeply equal ${show(exp)}`),
    be: { below: (n) => actual < n || fail(`expected ${actual} to be below ${n}`) } } };
}
const pm = {
  expect,
  test(name, fn) {
    try { fn(); results.push(`ok   ${name}`); }
    catch (e) { results.push(`FAIL ${name}: ${e.message}`); }
  },
  response: { responseTime: recorded.responseTime, json: () => JSON.parse(recorded.body),
    to: { have: { status: (c) => expect(recorded.code).to.eql(c) } } },
};
// the same tests as request "05 quote for Dhaka"
const q = pm.response.json();
pm.test("status 200", () => pm.response.to.have.status(200));
pm.test("coupon: 10% of 2000 = 200", () => pm.expect(q.discount).to.eql(200));
pm.test("free delivery in Dhaka at 2000", () => pm.expect(q.delivery).to.eql(0));
pm.test("total 1800", () => pm.expect(q.total).to.eql(1800));
pm.test("fast enough", () => pm.expect(pm.response.responseTime).to.be.below(500));
pm.test("looks checked, checks nothing", () => pm.expect(q.delivery === 0)); // no matcher
results.forEach((line) => console.log(line));
console.log(`tests: ${results.length}, failed: ${results.filter((r) => r.startsWith("FAIL")).length}`);

আসল আউটপুট:

ok   status 200
ok   coupon: 10% of 2000 = 200
FAIL free delivery in Dhaka at 2000: expected 60 to deeply equal 0
FAIL total 1800: expected 1860 to deeply equal 1800
ok   fast enough
ok   looks checked, checks nothing
tests: 6, failed: 2

দুটি FAIL ঠিক সেই দুটি যা Newman-এর সত্যিকারের run-এও লাল হয়েছে (§৫): delivery ৬০, total ১৮৬০. Coupon-এর test সবুজ, কারণ ছাড় ঠিকই আছে; ভুলটি delivery-র শর্তের ক্রমে। প্রতিটি FAIL নিজের test-এ আটকে আছে, বাকি test চলেছে। সবচেয়ে বিপজ্জনক লাইনটি শেষেরটি: pm.expect(q.delivery === 0)-এ কোনো matcher নেই, তাই কিছুই যাচাই হয়নি, আর ভুল থাকা অবস্থাতেও সবুজ। আসল Chai-তেও হুবহু একই: expect(x) একা কিছু যাচাই করে না। নিজে চেষ্টা করুন: রেকর্ড করা body-তে "delivery":0,"total":1800 লিখে আবার চালান; কতটি FAIL থাকে?

৪ · Chaining — login token থেকে order পর্যন্ত

বাস্তবের API test প্রায়ই একটি গল্প: লগইন, cart-এ পণ্য, দাম যাচাই, order, payment. প্রতিটি ধাপ আগের ধাপের ফল লাগে: cart-এর request-এ token, payment-এ order-এর id. Postman-এ এই সংযোগকে বলে request chaining: এক request-এর test script উত্তর থেকে একটি মান তুলে variable-এ রাখে, পরের request {{নাম}} দিয়ে তা পড়ে। ব্যাংকের লাইনে টোকেন নম্বরের মতো: কাউন্টার একবার নম্বর দেয়, তারপর প্রতিটি কাউন্টারে সেই নম্বর দেখিয়েই কাজ হয়।

আমাদের collection-এ ১১টি request: test data reset, login, cart খালি করা, ২টি সয়াবিন তেল (৮৮০ × ২ = ১৭৬০), ২টি আটা (১২০ × ২ = ২৪০, মোট ২০০০), ঢাকার quote, order, Idempotency-Key-সহ payment, একই key-তে আবার payment, token ছাড়া order দেখা, আর অন্য গ্রাহকের order দেখা। Order-এর অবস্থার নিয়ম (placed → paid …) পর্ব ১০-এর state machine থেকে। Chain-এর মূল ধাপগুলো:

1// 01 login · test2set('token', body.access_token)3// header: Bearer {{token}}4// 06 order · test5set('orderId', o.id)6// 07 pay · pre-request7set('idemKey', 'pay-' + …)8// 08 retry · same {{idemKey}}9// 09 · no Authorization
collection variable
token
orderId
idemKey
assertion
  1. Login. Test script আগে status আর token_type যাচাই করে, তারপর pm.collectionVariables.set('token', …) দিয়ে bearer token রাখে। Token প্রতিবার নতুন আর এলোমেলো, তাই কোনো ফাইলে লেখার দরকার নেই।
  2. Cart. প্রতিটি cart-request-এর header Authorization: Bearer {{token}}. দুটি assertion: তেলের পরে subtotal ১৭৬০, আটার পরে ২০০০. ২০০০ টাকা ইচ্ছা করে বাছা: ঢাকার free delivery-র সীমা ঠিক এখানে (পর্ব ০৮)।
  3. Quote. ঢাকার জন্য discount ২০০, delivery ০, total ১৮০০. ভুল ছাড়া app-এ তিনটিই সবুজ। এই request কোনো variable রাখে না, শুধু যাচাই করে।
  4. Order. Status 201 আর অবস্থা placed; test script o.id, অর্থাৎ ৮, রাখে orderId-এ। Seed data-য় ৭টি order আছে, তাই reset-এর পরে নতুন order সবসময় ৮; তবু id কখনো collection-এ হাতে লিখবেন না।
  5. Payment-এর আগে key. Pre-request script একটি নতুন key বানায়, যেমন pay-8- আর একটি এলোমেলো অংশ, তারপর request পাঠায় /api/orders/{{orderId}}/pay-এ। উত্তর: অবস্থা paid.
  6. একই key-তে আবার। নেটওয়ার্ক কেটে গেলে API client একই key-তে আবার চেষ্টা করে, এই অবস্থার নকল। একই {{idemKey}}, তাই দ্বিতীয়বার টাকা কাটা হয়নি: উত্তর 200 আর header Idempotent-Replayed: true.
  7. Token ছাড়া। এই request-এ Authorization header নেই। প্রত্যাশা 401 আর error code not_authenticated; দুটিই সবুজ। শেষ request (অন্য গ্রাহকের order ৬) দেয় 404, যাতে id দেখে অন্যের order আছে কি না বোঝা না যায়।

Negative test-ও collection-এ

শেষের দুটি request (token ছাড়া, আর অন্যের order) negative test: ভুল বা নিষিদ্ধ কাজে app ঠিকভাবে “না” বলে কি না। এমন test-এ শুধু status দেখা যথেষ্ট নয়; বাজারঘরের ব্যবসায়িক error-এর একটি নির্দিষ্ট গঠন আছে, {"detail": {"code": …, "message": …}}, আর schema-র ভুলে 422 আসে detail-এর ভেতরে একটি তালিকা নিয়ে। তাই assertion-এ code-ও মেলান, যেমন not_authenticated. আরও কয়েকটি সহজ negative request একই collection-এ যোগ করা যায়: rafi-র shipped order ৫-এ {"action": "cancel"} পাঠালে 409 invalid_transition (পর্ব ১০-এর অবৈধ transition); cart-এ ১১টি পণ্য চাইলে 422; ভুল password-এ 401 invalid_credentials. কোন status কোন অবস্থায় ঠিক, তার বিস্তারিত পর্ব ২৯-এ, আর পুরো negative test-এর ছক পর্ব ৩১-এ।

Payment request-এর pre-request script:

// one fresh key per payment attempt, reused by the retry (08)
pm.collectionVariables.set('idemKey',
  'pay-' + pm.collectionVariables.get('orderId') + '-' +
  pm.variables.replaceIn('{{$randomUUID}}').slice(0, 8));

{{$randomUUID}} Postman-এর একটি dynamic variable: প্রতিবার নতুন মান। এমন আরও আছে, যেমন {{$timestamp}}. Collection-স্তরেও একটি pre-request script আছে, যা প্রতিটি request-এর আগে চলে আর baseUrl localhost না হলে থামিয়ে দেয়; stepper ১-এর শেষ ধাপে তাকে কাজ করতে দেখেছেন।

Chaining-এর দাম: request-গুলো এখন একে অপরের ওপর নির্ভরশীল, অর্থাৎ ক্রম-নির্ভর test. Login ব্যর্থ হলে পরের দশটি request-ও লাল হবে, যদিও তাদের নিজেদের কোনো দোষ নেই; একটি আসল ভুল দশটি মিথ্যা ভুলের নিচে চাপা পড়ে। তিনটি অভ্যাস সাহায্য করে: (১) শুরুতে reset request রাখা, যাতে প্রতিটি run একই data থেকে শুরু হয় (পর্ব ২৩-এর fresh fixture-এর ধারণা); (২) Newman-এ --bail দিয়ে প্রথম ব্যর্থতায় থামা, যাতে আসল কারণ ওপরে থাকে; (৩) নিয়মের test (coupon, delivery) chain থেকে বের করে নিজস্ব ছোট collection-এ রাখা, যেমন §৬-এ।

৫ · Newman দিয়ে সত্যিকারের run

Newman একটি npm package; global install নয়, প্রকল্পের ভেতরে রাখাই ভালো, যাতে CI-তে ঠিক একই version চলে। এই পর্বের সব run একটি Windows ডেস্কটপে, আলাদা scratch ফোল্ডারে: Node.js 24.15.0, Newman 6.2.3 (Apache-2.0). বাজারঘরের app (FastAPI-তে লেখা, MIT) চালানো হয়েছে 127.0.0.1:8783-এ, test mode-এ, নিজের আলাদা database ফাইলে। Path নিরপেক্ষ করা (~/bazarghar-qa).

cd ~/bazarghar-qa
npm init -y
npm install -D newman            # এখানে 6.2.3
npx newman --version

# অন্য terminal-এ app, test mode, তাজা seed data
BAZARGHAR_TEST_MODE=1 uv run bazarghar --port 8783 --test-mode --reset

npx newman run collections/bazarghar-api.postman_collection.json \
  -e env/local.postman_environment.json \
  --env-var "password=mitu1234" --color off

সত্যিকারের ফল, কোনো ভুল চালু নেই (Node-এর একটি fs.F_OK deprecation সতর্কবার্তা বাদ; মাঝের কয়েকটি request আর সারাংশ-টেবিলের ভাগের দাগ ও দুটি সারি সংক্ষেপ করা):

newman

bazarghar-api

→ 00 reset test data
  POST http://127.0.0.1:8783/api/test/reset [200 OK, 472B, 65ms]
  √  reset returns 200

→ 01 login
  POST http://127.0.0.1:8783/api/auth/login [200 OK, 651B, 14ms]
  √  status 200
  √  bearer token returned
…
→ 05 quote for Dhaka
  GET http://127.0.0.1:8783/api/cart/quote?district=Dhaka [200 OK, 511B, 5ms]
  √  coupon: 10% of 2000 = 200
  √  free delivery in Dhaka at 2000
  √  total 1800
…
→ 08 retry pay, same key
  POST http://127.0.0.1:8783/api/orders/8/pay [200 OK, 1.31kB, 5ms]
  √  replayed, not charged again
…
┌─────────────────────────┬──────────────────┬──────────────────┐
│                         │         executed │           failed │
├─────────────────────────┼──────────────────┼──────────────────┤
│              iterations │                1 │                0 │
│                requests │               11 │                0 │
│            test-scripts │               11 │                0 │
│      prerequest-scripts │               12 │                0 │
│              assertions │               17 │                0 │
├─────────────────────────┴──────────────────┴──────────────────┤
│ total run duration: 860ms                                     │
│ average response time: 13ms [min: 3ms, max: 65ms, s.d.: 16ms] │
└───────────────────────────────────────────────────────────────┘

সারাংশের টেবিল পড়ুন: ১১টি request, ১১টি test script, কিন্তু pre-request script ১২টি। কেন? Collection-স্তরের script প্রতিটি request-এর আগে চলেছে (১১ বার), আর payment request-এর নিজের script একবার, মোট ১২. Assertion ১৭টি, অর্থাৎ pm.test-এর মোট সংখ্যা। Postman-এর ভাষায় একটি pm.test মানে একটি assertion; JUnit রিপোর্টেও এটিই একটি testcase হবে।

বসানো ভুল চালু — কী লাল হয়

এবার app বন্ধ করে দুটি বসানো ভুল নিয়ে আবার চালু করা হলো: BAZARGHAR_BUGS=coupon_ge,delivery_after_discount. প্রথমটি coupon-এর শর্ত > 1000-এর জায়গায় >= 1000 করে; দ্বিতীয়টি ঢাকার free delivery-র সীমা ছাড়ের পরের অঙ্কে মাপে। একই collection, এবার JUnit reporter-সহ:

npx newman run collections/bazarghar-api.postman_collection.json \
  -e env/local.postman_environment.json --env-var "password=mitu1234" \
  --color off -r cli,junit --reporter-junit-export results/newman-api.xml
echo $?
→ 05 quote for Dhaka
  GET http://127.0.0.1:8783/api/cart/quote?district=Dhaka [200 OK, 512B, 5ms]
  √  coupon: 10% of 2000 = 200
  1. free delivery in Dhaka at 2000
  2. total 1800
…
│              assertions │               17 │                2 │
…
  #  failure         detail

 1.  AssertionError  free delivery in Dhaka at 2000
                     expected 60 to deeply equal +0
                     at assertion:1 in test-script
                     inside "05 quote for Dhaka"

 2.  AssertionError  total 1800
                     expected 1860 to deeply equal 1800
                     at assertion:2 in test-script
                     inside "05 quote for Dhaka"
1
  • সংখ্যা দিয়ে চিহ্ন: ব্যর্থ test-এর পাশে √-এর জায়গায় 1., 2.; এই নম্বর নিচের failure টেবিলের সারির সাথে মেলে।
  • +0 কেন: Chai শূন্যকে +0 লেখে, যাতে -0 থেকে আলাদা করা যায়। অর্থ শুধু “০ চাওয়া হয়েছিল”। বার্তার ক্রম: আগে actual (৬০), পরে expected.
  • assertion:1: সেই script-এর কততম assertion, ০ থেকে গোনা। Coupon-এর assertion ছিল ০ নম্বর, তাই delivery ১, total ২.
  • Coupon-এর ভুল কেন ধরা পড়েনি: coupon_ge শুধু ঠিক ১০০০ টাকায় পার্থক্য করে, আর এই flow-এর cart ২০০০ টাকার। একটি সুখী পথ (happy path) সব নিয়মের সীমা ছোঁয় না; সেই কাজ §৬-এর CSV-র।
  • Exit code 1: শেষ লাইনের 1 হলো echo $?-এর ফল। কোনো assertion ব্যর্থ হলে Newman 1 দিয়ে বের হয়, যা দেখে CI job লাল হয়। এই exit code-ই CI আর Newman-এর আসল চুক্তি।

এই ব্যর্থতা থেকে bug report কীভাবে লিখবেন, তা পর্ব ১৮-এ: শিরোনাম “ঢাকায় ২০০০ টাকার cart-এ coupon-এর পরে delivery চার্জ ৬০ টাকা বসছে”, ধাপ হিসেবে Newman-এর command আর collection, প্রত্যাশিত আর পাওয়া মান, আর রিপোর্টের অংশ।

৬ · CSV দিয়ে data-driven run

Coupon আর delivery-র নিয়মের সীমাগুলো পর্ব ০৭ আর পর্ব ০৮-এ বের করেছেন। প্রতিটি সারির জন্য আলাদা request লিখলে collection ফুলে যায়। Data-driven testing-এ একটিই request আর একটিই test script; মান আসে একটি CSV ফাইল থেকে, প্রতিটি সারির জন্য Newman পুরো collection একবার চালায়, যাকে বলে একটি iteration. CSV-র প্রথম সারির কলামের নাম variable হয়ে যায়।

case,subtotal,district,plus,discount,delivery
edge-1000,1000,Dhaka,false,0,60
edge-1001,1001,Dhaka,false,100,60
below-cap,2999,Dhaka,false,299,0
cap-3000,3000,Dhaka,false,300,0
free-2000,2000,Dhaka,false,200,0
plus-outside,1999,Rajshahi,true,199,60

Request: GET {{baseUrl}}/api/pricing/quote?subtotal={{subtotal}}&district={{district}}&plus={{plus}}; এটি login ছাড়াই নিয়মের হিসাব দেয়। Test script:

const row = pm.iterationData;
const q = pm.response.json();
pm.test(`${row.get('case')}: discount ${row.get('discount')}`, () => {
  pm.expect(q.discount).to.eql(Number(row.get('discount')));
});
pm.test(`${row.get('case')}: delivery ${row.get('delivery')}`, () => {
  pm.expect(q.delivery).to.eql(Number(row.get('delivery')));
});

Number(…) জরুরি: CSV থেকে সব মান আসে লেখা (string) হিসেবে, আর eql সংখ্যা ১০০ আর লেখা "100"-কে আলাদা ধরে। Test-এর নামে case বসানো, যাতে রিপোর্টে বোঝা যায় কোন সারি। দুটি ভুল চালু রেখে সত্যিকারের run (-d data/coupon_cases.csv), প্রতিটি iteration ধাপে ধাপে:

1const row = pm.iterationData;2const q = pm.response.json();3pm.expect(q.discount)4  .to.eql(Number(row.get('discount')))5pm.expect(q.delivery)6  .to.eql(Number(row.get('delivery')))
এই iteration
case
CSV-র input
চাওয়া
app দিল
ফল
  1. edge-1000. নিয়ম বলে “১০০০-এর বেশি হলে ছাড়”, তাই ১০০০-এ ছাড় ০. ভুল কোড >= দিয়ে ১০০ ছাড় দিল। এই সারিটিই coupon_ge ধরতে পারে; checkout flow-এর ২০০০ টাকার cart পারেনি।
  2. edge-1001. ১০০১-এর ১০% = ১০০.১, floor করে ১০০. সঠিক আর ভুল দুই কোডেই একই, তাই সবুজ। সীমার এক পাশের মান অন্য ভুল ধরে না; দুই পাশই দরকার।
  3. below-cap. ২৯৯৯ টাকায় ছাড় ২৯৯ (floor), delivery ০. ভুল কোডে ছাড়ের পরে ২৭০০, যা এখনও ২০০০-এর বেশি, তাই delivery-র ভুলও এখানে লুকানো।
  4. cap-3000. ছাড় ৩০০-তে পৌঁছায়; ছাড়ের পরে ২৭০০, free delivery. দুটি বসানো ভুলের কোনোটিই এখানে দেখা যায় না।
  5. free-2000. Free delivery-র সীমা ঠিক ২০০০, ছাড়ের আগের অঙ্কে। ভুল কোড ছাড়ের পরের ১৮০০ দেখে ৬০ টাকা বসাল: delivery FAIL. দুটি বসানো ভুল ধরল দুটি আলাদা সারি।
  6. plus-outside. রাজশাহী, Plus সদস্য: ছাড় ১৯৯, delivery ৬০ (বাইরে সাধারণত ১২০)। Query-তে plus=true লেখা হিসেবেই যায়, আর app তা ঠিকভাবে পড়ে।
  7. সারাংশ। ৬টি iteration, ১২টি assertion, ২টি ব্যর্থ, exit code 1. একটিই request লেখা হয়েছে, অথচ ছয়টি সীমা যাচাই হলো। নতুন সীমা যোগ করতে শুধু CSV-তে একটি সারি।

সত্যিকারের run-এর অংশ আর failure টেবিল (কয়েকটি লাইন বাদ), এবার iteration নম্বরসহ:

Iteration 1/6

→ quote {{case}}
  GET http://127.0.0.1:8783/api/pricing/quote?subtotal=1000&district=Dhaka&plus=false [200 OK, 511B, 20ms]
  1. edge-1000: discount 0
  √  edge-1000: delivery 60
…
  #  failure         detail
 1.  AssertionError  edge-1000: discount 0
     iteration: 1    expected 100 to deeply equal +0
                     inside "quote {{case}}"
 2.  AssertionError  free-2000: delivery 0
     iteration: 5    expected 60 to deeply equal +0
                     inside "quote {{case}}"

একটি ছোট অবাক করা জিনিস: request-এর নাম quote {{case}} রিপোর্টে হুবহু থেকে গেছে। URL আর test-এর নামে variable বসেছে, কিন্তু Newman item-এর নামে বসায়নি। তাই সারি চেনানোর তথ্য test-এর নামে রাখুন, যেমন এখানে রাখা হয়েছে।

CSV-র বদলে JSON ফাইলও দেওয়া যায় (-d data.json), যার ভেতরে object-এর একটি তালিকা, প্রতিটি object একটি iteration. JSON-এ সংখ্যা সংখ্যাই থাকে, true থাকে boolean, আর একটি সারির ভেতরে তালিকা বা nested object রাখা যায়, যেমন cart-এর কয়েকটি পণ্য। তাই সাধারণ টেবিলের জন্য CSV (Excel-এ খুলে product owner-ও পড়তে পারেন), আর জটিল input-এর জন্য JSON. একটি সতর্কতা: data ফাইলের একটি সারির test ব্যর্থ হলেও পরের iteration চলে, তাই একটি run-এ সব সীমার ফল একসাথে পাওয়া যায়; এটি সুবিধা, কিন্তু chain করা collection-এ data-driven run দিলে প্রতিটি iteration-এ login থেকে payment পর্যন্ত সব আবার চলে, যা ধীর আর data-কে জটিল করে।

Iteration-এর কৌশল ব্রাউজারে একটি শিক্ষণ মডেলে: CSV পড়া, প্রতিটি সারিকে একটি object বানানো, আর একটি নকল quote function (নেটওয়ার্ক নেই; শুধু coupon_ge ভুলটি বসানো)। “চালান” চাপুন:

// Teaching model of a data-driven run: one request, one CSV row per iteration
const csv = `case,subtotal,district,plus,discount,delivery
edge-1000,1000,Dhaka,false,0,60
edge-1001,1001,Dhaka,false,100,60
below-cap,2999,Dhaka,false,299,0
free-2000,2000,Dhaka,false,200,0
plus-outside,1999,Rajshahi,true,199,60`;
function quote(subtotal, district, plus) {     // stand-in for /api/pricing/quote
  const discount = subtotal >= 1000 ? Math.min(Math.floor(subtotal / 10), 300) : 0; // seeded: >=
  let delivery = district === "Dhaka" ? 60 : (plus ? 60 : 120);
  if (district === "Dhaka" && subtotal >= 2000) delivery = 0;
  return { discount, delivery };
}
const [head, ...lines] = csv.split("\n");
const keys = head.split(",");
let assertions = 0, failed = 0;
lines.forEach((line, i) => {
  const row = Object.fromEntries(line.split(",").map((v, k) => [keys[k], v]));
  const res = quote(Number(row.subtotal), row.district, row.plus === "true");
  for (const field of ["discount", "delivery"]) {
    assertions++;
    const ok = res[field] === Number(row[field]);   // CSV values are strings
    if (!ok) failed++;
    console.log(`iter ${i + 1} ${row.case} ${field}: ` +
      (ok ? "ok" : `FAIL expected ${row[field]}, got ${res[field]}`));
  }
});
console.log(`iterations: ${lines.length}, assertions: ${assertions}, failed: ${failed}`);

আসল আউটপুট:

iter 1 edge-1000 discount: FAIL expected 0, got 100
iter 1 edge-1000 delivery: ok
iter 2 edge-1001 discount: ok
iter 2 edge-1001 delivery: ok
iter 3 below-cap discount: ok
iter 3 below-cap delivery: ok
iter 4 free-2000 discount: ok
iter 4 free-2000 delivery: ok
iter 5 plus-outside discount: ok
iter 5 plus-outside delivery: ok
iterations: 5, assertions: 10, failed: 1

পাঁচ সারি, প্রতিটিতে দুটি assertion, মোট ১০; শুধু edge-1000-এর ছাড় লাল, কারণ মডেলে শুধু >=-এর ভুলটি বসানো, delivery-র নিয়ম ঠিক আছে। তাই free-2000 এখানে সবুজ, যদিও আসল app-এর দুই-ভুলের run-এ লাল ছিল। একটি পরীক্ষা নিজে করুন: Number(row[field])-এর জায়গায় শুধু row[field] লিখে চালান। সংখ্যা আর লেখার তুলনা ===-তে কখনো সমান হয় না, তাই সব assertion লাল হবে; Postman-এ eql-এর সাথে Number ভুলে গেলে ঠিক এটাই ঘটে।

৭ · CI-তে Newman আর JUnit রিপোর্ট

CI-র কাছে দুটি জিনিস দরকার: exit code (লাল না সবুজ) আর একটি রিপোর্ট ফাইল, যা CI-র পাতায় ব্যর্থ test-এর তালিকা দেখায়। Newman-এর ভেতরেই কয়েকটি reporter আছে: cli, json, junit আর progress; -r cli,junit লিখলে একসাথে দুটি। JUnit XML-এর গঠন আর tool-ভেদে গোনার পার্থক্য পর্ব ২৬-এ দেখেছেন। Newman-এর XML-এ একটি <testsuite> হয় প্রতিটি request-এর জন্য, আর একটি <testcase> প্রতিটি pm.test-এর জন্য। Checkout run-এর সত্যিকারের XML (id আর সময়ের ছাপ বাদ):

<testsuites name="bazarghar-api" tests="11" time="0.150">
  <testsuite name="00 reset test data" tests="1" failures="0" errors="0" time="0.066">
  …
  <testsuite name="05 quote for Dhaka" tests="3" failures="2" errors="0" time="0.005">
      <failure type="AssertionFailure" message="expected 60 to deeply equal +0">
      <failure type="AssertionFailure" message="expected 1860 to deeply equal 1800">
  …

ওপরের tests="11" আসলে request-এর সংখ্যা, assertion-এর নয়; ফাইলে <testcase> আছে ১৭টি। Data-driven run-এর XML আরও বিভ্রান্তিকর: ওপরে tests="6" (ছয়বার request), একটিমাত্র suite-এ tests="2" failures="2", অথচ ভেতরে ১২টি <testcase>, কারণ ছয়টি iteration একই suite-এ জমা হয়েছে। শিক্ষা: dashboard-এ “কতটি test” দেখানোর আগে attribute নয়, <testcase> আর <failure> নিজে গুনুন। Failure-এর ভেতরে collection-এর id আর request-এর নামও থাকে, যা খোঁজার সময় কাজে লাগে।

একটি CI job কেমন হতে পারে, GitHub Actions-এর ধাঁচে। এটি উদাহরণ, চালানো হয়নি; app চালু করার script প্রকল্পভেদে আলাদা:

name: api-tests
on: [push]
jobs:
  newman:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with: { node-version: 24 }
      - run: npm ci                       # exact newman version from the lock file
      - run: ./scripts/start-test-app.sh  # app in test mode on 127.0.0.1
      - run: >
          npx newman run collections/bazarghar-api.postman_collection.json
          -e env/ci.postman_environment.json
          --env-var "password=${{ secrets.QA_MITU_PASSWORD }}"
          -r cli,junit --reporter-junit-export results/newman.xml
      - uses: actions/upload-artifact@v4
        if: always()                      # keep the report even when tests fail
        with: { name: newman-junit, path: results/ }

তিনটি জিনিস লক্ষ করুন। npm ci lock ফাইল থেকে ঠিক একই Newman version বসায়। Password আসে CI-র secret store থেকে, আর CI সাধারণত log-এ সেই মান ঢেকে দেয়। if: always() না থাকলে test লাল হলে রিপোর্ট আপলোড হয় না, ঠিক যখন রিপোর্ট সবচেয়ে দরকার। CI-তে test pipeline-এর stage আর gate নিয়ে বিস্তারিত পর্ব ৬৪ (CI-তে test pipeline)-এ, আর রিপোর্ট ও metric পর্ব ৬৭-এ। কাজের আরও কয়েকটি Newman option: --bail (প্রথম ব্যর্থতায় থামা), --timeout-request (একটি request-এর সর্বোচ্চ সময়, মিলিসেকেন্ডে), --delay-request (request-এর মাঝে বিরতি), -n (iteration-এর সংখ্যা)।

আরও গভীরে: Postman-এর collection আসলে একটি executable specification, কিন্তু API-র আনুষ্ঠানিক বিবরণ থাকে OpenAPI ফাইলে। দুটি আলাদা থাকলে সময়ের সাথে সরে যায়: API-তে নতুন field আসে, collection জানে না। তাই অনেক দল OpenAPI থেকে collection-এর কাঠামো তৈরি করে, আর response-এর গঠন যাচাই করে JSON Schema দিয়ে (Postman-এর sandbox-এ pm.response.to.have.jsonSchema আছে)। গঠন-যাচাই আর code-এ API test পর্ব ৩১ (Code দিয়ে API testing)-এ, আর service-এর মধ্যে চুক্তি যাচাই পর্ব ৩২ (Contract testing)-এ। বড় দলে একটি বড় collection-এর বদলে ছোট ছোট, নিজস্ব data-যুক্ত collection রক্ষণাবেক্ষণে সহজ।

৮ · Secret বাইরে রাখা, আর বিকল্প tool

API test-এ password, token, API key লাগে। সবচেয়ে সাধারণ ভুল: সেগুলো collection বা environment ফাইলে রেখে Git-এ push করা, বা Postman-এর cloud workspace-কে public করে ফেলা। ২০২৪ সালের শেষে একটি নিরাপত্তা গবেষণা প্রতিষ্ঠানের রিপোর্টে বলা হয়, Postman-এর public workspace থেকে বহু সক্রিয় API key আর token পাওয়া গেছে; Postman-এর নিজেরও public workspace-এ secret খোঁজার ব্যবস্থা আছে (সংখ্যা সূত্রভেদে আলাদা, তাই এখানে দেওয়া হলো না)। নিয়ম সহজ: ফাইলে নাম, মান বাইরে।

  • Environment ফাইলে secret-এর মান খালি বা {{…}}; আসল মান --env-var দিয়ে, CI-তে secret store থেকে।
  • Header-এ token কখনো হাতে লেখা নয়; সবসময় Bearer {{token}}, আর token আসে login থেকে।
  • Postman GUI-তে export করার সময় environment-এর বর্তমান মান (current value) সহ export হচ্ছে কি না দেখুন।
  • Test account আলাদা আর নকল: mitu@bazarghar.test-এর মতো, যার password ফাঁস হলেও ক্ষতি নেই; আসল গ্রাহকের তথ্য test data-য় নয়।
  • Collection-স্তরের পাহারা: ভুল পরিবেশে (production) reset বা লেখার request যেন চলতেই না পারে।

Password ছাড়া চালালে কী হয়, সত্যিকারের run (--bail-সহ, অর্থাৎ প্রথম ব্যর্থ request-এর পরে থামা):

→ 01 login
  POST http://127.0.0.1:8783/api/auth/login [401 Unauthorized, 575B, 7ms]
  1. status 200
  2. bearer token returned
  3⠄ AssertionFailure in test-script
…
 1.  AssertionError    status 200
                       expected response to have status code 200 but got 401
 2.  AssertionError    bearer token returned
                       expected undefined to deeply equal 'bearer'

৩ নম্বরটি আলাদা: test script-এর ভেতরের একটি assertion চূড়ান্তভাবে script-কে ব্যর্থ করেছে, আর --bail সেখানেই run থামিয়েছে। ভুলের উৎস একটিই, খালি password; বার্তা সেটি সরাসরি বলে না, কিন্তু 401 আর undefined দেখে বোঝা যায়। --bail ছাড়া একই run-এ (সত্যিকারের) ১৭টির মধ্যে ১৩টি assertion লাল হয়েছিল, সবগুলো এই একটি কারণে। Collection আর environment ফাইল commit করার আগে একটি ছোট পরীক্ষক চালানো যায়। নিচের Pyodide block একটি নকল collection আর environment-এ তিন ধরনের সমস্যা খোঁজে:

import json, re

environment = json.loads('''{"name": "local", "values": [
  {"key": "baseUrl", "value": "http://127.0.0.1:8783"},
  {"key": "email", "value": "mitu@bazarghar.test"},
  {"key": "password", "value": "mitu1234"},
  {"key": "apiToken", "value": "{{API_TOKEN}}"}]}''')
collection = json.loads('''{"item": [
  {"name": "01 login", "request": {"url": "{{baseUrl}}/api/auth/login"}},
  {"name": "03 add oil", "request": {"url": "{{baseUrl}}/api/cart/items",
    "header": [{"key": "Authorization", "value": "Bearer Xb3fakeToken42"}]}},
  {"name": "11 debug", "request": {"url": "http://staging.bazarghar.test/api/cart"}}]}''')

SECRET_NAME = re.compile(r"pass|token|secret|key", re.I)
findings = []
for v in environment["values"]:
    value = v["value"]
    if SECRET_NAME.search(v["key"]) and value and not value.startswith("{{"):
        findings.append(f"env '{v['key']}': real value stored in the file")
for item in collection["item"]:
    req = item["request"]
    for h in req.get("header", []):
        if h["key"].lower() == "authorization" and "{{" not in h["value"]:
            findings.append(f"{item['name']}: literal Authorization header")
    if not req["url"].startswith("{{baseUrl}}"):
        findings.append(f"{item['name']}: hard-coded host in URL")

for f in findings:
    print("FINDING", f)
print(f"{len(findings)} finding(s); exit code {1 if findings else 0}")

আসল আউটপুট:

FINDING env 'password': real value stored in the file
FINDING 03 add oil: literal Authorization header
FINDING 11 debug: hard-coded host in URL
3 finding(s); exit code 1

তিনটি সমস্যা: environment-এ password-এর আসল মান, একটি request-এ হাতে লেখা token, আর একটি request-এ সরাসরি লেখা host, যা environment বদলালেও বদলাবে না। apiToken ধরা পড়েনি, কারণ তার মান {{API_TOKEN}}, অর্থাৎ শুধু নাম; এটিই সঠিক রূপ। এমন পরীক্ষক commit-এর আগের hook-এ বা CI-র প্রথম ধাপে চালানো যায়। এটি শুধু নামের ধরন দেখে, তাই "pin": "4321"-এর মতো অন্য নামের secret ধরবে না; বাস্তবে এর সাথে gitleaks-এর মতো secret scanning tool-ও চালানো হয়।

বিকল্প tool — নাম আর লাইসেন্স

Toolলাইসেন্সযা আলাদা
Postman appবাণিজ্যিক (proprietary)Cloud workspace, দলের মধ্যে ভাগ, GUI-তে সব সুবিধা; নতুন version-এ বেশিরভাগ কাজে account লাগে
NewmanApache-2.0Collection-কে command line আর CI-তে চালানো
BrunoMITOffline, collection থাকে সাধারণ লেখার ফাইলে (Git-এ রাখার উপযোগী); নিজস্ব CLI
Insomnia (Kong)Apache-2.0Desktop API client, নিজস্ব CLI inso
HoppscotchMITBrowser-ভিত্তিক, নিজের সার্ভারে বসানো যায়

কখন Postman-ধাঁচের collection ভালো পছন্দ? যখন দলে manual tester বেশি, API নতুন আর প্রায়ই বদলায়, অন্য দলের সাথে উদাহরণসহ API ভাগ করতে হয়, বা দ্রুত একটি smoke suite দরকার যা deploy-এর পরে চলে। কখন নয়? যখন test-এর data জটিল (অনেক ধরনের ব্যবহারকারী, অবস্থা আর সময়), যখন একই যাচাই শতাধিক জায়গায় দরকার আর helper function ছাড়া কপি বাড়ে, বা যখন test-কে app-এর code-এর পাশে একই review-তে রাখা জরুরি। তখন code-এ লেখা test রক্ষণাবেক্ষণে সহজ।

Tool বাছাইয়ের প্রশ্ন ধারণার প্রশ্ন নয়: collection, environment, variable, script আর CLI runner প্রায় সবখানে একই রকম। দলের জন্য আসল প্রশ্ন: collection কোথায় থাকবে (cloud না Git), review কীভাবে হবে, আর CI-তে কোন CLI চলবে। পুরোপুরি code-এ API test লেখার পথ (pytest আর httpx) পর্ব ৩১-এ; সেখানে fixture, parametrize আর JSON Schema নিয়ে আরও শক্ত কাঠামো পাবেন।

পরীক্ষা ও ইন্টারভিউতে:

  • Collection আর environment-এর পার্থক্য? Collection-এ request আর script; environment-এ variable-এর মান। একই collection ভিন্ন environment-এ চলে।
  • দুই request-এর মধ্যে token কীভাবে নেবেন? প্রথমটির test script-এ pm.collectionVariables.set, পরেরটির header-এ {{token}}.
  • Variable-এর scope-এ কোনটি জেতে? সবচেয়ে সংকীর্ণটি: local > data > environment > collection > global.
  • Newman কী, CI কীভাবে ফল বোঝে? Collection চালানোর CLI; assertion ব্যর্থ হলে exit code 1, আর JUnit XML রিপোর্ট।
  • Data-driven run কীভাবে? -d file.csv; প্রতিটি সারি একটি iteration, মান পড়া হয় pm.iterationData বা {{কলাম}} দিয়ে।

৯ · AI-এর যুগে — Postman test লেখাতে AI

“এই endpoint-এর জন্য Postman test লিখে দাও” বললে AI সহকারী কয়েক সেকেন্ডে script দেয়। কিন্তু চেনা ভুলগুলো এখানেও আসে: শুধু 200 আর happy path; কোডের বর্তমান উত্তর দেখে expected বানানো (ভুল থাকা app থেকে delivery: 60 দেখে সেটিকেই সঠিক ধরা); না-থাকা field বা পুরোনো tests["…"] ধাঁচ মেশানো; matcher ছাড়া pm.expect(x); setTimeout দিয়ে অপেক্ষা; token বা password সরাসরি script-এ; আর না চালিয়েই “সব test পাস” দাবি। নিয়ম থেকে expected মান, আর চালিয়ে যাচাই, এই দুটিই প্রতিরক্ষা।

AI-কে নিয়ম, endpoint আর সীমা দিন; কী চাই আর কী চাই না, বেঁধে দিন:

তুমি একজন অভিজ্ঞ API tester. বাজারঘরের GET /api/pricing/quote?subtotal=&district=&plus= endpoint-এর জন্য Postman test script আর একটি CSV লিখবে। নিয়ম: product total ১০০০ টাকার বেশি হলে ১০% ছাড়, floor, সর্বোচ্চ ৩০০. Delivery: Dhaka ৬০, ছাড়ের আগের অঙ্ক ২০০০ বা বেশি হলে ০; অন্য district ১২০, Plus সদস্য ৬০. শর্ত: ১. expected মান শুধু এই নিয়ম থেকে হিসাব করবে, কোনো app-এর উত্তর থেকে নয়। ২. CSV-তে প্রতিটি সীমার দুই পাশ থাকবে (১০০০/১০০১, ১৯৯৯/২০০০, ৩০০৯/৩০১০), আর প্রতিটি সারির একটি case নাম। ৩. শুধু pm.test আর pm.expect(...).to.eql(...); CSV-র মান Number() দিয়ে রূপান্তর; test-এর নামে case. ৪. কোনো token, password বা host সরাসরি লিখবে না; host শুধু {{baseUrl}}. ৫. তুমি run করোনি, তাই "সব পাস" লিখবে না; বরং বলো কোন সারি >= 1000-এর ভুল ধরবে।

AI-এর লেখা collection হাতে পেলে — চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।

প্র ০১GUI-তে তৈরি API test কি “আসল” automation? Postman collection আর code-এ লেখা test-এর তুলনা করুন।

অনেক দলে একটি পুরোনো তর্ক আছে: Postman দিয়ে test মানে manual tester-এর খেলনা, আসল automation মানে code. এই পর্বের অভিজ্ঞতা অন্য কথা বলে। Collection একটি JSON ফাইল, Git-এ থাকে, Newman তাকে CI-তে চালায়, ব্যর্থ হলে exit code 1 আর JUnit XML দেয়। Automation-এর সংজ্ঞা যদি হয় “মানুষ ছাড়া বারবার একই যাচাই, ফল যন্ত্রে পড়ার মতো”, তবে collection পুরোপুরি automation.

পার্থক্য অন্য জায়গায়। প্রথমত, পুনর্ব্যবহার: code-এ একটি helper function লিখে একশো test-এ ডাকা যায়; Postman-এ collection-স্তরের script আর package library-র মতো কিছু ব্যবস্থা আছে, কিন্তু বড় হলে script কপি হতে থাকে। দ্বিতীয়ত, review: JSON-এর ভেতরে string-এর তালিকা হিসেবে লেখা script-এর diff পড়া কষ্টকর, ফলে pull request-এ ভুল চোখ এড়ায়। Bruno-র মতো tool এই কারণেই সাধারণ লেখার ফাইলে collection রাখে। তৃতীয়ত, data আর fixture: pytest-এর fixture বা factory-র মতো শক্তিশালী ব্যবস্থা Postman-এ নেই; reset request আর CSV দিয়ে কাজ চলে, কিন্তু জটিল অবস্থা তৈরি কঠিন।

আবার Postman-এর সুবিধাও বাস্তব। একজন manual tester, যিনি এখনো Python জানেন না, প্রথম দিনেই API ঘুরে দেখতে আর test লিখতে পারেন; GUI-তে উত্তর দেখে assertion লেখা সহজ। Developer, tester আর product owner একই collection দেখে একই ভাষায় কথা বলেন। অনেক দল তাই দুটিই রাখে: অন্বেষণ, smoke আর অন্য দলের সাথে ভাগ করার জন্য collection; নিয়মের গভীর test আর জটিল data-র জন্য code (পর্ব ৩১)।

মূল উপলব্ধি: Automation-এর মান tool দিয়ে নয়, তিনটি প্রশ্নে মাপুন: নিজে নিজে চলে কি না, ব্যর্থতা যন্ত্র বোঝে কি না, আর পরিবর্তন review করা যায় কি না। Collection প্রথম দুটিতে ভালো, তৃতীয়টিতে দুর্বল।

প্র ০২Request chaining সুবিধাজনক, কিন্তু test-এর স্বাধীনতা নষ্ট করে। কখন chain রাখবেন, কখন ভাঙবেন?

পর্ব ২২-এর একটি মূলনীতি: প্রতিটি test নিজে নিজে, যেকোনো ক্রমে চলতে পারা উচিত। Chain করা collection এই নিয়ম সরাসরি ভাঙে: order-এর request জানে না token কোথা থেকে আসবে, যদি login আগে না চলে। এই পর্বের সত্যিকারের run-এ password না দিলে login 401 দিয়েছে; --bail ছাড়া একই run-এ ১৭টি assertion-এর ১৩টি লাল, এমনকি “অন্য গ্রাহকের order 404” test-ও, কারণ token ছাড়া সেটি 401 পেয়েছে। CI-র পাতায় তেরোটি লাল দেখে কেউ ভাবতে পারেন cart, order, payment সব ভেঙেছে, অথচ কারণ একটিই।

তবু chain-এর একটি বৈধ জায়গা আছে। ব্যবসার প্রবাহ নিজেই একটি ক্রম: login ছাড়া cart নেই, order ছাড়া payment নেই। Checkout-এর পুরো পথ একবার, শুরু থেকে শেষ পর্যন্ত, যাচাই করা দরকার; এটি একটি scenario test (পর্ব ১২)। সেখানে ক্রম test-এর অংশ, দুর্বলতা নয়।

যুক্তিসঙ্গত বিভাজন তাই এমন: (১) এক-দুটি প্রবাহ-collection, যেখানে chain ইচ্ছাকৃত, শুরুতে reset, আর --bail; (২) অনেক নিয়ম-collection, যেখানে প্রতিটি request স্বাধীন, যেমন §৬-এর quote, যা login-ই চায় না; (৩) যেখানে login লাগেই, সেখানে প্রতিটি folder-এর শুরুতে নিজের login, বা collection-স্তরের pre-request script-এ token না থাকলে pm.sendRequest দিয়ে আনিয়ে নেওয়া। তৃতীয় উপায়ে ক্রম-নির্ভরতা কমে, কিন্তু script জটিল হয়, তাই দলের সবাই যেন বোঝেন।

আরেকটি ঝুঁকি: ভাগ করা data. Chain-এর মাঝপথে order ৮ তৈরি হলো; অন্য কেউ একই test server-এ একসাথে চালালে তাঁর order হয়তো ৯, আর reset-এ দুজনের data মুছে যায়। তাই প্রতিটি CI job-এর নিজের app আর database থাকা ভালো, যেমন এই মডিউলে প্রতিটি পর্বের নিজস্ব port আর database ফাইল।

মূল উপলব্ধি: Chain রাখুন শুধু যেখানে ক্রমটাই যাচাইয়ের বিষয়; বাকি সব test স্বাধীন রাখুন, যাতে একটি ব্যর্থতা একটিই লাল দাগ দেয়।

প্র ০৩“ফাইলে নাম, মান বাইরে” — API collection-এ secret ফাঁস কেন এত সাধারণ, আর প্রতিরোধ কীভাবে?

API client-এর কাজের ধরনই ঝুঁকি তৈরি করে। একজন developer debug করতে গিয়ে production-এর token কপি করে header-এ বসালেন, কাজ হলো, তারপর ভুলে গেলেন। পরে collection export করে দলের সাথে ভাগ করলেন, বা cloud workspace public করলেন অন্য দলকে দেখাতে। Token তখন সবার হাতে। ২০২৪ সালের শেষে একটি নিরাপত্তা গবেষণা প্রতিষ্ঠান Postman-এর public workspace ঘেঁটে বহু সক্রিয় key আর token পাওয়ার কথা জানায়, যার মধ্যে বড় প্রতিষ্ঠানের নমুনাও ছিল বলে রিপোর্টে বলা হয়। একই ধরনের ঘটনা আগেও GitHub-এর public repository-তে বারবার ঘটেছে।

প্রতিরোধের তিনটি স্তর। প্রথমত, নকশায়: collection-এ কখনো মান নয়, শুধু {{নাম}}; token আসে login থেকে, password আসে run-এর সময়। এই পর্বের environment ফাইলে password খালি, আর CI-র উদাহরণে মান আসে secret store থেকে। দ্বিতীয়ত, যন্ত্রে পরীক্ষা: commit-এর আগে আর CI-তে secret scanning, যেমন এই পর্বের ছোট পরীক্ষক বা gitleaks-এর মতো tool; Postman নিজেও public workspace-এ secret খোঁজার ব্যবস্থা রেখেছে। তৃতীয়ত, ক্ষতি সীমিত রাখা: test-এর জন্য আলাদা নকল account, কম অধিকারসহ token, অল্প মেয়াদ, আর ফাঁস হলে সাথে সাথে বাতিল (rotation).

Tester-এর দায়িত্বও আছে। Bug report-এ (পর্ব ১৮) Newman-এর আউটপুট বা HAR ফাইল জুড়লে তাতে token বা cookie থাকতে পারে; ভাগ করার আগে মুছে ফেলুন। JUnit XML-এ hostname থাকে কি না, সেটিও দেখুন। আর কখনো production-এর আসল account দিয়ে test data বানাবেন না।

মূল উপলব্ধি: Secret ফাঁস সাধারণত অসাবধান মুহূর্তের ফল, তাই প্রতিরোধও হতে হবে অভ্যাসে আর যন্ত্রে: ফাইলে শুধু নাম, স্বয়ংক্রিয় পরীক্ষা, আর ক্ষতি সীমিত রাখার নকশা।

প্র ০৪Checkout flow-এর collection coupon_ge ধরতে পারেনি, CSV-র এক সারি পেরেছে। API test-এর নকশা নিয়ে এ থেকে কী শিখবেন?

সত্যিকারের run-এ দুটি বসানো ভুল চালু ছিল। Checkout-এর ১৭টি assertion-এর মধ্যে ২টি লাল, দুটিই delivery-র ভুল থেকে; coupon-এর ভুল একেবারে চুপ। কারণ সহজ: flow-এর cart ২০০০ টাকার, আর >= বনাম >-এর পার্থক্য শুধু ঠিক ১০০০ টাকায় দেখা যায়। CSV-র edge-1000 সারি ঠিক সেই বিন্দুতে বসানো, তাই ধরেছে। অর্থাৎ একটি API test-এর শক্তি নির্ভর করে input-এর বাছাইয়ের ওপর, tool-এর ওপর নয়।

এখান থেকে তিনটি নকশার শিক্ষা। প্রথমত, প্রবাহের test আর নিয়মের test আলাদা কাজ করে। প্রবাহ দেখে সব অংশ জোড়া লাগে কি না (token, order, payment, idempotency); নিয়ম দেখে প্রতিটি সীমা। একটি দিয়ে আরেকটির কাজ হয় না। দ্বিতীয়ত, test design-এর কৌশল (partition, boundary, decision table) API-তেও হুবহু খাটে; Postman শুধু বাহন। মডিউল ২-এ যে সীমাগুলো কাগজে বের করেছেন, CSV-তে সেগুলোই সারি। তৃতীয়ত, সবুজ suite-এর ওপর ভরসা করার আগে ইচ্ছা করে ভুল বসিয়ে দেখুন (mutation-এর ধারণা, পর্ব ৫৯-এ বিস্তারিত)। এই app-এর bug switch ঠিক সেই কাজের জন্য: প্রতিটি switch চালু করে দেখা যায় কোন collection কোন ভুল ধরে, আর কোনটি কেউ ধরে না।

লক্ষ করুন, below-cap আর cap-3000 দুটি ভুলের কোনোটিই ধরেনি, কারণ ছাড়ের পরেও অঙ্ক ২০০০-এর ওপরে। এরা অন্য ভুল ধরার জন্য (floor বনাম round, cap) দরকারি; প্রতিটি সারির একটি উদ্দেশ্য থাকা উচিত, আর case-এর নামে সেই উদ্দেশ্য লেখা থাকলে review সহজ।

মূল উপলব্ধি: API tool অনুরোধ পাঠায়, ভুল ধরে test design. সুখী পথ জোড়া যাচাই করে, সীমার সারি নিয়ম যাচাই করে; দুটিই লাগে, আর বসানো ভুল দিয়ে মাপুন কোনটি কী ধরে।

প্র ০৫Postman, Insomnia আর Bruno-র ইতিহাস থেকে tool-নির্ভরতা নিয়ে একটি QA দল কী শিখতে পারে?

API client-এর জগতে গত কয়েক বছরে কয়েকটি ঘটনা দলগুলোকে ভাবিয়েছে। Postman ক্রমে cloud-কেন্দ্রিক হয়েছে; ২০২৩ সালে offline “Scratch Pad” সুবিধা তুলে নেওয়ার ঘোষণা আসে, ফলে বেশিরভাগ কাজে account আর sync লাগে। একই বছর Insomnia (২০১৯ সাল থেকে Kong-এর মালিকানায়) একটি update-এ account বাধ্যতামূলক করলে ব্যবহারকারীদের তীব্র প্রতিক্রিয়া আসে, পরে local ব্যবহারের পথ আবার যোগ হয় (বিস্তারিত সূত্রভেদে আলাদা)। এই সময়েই Bruno জনপ্রিয় হয়, যার মূল প্রতিশ্রুতি: offline, collection সাধারণ লেখার ফাইলে, Git-এ রাখার জন্য।

QA দলের জন্য শিক্ষা হলো, test-এর সম্পদ কার নিয়ন্ত্রণে আছে, সেটি একটি ঝুঁকি। যদি সব collection একটি কোম্পানির cloud-এ থাকে, তবে নীতি বদলালে, দাম বদলালে, বা কোনো দেশে সেবা সীমিত হলে কাজ আটকে যেতে পারে। নিরাপত্তা বা গ্রাহকের তথ্যের নিয়মের কারণে অনেক প্রতিষ্ঠান test data বাইরের cloud-এ রাখতেই পারে না।

তাই কয়েকটি অভ্যাস কাজে লাগে। Collection-এর মূল কপি Git-এ, খোলা ফরম্যাটে (Postman-এর v2.1 JSON-ও খোলা ফরম্যাট, আর Newman open source). CI চলে open source CLI দিয়ে, কোনো account ছাড়া, যেমন এই পর্বের প্রতিটি run. Test design (কোন সারি, কোন সীমা) tool-নিরপেক্ষ দলিলে, যাতে tool বদলালেও জ্ঞান না হারায়। আর মাঝে মাঝে মহড়া: একটি ছোট collection অন্য tool-এ import করে দেখা, রূপান্তর কতটা কষ্টের। Bruno আর Insomnia দুটোই Postman collection import করতে পারে।

মূল উপলব্ধি: Tool বদলায়, test-এর জ্ঞান থাকা উচিত। খোলা ফরম্যাটে, নিজের Git-এ, open source runner দিয়ে চালানো collection যেকোনো tool-বিপর্যয়ে টিকে যায়।

অনুশীলন

উত্তর দেখার আগে কাগজে নিজে করুন। সব সংখ্যা আর আউটপুট সত্যিকারের run থেকে।

  1. Spec থেকে CSV: বাজারঘরের delivery নিয়ম: ঢাকায় ৬০ টাকা, ছাড়ের আগের অঙ্ক ২০০০ বা বেশি হলে ০; বাইরে ১২০, Plus সদস্য ৬০ (ঢাকায় Plus হলেও সাধারণ ঢাকার নিয়ম)। /api/pricing/quote-এর জন্য ছয় সারির একটি CSV লিখুন (case,subtotal,district,plus,delivery), যাতে ২০০০-এর সীমার দুই পাশ, বাইরের দুই partition আর ঢাকার Plus আছে। কোন সারি delivery_after_discount ধরবে?
    case,subtotal,district,plus,delivery
    dhaka-1999,1999,Dhaka,false,60
    dhaka-2000-free,2000,Dhaka,false,0
    dhaka-plus-1999,1999,Dhaka,true,60
    outside-5000,5000,Khulna,false,120
    outside-plus,500,Khulna,true,60
    dhaka-2200-free,2200,Dhaka,false,0

    প্রথম দুটি সীমার দুই পাশ; তৃতীয়টি দেখায় ঢাকায় Plus কিছু বদলায় না; চতুর্থটি “বাইরেও বড় অর্ডারে ফ্রি” ধরনের ভুল ধরে; পঞ্চমটি বাইরের Plus. সত্যিকারের app-এ (ভুল ছাড়া) ছয় সারির quote মিলিয়ে দেখা হয়েছে: delivery যথাক্রমে ৬০, ০, ৬০, ১২০, ৬০, ০. delivery_after_discount ধরবে dhaka-2000-free (ছাড়ের পরে ১৮০০ → ৬০) আর dhaka-2200-free (ছাড় ২২০, পরে ১৯৮০ → ৬০)। ভুল চালু রেখে সত্যিকারের quote-এ ২২২১ টাকায় তখনো ৬০, কিন্তু ২২২২ থেকে ছাড়ের পরেও অঙ্ক ২০০০ ছোঁয় (২২২২ − ২২২ = ২০০০), তাই ৩০০০-এর মতো বড় অঙ্কে ভুল লুকিয়ে যায়।

  2. আউটপুট পড়ে বলুন: একটি Newman run-এর শেষে: requests 11 · test-scripts 11 · prerequest-scripts 12 · assertions 17, failed 2, আর failure টেবিলে expected 60 to deeply equal +0 … at assertion:1 in test-script inside "05 quote for Dhaka". (ক) App delivery কত দিয়েছে, test কত চেয়েছিল? (খ) assertion:1 মানে কী? (গ) ১২টি pre-request script কোথা থেকে, যদি collection-স্তরে একটি আর একটি request-এ নিজের একটি থাকে? (ঘ) Newman-এর exit code কত?

    (ক) App দিয়েছে ৬০, চাওয়া ছিল ০; Chai-এর বার্তায় আগে actual, আর শূন্য দেখায় +0. (খ) ওই script-এর দ্বিতীয় assertion, কারণ গোনা শুরু ০ থেকে। (গ) Collection-স্তরের script প্রতিটি request-এর আগে, ১১ বার, আর payment request-এর নিজের script ১ বার: ১২. (ঘ) 1, কারণ অন্তত একটি assertion ব্যর্থ। এই পর্বের সত্যিকারের run-এ ঠিক এই সংখ্যাগুলোই এসেছে।

  3. Test-এ ভুল খুঁজুন: একজন সহকর্মী CSV-চালিত coupon test লিখলেন, আর বললেন “ছয়টি iteration, সব সবুজ, অথচ app-এ coupon_ge চালু।” তিনটি সমস্যা খুঁজুন।
    // quote · test   (Authorization: Bearer eyJhbGciOi...real-token)
    const q = pm.response.json();
    pm.test("discount", () => {
      pm.expect(q.discount == pm.iterationData.get("discount"));
    });
    pm.test("status", () => pm.response.to.have.status(200));

    (১) pm.expect(…)-এ matcher নেই; ভেতরের তুলনা false হলেও কিছু যাচাই হয় না, তাই সবসময় সবুজ। লিখুন pm.expect(q.discount).to.eql(Number(pm.iterationData.get("discount"))); এই পর্বের ব্রাউজার-মডেলেও matcher-হীন test ভুল থাকা অবস্থায় সবুজ ছিল। (২) Test-এর নাম শুধু “discount”, সারির case নেই; লাল হলেও রিপোর্টে বোঝা যাবে না কোন সারি, আর request-এর নামে variable বসে না। (৩) Header-এ আসল token হাতে লেখা: secret ফাঁস, আর token-এর মেয়াদ গেলে সব test 401. লিখুন Bearer {{token}}, বা endpoint login না চাইলে header-ই বাদ। শিক্ষা: “ভুল চালু থাকা অবস্থায় সব সবুজ” মানে test-ই ভুল।

  4. Bug report-এ ভুল খুঁজুন: Newman-এর লাল run দেখে লেখা একটি রিপোর্ট: “শিরোনাম: API কাজ করছে না। ধাপ: collection চালান। প্রত্যাশা: সব সবুজ। পাওয়া: ২টি লাল। পরিবেশ: আমার ল্যাপটপ। সংযুক্তি: পুরো Newman আউটপুট, environment ফাইলসহ।” কী কী বদলাবেন?

    শিরোনাম নির্দিষ্ট করুন: “ঢাকায় ২০০০ টাকার cart-এ delivery ৬০ টাকা, প্রত্যাশা ০ (ছাড়ের পরের অঙ্কে সীমা মাপা হচ্ছে)”। ধাপে সঠিক command, collection-এর নাম আর request (05 quote for Dhaka), cart-এর পণ্য (২ তেল, ২ আটা)। প্রত্যাশা নিয়ম থেকে লিখুন: delivery ০, total ১৮০০; পাওয়া: ৬০ আর ১৮৬০. পরিবেশে app-এর version, test mode, আর app-এর build বা commit. সবচেয়ে জরুরি: সংযুক্তির environment ফাইলে password বা token থাকলে সরান, আর আউটপুটে token থাকলে মুছে দিন। ছোট পুনরুৎপাদন যোগ করুন: GET /api/pricing/quote?subtotal=2000&district=Dhaka-এর উত্তর, যা login ছাড়াই ভুলটি দেখায়। কাঠামো পর্ব ১৮ অনুযায়ী।

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমএকটি API test collection তৈরি থেকে CI-তে চালানো পর্যন্ত ধাপগুলো সঠিক ক্রমে সাজান (▲▼ চেপে সরান)

  1. নিয়ম থেকে test-এর সারি আর expected মান ঠিক করা
  2. Request লেখা, host আর token শুধু {{variable}} দিয়ে
  3. প্রতিটি request-এ pm.test আর pm.expect দিয়ে assertion
  4. Environment ফাইল বানানো, secret-এর মান খালি রেখে
  5. Newman-এ --env-var দিয়ে secret আর -r cli,junit দিয়ে চালানো
  6. CI-তে exit code আর JUnit XML দেখে লাল-সবুজ ঠিক করা

Postman-এ baseUrl নামের variable environment-এ http://127.0.0.1:8783 আর একটি CSV data ফাইলের কলামে http://127.0.0.1:9000. Data-driven run-এ request কোন মান পাবে?

  • http://127.0.0.1:8783, environment সবসময় জেতে
  • http://127.0.0.1:9000, data-র মান
  • Run ত্রুটি দিয়ে থেমে যাবে
  • দুটি মান জোড়া লেগে যাবে

একটি login request-এর token পরের request-গুলোতে ব্যবহার করতে Postman-এ সাধারণত কী করা হয়?

  • Token কপি করে প্রতিটি request-এর header-এ লিখে রাখা
  • Token environment ফাইলে স্থায়ীভাবে লিখে রাখা
  • Login-এর pre-request script-এ token পড়া
  • Login-এর test script-এ variable-এ রাখা, পরের header-এ Bearer {{token}}

একটি test script-এ লেখা pm.test("free delivery", () => pm.expect(json.delivery === 0));, আর app delivery ৬০ দিচ্ছে। ফল কী?

  • Test পাস করবে, কারণ কোনো matcher নেই
  • Test ব্যর্থ হবে: expected false to be true
  • Script syntax error দেবে
  • Postman সতর্ক করবে যে matcher নেই

CI-তে Newman চালানো হলো; দুটি assertion ব্যর্থ। CI job কীভাবে জানবে যে run লাল?

  • CI আউটপুটে “failed” শব্দ খোঁজে
  • JUnit XML না থাকলে CI জানতে পারে না
  • Newman শূন্য নয় এমন exit code (1) দিয়ে বের হয়
  • Newman CI-কে ই-মেইল পাঠায়

CSV-র কলামে discount = 100, আর test-এ লেখা pm.expect(json.discount).to.eql(pm.iterationData.get("discount")). App ঠিকভাবে সংখ্যা 100 দিল। ফল কী, কেন?

  • পাস, কারণ দুটোই 100
  • ব্যর্থ, কারণ CSV-র মান লেখা আর উত্তরের মান সংখ্যা
  • ব্যর্থ, কারণ pm.iterationData শুধু JSON ফাইলে চলে
  • শুধু প্রথম iteration ব্যর্থ, বাকিগুলো পাস

একটি দল Postman collection Git-এ রাখতে চায়। নিচের কোনটি secret রাখার সবচেয়ে ভালো উপায়?

  • Environment ফাইলে "type": "secret" দিয়ে আসল মান রাখা
  • মান base64 করে collection-এ রাখা
  • শুধু private repository-তে আসল মান রাখা
  • ফাইলে মান খালি, run-এর সময় --env-var দিয়ে CI-র secret store থেকে

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. দুটি ফাইল: collection-এ request আর script, environment-এ মান; host আর token সবসময় {{variable}}.
  2. Assertion: pm.test-এর ভেতরে pm.expect(actual).to.eql(expected); matcher ছাড়া expect কিছুই যাচাই করে না।
  3. Chaining: test script-এ pm.collectionVariables.set, পরের request-এ {{নাম}}; শুরুতে reset, প্রবাহ-collection-এ --bail.
  4. Data-driven: -d file.csv, প্রতি সারি একটি iteration, মান লেখা হিসেবে আসে তাই Number(); সীমার সারিই নিয়মের ভুল ধরে।
  5. CI: Newman-এর exit code 1 মানে লাল; -r cli,junit-এ রিপোর্ট; secret --env-var দিয়ে, ফাইলে কখনো নয়।

পরের পর্বে: একই বাজারঘরের API, এবার পুরোপুরি code-এ: pytest আর httpx দিয়ে client আর login-এর fixture, coupon আর delivery-র নিয়ম থেকে parametrize, 400 থেকে 422 পর্যন্ত negative test, আর app-এর OpenAPI থেকে নেওয়া JSON Schema দিয়ে উত্তরের গঠন যাচাই।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান