সরাসরি পর্বে যান
পর্ব ৪৫ · ৮২-এর মধ্যে · মডিউল ৭

Automation framework — data-driven, keyword-driven আর hybrid

Test Automation Frameworks: Data-Driven, Keyword-Driven and Hybrid

Taught in Bangla, this lesson defines a test automation framework as libraries, a runner, folder rules, config, test data and reports, tracing six generations from record and playback to hybrid. The same three checks run in three real forms: an 18-line linear script, a CSV-driven pytest suite and a Robot Framework 7.5.1 keyword suite. Switching only QA_ENV to staging lets both frameworks catch a 1000 taka limit bug that the linear script misses. It ends with why automation projects fail.

এই পর্বে যা শিখবেন

  • Test automation framework-এর অংশগুলো চেনা, আর library ও framework-এর পার্থক্য বোঝা
  • Linear, modular, data-driven, keyword-driven আর hybrid framework-এর সুবিধা-অসুবিধা তুলনা করা
  • CSV থেকে data-driven test আর Robot Framework-এ keyword suite লেখা ও চালানো
  • Config, test data, API client, page object, রিপোর্ট আর secret নিয়ে বাজারঘরের hybrid suite সাজানো
  • Framework বাছাই, নিজে বানানো বনাম তৈরি tool, আর automation প্রকল্প ব্যর্থ হওয়ার সাধারণ কারণ বিচার করা

১ · Framework মানে কী — কয়েকটি tool আর অনেকগুলো নিয়ম

বিয়েবাড়ির রান্নার কথা ভাবুন। একজন বাবুর্চি একা এক হাঁড়ি বিরিয়ানি রাঁধতে পারেন; তাঁর মাথায় সব আছে। কিন্তু পাঁচশো অতিথির জন্য দশজনের দল লাগলে শুধু ভালো হাঁড়ি-ডেকচি যথেষ্ট নয়। লাগে কে কোন কাজ করবে তার ভাগ, মশলার মাপের লেখা খাতা, কোন চুলায় কী, আর শেষে কে চেখে দেখবেন। হাঁড়ি-ডেকচি হলো tool; পুরো ব্যবস্থাটি হলো framework.

Test automation-এও তাই। Playwright, httpx বা pytest একেকটি tool. কিন্তু একটি দল যখন শত শত test লেখে, তখন কিছু প্রশ্নের উত্তর সবার জন্য একই হওয়া দরকার। Test কোন ফোল্ডারে থাকবে? URL আর পাসওয়ার্ড কোথা থেকে আসবে? Test data কোথায় থাকবে? লগইনের কোড কে কোথায় একবার লিখবে? ব্যর্থ হলে রিপোর্ট কোথায় যাবে? এই উত্তরগুলোর সাজানো রূপকেই বলে test automation framework.

মূল ধারণা

একটি automation framework-এর ছয়টি অংশ: (১) library, যা app চালায় (httpx, Playwright); (২) test runner, যা test খোঁজে, চালায়, ফল গোনে (pytest, Robot); (৩) নিয়ম ও কাঠামো: ফোল্ডার, নামকরণ, কোন কোড কোন স্তরে; (৪) config: কোন পরিবেশ, কোন URL, কত timeout; (৫) test data-র জায়গা; (৬) রিপোর্ট আর logging. শুধু tool থাকলে আছে কয়েকটি script; বাকি পাঁচটি থাকলে আছে framework.

Software-এর ভাষায় একটি পার্থক্যও মনে রাখুন। Library-কে আপনি ডাকেন; framework আপনাকে ডাকে। httpx একটি library: আপনার কোড client.post(…) ডাকে। pytest একটি framework: আপনি test_ দিয়ে শুরু হওয়া function লেখেন, আর pytest নিজে সেগুলো খুঁজে, fixture বসিয়ে ডাকে (পর্ব ২১)। আজ যখন দলগুলো “আমাদের framework” বলে, তারা সাধারণত বোঝায় pytest বা Robot-এর মতো একটি runner-এর ওপর বানানো নিজেদের স্তর: client, page object, config আর data-র নিয়ম।

পর্ব ৩৯-এ (Page Object Model) UI suite-এর স্তর সাজিয়েছিলেন: test → flow → page → driver. এই পর্বে প্রশ্ন বড়: test-এর ভাষা কী হবে (কোড, data-র সারি, না keyword-এর table), আর পুরো suite কীভাবে পরিবেশ, data আর রিপোর্টের সাথে জোড়া লাগবে। কাজ হবে হাতে-কলমে: একই তিনটি check তিনটি ভিন্ন ধরনে লিখে চালাব, লাইন গুনব, আর একটি বসানো ভুল কে ধরে দেখব।

২ · ছয় প্রজন্ম — record/playback থেকে hybrid

Automation framework-এর ইতিহাস আসলে একটি যন্ত্রণার পর আরেকটি যন্ত্রণা কমানোর গল্প। Mark Fewster আর Dorothy Graham-এর ১৯৯৯ সালের বই “Software Test Automation”-এ scripting-এর কয়েকটি ধাপ আলাদা করে দেখানো হয়েছিল (linear, structured, shared, data-driven, keyword-driven); আজকের বইপত্র আর ISTQB-এর syllabus-এ মোটামুটি একই ধারা পাওয়া যায়, নামে একটু হেরফের থাকে।

ধরনমূল ধারণাযে যন্ত্রণা কমায়নতুন যন্ত্রণা
Record/playbackহাতে করা ক্লিক রেকর্ড, পরে হুবহু চালানোকোড লিখতে না জানাUI একটু বদলালেই সব রেকর্ডিং বাতিল
Linear scriptএকটানা কোড, সব hard-codeরেকর্ডিং-এর ভঙ্গুরতা কিছুটাপ্রতিটি test-এ একই লগইন কপি
Modular / libraryবারবার লাগা কাজ function-একপি-পেস্টনতুন data-র জন্য নতুন test কোড
Data-drivenধাপ একবার, মান CSV/JSON থেকেএকই test-এর অনেক রূপশুধু data বদলায়, ধাপ নয়
Keyword-drivenTest = কাজের নামের tableধাপের ক্রম বদলাতেও কোড লাগাkeyword-এর লাইব্রেরি রক্ষণাবেক্ষণ
Hybridউপরের সব মিলিয়ে, স্তরে সাজানোএকক ধরনের সীমানকশার শৃঙ্খলা না থাকলে জট

Given-When-Then ভাষায় লেখা BDD-ধাঁচের test-কেও অনেকে এই তালিকার পরের ধাপ বলেন: সেখানে keyword-এর জায়গায় পুরো বাক্য, আর step definition হলো keyword-এর কোড। সেটি পর্ব ৪৩-এর (BDD আর Gherkin) বিষয়; এখানে শুধু মনে রাখুন, ভেতরের যন্ত্র একই। নিচের stepper-এ একটিমাত্র check, “১০০০ টাকার কার্টে কুপন ছাড় ০”, প্রতিটি প্রজন্মে কেমন দেখায় তা ধাপে ধাপে দেখুন।

1rec: click(3) click(7) read2post(login); post(3); post(7)3if q["discount"] == 0: PASS4shop.add_products(3, 7)5edge-1000,3+7,1000,06Discount Should Be    07CSV/table + keyword + client
এই প্রজন্মে
নতুন case
URL বদলালে
  1. Record/playback. Tester হাতে ক্লিক করেন, tool সেটি রেকর্ড করে। শুরু করা সবচেয়ে সহজ, কিন্তু নতুন case মানে আবার রেকর্ড, আর একটি বোতাম সরলেই রেকর্ডিং বাতিল।
  2. Linear script. একই কাজ কোডে, শুরু থেকে শেষ একটানা: লগইন, দুটি পণ্য, তারপর যাচাই (লাইন ২–৩)। নতুন case মানে পুরো ব্লক কপি করে কয়েকটি সংখ্যা বদলানো।
  3. Modular. লগইন আর কার্টে যোগ একটি function-এ গেল: shop.add_products(3, 7). নতুন case-এ দুই-তিন লাইন, আর URL বদলালে শুধু সেই function.
  4. Data-driven. ধাপ একবার লেখা; প্রতিটি case CSV-র একটি সারি: নাম, পণ্য, প্রত্যাশিত subtotal আর ছাড়। নতুন সীমা যোগ মানে এক সারি, কোনো কোড নয়।
  5. Keyword-driven. Test হলো কাজের নামের table: Discount Should Be 0. যিনি কোড লেখেন না, তিনিও keyword জুড়ে নতুন test বানাতে পারেন; keyword-এর পেছনের কোড বানান engineer.
  6. Hybrid. বাস্তবের suite: data আসে CSV বা table থেকে, ধাপ keyword বা function-এ, নিচে API client আর page object, আর পরিবেশ আসে config থেকে। এই পর্বের বাকিটা এই স্তরগুলোর।

Record/playback-এর ধারণা বহু পুরোনো, আর প্রতিটি নতুন প্রজন্মের tool-এ ফিরে আসে: ২০০০-এর দশকের মাঝামাঝি Firefox-এর extension হিসেবে Selenium IDE, আর আজ Playwright-এর codegen. পার্থক্য হলো, আধুনিক রেকর্ডার পড়ার যোগ্য কোড আর ভালো locator দেয়; ফলে রেকর্ডিং আজ মূলত একটি শুরু, যা পরে হাতে গুছিয়ে framework-এ বসানো হয়, শেষ ফল নয়।

৩ · Linear script — সত্যিকারের run আর তার সীমা

এই পর্বের সব সত্যিকারের run একটি Windows ডেস্কটপে, আলাদা scratch ফোল্ডারে: Python 3.12, uv দিয়ে বানানো virtual environment, httpx 0.28.1 (BSD-3-Clause), pytest 9.2.0 (MIT), Robot Framework 7.5.1 (Apache-2.0) আর RequestsLibrary 0.9.7 (MIT). বাজারঘরের app (MIT) নিজের কপি থেকে চলেছে 127.0.0.1:8813-এ, test mode-এ, নিজের database ফাইলে। কোনো বাইরের website ছোঁয়া হয়নি; path নিরপেক্ষ করা হয়েছে।

প্রথম রূপটি সবচেয়ে সরল, যেভাবে অনেকেই automation শুরু করেন: একটি ফাইল, ওপর থেকে নিচে।

import httpx

c = httpx.Client(base_url="http://127.0.0.1:8813", timeout=5)
c.post("/api/test/reset")

r = c.post("/api/auth/login",
           json={"email": "mitu@bazarghar.test", "password": "mitu1234"})
print("1 login     :", "PASS" if r.status_code == 200 else "FAIL", r.status_code)
c.headers["Authorization"] = "Bearer " + r.json()["access_token"]

c.post("/api/cart/items", json={"product_id": 3, "qty": 1})
r = c.post("/api/cart/items", json={"product_id": 9, "qty": 1})
cart = r.json()
ok = cart["count"] == 2 and cart["subtotal"] == 1001
print("2 add-to-cart:", "PASS" if ok else "FAIL", cart["count"], cart["subtotal"])

q = c.get("/api/cart/quote", params={"district": "Dhaka"}).json()
print("3 coupon    :", "PASS" if q["discount"] == 100 else "FAIL", q["discount"])

সত্যিকারের আউটপুট:

1 login     : PASS 200
2 add-to-cart: PASS 2 1001
3 coupon    : PASS 100

১৮ লাইন, তিনটি check, সব PASS. ছোট কাজের জন্য এটি একদম ঠিক আছে; একবারের যাচাই, একটি bug-এর পুনরুৎপাদন বা শেখার জন্য linear script খুব কাজের। সমস্যা শুরু হয় বড় হলে। গুনে দেখুন কী কী hard-code করা: URL আর port, ইমেইল, পাসওয়ার্ড, পণ্যের id, প্রত্যাশিত মান। এবার একটি পরীক্ষা: app-এর আরেকটি কপি চালানো হলো 127.0.0.1:8843-এ, যাকে আমরা “staging” বলব, আর তাতে বসানো ভুল coupon_ge চালু (ছাড়ের শর্ত > 1000-এর জায়গায় >= 1000). Linear script-কে সেখানে পাঠাতে হলো কোডের ভেতরে port বদলে। ফল:

1 login     : PASS 200
2 add-to-cart: PASS 2 1001
3 coupon    : PASS 100
exit=0

ভুল চালু থাকা সত্ত্বেও সব সবুজ, আর exit code 0. কারণ script কুপন যাচাই করে শুধু ১০০১ টাকায়, যেখানে ঠিক আর ভুল কোড একই উত্তর দেয়। ভুলটি দেখা যায় ঠিক ১০০০ টাকায় (পর্ব ০৮-এর boundary). আরেকটি সারি যোগ করতে হলে পুরো লগইন-কার্ট-quote ব্লক আবার কপি করতে হবে। Linear script-এর তিনটি মৌলিক সীমা তাই: পরিবেশ কোডে বাঁধা, data কোডে বাঁধা, আর secret কোডে লেখা। আর একটি সূক্ষ্ম সমস্যা: print দিয়ে “FAIL” লিখলেও প্রোগ্রাম exit code 0 দেয়, তাই CI কখনো লাল হতো না। Runner-ভিত্তিক framework এই কাজটি নিজেই করে।

৪ · Data-driven — ধাপ একবার, data অনেকবার

মোবাইল রিচার্জের দোকানের কথা ভাবুন। দোকানদারের হাতে একই প্রক্রিয়া: নম্বর তোলা, টাকা তোলা, পাঠানো। প্রতিটি গ্রাহকের জন্য প্রক্রিয়া নতুন করে শেখেন না; বদলায় শুধু খাতার সারি, কোন নম্বরে কত টাকা। Data-driven testing ঠিক এই ভাগ: কীভাবে যাচাই করব, তা কোডে একবার; কোন মান দিয়ে, তা একটি table-এ। Postman আর Newman-এ এই ধারণা CSV দিয়ে দেখেছিলেন পর্ব ৩০-এ, আর pytest-এর parametrize দিয়ে পর্ব ৩১-এ। এখানে প্রশ্ন framework-এর: data কোথায় থাকবে, কে লিখবে, আর ভুল হলে রিপোর্টে কোন সারি দেখা যাবে।

নিচের ব্লকটি এই পাতাতেই চলে। CSV লেখা আছে একটি string-এ, প্রতিটি সারি একটি test. কোডে একটি বসানো ভুল আছে: ঢাকায় ফ্রি ডেলিভারির ২০০০ টাকার সীমা দেখা হচ্ছে কুপন বাদ দেওয়ার পরে, অথচ নিয়ম বলে আগের দামে। “চালান” চাপুন; প্রথমবার ব্রাউজারে Pyodide নামতে কয়েক সেকেন্ড লাগে।

import csv, io

CASES = """case,subtotal,district,plus,discount,delivery
edge-1000,1000,Dhaka,no,0,60
just-above,1001,Dhaka,no,100,60
free-2000,2000,Dhaka,no,200,0
cap-3000,3000,Dhaka,no,300,0
outside,1500,Rajshahi,no,150,120
plus-outside,1500,Rajshahi,yes,150,60
"""

def quote(subtotal, district, plus):        # code under test
    discount = min(300, subtotal // 10) if subtotal > 1000 else 0
    if district == "Dhaka":                  # seeded defect: threshold
        free = subtotal - discount >= 2000   # checked AFTER the coupon
        delivery = 0 if free else 60
    else:
        delivery = 60 if plus else 120
    return discount, delivery

failed = rows = 0
for row in csv.DictReader(io.StringIO(CASES)):    # one row = one test
    got = quote(int(row["subtotal"]), row["district"], row["plus"] == "yes")
    want = (int(row["discount"]), int(row["delivery"]))
    rows += 1
    failed += got != want
    print(f"{row['case']:<13}{'PASS' if got == want else 'FAIL'}  want={want} got={got}")
print(f"{failed} failed of {rows} rows, 1 test function")

আসল আউটপুট:

edge-1000    PASS  want=(0, 60) got=(0, 60)
just-above   PASS  want=(100, 60) got=(100, 60)
free-2000    FAIL  want=(200, 0) got=(200, 60)
cap-3000     PASS  want=(300, 0) got=(300, 0)
outside      PASS  want=(150, 120) got=(150, 120)
plus-outside PASS  want=(150, 60) got=(150, 60)
1 failed of 6 rows, 1 test function

ছয়টি সারি, একটিই যাচাইয়ের কোড। ধরা পড়ল free-2000: ২০০০ টাকার অর্ডারে ছাড় ২০০, তারপর ১৮০০ দেখে কোড ভাবল ফ্রি ডেলিভারির সীমার নিচে, তাই ৬০ নিল। লক্ষ করুন, cap-3000 ধরা পড়েনি, কারণ ৩০০০ − ৩০০ = ২৭০০ তখনও ২০০০-এর ওপরে। সীমার ঠিক গায়ে বসানো সারিই এমন ভুল ধরে। এবার নিজে একটি সারি যোগ করুন, যেমন free-2200,2200,Dhaka,no,220,0; কোনো কোড না বদলে নতুন test চলবে (আর এটিও লাল হবে, কারণ ২২০০ − ২২০ = ১৯৮০)। প্রতিটি নাম রিপোর্টে আসে বলে কোন সারি ভাঙল, এক নজরে বোঝা যায়।

একই ধারণা সত্যিকারের framework-এ

Desktop-এ একই তিনটি check (লগইন, কার্টে যোগ, কুপন) এবার pytest-এ, আর কুপনের case আসে একটি CSV ফাইল থেকে। এবার সারিগুলো app-এর আসল পণ্য দিয়ে কার্ট বানায়: 3+7 মানে তেল ৮৮০ আর আটা ১২০, মোট ১০০০।

case,products,subtotal,discount
below-edge,3+8,999,0
edge-1000,3+7,1000,0
just-above,3+9,1001,100
cap-3000,3+3+3+7+7+7,3000,300
import pytest
from framework.settings import user
from framework.test_data import coupon_cases

CASES = list(coupon_cases())


def test_login(api):
    r = api.login(*user("mitu"))
    assert r.status_code == 200
    assert r.json()["user"]["name"] == "মিতু রহমান"


def test_add_to_cart(mitu):
    cart = mitu.add_products(3, 9)
    assert (cart["count"], cart["subtotal"]) == (2, 1001)


@pytest.mark.parametrize("case, ids, subtotal, discount", CASES,
                         ids=[c[0] for c in CASES])
def test_coupon(mitu, case, ids, subtotal, discount):
    cart = mitu.add_products(*ids)
    assert cart["subtotal"] == subtotal          # the data row is consistent
    assert mitu.quote()["discount"] == discount

Test-এ কোনো URL নেই, কোনো পাসওয়ার্ড নেই, কোনো JSON-এর গঠন নেই। api আর mitu দুটি fixture (পর্ব ২৩), যারা config পড়ে client বানায়, data reset করে, আর মিতুকে লগইন করায়। CSV-র প্রতিটি সারিতে প্রত্যাশিত subtotal-ও আছে; এটি data-র নিজের যাচাই: কেউ ভুল পণ্য লিখলে test সেখানেই থামবে, ভুল ছাড়ের দোষ app-কে দেবে না। সত্যিকারের run (মাথার path-এর লাইনগুলো বাদ):

QA_ENV=local http://127.0.0.1:8813
collecting ... collected 6 items

tests/test_shop.py::test_login PASSED                                    [ 16%]
tests/test_shop.py::test_add_to_cart PASSED                              [ 33%]
tests/test_shop.py::test_coupon[below-edge] PASSED                       [ 50%]
tests/test_shop.py::test_coupon[edge-1000] PASSED                        [ 66%]
tests/test_shop.py::test_coupon[just-above] PASSED                       [ 83%]
tests/test_shop.py::test_coupon[cap-3000] PASSED                         [100%]

============================== 6 passed in 0.68s ==============================

প্রথম লাইনটি আমাদের নিজেদের যোগ করা: conftest.py-এর একটি hook রিপোর্টের মাথায় লেখে কোন পরিবেশে চলছে। ব্যর্থ run-এর রিপোর্ট পড়ার সময় “কোথায় চালানো হয়েছিল” প্রশ্নটি সবার আগে আসে; তাই এটি রিপোর্টেই থাকুক।

Data-driven-এর ফাঁদ: CSV-তে সব মান string; "100" আর 100 আলাদা, তাই পড়ার জায়গায় একবার রূপান্তর করুন (এখানে test_data.py). আর এক test-এ খুব বেশি কলাম মানে কয়েকটি ভিন্ন আচরণ এক ছাঁচে ঢোকানো; তখন “expected_error”, “skip_if” ধাঁচের কলাম জন্মায় আর CSV নিজেই একটি প্রোগ্রামিং ভাষা হয়ে ওঠে। ভিন্ন আচরণ, ভিন্ন test.

৫ · Keyword-driven — কাজের নামের table

Data-driven-এ data বদলায়, ধাপ নয়। কিন্তু অনেক সময় বদলাতে হয় ধাপের ক্রম: এক test-এ লগইন, দুটি পণ্য, ছাড় দেখা; আরেকটিতে লগইন, পণ্য, একটি সরানো, তারপর ছাড়। Keyword-driven পদ্ধতিতে প্রতিটি কাজের একটি নাম থাকে, যাকে বলে keyword (যেমন Log In As, Add Products), আর test হলো এই keyword আর তাদের argument-এর একটি table. Keyword-এর পেছনের কোড লেখেন automation engineer; table সাজাতে পারেন একজন manual tester বা business analyst-ও।

রেস্তোরাঁর মেনুর মতো: “কাচ্চি, বোরহানি, ফিরনি” লিখলেই অর্ডার; প্রতিটি পদের রান্নার পদ্ধতি রান্নাঘরে লেখা থাকে। ধারণাটি নতুন নয়। ১৯৯০-এর দশকে Hans Buwalda “action word” নামে এই পদ্ধতি প্রচার করেন বলে সাধারণত উল্লেখ করা হয়, আর পরে ISO/IEC/IEEE 29119 সিরিজের পঞ্চম অংশ (২০১৬ সালের দিকে প্রকাশিত) keyword-driven testing-কে একটি মানদণ্ডের রূপ দেয়।

Keyword-driven framework-এর হৃদয় একটি ছোট interpreter: table-এর প্রতিটি সারি পড়ে, নাম দিয়ে keyword-এর function খোঁজে, argument দিয়ে ডাকে, আর কোনো keyword assertion-এ ব্যর্থ হলে সেই test থামায়। নিচে পুরো যন্ত্রটির একটি ক্ষুদ্র মডেল, একটি in-memory বাজারঘরের ওপর। একই keyword table চলে দুটি “পরিবেশে”: local (ঠিক কোড) আর staging (coupon_ge ভুল চালু):

PRICE = {3: 880, 7: 120, 8: 119, 9: 121}
class Shop:                                  # tiny in-memory বাজারঘর
    def __init__(self, bugs): self.bugs, self.user, self.cart = bugs, None, []
    def discount(self):
        s = sum(PRICE[p] for p in self.cart)
        over = s >= 1000 if "coupon_ge" in self.bugs else s > 1000
        return min(300, s // 10) if over else 0
def log_in(shop, email): shop.user = email
def add_products(shop, *ids): shop.cart += [int(i) for i in ids]
def discount_should_be(shop, want):
    got = shop.discount()
    if got != int(want): raise AssertionError(f"{got} != {want}")
KEYWORDS = {"Log In As": log_in, "Add Products": add_products,
            "Discount Should Be": discount_should_be}
TESTS = {                                    # the keyword table
    "Edge 1000":       [("Log In As", "mitu@bazarghar.test"),
                        ("Add Products", "3", "7"), ("Discount Should Be", "0")],
    "Just Above 1001": [("Log In As", "mitu@bazarghar.test"),
                        ("Add Products", "3", "9"), ("Discount Should Be", "100")],
}
def run(env, bugs):
    print(f"== env={env} bugs={sorted(bugs)}")
    for name, steps in TESTS.items():
        shop = Shop(bugs)                    # fresh data per test
        try:
            for kw, *args in steps:
                KEYWORDS[kw](shop, *args)
            print(f"  {name:<16} PASS")
        except AssertionError as e:
            print(f"  {name:<16} FAIL  at '{kw}': {e}")
run("local", set())
run("staging", {"coupon_ge"})

আসল আউটপুট:

== env=local bugs=[]
  Edge 1000        PASS
  Just Above 1001  PASS
== env=staging bugs=['coupon_ge']
  Edge 1000        FAIL  at 'Discount Should Be': 100 != 0
  Just Above 1001  PASS

পুরো framework-এর যন্ত্র এখানে প্রায় দশ লাইনে: KEYWORDS অভিধানটি নাম থেকে function খুঁজে দেয়, আর run()-এর লুপ table পড়ে ডাকে। ব্যর্থতার বার্তায় আছে test-এর নাম আর কোন keyword-এ থামল, যা keyword-driven রিপোর্টের স্বাভাবিক রূপ। দুটি জিনিস খেয়াল করুন। এক, table-এর সব argument string ("3", "0"); রূপান্তর keyword-এর দায়িত্ব। দুই, প্রতিটি test নতুন Shop পায়, তাই এক test-এর কার্ট পরেরটিতে ঢোকে না। এবার নিজে TESTS-এ একটি নতুন test যোগ করুন, যেমন ("Add Products", "3", "8") দিয়ে ৯৯৯ টাকায় ছাড় ০; কোনো নতুন function লাগবে না।

1Edge 10002  Log In As    mitu@…3  Add Products    3    74  Discount Should Be    0
in-memory বাজারঘর
env
user
cart
subtotal
got
  1. Test শুরু। Interpreter test-এর নাম পড়ে আর একটি নতুন, খালি Shop বানায়: user নেই, কার্ট খালি। এখনো কোনো keyword চলেনি।
  2. প্রথম সারি। Log In As নামটি KEYWORDS-এ খোঁজা হয়, পাওয়া যায় log_in; ইমেইলটি argument হয়ে যায়। Shop-এ user এখন মিতু।
  3. দ্বিতীয় সারি। Add Products পায় দুটি string, "3" আর "7"; keyword নিজে সংখ্যায় বদলায়। কার্টে তেল আর আটা, মোট ৮৮০ + ১২০ = ১০০০ টাকা।
  4. তৃতীয় সারি, local. Discount Should Be ছাড় হিসাব চায়। ঠিক কোডে ১০০০ টাকা ১০০০-এর বেশি নয়, তাই ছাড় ০; প্রত্যাশা ০, test PASS.
  5. একই table, staging. এবার coupon_ge চালু, শর্ত >=; ১০০০ টাকায় ছাড় ১০০. Keyword AssertionError তোলে, interpreter test থামিয়ে লেখে কোন keyword-এ, কী পার্থক্য। Table-এ একটি অক্ষরও বদলায়নি।

৬ · Robot Framework — সত্যিকারের keyword suite

ওপরের ক্ষুদ্র interpreter-এর পূর্ণাঙ্গ, শিল্পমানের রূপ হলো Robot Framework. প্রকল্পের নিজস্ব ইতিহাস অনুযায়ী এর মূল ধারণা গড়ে ওঠে Pekka Klärck-এর ২০০৫ সালের দিকের master's thesis-এ, প্রথম সংস্করণ বানানো হয় Nokia Networks-এ, আর ২০০৮-এ এটি open source হয়; আজ একটি অলাভজনক Robot Framework Foundation এর উন্নয়নে সহায়তা করে। লাইসেন্স Apache-2.0. Test লেখা হয় সারণির মতো টেক্সট ফাইলে (.robot), ঘর আলাদা করা হয় দুই বা তার বেশি space দিয়ে।

Robot নিজে web বা API চেনে না; সেই কাজ করে test library. Browser-এর জন্য আছে Browser library (Playwright-ভিত্তিক) আর SeleniumLibrary, API-র জন্য RequestsLibrary. এই lab-এ কেন API-স্তর: Browser library-র জন্য Node.js আর rfbrowser init দিয়ে নিজস্ব browser নামাতে হয়, আর SeleniumLibrary চায় Edge-এর driver; এই কোর্সের lab-এ বাড়তি browser বা driver না নামানোর নিয়ম আছে। RequestsLibrary একটি সাধারণ Python প্যাকেজ (MIT), uv add-এই বসে গেল। UI-র keyword লিখতে চাইলে ধারণা একই থাকে, শুধু library বদলায়।

Framework-এর ভাগটি এখানেও তিন স্তরে। নিচে একটি resource ফাইল, যেখানে user keyword: RequestsLibrary-র মূল keyword জুড়ে বাজারঘরের ভাষায় নতুন keyword.

*** Settings ***
Library    RequestsLibrary
Library    Collections

*** Keywords ***
Open Shop With Fresh Data
    Create Session    shop    ${BASE_URL}    timeout=5
    POST On Session    shop    /api/test/reset

Log In As
    [Arguments]    ${email}    ${password}
    ${body}=    Create Dictionary    email=${email}    password=${password}
    ${resp}=    POST On Session    shop    /api/auth/login    json=${body}
    ${auth}=    Create Dictionary    Authorization=Bearer ${resp.json()}[access_token]
    Set Suite Variable    ${AUTH}    ${auth}
    RETURN    ${resp.json()}[user]

Add Products To Cart
    [Arguments]    @{ids}
    FOR    ${pid}    IN    @{ids}
        ${body}=    Create Dictionary    product_id=${${pid}}
        ${resp}=    POST On Session    shop    /api/cart/items    json=${body}    headers=${AUTH}
    END
    RETURN    ${resp.json()}

Cart Discount Should Be
    [Arguments]    ${expected}
    ${resp}=    GET On Session    shop    /api/cart/quote    params=district=Dhaka    headers=${AUTH}
    Should Be Equal As Integers    ${resp.json()}[discount]    ${expected}

দুটি ছোট খুঁটিনাটি: ${${pid}} Robot-এর একটি কৌশল, যা string "3"-কে সংখ্যা ৩ বানায় (নইলে JSON-এ "3" যেত); আর POST On Session নিজে থেকেই 4xx বা 5xx উত্তরে ব্যর্থ হয়, তাই লগইন ব্যর্থ হলে test সেখানেই থামে। এর ওপর data-driven অংশ, Robot-এর test template দিয়ে: একটি keyword-কে template বানালে প্রতিটি test শুধু তার argument-এর সারি।

*** Settings ***
Documentation     Coupon rule, data-driven: one keyword, one row per case
Resource          resources/bazarghar.resource
Test Setup        Open Shop With Fresh Data
Test Template     Discount For Cart Should Be

*** Variables ***
${PASSWORD}       %{QA_MITU_PASSWORD}

*** Test Cases ***    DISCOUNT    PRODUCTS
Below Edge 999        0           3    8
Edge 1000             0           3    7
Just Above 1001       100         3    9
Cap 3000              300         3    3    3    7    7    7

*** Keywords ***
Discount For Cart Should Be
    [Arguments]    ${discount}    @{ids}
    Log In As    mitu@bazarghar.test    ${PASSWORD}
    Add Products To Cart    @{ids}
    Cart Discount Should Be    ${discount}

%{QA_MITU_PASSWORD} মানে পাসওয়ার্ড আসে একটি environment variable থেকে; ফাইলে কোনো secret নেই। ${BASE_URL}-ও এখানে লেখা নেই; আসে command line-এ দেওয়া একটি variable ফাইল থেকে (robot/config/local.py-এ এক লাইন: BASE_URL = "http://127.0.0.1:8813"). তৃতীয় ফাইল shop.robot-এ লগইন আর কার্টের দুটি সাধারণ test, একই keyword দিয়ে। Robot Framework 7.5.1-এর সত্যিকারের run:

cd ~/bazarghar-qa/suite
uv add robotframework robotframework-requests
export QA_MITU_PASSWORD=mitu1234          # fake demo password, never commit it
uv run robot --variablefile robot/config/local.py --outputdir out/robot-local robot/
==============================================================================
Robot
==============================================================================
Robot.Coupon :: Coupon rule, data-driven: one keyword, one row per case
==============================================================================
Below Edge 999                                                        | PASS |
Edge 1000                                                             | PASS |
Just Above 1001                                                       | PASS |
Cap 3000                                                              | PASS |
Robot.Coupon :: Coupon rule, data-driven: one keyword, one row per... | PASS |
4 tests, 4 passed, 0 failed
==============================================================================
Robot.Shop :: বাজারঘর: login, cart and coupon as keywords
==============================================================================
Customer Can Log In                                                   | PASS |
Adding Two Products Fills The Cart                                    | PASS |
…
Robot                                                                 | PASS |
6 tests, 6 passed, 0 failed
==============================================================================
Output:  …/out/robot-local/output.xml
Log:     …/out/robot-local/log.html
Report:  …/out/robot-local/report.html

(মাঝের কিছু বিভাজক লাইন বাদ।) Robot নিজেই তিনটি ফাইল বানায়: যন্ত্রের পড়ার জন্য output.xml, প্রতিটি keyword-এর ধাপ আর সময়সহ log.html, আর সারাংশের report.html. log.html-এ প্রতিটি test খুলে দেখা যায় কোন keyword-এর ভেতরে কোন request গেল; keyword-driven framework-এর রিপোর্ট এভাবেই keyword ধরে সাজানো। --xunit junit.xml দিলে CI-র জন্য JUnit XML-ও বানায় (§৭-এ)।

রূপফাইল আর লাইন (wc -l)testনতুন কুপন caseপরিবেশ বদল
Linear script১টি, ১৮৩টি checkলগইন-কার্ট-quote ব্লক কপিকোডে port বদল
pytest + CSVকোড ৫টি ফাইলে ১০৫; data ও config ৪টি ফাইলে ৮৬CSV-তে ১ সারিQA_ENV=staging
Robot + RequestsLibrary৩টি .robot/resource-এ ৬৯; config ২৬table-এ ১ সারি--variablefile

সৎ হিসাবটা লক্ষ করুন: তিনটি check-এর জন্য framework দুটি linear script-এর চেয়ে প্রায় চার থেকে ছয় গুণ বেশি লাইন নিয়েছে। পর্ব ৩৯-এর POM-এর মতোই, লাভ আসে test বাড়লে, পরিবেশ বাড়লে, আর দল বাড়লে। পঞ্চাশটি কুপন, ডেলিভারি আর অর্ডারের case-এ linear script হাজার লাইনের হতো; framework-এ নতুন case মানে মূলত নতুন সারি।

৭ · Hybrid framework-এর স্থাপত্য — বাজারঘরের suite

বাস্তবের প্রায় সব suite hybrid: কিছু test কোডে, কিছু data-চালিত, কোথাও keyword বা Given-When-Then, নিচে একই client আর page object. মিশ্রণ তখনই টেকে, যখন প্রতিটি অংশের জায়গা ঠিক করা থাকে। ISTQB-এর Test Automation Engineer syllabus একটি সাধারণ স্থাপত্যের কথা বলে, যার নাম gTAA (generic Test Automation Architecture): test তৈরি (generation), test-এর সংজ্ঞা (definition), চালানো (execution) আর app-এর সাথে জোড়ার স্তর (adaptation). বাজারঘরের suite-এ এই স্তরগুলো দেখতে এমন:

বাজারঘরের hybrid automation suite-এর স্তর

Definition on top, adaptation below, the app at the bottom; config, secrets, logs and reports cut across all layers

Test definition → Keyword/flow → Adaptation (API client, page object) → Tool → App; পাশে config, secret, log, report Test-এর সংজ্ঞা tests/*.py · *.robot data/coupon_cases.csv Keyword আর flow Log In As · Shopper Adaptation স্তর ShopApi (API client) page object (পর্ব ৩৯) Tool httpx · Requests · Playwright App · বাজারঘর local :8813 staging :8843 ⚙️ config QA_ENV URL, timeout 🔑 secret env var কোডে নয় 📝 log request, ফল সময়সহ 📊 report junit.xml exit code
ছবি ৪৫.১ — বাম দিকে ওপর থেকে নিচে স্তর; ওপরের স্তর ব্যবসার ভাষায়, নিচের স্তর যন্ত্রের ভাষায়। ডান পাশের চারটি জিনিস কোনো এক স্তরের নয়; সব স্তর এদের ব্যবহার করে।
অংশবাজারঘরের suite-এনিয়ম
Configconfig/local.json, config/staging.json; বাছাই QA_ENV দিয়েকোডে কোনো URL বা port নয়
Secretdata/users.json-এ শুধু variable-এর নাম; মান আসে environment থেকেRepository-তে কোনো আসল পাসওয়ার্ড বা token নয়; CI-তে secret store
Test dataCSV আর seed data; প্রতিটি test-এর আগে resetData-র নিজের যাচাই (subtotal কলাম)
API clientframework/shop_api.py-এর ShopApiURL আর JSON-এর গঠন শুধু এখানে
Page/flowপর্ব ৩৯-এর page object আর ShopperLocator শুধু page স্তরে
Loggingclient প্রতিটি লগইন লেখে; pytest ব্যর্থ test-এর log দেখায়Log-এ token বা পাসওয়ার্ড নয়
রিপোর্টpytest/Robot-এর console, Robot-এর log.html, JUnit XML, exit codeরিপোর্টের মাথায় পরিবেশের নাম

Config-এর স্তরটি কোডে কতটা ছোট, দেখুন। QA_ENV না দিলে local; পাসওয়ার্ড না থাকলে test শুরুই হয় না:

import json, os
from pathlib import Path

ROOT = Path(__file__).resolve().parent.parent


def load_config():
    env = os.environ.get("QA_ENV", "local")          # local | staging
    cfg = json.loads((ROOT / "config" / f"{env}.json").read_text())
    cfg["env"] = env
    return cfg


def user(name):
    u = json.loads((ROOT / "data" / "users.json").read_text())[name]
    return u["email"], os.environ[u["password_env"]]  # secret from env

এবার মূল পরীক্ষা। কোডের একটি অক্ষরও না বদলে শুধু পরিবেশ বদলানো হলো: QA_ENV=staging (pytest) আর --variablefile robot/config/staging.py (Robot). Staging মানে সেই দ্বিতীয় app, port 8843, যেখানে coupon_ge চালু। সত্যিকারের pytest আউটপুট (ছোট করে):

QA_ENV=staging http://127.0.0.1:8843
collecting ... collected 6 items

tests/test_shop.py::test_login PASSED                                    [ 16%]
tests/test_shop.py::test_add_to_cart PASSED                              [ 33%]
tests/test_shop.py::test_coupon[below-edge] PASSED                       [ 50%]
tests/test_shop.py::test_coupon[edge-1000] FAILED                        [ 66%]
tests/test_shop.py::test_coupon[just-above] PASSED                       [ 83%]
tests/test_shop.py::test_coupon[cap-3000] PASSED                         [100%]
…
case = 'edge-1000', ids = [3, 7], subtotal = 1000, discount = 0
…
>       assert mitu.quote()["discount"] == discount
E       assert 100 == 0

tests\test_shop.py:24: AssertionError
------------------------------ Captured log call ------------------------------
INFO     httpx:_client.py:1025 HTTP Request: POST http://127.0.0.1:8843/api/cart/items "HTTP/1.1 200 OK"
INFO     httpx:_client.py:1025 HTTP Request: POST http://127.0.0.1:8843/api/cart/items "HTTP/1.1 200 OK"
INFO     httpx:_client.py:1025 HTTP Request: GET http://127.0.0.1:8843/api/cart/quote?district=Dhaka "HTTP/1.1 200 OK"
=========================== short test summary info ===========================
FAILED tests/test_shop.py::test_coupon[edge-1000] - assert 100 == 0
========================= 1 failed, 5 passed in 1.24s =========================

আর একই পরিবেশে Robot (--console dotted, সংক্ষিপ্ত রূপ):

Running suite 'Robot' with 6 tests.
==============================================================================
.F....
------------------------------------------------------------------------------
FAIL: Robot.Coupon.Edge 1000
100 != 0
==============================================================================
Run suite 'Robot' with 6 tests in 699 milliseconds.

FAILED
6 tests, 5 passed, 1 failed
robot exit=1

দুই framework একই সারিতে একই ভুল ধরল: ঠিক ১০০০ টাকার কার্টে ছাড় ১০০, যেখানে হওয়ার কথা ০। pytest দেখাল সারির সব মান (case = 'edge-1000', পণ্য [3, 7]) আর log-এ প্রতিটি request, কোন host-এ গেল সেটিসহ; ফলে “staging-এ ভাঙল, local-এ নয়” এক নজরে প্রমাণিত। দুটিরই exit code 1, তাই CI লাল হবে। Robot-এর exit code-এর নিয়মটিও কাজের: নথি অনুযায়ী এটি ব্যর্থ test-এর সংখ্যা (একটি সর্বোচ্চ সীমা পর্যন্ত), তাই ০ মানে সব পাস। একই staging-এ --xunit junit.xml দিয়ে চালালে সত্যিকারের XML-এর অংশ:

<testsuite name="Coupon" tests="4" errors="0" failures="1" skipped="0" time="0.504" …>
<testcase classname="Robot.Coupon" name="Edge 1000" time="0.093">
<failure message="100 != 0" type="AssertionError"/>
</testcase>

আর secret-এর নিয়মটিও পরীক্ষা করা হলো: QA_MITU_PASSWORD না দিয়ে চালালে test ভুল পাসওয়ার্ডে চুপচাপ এগোয় না, প্রথমেই স্পষ্ট বার্তায় থামে: FAILED tests/test_shop.py::test_login - KeyError: 'QA_MITU_PASSWORD'. ভুল config-এ দ্রুত আর জোরে ব্যর্থ হওয়া একটি framework-এর গুণ।

  1. ConfigQA_ENV=stagingপরিবেশ
  2. Dataedge-1000CSV-র সারি
  3. Testtest_couponfixture + parametrize
  4. API clientShopApiadaptation
  5. App:8843coupon_ge চালু
  6. রিপোর্টexit 1assert 100 == 0
settings.load_config()কোথায় চালাব
QA_ENV=staging
→ config/staging.json
base_url  http://127.0.0.1:8843
timeout_s 10
# কোডে কোনো URL নেই
test_data.coupon_cases()একটি সারি
edge-1000,3+7,1000,0
→ ("edge-1000", [3, 7], 1000, 0)
string → int এখানেই
conftest.py → testfixture
api:  ShopApi(base_url) + reset
mitu: api.login(email,
        os.environ[QA_MITU_PASSWORD])
test_coupon(mitu, "edge-1000",
            [3, 7], 1000, 0)
ShopApiযন্ত্রের ভাষা
POST /api/cart/items {product_id: 3}
POST /api/cart/items {product_id: 7}
GET  /api/cart/quote?district=Dhaka
# log: প্রতিটি request, host-সহ
staging appবসানো ভুল
subtotal 1000
1000 >= 1000 → ছাড় 100
(নিয়ম: 1000 > 1000 নয় → 0)
pytestরায় test-এ
E   assert 100 == 0
FAILED test_coupon[edge-1000]
1 failed, 5 passed in 1.24s
exit code 1 → CI লাল
  1. Config. QA_ENV=staging পড়ে load_config() খোলে config/staging.json: ঠিকানা port 8843, timeout ১০ সেকেন্ড। একই কোড, ভিন্ন পরিবেশ।
  2. Test data. CSV-র সারি edge-1000,3+7,1000,0 পড়ার স্তরেই সংখ্যায় বদলায়: পণ্য ৩ আর ৭, প্রত্যাশিত subtotal ১০০০, ছাড় ০।
  3. Test আর fixture. api fixture client বানিয়ে data reset করে; mitu fixture লগইন করে, পাসওয়ার্ড আসে environment variable থেকে। Test পায় তৈরি, লগইন করা client আর সারির মান।
  4. API client. ShopApi দুটি পণ্য যোগ করে আর quote চায়। URL আর JSON-এর গঠন শুধু এই স্তর জানে; প্রতিটি request log-এ যায়।
  5. App. Staging-এ coupon_ge চালু, তাই ১০০০ টাকায় শর্ত >= সত্য, ছাড় ১০০. নিয়ম অনুযায়ী ১০০০ টাকা “১০০০-এর বেশি” নয়, ছাড় হওয়ার কথা ০।
  6. রিপোর্ট। Test-এর assertion assert 100 == 0-এ ব্যর্থ; সারাংশ 1 failed, 5 passed in 1.24s, exit code 1. CI লাল, আর রিপোর্টের মাথায় লেখা কোন পরিবেশ।

৮ · কোন framework, বানাবেন না নেবেন, আর automation কেন ব্যর্থ হয়

বাছাইয়ের প্রশ্নগুলো

“সেরা framework কোনটি” প্রশ্নের সাধারণ উত্তর নেই; আছে প্রেক্ষাপট। কয়েকটি প্রশ্ন সিদ্ধান্তকে অনেকটা ঠিক করে দেয়:

👥 দলের দক্ষতা

দলে সবাই Python লেখেন? তাহলে pytest-এর hybrid স্বাভাবিক। অনেকে কোড লেখেন না কিন্তু ব্যবসা ভালো বোঝেন? Keyword বা BDD-ধাঁচের table কাজে লাগতে পারে।

মানুষ আগে

🧩 App-এর ধরন

Web, API, mobile, desktop না embedded? Robot-এর মতো framework library বদলে নানা system চালায়; pytest-এর জগতে প্রতিটির জন্য আলাদা প্যাকেজ।

কী test হবে

🔁 CI-তে মানানো

Command line-এ চলে কি? Exit code ঠিক দেয় কি? JUnit XML বানায় কি? Headless চলে কি? এগুলো না থাকলে framework যত সুন্দরই হোক, pipeline-এ কাজে আসবে না।

পর্ব ৬৪

📜 লাইসেন্স ও সম্প্রদায়

Open-source লাইসেন্স (MIT, Apache-2.0) কী অনুমতি দেয়; নিয়মিত release, সক্রিয় issue, নথি, আর প্রশ্ন করলে উত্তর পাওয়ার জায়গা আছে কি না।

দীর্ঘ জীবন

নিজে বানাবেন, না তৈরি framework নেবেন

“Build vs buy” প্রশ্নটি আজ বেশিরভাগ ক্ষেত্রে “কতটা নিজে বানাব” প্রশ্ন। Runner (pytest, Robot, JUnit) প্রায় কখনো নিজে বানানো উচিত নয়; ওগুলো বহু বছরের পরীক্ষিত, আর নিজের runner মানে নিজের রিপোর্ট, parallel চালানো আর plugin-এর সব ঝামেলা নিজের ঘাড়ে। কিন্তু ওপরের পাতলা স্তর, অর্থাৎ API client, page object, config আর keyword, প্রায় সবসময় নিজের, কারণ সেটি আপনার app-এর ভাষা। বিপদ হয় যখন কেউ “আমাদের নিজস্ব framework” নামে runner-এর ওপর আরেকটি runner বানান: নিজস্ব XML-এ test লেখা, নিজস্ব রিপোর্ট, নিজস্ব retry; যিনি বানিয়েছিলেন তিনি চলে গেলে কেউ আর বোঝেন না। বাণিজ্যিক tool-এর ক্ষেত্রেও একই প্রশ্ন: ভেতরে কী আছে দেখা যায় কি, test অন্য tool-এ সরানো যায় কি, নাকি সব একটি বিক্রেতার ফরম্যাটে আটকে থাকে।

রক্ষণাবেক্ষণ আর “লাভের হিসাব”-এর সাবধানতা

Automation-এর আসল খরচ লেখায় নয়, রাখায়। প্রতিটি UI বদল, প্রতিটি নতুন নিয়ম, প্রতিটি flaky test (পর্ব ৪০) suite-এর কাছে কিছু সময় দাবি করে; একে suite-এর maintainability বলে। অনেক “automation-এর লাভ” হিসাব শুধু তুলনা করে হাতে একটি test চালানোর সময় বনাম যন্ত্রে চালানোর সময়, তারপর run-এর সংখ্যা দিয়ে গুণ। এতে তিনটি বড় ফাঁকি থাকে। এক, রক্ষণাবেক্ষণের সময় বাদ পড়ে। দুই, ধরে নেওয়া হয় হাতের test আর automated check একই জিনিস খোঁজে, অথচ একজন মানুষ চোখের কোণে যা দেখেন, script তা দেখে না। তিন, সবচেয়ে বড় লাভ, অর্থাৎ দ্রুত feedback আর নির্ভয়ে refactor করার সাহস, গোনা কঠিন বলে বাদ যায়। তাই কোনো লাভের সংখ্যা দেখলে জিজ্ঞেস করুন: রক্ষণাবেক্ষণ ধরা হয়েছে? মিথ্যা লাল কত? কত bug আসলে ধরেছে? আর প্রতিটি অবহেলিত সমস্যা technical debt হয়ে জমে, যার সুদ দিতে হয় প্রতিটি run-এ।

Pyramid বনাম বাস্তব

Mike Cohn-এর test automation pyramid (২০০৯ সালের দিকের বই “Succeeding with Agile”-এ জনপ্রিয় হয়) বলে: নিচে অনেক দ্রুত unit test, মাঝে service বা API test, ওপরে অল্প UI test (পর্ব ০৫)। বাস্তবে অনেক দল উল্টোটায় পৌঁছায়, যাকে কেউ কেউ “ice-cream cone” বলেন: অনেক ধীর UI test, ওপরে আরও হাতের test, নিচে সামান্য unit test. কারণ সাধারণত সাংগঠনিক: আলাদা QA দল শুধু UI-র দিক থেকে app দেখতে পায়, unit test-এ হাত দিতে পারে না। এই পর্বের suite ইচ্ছা করে API স্তরে: কুপনের নিয়ম যাচাইয়ে browser লাগে না, আর ছয়টি test এক সেকেন্ডের কাছাকাছি সময়ে চলেছে। UI-তে থাকুক শুধু UI-র নিজের ঝুঁকি: badge বদলায় কি, বোতাম কাজ করে কি।

Automation প্রকল্প যেভাবে ব্যর্থ হয়

ব্যর্থতার ধরনলক্ষণপ্রতিকার
“সব automate করব”হাতের সব test case হুবহু script-এ; বছর শেষে অর্ধেক অচলঝুঁকি আর পুনরাবৃত্তি দেখে বাছাই; বাকিটা exploratory
Framework আগে, test পরেমাসের পর মাস “framework বানানো”, একটিও কাজের test নেইপ্রথম সপ্তাহে কয়েকটি আসল test; framework বাড়ুক প্রয়োজনে
লাল সবুজের মতোই স্বাভাবিকপ্রতিদিন কিছু test লাল, কেউ দেখে নাFlaky test quarantine আর ঠিক করার নিয়ম (পর্ব ৪০)
একজনের মাথায় সবনির্মাতা চলে গেলে কেউ suite চালাতে পারেন নানথি, code review, সাধারণ tool, যৌথ মালিকানা
CI-র বাইরেSuite চলে শুধু একজনের কম্পিউটারে, মাঝে মাঝেপ্রতিটি পরিবর্তনে CI-তে, exit code দিয়ে gate
সব UI দিয়েধীর, ভঙ্গুর suite; নিয়মের ভুল দেরিতে ধরানিয়ম API বা unit স্তরে, UI-তে শুধু UI-র ঝুঁকি
প্রত্যাশা কোড থেকেTest-এর expected মান app-এর হিসাব কপি করে বানানোপ্রত্যাশা requirement থেকে, test বা data-তে লেখা

আরও গভীরে: Keyword-driven testing-এর একটি মানদণ্ড আছে, ISO/IEC/IEEE 29119-5, যা keyword-এর স্তর (domain-স্তরের keyword নিচের স্তরের keyword দিয়ে গড়া), নামকরণ আর tool-এর চাহিদা বর্ণনা করে। ISTQB-এর Test Automation Engineer syllabus-এর gTAA এই পর্বের স্তরের ধারণাকে একটি সাধারণ মডেল দেয়, যাতে ভিন্ন tool-এর suite-ও একই ভাষায় তুলনা করা যায়। বড় প্রতিষ্ঠানে প্রশ্ন আরও এগোয়: হাজার হাজার test থেকে প্রতিটি পরিবর্তনে কোনগুলো চালাব, কীভাবে ভাগ করে সমান্তরালে চালাব, আর flaky-র হার কত পর্যন্ত মেনে নেব (পর্ব ৬৮)।

পরীক্ষা ও ইন্টারভিউতে:

  • Data-driven আর keyword-driven-এর পার্থক্য? Data-driven-এ ধাপ স্থির, data বদলায়; keyword-driven-এ ধাপের ক্রমও table-এ, প্রতিটি ধাপ একটি নামযুক্ত keyword.
  • Hybrid framework কী? Modular, data-driven আর keyword-driven ধারণা মিলিয়ে স্তরে সাজানো framework; বাস্তবের বেশিরভাগ suite এমন।
  • একটি framework-এর অংশ কী কী? Library, runner, ফোল্ডার ও নামের নিয়ম, config, test data, রিপোর্ট আর logging; সাথে secret রাখার নিয়ম।
  • Linear script কখন ঠিক? একবারের যাচাই, bug পুনরুৎপাদন, শেখা বা খুব ছোট কাজে; বারবার চলা suite-এ নয়।
  • Framework-এ পাসওয়ার্ড কোথায় রাখবেন? কোডে বা repository-তে নয়; environment variable বা CI-র secret store থেকে, log-এও যেন না ছাপা হয়।

৯ · AI-এর যুগে — AI দিয়ে framework আর keyword লেখানো

“আমার জন্য একটি পূর্ণ automation framework বানিয়ে দাও” বললে AI সহকারী কয়েক মিনিটে বিশটি ফাইলের পরিপাটি কাঠামো দেয়: base class, factory, config manager, custom reporter. দেখতে পেশাদার, কিন্তু চেনা ঝুঁকি আছে। প্রয়োজনের চেয়ে অনেক বেশি স্তর, যা কেউ রক্ষণাবেক্ষণ করবে না; কল্পিত keyword বা library-র option (Robot-এর library-তে এমন keyword, যা আসলে নেই); config ফাইলে বসানো আসল দেখতে পাসওয়ার্ড; প্রতিটি keyword-এ Sleep 2s; শুধু সুখী পথের (happy path) data, সীমার সারি বাদ; app-এর বর্তমান আচরণ থেকে প্রত্যাশিত মান বানানো, ফলে ভুল কোডেও সবুজ; আর না চালিয়েই “সব test পাস করবে” দাবি।

AI-কে ছোট, নির্দিষ্ট কাজ আর স্পষ্ট সীমা দিন:

তুমি একজন অভিজ্ঞ test automation engineer. বাজারঘরের API-র জন্য Robot Framework 7-এ RequestsLibrary দিয়ে একটি resource ফাইল লিখবে, শুধু তিনটি keyword: Log In As, Add Products To Cart, Cart Discount Should Be. নিচে API-র আসল OpenAPI অংশ আর কুপনের লিখিত নিয়ম দিলাম। নিয়ম: ১. শুধু RequestsLibrary আর BuiltIn-এর সত্যিকারের keyword ব্যবহার করবে; প্রতিটির নাম official নথির কোন অংশে আছে বলবে। ২. URL আসবে ${BASE_URL} থেকে, পাসওয়ার্ড %{QA_MITU_PASSWORD} থেকে; কোনো আসল বা আসল-দেখতে secret লিখবে না। ৩. কোনো Sleep নয়। ৪. প্রত্যাশিত ছাড় keyword হিসাব করবে না; test table থেকে argument হিসেবে আসবে। ৫. কুপনের নিয়মের boundary (৯৯৯, ১০০০, ১০০১, ৩০০০) ধরে একটি Test Template-এর table প্রস্তাব করবে, প্রতিটির প্রত্যাশা নিয়ম থেকে ব্যাখ্যাসহ। ৬. তুমি কোড চালাওনি; "পাস করবে" দাবি করবে না। [এখানে OpenAPI-র অংশ আর নিয়ম]

AI-এর লেখা framework হাতে পেলে — চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।

প্র ০১Record/playback প্রতিটি প্রজন্মে নতুন রূপে ফিরে আসে, তবু খুব কম দল এর ওপর suite দাঁড় করাতে পারে। কেন?

Record/playback-এর আকর্ষণ বোঝা সহজ। একজন manual tester, যিনি কোড লেখেন না, ক্লিক করে একটি পথ দেখান, আর যন্ত্র সেটি মনে রাখে। ১৯৯০-এর দশকের বাণিজ্যিক GUI testing tool থেকে শুরু করে ২০০০-এর দশকের মাঝামাঝি Selenium IDE, আর আজ Playwright-এর codegen: প্রতিটি প্রজন্মে এই সুবিধা আবার আসে, কারণ প্রতিটি নতুন দল একই স্বপ্ন দেখে, “কোড ছাড়া automation”.

সমস্যা হলো রেকর্ডিং যা ধরে, তা একটি নির্দিষ্ট দিনের একটি নির্দিষ্ট পথ। এতে তিনটি জিনিস হুবহু বাঁধা পড়ে: UI-র গঠন (কোন বোতাম কোথায়), data (কোন পণ্য, কোন ব্যবহারকারী) আর সময় (কতক্ষণ অপেক্ষা)। প্রথমটি বদলালে সব রেকর্ডিং ভাঙে; দ্বিতীয়টি বদলাতে নতুন রেকর্ডিং লাগে; তৃতীয়টি থেকে flaky test জন্মায়। আরও বড় সমস্যা, রেকর্ডিং-এ যাচাই প্রায় থাকে না: tool দেখে আপনি কী করলেন, কিন্তু জানে না কী ঠিক হওয়ার কথা ছিল। ফলে অনেক রেকর্ড করা “test” আসলে শুধু একটি পথ ঘুরে আসে।

Fewster আর Graham ১৯৯৯-এর বইতেই এই সীমা নিয়ে সতর্ক করেছিলেন, আর বলেছিলেন রেকর্ডিং ভালো একটি শুরু, কিন্তু রক্ষণাবেক্ষণযোগ্য suite-এর জন্য script-কে গঠন দিতে হয়: ভাগ করা function, বাইরের data, আর পরে keyword. এই পর্বের প্রজন্মের ধারা আসলে সেই গঠন দেওয়ার ইতিহাস।

আধুনিক রেকর্ডার অনেক উন্নত: role আর test id দিয়ে locator বানায়, auto-wait-ওয়ালা কোড দেয়। তাই তার সঠিক ব্যবহার হলো খসড়া হিসেবে। একটি নতুন পাতার locator খুঁজতে বা একটি জটিল পথের প্রথম রূপ পেতে রেকর্ড করুন, তারপর সেই কোড page object আর flow-এ ভেঙে বসান, data বাইরে আনুন, আর assertion requirement থেকে লিখুন। রেকর্ডার তখন একটি দ্রুত টাইপিস্ট, স্থপতি নয়।

মূল উপলব্ধি: রেকর্ডিং একটি দিনের একটি পথ ধরে, কিন্তু suite-কে বহু দিনের বহু পথ সামলাতে হয়; তাই রেকর্ডার খসড়া দেয়, framework-এর কাঠামো দিতে হয় মানুষকে।

প্র ০২Keyword-driven-এর পুরোনো প্রতিশ্রুতি: “কোড না জানা tester-রা test লিখবেন।” এই প্রতিশ্রুতি বাস্তবে কতটা টেকে?

প্রতিশ্রুতিটির পেছনে একটি সত্যিকারের চাহিদা ছিল। ১৯৯০-এর দশকে, Hans Buwalda-র “action word” পদ্ধতি যখন প্রচার পায় বলে উল্লেখ করা হয়, তখন অনেক দলে test design করতেন ব্যবসা বোঝা মানুষ, আর automation করতেন অল্প কয়েকজন programmer. Keyword table দুই দলের মাঝে একটি চুক্তি হলো: tester লেখেন “Log In As, Add Products, Discount Should Be”, programmer প্রতিটি নামের পেছনে কোড বসান। Robot Framework এই ধারণাকে পরিণত tool দেয়, আর ISO/IEC/IEEE 29119-5 (২০১৬ সালের দিকে) একে মানদণ্ডের রূপ।

যেখানে প্রতিশ্রুতি টেকে: keyword-এর সেট যখন স্থির আর ব্যবসার ভাষায়, তখন নতুন data আর নতুন ক্রম সত্যিই কোড ছাড়া যোগ হয়। এই পর্বের Robot suite-এ নতুন কুপন case মানে table-এ একটি সারি; একজন manual tester সেটি সহজেই পারেন। আর table পড়ে একজন product owner-ও বুঝতে পারেন কী যাচাই হচ্ছে।

যেখানে ভাঙে: যখনই নতুন ধরনের কাজ লাগে, যেমন নতুন একটি API বা একটি পাতা, তখন নতুন keyword লাগে, আর সেটি কোড। তার ওপর অনেক দল keyword ভাষাকেই প্রোগ্রামিং ভাষা বানিয়ে ফেলে: IF, FOR, variable, string কাটা, সব table-এ। তখন tester-দের কোডই লিখতে হয়, শুধু একটি দুর্বল ভাষায়, আর debugging আরও কঠিন। পর্ব ৩৯-এর ভাবনার প্রশ্নে এই ঝুঁকির কথা এসেছিল: generic “do_action” ধাঁচের dispatcher traceback-কে গোলকধাঁধা বানায়।

বাস্তবের সফল দলগুলো তাই ভূমিকা ভাগ করে: engineer-রা ছোট, ভালো নামের, পরীক্ষিত keyword-এর লাইব্রেরি রাখেন (এর নিজেরও review আর test থাকে), tester-রা সেগুলো দিয়ে case সাজান, আর table-এ যুক্তি (logic) রাখা নিষেধ। “কোড না জানা” কথাটি তখন দাঁড়ায় “কোড না লিখেও অনেক কাজ করা যায়”, যা সত্য এবং মূল্যবান।

মূল উপলব্ধি: Keyword-driven নতুন data আর নতুন ক্রম কোড ছাড়া আনে, কিন্তু নতুন ধরনের কাজ আনতে কোড লাগেই; table-এ যুক্তি ঢুকলে সুবিধাটি হারায়।

প্র ০৩“আমাদের নিজস্ব framework” বানানোর লোভ কেন এত প্রবল, আর কোন সীমার পরে এটি ঝুঁকি হয়ে যায়?

নিজস্ব framework বানানো প্রকৌশলীদের কাছে আকর্ষণীয়, কারণ এটি দৃশ্যমান কাজ: base class, factory, plugin, সুন্দর রিপোর্ট। একটি নতুন automation দল প্রায়ই প্রথম কয়েক মাস এতে দেয়, আর ব্যবস্থাপকরা দেখেন কোডের লাইন বাড়ছে। কিন্তু সেই সময়ে app-এর একটিও ঝুঁকি যাচাই হয় না। Fewster আর Graham-এর ১৯৯৯ সালের বই আর পরে তাঁদের ২০১২ সালের “Experiences of Test Automation”-এর কেস স্টাডিতে বারবার এই ধাঁচের গল্প আসে: framework প্রকল্প, যা test-এর চেয়ে নিজেকে নিয়েই বেশি ব্যস্ত।

একটি কাজের সীমারেখা হলো “runner বনাম adapter”. Runner, অর্থাৎ test খোঁজা, চালানো, fixture, parallel, রিপোর্ট আর plugin, এমন জিনিস যা pytest, Robot বা JUnit বহু বছর ধরে হাজার হাজার প্রকল্পে পরীক্ষিত রূপে দেয়। এটি নিজে বানালে আপনি শুধু পুরোনো সমস্যা আবার সমাধান করছেন, আর প্রতিটি bug আপনার। Adapter, অর্থাৎ API client, page object, keyword, config আর test data-র নিয়ম, সবসময় আপনার নিজের, কারণ সেটি আপনার app-এর ভাষা। এই পর্বের pytest suite-এ নিজের কোড ঠিক এইটুকু: settings, ShopApi, CSV পড়া আর fixture, মোট শ'খানেক লাইন।

ঝুঁকির লক্ষণ চেনা সহজ: নিজস্ব ফাইল ফরম্যাটে test লেখা (যা শুধু আপনার tool পড়ে), নিজস্ব test runner, নিজস্ব retry আর রিপোর্ট, আর একজন মানুষ যিনি সব জানেন। তিনি চলে গেলে suite অনাথ হয়, আর নতুন সদস্য বাজারে প্রচলিত দক্ষতা দিয়ে এটি বুঝতে পারেন না। প্রচলিত tool-এর ওপর পাতলা স্তর রাখলে নতুন সদস্য প্রথম দিন থেকেই অর্ধেক জানেন।

বাণিজ্যিক tool নেওয়ার সিদ্ধান্তেও একই প্রশ্ন খাটে: test কোন ফরম্যাটে থাকে, অন্য tool-এ সরানো যায় কি, CI-তে command line-এ চলে কি, আর বিক্রেতা বদলালে কী হবে। দাম ছাড়াও এই “আটকে পড়া” একটি বড় খরচ।

মূল উপলব্ধি: Runner ধার করুন, adapter বানান; framework-এর নিজস্ব অংশ যত পাতলা আর প্রচলিত, তত দীর্ঘজীবী।

প্র ০৪Test automation pyramid-এর পরামর্শ সবাই জানে, তবু অনেক দলের suite উল্টো “ice-cream cone” আকারের। এর কারণ প্রযুক্তিগত, না সাংগঠনিক?

Pyramid-এর ধারণা Mike Cohn ২০০৯ সালের দিকের বই “Succeeding with Agile”-এ জনপ্রিয় করেন: নিচে অনেক দ্রুত unit test, মাঝে service বা API test, ওপরে অল্প UI test. যুক্তি সরল: নিচের test দ্রুত, স্থির, আর ব্যর্থ হলে কারণ ঠিক কোথায় তা বলে দেয়; ওপরের test ধীর, ভঙ্গুর, কিন্তু পুরো পথ যাচাই করে। পরে কয়েকজন লেখক (যেমন Alister Scott, বলে উল্লেখ করা হয়) উল্টো আকারকে “ice-cream cone” নাম দেন: ওপরে মোটা হাতের test, তার নিচে অনেক UI automation, একদম নিচে সামান্য unit test.

প্রযুক্তিগত কারণ আছে: পুরোনো, tightly coupled কোডে unit test লেখা কঠিন (পর্ব ২৫), আর অনেক app-এ API নেই বা নথিভুক্ত নয়। কিন্তু বেশিরভাগ ক্ষেত্রে কারণ সাংগঠনিক। যদি automation-এর দায়িত্ব শুধু আলাদা একটি QA দলের, যাদের app-এর কোডে হাত দেওয়ার অনুমতি নেই, তাহলে তাদের কাছে app-এর একমাত্র দরজা UI. তারা UI test লেখেন, কারণ সেটিই তাদের নাগালে। Developer-রা ভাবেন “test তো QA করছে”, তাই unit test কম লেখেন। Conway-র নিয়মের মতো, suite-এর আকার দলের গঠনকে অনুসরণ করে।

এই পর্বের বাজারঘরের suite একটি ছোট প্রমাণ। কুপনের নিয়ম UI দিয়ে যাচাই করলে প্রতিটি case-এ browser খোলা, লগইন, পণ্যের পাতায় যাওয়া, badge-এর অপেক্ষা লাগত; API স্তরে ছয়টি test এক সেকেন্ডের কাছাকাছি সময়ে চলেছে, আর ব্যর্থতার বার্তা সরাসরি সংখ্যা দেখিয়েছে। নিয়মটি app-এর ভেতরের একটি function হলে unit স্তরে আরও দ্রুত হতো।

সমাধানও তাই মূলত সাংগঠনিক: whole-team quality (পর্ব ৭৬), tester আর developer একই repository-তে, API-র নথি (OpenAPI) testability-র অংশ হিসেবে, আর প্রতিটি ঝুঁকিকে সবচেয়ে নিচের যে স্তরে ধরা যায় সেখানে ধরা। Pyramid কোনো আইন নয়; কিছু app-এ (যেমন UI-ভারী, যুক্তি কম) আকার আলাদা হওয়াই স্বাভাবিক। প্রশ্নটি হলো আকার সচেতন সিদ্ধান্ত, না দুর্ঘটনা।

মূল উপলব্ধি: Suite-এর আকার দলের কাঠামোর আয়না; উল্টো pyramid ঠিক করতে tool-এর চেয়ে বেশি দরকার কোড আর দায়িত্বে tester ও developer-এর যৌথ প্রবেশ।

প্র ০৫অনেক automation প্রকল্প দু-এক বছরে পরিত্যক্ত হয়। এই ব্যর্থতা ঠেকাতে শুরুতেই কোন নকশার সিদ্ধান্তগুলো সবচেয়ে বেশি প্রভাব ফেলে?

Automation-এর প্রথম মাস প্রায় সবসময় উজ্জ্বল: সবুজ রিপোর্ট, গোনা যায় এমন test-এর সংখ্যা। ব্যর্থতা আসে ধীরে। UI বদলায়, কয়েকটি test লাল থাকে, কেউ ঠিক করার সময় পান না; লাল স্বাভাবিক হয়ে যায়, তারপর কেউ রিপোর্ট দেখেন না; শেষে suite চালানো বন্ধ। Fewster আর Graham ১৯৯৯ সালেই লিখেছিলেন যে automation-এর রক্ষণাবেক্ষণের খরচকে ছোট করে দেখা সবচেয়ে সাধারণ ভুলগুলোর একটি, আর তাঁদের পরের কেস স্টাডিতেও এই ধারা দেখা যায়।

শুরুর কয়েকটি নকশার সিদ্ধান্ত এই ঢাল ঠেকায়। এক, এক জায়গায় জ্ঞান: URL config-এ, locator page object-এ, API-র গঠন client-এ, প্রত্যাশা test বা data-তে। এই পর্বের run-এ পরিবেশ বদলাতে কোডের একটি অক্ষরও লাগেনি; linear script-এ লেগেছিল কোড বদল। দুই, প্রতিটি test স্বাধীন: reset আর নিজের data, যাতে ক্রম বদলালে বা সমান্তরালে চালালে ফল না বদলায়। তিন, CI-তে প্রথম দিন থেকে, ঠিক exit code দিয়ে, যাতে লাল কারও চোখ এড়ায় না। চার, সঠিক স্তর: নিয়ম API বা unit স্তরে, UI-তে শুধু UI-র ঝুঁকি।

পাঁচ, লাল হলে নিয়ম: flaky test-কে quarantine করা আর নির্দিষ্ট সময়ে ঠিক করা (পর্ব ৪০), যাতে লাল মানে সবসময় “দেখার মতো কিছু”। ছয়, মালিকানা: suite app-এর পাশে, একই review-এর নিয়মে, একাধিক মানুষ জানেন। সাত, বাছাই: হাতের প্রতিটি test case automate করার লক্ষ্য নয়; ঝুঁকি, পুনরাবৃত্তি আর স্থিরতা দেখে বাছাই, আর মানুষের বিচার লাগে এমন কাজ exploratory testing-এ (পর্ব ২০)।

লক্ষ করুন, এর কোনোটিই কোনো নির্দিষ্ট tool-এর বৈশিষ্ট্য নয়। একই নীতিতে pytest, Robot বা অন্য যেকোনো runner-এ টেকসই suite বানানো যায়, আর নীতি না মানলে সবচেয়ে আধুনিক tool-ও এক বছরে পরিত্যক্ত হতে পারে। লাভের হিসাব করতে চাইলে রক্ষণাবেক্ষণের সময় আর মিথ্যা লালের সংখ্যাও হিসাবে রাখুন, শুধু “হাতে কত সময় বাঁচল” নয়।

মূল উপলব্ধি: Automation টেকে নকশা আর অভ্যাসে: জ্ঞান এক জায়গায়, test স্বাধীন, CI-তে সবসময়, আর লাল কখনো স্বাভাবিক নয়।

অনুশীলন

উত্তর দেখার আগে কাগজে নিজে করুন।

  1. Spec থেকে data-driven table: বাজারঘরের নিয়ম: কুপন, পণ্যের দাম ১০০০ টাকার বেশি হলে ১০% ছাড়, ভগ্নাংশ বাদ, সর্বোচ্চ ৩০০; ডেলিভারি, ঢাকায় ৬০ টাকা, কিন্তু কুপনের আগের দাম ২০০০ বা বেশি হলে ফ্রি; ঢাকার বাইরে ১২০, Plus সদস্যদের ৬০; Gazipur ঢাকার বাইরে। কলাম case,subtotal,district,plus,discount,delivery দিয়ে অন্তত সাতটি সারির CSV লিখুন, যাতে ডেলিভারির প্রতিটি সীমা আর শাখা একবার করে ছোঁয়া হয়।

    একটি সম্ভাব্য table (মান script দিয়ে যাচাই করা):

    case,subtotal,district,plus,discount,delivery
    dhaka-1000,1000,Dhaka,no,0,60
    dhaka-1999,1999,Dhaka,no,199,60
    dhaka-2000,2000,Dhaka,no,200,0
    dhaka-plus-1999,1999,Dhaka,yes,199,60
    outside-2000,2000,Rajshahi,no,200,120
    plus-outside,1500,Rajshahi,yes,150,60
    gazipur-2500,2500,Gazipur,no,250,120

    কেন এই সারি: ১৯৯৯ আর ২০০০ ফ্রি ডেলিভারির boundary-র দুই পাশ (পর্ব ০৮); dhaka-2000 সেই সারি, যা “কুপনের পরে সীমা দেখা” ভুল ধরে (২০০০ − ২০০ = ১৮০০)। dhaka-plus-1999 দেখায় ঢাকার ভেতরে Plus-এর আলাদা সুবিধা নেই; outside-2000 দেখায় ঢাকার বাইরে ২০০০-এও ফ্রি নয়; gazipur-2500 “ঢাকার কাছে মানেই ঢাকা” ধাঁচের ভুল ধরে। প্রতিটি সারির নাম রিপোর্টে আসবে, তাই নাম থেকেই উদ্দেশ্য বোঝা যায়।

  2. Failure পড়ুন আর ফল অনুমান করুন: একটি pytest suite আর একটি Robot suite একই app-এ চলে। QA_ENV=local-এ দুটিই 6 passed. QA_ENV=staging-এ pytest দেখায় FAILED tests/test_shop.py::test_coupon[edge-1000] - assert 100 == 0, আর Robot দেখায় Edge 1000 | FAIL | 100 != 0. (ক) কোন নিয়ম, কোন boundary-তে ভাঙছে? (খ) এটি test-এর ভুল, না app-এর? কীভাবে নিশ্চিত হবেন? (গ) দুটি run-এর exit code কত হবে? (ঘ) কেউ QA_MITU_PASSWORD না দিয়ে pytest চালালে কী দেখবেন?

    (ক) কুপনের নিয়ম, ঠিক ১০০০ টাকায়: প্রত্যাশা ০ (১০০০ “১০০০-এর বেশি” নয়), পাওয়া গেল ১০০; অর্থাৎ শর্ত >-এর জায়গায় >=. (খ) প্রত্যাশা এসেছে লিখিত নিয়ম থেকে, আর একই test local-এ পাস করে; তাই সন্দেহ staging-এর app-এ। নিশ্চিত হতে /api/pricing/quote?subtotal=1000&district=Dhaka দুই পরিবেশে চেয়ে তুলনা করুন, আর দুই পরিবেশের build বা config-এর পার্থক্য দেখুন। এই পর্বের run-এ কারণ ছিল staging-এ চালু বসানো ভুল coupon_ge. (গ) দুটিই ১: pytest একটি ব্যর্থতায় ১ দেয়, আর Robot ব্যর্থ test-এর সংখ্যা দেয়, এখানে ১। (ঘ) সত্যিকারের run-এ: FAILED tests/test_shop.py::test_login - KeyError: 'QA_MITU_PASSWORD', অর্থাৎ secret-এর environment variable নেই; app-এর কোনো দোষ নয়, চালানোর পরিবেশের।

  3. এই keyword suite-এ ভুল খুঁজুন: একজন সহকর্মীর লেখা Robot ফাইল; অন্তত পাঁচটি সমস্যা খুঁজুন।
    *** Variables ***
    ${URL}         http://127.0.0.1:8813
    ${PASSWORD}    mitu1234
    
    *** Test Cases ***
    Coupon Works
        Click Button 3
        Add Products To Cart    3    7
        Sleep    2s
        ${expected}=    Expected Discount    1000
        Cart Discount Should Be    ${expected}
    Coupon Above Edge
        Add Products To Cart    9
        Cart Discount Should Be    100
    
    *** Keywords ***
    Expected Discount
        [Arguments]    ${s}
        IF    ${s} >= 1000    RETURN    ${{ min(300, ${s} // 10) }}
        RETURN    0

    (১) URL ফাইলে hard-code: পরিবেশ বদলাতে ফাইল বদলাতে হবে; variable ফাইল বা command line থেকে আনুন। (২) পাসওয়ার্ড ফাইলে লেখা: %{QA_MITU_PASSWORD}-এর মতো environment variable থেকে আনুন। (৩) Click Button 3: যন্ত্রের ভাষার keyword, ব্যবসার নয়; আর কোন বোতাম, বোঝা যায় না। (৪) Sleep 2s: ধীর আর flaky; শর্তে অপেক্ষা বা API স্তরে কোনো অপেক্ষাই লাগে না। (৫) Expected Discount: প্রত্যাশা নিয়ম কপি করে হিসাব, তাও ভুল (>=); app-এ একই ভুল থাকলে test সবুজ থাকবে। প্রত্যাশা table-এ সংখ্যা হিসেবে লিখুন (১০০০ → ০)। (৬) table-এ যুক্তি (IF) ঢুকেছে, keyword ভাষা প্রোগ্রামিং ভাষা হয়ে উঠছে। (৭) দ্বিতীয় test আগের test-এর কার্টের ওপর নির্ভর করে: কোনো reset বা লগইন নেই, শুধু ৯ নম্বর পণ্য (১২১ টাকা) যোগ; একা চালালে ছাড় ০, আর প্রথমটির পরে চালালে কার্ট ১১২১ টাকার, ছাড় ১১২। Test Setup-এ reset আর লগইন, আর প্রতিটি test-এ নিজের পুরো কার্ট (যেমন ৩ আর ৯, মোট ১০০১) দরকার।

  4. Framework বাছাই করুন: একটি ছোট দল: দুজন manual tester, যাঁরা ব্যবসার নিয়ম খুব ভালো জানেন কিন্তু কোড লেখেন না; একজন Python জানা developer, যিনি অর্ধেক সময় দিতে পারবেন। App-এ ভালো নথিভুক্ত JSON API আছে আর একটি web UI. CI ইতিমধ্যে চালু। তাঁরা কুপন, ডেলিভারি আর অর্ডারের অবস্থা-বদলের নিয়ম automate করতে চান। কোন ধরনের framework প্রস্তাব করবেন, কোন স্তরে test, আর প্রথম দুই সপ্তাহে কী বানাবেন?

    একটি যুক্তিসঙ্গত প্রস্তাব: API-স্তরের hybrid, যেখানে tester-রা data বা keyword table লেখেন আর developer নিচের স্তর। দুটি পথ দুটোই চলে: (ক) Robot Framework + RequestsLibrary, developer ছোট keyword-এর লাইব্রেরি বানান, tester-রা Test Template-এর table লেখেন; (খ) pytest + CSV, developer client, fixture আর test function লেখেন, tester-রা CSV-তে case যোগ করেন। দলে কোড না লেখা মানুষ বেশি বলে (ক)-এর table হয়তো সহজ লাগবে; তবে table-এ যুক্তি রাখা নিষেধ, এই নিয়ম প্রথম দিনেই লিখে রাখুন।

    স্তর: নিয়মগুলো API স্তরে (দ্রুত, স্থির); UI-তে শুধু কয়েকটি smoke test (লগইন, কার্টে যোগ, checkout). প্রথম দুই সপ্তাহ: config (local আর staging), secret environment variable-এ, reset fixture বা setup, কুপনের boundary table (৯৯৯, ১০০০, ১০০১, ৩০০০), CI-তে প্রতিটি পরিবর্তনে চালানো আর JUnit XML, আর একটি বসানো ভুল চালু করে suite লাল হয় কি না দেখা। Framework-এর সৌন্দর্য পরে; আগে কাজের test.

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমTest automation framework-এর প্রচলিত প্রজন্মগুলো পুরোনো থেকে নতুন ক্রমে সাজান (▲▼ চেপে সরান)

  1. Record/playback — ক্লিক রেকর্ড করে আবার চালানো
  2. Linear script — একটানা কোড, সব hard-code
  3. Modular / library — বারবার লাগা কাজ function-এ
  4. Data-driven — ধাপ একবার, মান বাইরের ফাইল থেকে
  5. Keyword-driven — test মানে কাজের নামের table
  6. Hybrid — সব ধারণা মিলিয়ে স্তরে সাজানো

একটি automation suite-এ কুপনের নিয়ম যাচাইয়ের ধাপ একবার লেখা, আর প্রতিটি case (মোট, প্রত্যাশিত ছাড়) আসে একটি CSV ফাইলের সারি থেকে। এটি কোন ধরনের পদ্ধতি?

  • Keyword-driven
  • Data-driven
  • Record/playback
  • Linear script

একটি linear script http://127.0.0.1:8813-এ কুপন যাচাই করে শুধু ১০০১ টাকার কার্টে। Staging-এ (port 8843) চালাতে কোডে port বদলানো হলো; সেখানে ছাড়ের শর্ত ভুল করে >= 1000. Script কী রিপোর্ট করবে, আর কেন?

  • কুপন FAIL, কারণ staging-এ ভুল আছে
  • Connection error, কারণ port বদলেছে
  • “staging” লেখা একটি সতর্কবার্তা
  • সব PASS, কারণ ১০০১ টাকায় ঠিক আর ভুল দুটি শর্তই একই ছাড় দেয়

Robot Framework-এ Test Template Discount For Cart Should Be লিখে প্রতিটি test-এ শুধু argument-এর সারি দেওয়া হলো। এর ফলে suite-টি কেমন হয়?

  • Keyword-driven আর data-driven দুটোই, একসাথে
  • Keyword-driven আর থাকে না, শুধু data-driven
  • Record/playback
  • Linear script

একটি automation suite local আর staging দুই পরিবেশে চলবে। Base URL আর একটি test ব্যবহারকারীর পাসওয়ার্ড কোথায় রাখা সবচেয়ে ভালো?

  • দুটোই test ফাইলের ওপরে constant হিসেবে
  • দুটোই config ফাইলে, repository-তে commit করে
  • URL পরিবেশভিত্তিক config-এ, পাসওয়ার্ড environment variable বা secret store থেকে
  • দুটোই প্রতিটি run-এর log-এ লিখে রাখা, যাতে debugging সহজ হয়

একটি নতুন automation দল প্রথম চার মাস নিজস্ব test runner, নিজস্ব XML ফরম্যাট আর নিজস্ব রিপোর্টার বানাল; app-এর একটিও test এখনো নেই। এর প্রধান ঝুঁকি কোনটি?

  • Test অনেক দ্রুত চলবে, তাই ভুল লুকিয়ে যাবে
  • সময় যাচ্ছে পরীক্ষিত tool-এর পুনরাবিষ্কারে, আর suite কয়েকজনের ব্যক্তিগত জ্ঞানে আটকে পড়ছে
  • নিজের কোডের open-source লাইসেন্স লাগবে না
  • XML JSON-এর চেয়ে ধীর

একটি keyword-driven suite-এ একটি keyword প্রত্যাশিত ছাড় হিসাব করে এভাবে: min(300, total // 10) if total >= 1000 else 0, তারপর app-এর উত্তরের সাথে মেলায়। নিয়ম বলে “১০০০ টাকার বেশি হলে” ছাড়। App-এও ঠিক একই >= ভুল থাকলে কী হবে?

  • ১০০০ টাকার case লাল হবে
  • Test ধীর হবে, কিন্তু ফল ঠিক থাকবে
  • Keyword syntax error দেবে
  • Test সবুজ থাকবে, কারণ প্রত্যাশা আর app একই ভুল হিসাব করছে

Robot Framework একটি suite চালিয়ে শেষে লিখল 6 tests, 5 passed, 1 failed. Robot-এর নথিভুক্ত নিয়মে এই run-এর exit code (return code) কত, আর CI-তে এর অর্থ কী?

  • ০, CI সবুজ
  • ৫, CI সবুজ
  • ১, CI লাল
  • ৬, CI লাল

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. Framework = tool + নিয়ম: library, runner, কাঠামো, config, test data, রিপোর্ট আর logging মিলে; শুধু tool মানে কয়েকটি script.
  2. প্রজন্ম: record/playback → linear → modular → data-driven → keyword-driven → hybrid; প্রতিটি আগেরটির একটি যন্ত্রণা কমায়।
  3. Data-driven data বদলায়, keyword-driven ধাপের ক্রমও table-এ; Robot-এর Test Template দুটো একসাথে দেয়।
  4. সত্যিকারের run: শুধু QA_ENV বা variable ফাইল বদলে staging-এ চালাতেই দুটি framework ১০০০ টাকার ভুল ধরল, exit code 1; linear script ধরেনি।
  5. টেকসই হওয়ার শর্ত: runner ধার করুন, adapter বানান; secret কোডের বাইরে, test স্বাধীন, CI-তে সবসময়, আর রক্ষণাবেক্ষণ হিসাবে রাখুন।

পরের পর্বে: Performance testing-এর ধারণা — load, stress, soak আর spike test-এর পার্থক্য, response time-এর গড় কেন বিভ্রান্ত করে, আর percentile (p95, p99) কীভাবে হিসাব করে পড়তে হয়।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান