সরাসরি পর্বে যান
পর্ব ৪৪ · ৮২-এর মধ্যে · মডিউল ৭

Acceptance testing — ATDD, UAT, alpha আর beta

Acceptance Testing — ATDD, UAT, Alpha and Beta

Taught in Bangla, this lesson separates UAT, operational, contract, regulatory, alpha and beta acceptance testing and walks the ATDD cycle of discuss, distill, develop and demo. It turns acceptance criteria into executable tests and separates Definition of Done from exit criteria. A real API-level suite of 20 tests for the Bazarghar demo shop passes, then two seeded bugs fail three and a sign-off script reports BLOCKED. It plans a UAT day with entry and exit criteria and triages beta feedback.

এই পর্বে যা শিখবেন

  • Acceptance testing-এর রূপগুলো (UAT, OAT, চুক্তি, নিয়ন্ত্রক, alpha, beta) কে চালান, কিসের সাথে মেলান আর কী সিদ্ধান্ত দেয়
  • ATDD-র চক্র ধাপে ধাপে, আর acceptance criteria থেকে চালানো যায় এমন acceptance test বানানো
  • Definition of Done, acceptance criteria আর exit criteria-র পার্থক্য
  • UAT-এর পরিকল্পনা, UAT script বনাম নিজের মতো ঘুরে দেখা, আর sign-off-এর শর্ত মেলানো
  • Beta কার্যক্রম চালানো, feedback triage, আর চুক্তিভিত্তিক প্রকল্পে acceptance-এর ধারা

১ · Acceptance testing — “বানানো ঠিক” থেকে “নেওয়া যায়”

দর্জির কাছে ঈদের পাঞ্জাবি বানাতে দিয়েছেন। দর্জি মাপ মিলিয়ে কেটেছেন, সেলাই পরীক্ষা করেছেন, বোতাম টেনে দেখেছেন। এগুলো তাঁর নিজের যাচাই। কিন্তু ডেলিভারির দিন আপনি পাঞ্জাবি গায়ে দিয়ে আয়নার সামনে দাঁড়ান, হাত তুলে দেখেন, বসে দেখেন। হাতা একটু খাটো লাগলে দর্জির মাপের খাতা যতই ঠিক থাকুক, আপনি নেবেন না। এই শেষ ট্রায়ালটিই acceptance testing: যাঁর জন্য বানানো, তিনি নিজের প্রয়োজনের সাথে মিলিয়ে দেখেন, আর সিদ্ধান্ত দেন “নেব” বা “এখনো না”।

Test-এর স্তরগুলোর প্রথম পরিচয় পর্ব ০৫-এ হয়েছে: component, integration, system, তারপর acceptance. আগের স্তরগুলো মূলত verification: specification মেনে বানানো হয়েছে কি না। Acceptance সবচেয়ে কাছে validation-এর: আসল প্রয়োজন মেটে কি না। ISTQB-এর syllabus-এ acceptance-এর মূল লক্ষ্য ধরা হয় আস্থা তৈরি আর প্রস্তুতি যাচাই; ভুল খোঁজা এখানে প্রধান লক্ষ্য নয়। তাই এই স্তরে বড় bug পাওয়া মানে সাধারণত আগের কোনো স্তরে কিছু ফসকে গেছে, অথবা requirement-ই ভুল বোঝা হয়েছিল।

ছয়টি রূপ — কে চালান, কী সিদ্ধান্ত হয়

রূপকে, কোথায়বাজারঘরে “পাস” মানে
UATব্যবসার মানুষ ও ব্যবহারকারীর প্রতিনিধি, UAT পরিবেশেProduct owner নিজে রিভিউ দিয়ে আর checkout করে বলেন, “আমাদের ক্রেতার জন্য এটাই চাই”
OATOps দল, production-এর মতো পরিবেশেBackup থেকে রিভিউয়ের table ফেরানো যায়, নতুন version চালু ও ফেরত নেওয়া যায়, সতর্কবার্তা আসে
চুক্তিভিত্তিকগ্রাহক প্রতিষ্ঠান, প্রায়ই নির্মাতার সাথে মিলেবাইরের কোনো প্রতিষ্ঠান বাজারঘর বানালে চুক্তির পরিশিষ্টে লেখা প্রতিটি acceptance test পাস
নিয়ন্ত্রকপ্রতিষ্ঠান নিজে, কখনো নিয়ন্ত্রক সংস্থার নজরেব্যক্তিগত তথ্য রাখার নিয়ম, হিসাবের নথি রাখার নিয়ম মানা হচ্ছে
Alphaনির্মাতার নিজের জায়গায়, ভেতরের কর্মী বা বাছাই করা ব্যবহারকারীঅফিসের সবাই এক সপ্তাহ নিজের বাজার বাজারঘরেই করেন, সমস্যা লেখেন
Betaবাইরের সীমিত ব্যবহারকারী, নিজের ফোন আর নিজের নেটওয়ার্কে৫% ক্রেতার কাছে রিভিউ feature চালু, তাঁদের feedback আর ব্যবহারের তথ্য দেখে সিদ্ধান্ত

Alpha আর beta-র পার্থক্য মনে রাখার সহজ সূত্র: কোথায় চলে। Alpha চলে নির্মাতার নিয়ন্ত্রিত জায়গায়, তাই সমস্যা দেখা ও শোধরানো সহজ। Beta চলে ব্যবহারকারীর আসল জগতে: পুরোনো ফোন, দুর্বল নেটওয়ার্ক, অপ্রত্যাশিত অভ্যাস। ভেতরের কর্মীদের দিয়ে নিজের পণ্য ব্যবহার করানোকে অনেকে dogfooding বলেন; এটি alpha-র একটি জনপ্রিয় রূপ। অনেক দল alpha-কে একেবারেই আলাদা ধাপ বানায় না, আবার mobile app-এর দুনিয়ায় beta প্রায় নিয়মিত চর্চা।

একটি বাক্যে

Acceptance testing-এর ফল একটি সিদ্ধান্ত: নেওয়া হবে, শর্তসহ নেওয়া হবে, নাকি এখনো না। তাই এর প্রতিটি অংশ, criteria থেকে রিপোর্ট পর্যন্ত, এমনভাবে লেখা হয় যাতে একজন অ-প্রযুক্তিবিদ সিদ্ধান্তদাতা পড়ে বুঝতে পারেন।

২ · ATDD — আলোচনা, ছেঁকে নেওয়া, বানানো, দেখানো

প্রচলিত পথে acceptance আসে শেষে: সব বানানো শেষ, তারপর ব্যবসার মানুষ দেখে বলেন “এটা তো চাইনি”। ATDD (acceptance test-driven development) এই ক্রম উল্টে দেয়। কাজ শুরুর আগেই দল মিলে ঠিক করে, কোন কোন নির্দিষ্ট উদাহরণে feature-টি গ্রহণযোগ্য; সেই উদাহরণগুলোই acceptance test, যা code লেখার আগে লেখা হয় আর শুরুতে ব্যর্থ হয়। পর্ব ২৭-এর outside-in TDD-তে দেখেছেন, বাইরের একটি acceptance test থেকে ভেতরের unit test-এর দিকে নামা যায়; ATDD সেই বাইরের test-টি কোথা থেকে আসে, সেই প্রশ্নের উত্তর। TDD আর BDD-র সাধারণ পরিচয় সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৪৮-এ।

Elisabeth Hendrickson ২০০৮ সালের দিকে তাঁর লেখা ও বক্তৃতায় এই চক্রকে চারটি শব্দে বেঁধেছিলেন: Discuss, Distill, Develop, Demo. Gojko Adzic-এর “Specification by Example” (২০১১) বইটি একই ধারণাকে বড় পরিসরে দেখায়: বহু দলের অভিজ্ঞতা থেকে তিনি দেখান, আসল লাভ test-এ নয়, উদাহরণ নিয়ে কথোপকথনে। নাম আলাদা, মূল কথা এক।

ATDD-র চক্র — বাজারঘরের AC3

Discuss → Distill → Develop → Demo, with an executable acceptance test at the centre

ATDD-র চক্র: Discuss, Distill, Develop, Demo, মাঝে চালানো যায় এমন acceptance test ১ · Discuss আলোচনা three amigos, example mapping ২ · Distill ছেঁকে নেওয়া উদাহরণ → test, code-এর আগে ৩ · Develop বানানো লাল → সবুজ, ভেতরে TDD ৪ · Demo দেখানো PO-র সামনে, গ্রহণ বা প্রশ্ন acceptance test AC3: ৭টি উদাহরণ চলে প্রতিটি build-এ → living documentation
ছবি ৪৪.১ — চারটি ধাপ ঘুরে একটি acceptance test-এ মেলে। Demo-তে নতুন প্রশ্ন উঠলে চক্র আবার আলোচনায় ফেরে।

বাজারঘরের রিভিউ feature-এর AC3 নিয়ে চক্রটি একবার ঘুরে দেখুন। নিয়মটি পর্ব ১৫-এ ঠিক হয়েছিল: লেখা বাধ্যতামূলক, দুই পাশের ফাঁকা বাদে ১০ থেকে ৫০০টি Unicode code point. মাঝের সংখ্যাগুলো সত্যিকারের run থেকে, নিচের Pyodide ব্লকের সাথে মেলে:

  1. Discuss3 amigosআলোচনা
  2. Distilltest_ac3.pyউদাহরণ → test
  3. Developtext_ok()লাল → সবুজ
  4. DemostagingPO দেখেন
AC3 · লেখার দৈর্ঘ্য
কে
হাতে কী
ফল
  1. Discuss: three amigos. Product owner নাসরিন, developer রাকিব আর tester শাপলা পনেরো মিনিট বসলেন (three amigos). শাপলার প্রশ্ন: “😀 কি একটি অক্ষর?” নাসরিন বললেন, ক্রেতা যা একটি চিহ্ন হিসেবে দেখেন, সেটি একটি। দল ঠিক করল code point গোনা হবে। পর্ব ৪৩-এর example mapping-এ এই কাজের পুরো কৌশল আছে।
  2. Distill: উদাহরণ থেকে test. আলোচনার উদাহরণগুলো একটি টেবিলে বসল: ৯টি অক্ষর না, ১০টি হ্যাঁ, দুই পাশে ফাঁকাসহ ১০টি হ্যাঁ, ৫০০ হ্যাঁ, ৫০১ না, ৫টি emoji না, ৫০০টি emoji হ্যাঁ। টেবিলটিই test_ac3.py-এর parametrize. Code-এর একটি লাইনও এখনো লেখা হয়নি।
  3. Develop: প্রথমে লাল। Test চালাতেই ব্যর্থ, কারণ text_ok function-ই নেই। এই লাল রং দরকারি: এটি প্রমাণ করে test সত্যিই কিছু যাচাই করছে, আগে থেকে সবুজ হয়ে বসে নেই।
  4. Develop: প্রথম রূপ। রাকিব দ্রুত একটি রূপ লিখলেন, যা দৈর্ঘ্য মাপে UTF-16 unit-এ, অনেক ভাষার string.length-এর মতো। ফল: ৫টি পাস, ২টি ব্যর্থ। ৫টি emoji (১০ unit) গৃহীত হচ্ছে, ৫০০টি emoji (১০০০ unit) বাতিল। আলোচনায় emoji-র প্রশ্নটি না উঠলে এই দুটি উদাহরণ থাকত না, আর ভুলটি ধরা পড়ত হয়তো production-এ।
  5. Develop: ঠিক করা। গণনা বদলে len(text.strip()), যা Python-এ code point গোনে। সাতটিই পাস। ভেতরে রাকিব আরও কয়েকটি unit test লিখেছেন, কিন্তু acceptance-এর মাপকাঠি এই সাতটি।
  6. Demo: PO-র সামনে। Staging-এ নাসরিন নিজে ৯টি অক্ষর লিখে বার্তা দেখলেন, তারপর ১০টি লিখে জমা দিলেন। গ্রহণ। Test-টি এখন suite-এর স্থায়ী অংশ: প্রতিটি build-এ চলে, তাই এটি নিয়মের এমন দলিল, যা পুরোনো হলে নিজেই লাল হয়ে জানায়।

এবার চক্রের মাঝের দুই ধাপ এই পাতাতেই চালান। প্রথমে উদাহরণ থেকে লেখা test, তারপর developer-এর প্রথম রূপ। pytest এখানে Pyodide-এ চলছে:

import os, sys, pytest
os.makedirs("/home/pyodide/p44a", exist_ok=True)
os.chdir("/home/pyodide/p44a"); sys.path.insert(0, os.getcwd())
for m in ("review44", "test_ac3"): sys.modules.pop(m, None)

# 1) distilled BEFORE coding: AC3 examples agreed by PO, dev and tester
open("test_ac3.py", "w").write('''
import pytest
from review44 import text_ok
EXAMPLES = [("ক" * 9, False), ("ক" * 10, True), ("  " + "ক" * 10 + " ", True),
            ("ক" * 500, True), ("ক" * 501, False),
            ("😀" * 5, False), ("😀" * 500, True)]
IDS = ["9", "10", "10-trim", "500", "501", "5-emoji", "500-emoji"]

@pytest.mark.parametrize("text,ok", EXAMPLES, ids=IDS)
def test_ac3_length(text, ok):
    got = text_ok(text)
    assert got == ok, f"{len(text.strip())} code points"
''')

# 2) developer's first version, written to make the examples pass
open("review44.py", "w").write('''
def text_ok(text):
    units = len(text.strip().encode("utf-16-le")) // 2
    return 10 <= units <= 500
''')

pytest.main(["-q", "--no-header", "--tb=line", "-p", "no:cacheprovider",
             "test_ac3.py"])

আসল আউটপুট:

.....FF                                                                  [100%]
=================================== FAILURES ===================================
E   AssertionError: 5 code points
    assert True == False
/home/pyodide/p44a/test_ac3.py:12: AssertionError: 5 code points
E   AssertionError: 500 code points
    assert False == True
/home/pyodide/p44a/test_ac3.py:12: AssertionError: 500 code points
=========================== short test summary info ============================
FAILED test_ac3.py::test_ac3_length[5-emoji] - AssertionError: 5 code points
FAILED test_ac3.py::test_ac3_length[500-emoji] - AssertionError: 500 code points
2 failed, 5 passed in 0.02s

সাতটি উদাহরণের পাঁচটি পাস, ব্যর্থ শুধু দুটি emoji-র সারি। বার্তা পড়ুন: 5 code points, আর assert True == False: ৫টি code point-এর লেখা নিয়মে বাতিল হওয়ার কথা, function বলছে গ্রহণযোগ্য। কারণ প্রতিটি 😀 UTF-16-এ দুটি unit, তাই function গুনেছে ১০. উল্টো দিকে ৫০০টি emoji, নিয়মে বৈধ, কিন্তু function গুনেছে ১০০০, তাই বাতিল। বাংলা “ক”-এর সারিগুলো পাস করেছে, কারণ বাংলা অক্ষর UTF-16-এ একটি unit-ই; শুধু বাংলা দিয়ে test করলে ভুলটি লুকিয়ে থাকত। review44.py-এর গণনার লাইনটি units = len(text.strip()) করে আবার চালান: সাতটিই পাস। বাংলা লেখার গণনার আরও খুঁটিনাটি পর্ব ৫৬ (Localization testing)-এ আসবে।

৩ · Acceptance criteria থেকে acceptance test — আর Definition of Done

পর্ব ১৫-এ acceptance criteria লিখেছিলেন: একটি story কখন গ্রহণযোগ্য, তার শর্ত। Acceptance test সেই শর্তের নির্দিষ্ট, যাচাইযোগ্য উদাহরণ। একটি criterion থেকে সাধারণত কয়েকটি test আসে: AC3-এর একটি বাক্য থেকে সাতটি সারি। উল্টোটাও সত্য: যে criterion-এর একটিও test নেই, সেটি আসলে কেউ যাচাই করছেন না। তাই acceptance suite-এর প্রতিটি test-এর নামে criterion-এর পরিচয় রাখা ভালো, যেমন test_ac3_…, যাতে রিপোর্ট থেকে সরাসরি পর্ব ১৯-এর traceability পাওয়া যায়।

এভাবে লেখা test-কে বলা হয় executable specification: মানুষ পড়ে নিয়ম বোঝেন, আর যন্ত্র চালিয়ে মিলিয়ে দেখে। Suite নিয়মিত চললে এটি হয়ে ওঠে living documentation, অর্থাৎ এমন দলিল, যা code-এর সাথে না মিললে লাল হয়ে যায়। Word ফাইলের requirement ছয় মাস পরে কেউ খোলেন না; প্রতিদিন চলা test খোলেন।

তিনটি “শেষ”-এর ধারণা — গুলিয়ে ফেলবেন না

ধারণাকিসের জন্যবাজারঘরের উদাহরণ
Acceptance criteriaএকটি নির্দিষ্ট story, তার আচরণUS-12: AC1–AC6, যেমন “শুধু delivered অর্ডারে রিভিউ”
Definition of Doneদলের সব কাজের সাধারণ মানCode review হয়েছে, unit ও acceptance test পাস, accessibility-র চেক, documentation হালনাগাদ
Exit criteriaএকটি test কার্যক্রম, যেমন UAT, কখন শেষসব UAT script চলেছে, খোলা critical/major শূন্য, প্রতিটি AC-তে পাস

একটি story “done” হতে হলে দুটিই লাগে: তার নিজের acceptance criteria পূরণ, আর দলের Definition of Done পূরণ। রিভিউ feature সব AC মানলেও যদি code review না হয়ে থাকে, সেটি done নয়। শুরুর দিকের প্রতিরূপ হলো Definition of Ready: কোন story sprint-এ নেওয়ার মতো যথেষ্ট পরিষ্কার, যেমন “AC লেখা আছে আর tester পড়েছেন”। পর্ব ১৭-এ entry আর exit criteria-র সাথে এদের সম্পর্ক দেখেছেন। Agile দলে acceptance-এর জায়গা নিয়ে সাধারণ আলোচনা সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ০৫-এ।

ইতিহাস থেকে: ব্যবসার মানুষ নিজেই test লিখবেন, এই স্বপ্ন পুরোনো। Ward Cunningham ২০০২ সালের দিকে Fit (Framework for Integrated Test) বানান: ব্যবসার মানুষ HTML টেবিলে উদাহরণ লিখতেন, আর developer-এর লেখা ছোট “fixture” code সেই টেবিল চালাত। এর ওপর তৈরি wiki-ভিত্তিক tool FitNesse, Robert C. Martin-দের হাতে, প্রায় একই সময়ে। পরে Cucumber আর Gherkin (পর্ব ৪৩) একই ধারণাকে টেবিলের বদলে Given-When-Then বাক্যে নিয়ে আসে। ভাবনার প্রশ্ন ১-এ দেখবেন, স্বপ্নটি পুরো সফল হয়নি কেন।

৪ · Acceptance suite সত্যিকারভাবে — API স্তরে, রিপোর্ট আর sign-off-সহ

Acceptance test কোন স্তরে স্বয়ংক্রিয় করবেন? মনে হতে পারে, ব্যবহারকারী যেহেতু UI দেখেন, তাই সব acceptance test UI দিয়ে। বাস্তবে বেশিরভাগ ব্যবসার নিয়ম UI-এর ঠিক নিচে, API স্তরে, যাচাই করা দ্রুত আর স্থির। Martin Fowler ২০১১ সালের দিকে এমন test-কে “subcutaneous test” (চামড়ার ঠিক নিচের test) নাম দেন।

API স্তরUI স্তর
ভালো কিসেনিয়মের সব সীমা আর মিশ্রণ: AC2, AC3, coupon, deliveryযাত্রা আর অভিজ্ঞতা: এক চাপে রিভিউ ফর্মে পৌঁছানো (NFR-1), checkout-এর মোট টাকা বদলানো
গতিএই পর্বে ২০টি test দেড় সেকেন্ডেপ্রতিটি যাত্রা কয়েক সেকেন্ড
ভাঙে কখনচুক্তি (endpoint, field) বদলালেButton-এর লেখা, layout বা সময় বদলালেও
PO কি পড়তে পারেননাম আর রিপোর্ট পড়ে, হ্যাঁVideo বা trace দেখে, হ্যাঁ

বাজারঘরে তাই সিদ্ধান্ত: AC1–AC6 আর checkout-এর নিয়ম API-তে; NFR-1-এর একটি হালকা যাচাই HTML পাতা পড়ে; আর পুরো যাত্রা UAT-এর দিনে browser-এ (§৫)। নিচের সবকিছু এই কোর্সের লেখার সময় একটি সাধারণ Windows ডেস্কটপে সত্যিকারভাবে চালানো হয়েছে, কোর্সের নিজস্ব বাজারঘর app-এর বিরুদ্ধে (শুধু 127.0.0.1-এ চলে)। Library: pytest 9.2.0 (MIT), httpx 0.28.1 (BSD-3-Clause), pytest-html 4.2.0 (MPL-2.0; সাথে আসে pytest-metadata 3.1.1, MPL-2.0) আর UAT-এর জন্য Playwright 1.65.2 (Apache-2.0). Path নিরপেক্ষ করা।

# টার্মিনাল ১: app, test mode-এ, নতুন seed নিয়ে
cd bazarghar
BAZARGHAR_TEST_MODE=1 uv run bazarghar --port 8812 --test-mode --reset

# টার্মিনাল ২: acceptance suite
cd bazarghar-acceptance
uv init --vcs none --author-from none
uv add pytest httpx pytest-html playwright
BAZARGHAR_URL=http://127.0.0.1:8812 uv run pytest -v \
    --junitxml=report.xml --html=report.html --self-contained-html
uv run python signoff.py report.xml

conftest.py হুবহু পর্ব ৩১-এর: session-scope httpx.Client, প্রতিটি test-এর আগে reset, আর login-এর factory fixture. নতুন যা, তা হলো test-এর ভাষা আর নাম। রিভিউয়ের ফাইলের একটি অংশ:

"""US-12 রিভিউ আর রেটিং: AC1-AC6 + NFR-1 as executable acceptance tests."""
DAL, OIL, RICE = 2, 3, 1
GOOD = "ডাল খুব ভালো, আবার কিনব"


def test_ac1_not_delivered_is_refused(client, login):
    r = post_review(client, login("sumi"), OIL, 5, GOOD)   # order 6 placed
    assert (r.status_code, r.json()["detail"]["code"]) == (403, "not_eligible")


@pytest.mark.parametrize(("text", "status"), [
    pytest.param("ক" * 9, 422, id="9-chars"),
    pytest.param("ক" * 10, 201, id="10-chars"),
    pytest.param("  " + "ক" * 10 + "  ", 201, id="10-after-trim"),
    pytest.param("😀" * 5, 422, id="5-emoji"),
    pytest.param("😀" * 500, 201, id="500-emoji"),
    pytest.param("ক" * 501, 422, id="501-chars"),
])
def test_ac3_text_10_to_500_code_points(client, login, text, status):
    r = post_review(client, login("mitu"), DAL, 4, text)
    assert r.status_code == status, f"{len(text.strip())} code points"


def test_ac5_average_one_decimal_half_up(client):
    body = client.get(f"/api/products/{RICE}/reviews").json()  # 4,4,5,4
    assert body["average_display"] == "4.3"


def test_nfr1_one_tap_from_delivered_order(client, login):
    token = login("mitu")["Authorization"].split()[1]
    page = client.get("/orders/1", headers={"Cookie": f"bg_session={token}"}).text
    assert 'href="/products/2/review" data-testid="review-link"' in page

নামই traceability: test_ac3_…, test_nfr1_…, আর checkout-এর ফাইলে test_chk1_… থেকে test_chk4_…. Sign-off script এই উপসর্গ পড়েই বোঝে কোন test কোন শর্তের। Seed-এর ঘটনা: সুমির অর্ডার ৬ এখনো placed, তাই তেলের রিভিউয়ে 403 not_eligible (AC1); মিতু আগেই চালের রিভিউ দিয়েছেন, AC4-এর test সেটি কাজে লাগায়। AC5: চালের চারটি রিভিউ ৪, ৪, ৫, ৪, গড় ৪.২৫, half up-এ “4.3”. NFR-1: UI না খুলে delivered অর্ডারের HTML পাতায় রিভিউ ফর্মের সরাসরি link আছে কি না দেখা; এটি এক চাপের পথের সস্তা প্রমাণ, পুরো প্রমাণ নয়।

App ঠিক থাকলে সত্যিকারের আউটপুট (header-এর platform-এর বিবরণ আর একই রকম PASSED লাইন ছাঁটা):

$ BAZARGHAR_URL=http://127.0.0.1:8812 uv run pytest -v --junitxml=report.xml --html=report.html --self-contained-html
platform win32 -- Python 3.12.13, pytest-9.2.0, pluggy-1.7.0
rootdir: ~/bazarghar-acceptance
plugins: anyio-4.16.0, html-4.2.0, metadata-3.1.1
collecting ... collected 20 items

tests/test_checkout_acceptance.py::test_chk1_order_1001_gets_coupon_and_is_paid PASSED [  5%]
tests/test_checkout_acceptance.py::test_chk2_exactly_1000_gets_no_coupon PASSED [ 10%]
…
tests/test_review_acceptance.py::test_ac3_text_10_to_500_code_points[5-emoji] PASSED [ 70%]
tests/test_review_acceptance.py::test_ac3_text_10_to_500_code_points[500-emoji] PASSED [ 75%]
…
tests/test_review_acceptance.py::test_nfr1_one_tap_from_delivered_order PASSED [100%]

- generated xml file: ~/bazarghar-acceptance/report.xml -
- Generated html report: ~/bazarghar-acceptance/report.html -
============================= 20 passed in 1.49s ==============================
$ uv run python signoff.py report.xml
AC1    2 test(s)  met
AC2    4 test(s)  met
AC3    6 test(s)  met
…
CHK4   1 test(s)  met
SIGN-OFF: READY

দুটি রিপোর্ট বেরোল। JUnit XML (report.xml) যন্ত্রের জন্য: CI আর আমাদের sign-off script পড়ে। report.html মানুষের জন্য: ব্রাউজারে খুললে প্রতিটি test-এর ফল, সময় আর ব্যর্থ হলে পুরো বার্তা, filter-সহ; --self-contained-html থাকায় এক ফাইলেই সব, ইমেইলে পাঠানো যায়। রিপোর্ট ও metric নিয়ে বিস্তারিত পর্ব ৬৭-এ।

বসানো ভুল চালু করে — sign-off আটকে যায়

এবার app চালানো হলো দুটি বসানো ভুলসহ: review_utf16_length (§২-এর সেই UTF-16 গণনা) আর coupon_ge (১০০০ টাকাতেই ছাড়)। Test-এ একটি অক্ষরও বদলানো হয়নি। সত্যিকারের আউটপুট:

$ BAZARGHAR_BUGS=review_utf16_length,coupon_ge uv run bazarghar --port 8812 --test-mode --reset
$ uv run pytest -q --tb=short --junitxml=report_bugs.xml
.F...........FF.....                                                     [100%]
================================== FAILURES ===================================
____________________ test_chk2_exactly_1000_gets_no_coupon ____________________
tests\test_checkout_acceptance.py:35: in test_chk2_exactly_1000_gets_no_coupon
    assert (q["subtotal"], q["discount"], q["total"]) == (1000, 0, 1060)
E   assert (1000, 100, 960) == (1000, 0, 1060)
E     At index 1 diff: 100 != 0
________________ test_ac3_text_10_to_500_code_points[5-emoji] _________________
E   AssertionError: 5 code points
E   assert 201 == 422
_______________ test_ac3_text_10_to_500_code_points[500-emoji] ________________
E   AssertionError: 500 code points
E   assert 422 == 201
…
3 failed, 17 passed in 1.50s
$ uv run python signoff.py report_bugs.xml
AC1    2 test(s)  met
AC2    4 test(s)  met
AC3    6 test(s)  FAIL
        x test_ac3_text_10_to_500_code_points[5-emoji]
        x test_ac3_text_10_to_500_code_points[500-emoji]
…
CHK2   1 test(s)  FAIL
        x test_chk2_exactly_1000_gets_no_coupon
…
SIGN-OFF: BLOCKED by AC3, CHK2

২০টির ৩টি ব্যর্থ, আর প্রতিটির বার্তা একজন অ-প্রোগ্রামারও পড়তে পারেন: ১০০০ টাকার cart-এ ছাড় এসেছে ১০০, চাওয়া ০; ৫টি code point-এর লেখায় 201 Created, চাওয়া 422. signoff.py (২৭ লাইনের একটি script) JUnit XML পড়ে test-গুলো criterion অনুযায়ী ভাগ করে, আর যে criterion-এর একটিও test ব্যর্থ বা যার কোনো test-ই নেই, তাকে আটকানো তালিকায় রাখে। তাই সিদ্ধান্ত “BLOCKED by AC3, CHK2”. লক্ষ করুন, “৮৫% পাস” বলা হচ্ছে না। Acceptance-এর ভাষা শতাংশ নয়, শর্ত: কোন প্রতিশ্রুতি রাখা হয়নি। Script-টি সিদ্ধান্ত নেয় না, সিদ্ধান্তের তথ্য গুছিয়ে দেয়; সই করবেন মানুষ।

৫ · UAT-এর পরিকল্পনা — কে, কোথায়, কোন data, কখন শেষ

স্বয়ংক্রিয় suite সবুজ হলেও UAT দরকার, কারণ suite শুধু সেই প্রশ্নের উত্তর দেয়, যা আমরা আগে থেকে জানতাম। UAT-এ ব্যবসার মানুষ নিজের চোখে দেখেন: বার্তার ভাষা কি ক্রেতা বুঝবেন, পাঁচটি স্টার ছোট ফোনে চাপা যায় কি না, হিসাব কি দোকানের হিসাবরক্ষকের খাতার সাথে মেলে। বিয়েবাড়ির রান্নার আগে বাবুর্চি যেমন একবার “ট্রায়াল” রাঁধেন আর বাড়ির মুরুব্বিরা চেখে দেখেন, UAT তেমন: আসল অনুষ্ঠানের আগে আসল মানুষের জিভে।

বিষয়Release 1.5 (রিভিউ + checkout) · এক পাতার UAT plan
কে চালাবেননাসরিন (product owner), দুজন নিয়মিত ক্রেতার প্রতিনিধি, customer support-এর একজন; ops lead জাহিদ OAT-এর অংশ দেখবেন। Tester শাপলা পরিচালনা করবেন, নিজে script চালাবেন না।
কোথায়UAT পরিবেশ: staging, production-এর মতো সাজানো; build release candidate 1.5.0-rc.2; payment শুধু fake gateway-তে
Dataবানানো ক্রেতা আর অর্ডার (seed); production-এর কোনো ব্যক্তিগত তথ্য নয়। Masking-এর কৌশল পর্ব ৬৫-এ।
EntryN1 acceptance suite 20/20 পাস · N2 system test-এর খোলা critical/major শূন্য · N3 UAT script PO-র পড়া · N4 সবার login আর ১৫ মিনিটের briefing
ExitX1 সব script চালানো · X2 পাস ৯০% বা বেশি · X3 খোলা critical/major শূন্য · X4 প্রতিটি AC, NFR-1 আর checkout-এ অন্তত একটি পাস করা script · X5 PO আর ops lead-এর sign-off
Script বনাম ঘুরে দেখা১০টি script (U1–U10), তারপর ৩০ মিনিট নিজের মতো ঘুরে দেখা, একটি charter-সহ (পর্ব ২০)

UAT script বনাম নিজের মতো ঘুরে দেখা

ব্যবসার মানুষ tester নন, আর তাঁদের সময় দামি। তাই UAT script ছোট আর কাজের ভাষায় লেখা হয়: “আপনার পাওয়া একটি অর্ডারে ডালের রিভিউ দিন, পাঁচ স্টার”, ধাপে ধাপে “এই button-এ click করুন” নয়। প্রতিটি script একটি criterion-এর সাথে যুক্ত, আর প্রত্যাশিত ফল চোখে দেখে মেলানো যায়। কিন্তু শুধু script চালালে UAT হয়ে যায় system test-এর দুর্বল পুনরাবৃত্তি। ব্যবসার মানুষের আসল শক্তি তাঁদের জ্ঞান: হিসাবরক্ষক জানেন কোন হিসাবে গোলমাল হয়, support কর্মী জানেন ক্রেতা কোথায় আটকান। তাই script-এর পরে একটি charter দিয়ে খোলা সময়: “নিজের ফোনে, আপনার পরিচিত একজন বয়স্ক ক্রেতা যেভাবে ব্যবহার করবেন, সেভাবে রিভিউ দিয়ে দেখুন।”

একটি UAT checklist-এর সত্যিকারের run

নিচের ছয় ধাপের checklist ব্যবসার মানুষের জন্য লেখা। এখানে ধাপগুলো headless Edge-এ Playwright দিয়ে (পর্ব ৩৬) চালিয়ে ফল লেখা হয়েছে, যাতে টেবিলের প্রতিটি ঘর একটি সত্যিকারের পর্যবেক্ষণ। আসল UAT-এ এগুলো মানুষ হাতে চালান।

IDধাপ (ক্রেতা মিতু হিসেবে)যা দেখা গেলফল
U1অর্ডার ১ খুলুন; অবস্থা delivered দেখাচ্ছে?“পৌঁছে গেছে”PASS
U2অর্ডারের পাতা থেকে এক চাপে ডালের রিভিউ ফর্ম“রিভিউ লিখুন: মসুর ডাল ১ কেজি”PASS
U3৫ স্টার আর একটি বাংলা মন্তব্য জমা দিনপ্রথম রিভিউ: মিতু রহমান, ৫ স্টারPASS
U4চালের পাতায় গড় রেটিং4.3PASS
U5তেল আর আলু cart-এ; checkout-এ ঢাকার হিসাব1001 / 100 / 60 / 961PASS
U6নগদ পদ্ধতিতে অর্ডার দিনঅর্ডার #8, মোট 961PASS

শেষ run-এ ছয়ে ছয়। কিন্তু প্রথম run-এ U1 ব্যর্থ হয়েছিল, আর কারণটি শিক্ষণীয়: checklist-এ প্রত্যাশিত লেখা ছিল “ডেলিভারি হয়েছে”, অথচ app দেখায় “পৌঁছে গেছে”। App ঠিক, script ভুল। UAT-এ এমন অমিল প্রায়ই আসে, আর প্রশ্নটি তখন ব্যবসার: কোন শব্দটি ক্রেতা ভালো বোঝেন? উত্তর না জেনে script “ঠিক” করে দেওয়া, বা app-এ bug লেখা, দুটিই তাড়াহুড়া। এখানে নাসরিন app-এর শব্দই রাখলেন, আর script হালনাগাদ হলো।

UAT-এর একটি দিন

Release 1.5 · ১০টি UAT script
সময়
build
চালানো
পাস
খোলা major
  1. ০৯:০০ — entry যাচাই। RC 1.5.0-rc.2 staging-এ; acceptance suite 20/20 পাস (N1); system test-এর খোলা critical/major নেই (N2); PO script পড়েছেন (N3); সবার login কাজ করছে (N4). চারে চার, UAT শুরু। একটিও না মিললে দিনটি পিছিয়ে দেওয়াই ভালো: ব্যবসার মানুষের একটি নষ্ট দিন পরের UAT-এ তাঁদের আগ্রহও কমায়।
  2. ০৯:৩০ — briefing. শাপলা পনেরো মিনিটে বলেন: কী নতুন, কী scope-এর বাইরে (রিভিউ সম্পাদনা, ভাষার moderation), সমস্যা পেলে কোথায় লিখবেন, আর মনে করিয়ে দেন যে payment নকল। কে কোন script চালাবেন, ভাগ হয়।
  3. ১১:০০ — script চলছে। ছয়টি চালানো, পাঁচটি পাস। U4-এ একজন ক্রেতা-প্রতিনিধি মজা করে শুধু পাঁচটি emoji লিখে জমা দিলেন, আর জমা হয়ে গেল। শাপলা পুনরুৎপাদন করে BG-171 লিখলেন, major, AC3-এর লঙ্ঘন (পর্ব ১৮-এর নিয়মে)। Acceptance suite কেন ধরেনি? rc.2-এর একটি শেষ মুহূর্তের পরিবর্তন suite চালানোর পরে ঢুকেছিল।
  4. ১৪:০০ — সব script শেষ। দশটির দশটি চালানো, নয়টি পাস: X1 আর X2 (৯০%) পূরণ। কিন্তু X3-এ একটি খোলা major, X4-এ AC3-এর কোনো পাস করা script নেই, আর সই এখনো হয়নি (X5). ঘুরে দেখার সময়ে support কর্মী পেলেন BG-172, minor: বাংলা পাতায় রিভিউর validation-এর ভুলের বার্তা ইংরেজিতে (একই ভুল পর্ব ৫৬-এ সত্যিকারের run-এ ধরা পড়ে)। নিচের Pyodide ব্লক ঠিক এই মুহূর্তের হিসাব।
  5. ১৬:০০ — rc.3 আর retest. রাকিবের সংশোধন rc.3-এ। শাপলা আগে পুরো acceptance suite চালালেন (20/20), তারপর U4 আবার চালানো হলো: পাস। BG-171 বন্ধ। এটিই retest আর regression-এর জোড়া (পর্ব ১৯)।
  6. ১৭:৩০ — sign-off. X1–X4 পূরণ। নাসরিন BG-172-কে জেনেশুনে known issue হিসেবে মেনে নিলেন, পরের release-এ ঠিক হবে। জাহিদ OAT-এর backup ফেরানোর যাচাই দেখে সই করলেন। দুজনের সই (X5), release-এর অনুমতি। রিপোর্টে residual risk-এর তালিকা থাকল।

দিনের ১৪টার অবস্থাটি এবার data হিসেবে। Exit criteria-র প্রতিটি শর্ত হিসাব করে, তারপর সিদ্ধান্ত আর residual risk-এর তালিকা। Data এই উদাহরণের জন্য বানানো:

PLANNED = {"U1": "AC1", "U2": "NFR1", "U3": "AC2", "U4": "AC3", "U5": "AC4",
           "U6": "AC5", "U7": "AC6", "U8": "CHK", "U9": "CHK", "U10": "CHK"}
RESULTS = dict.fromkeys(PLANNED, "pass") | {"U4": "fail"}   # 5 emoji accepted
DEFECTS = [  # id, severity, status, accepted by product owner as known issue?
    ("BG-171", "major", "open", False),     # U4
    ("BG-172", "minor", "open", True)]       # error message in English
SIGNED = {"product owner": False, "ops lead": False}   # signed last
NOT_TESTED = ["editing reviews (out of scope)",
              "time limit after delivery (open question)"]

run = [u for u in PLANNED if RESULTS.get(u) in ("pass", "fail")]
passed = [u for u in run if RESULTS[u] == "pass"]
need = set(PLANNED.values())
covered = {PLANNED[u] for u in passed}
blocking = [d[0] for d in DEFECTS if d[1] in ("critical", "major") and d[2] == "open"]
checks = [
    ("X1 planned scripts run", f"{len(run)}/{len(PLANNED)}", len(run) == len(PLANNED)),
    ("X2 pass rate >= 90%", f"{len(passed)}/{len(run)}", len(passed) >= 0.9 * len(run)),
    ("X3 open critical/major = 0", f"{len(blocking)} {blocking}", not blocking),
    ("X4 each criterion passed", f"missing {sorted(need - covered)}", covered == need),
    ("X5 sign-offs", f"{sum(SIGNED.values())}/{len(SIGNED)}", all(SIGNED.values()))]
for name, seen, ok in checks:
    print("OK" if ok else "NO", f"{name:27}", seen)
print("decision:", "SIGN-OFF" if all(c[2] for c in checks) else "NOT YET")
print("residual risks:")
for d in DEFECTS:
    if d[2] == "open" and d[3]:
        print(f"  {d[0]} ({d[1]}) known issue")
for item in NOT_TESTED:
    print("  not tested:", item)

আসল আউটপুট:

OK X1 planned scripts run      10/10
OK X2 pass rate >= 90%         9/10
NO X3 open critical/major = 0  1 ['BG-171']
NO X4 each criterion passed    missing ['AC3']
NO X5 sign-offs                0/2
decision: NOT YET
residual risks:
  BG-172 (minor) known issue
  not tested: editing reviews (out of scope)
  not tested: time limit after delivery (open question)

X1 আর X2 পূরণ: দশটির দশটি চালানো, নয়টি পাস, ঠিক ৯০%. বাকি তিনটি আটকে আছে, আর লক্ষ করুন X3 আর X4 একই ভুলের দুটি দিক: একটি খোলা major bug, আর তার ফলে AC3-এর একটিও পাস করা script নেই। শুধু পাসের হার দেখলে ৯০% “যথেষ্ট” মনে হতো, অথচ যে নিয়ম ভেঙেছে, সেটি পুরো একটি acceptance criterion. Residual risk-এর তালিকায় তিনটি লাইন: মেনে নেওয়া minor bug, scope-এর বাইরের সম্পাদনা, আর এখনো খোলা প্রশ্ন “delivery-র কতদিন পর পর্যন্ত রিভিউ”। এবার নিজে বিকেলের অবস্থা বানান: RESULTS-এর শেষ থেকে | {"U4": "fail"} মুছুন, BG-171-এর "open"-কে "closed" করুন, আর SIGNED-এর দুটি মান True. সিদ্ধান্ত বদলে SIGN-OFF হবে, কিন্তু residual risk-এর তালিকা থেকে যাবে; sign-off ঝুঁকি মুছে দেয় না, ঝুঁকি জেনে নেওয়ার দায় নেয়।

৬ · Alpha, beta আর feedback-এর triage

UAT-এর সই পাওয়ার পরও বাজারঘর রিভিউ feature সবার জন্য একসাথে চালু করেনি। প্রথমে এক সপ্তাহ alpha: অফিসের সবাই নিজের বাজার বাজারঘরে করে রিভিউ দিলেন। তারপর দুই সপ্তাহের beta: feature flag দিয়ে ৫% ক্রেতার কাছে চালু। Feature flag আর ধাপে ধাপে চালুর কৌশল পর্ব ৬৬ (Production-এ testing)-এ বিস্তারিত।

একটি ভালো beta কার্যক্রমের উপাদান

  • লক্ষ্য লেখা: কী জানতে চাই? যেমন “ছোট ফোনে রিভিউ দেওয়া সহজ কি না”, “দিনে কতজন রিভিউ দেন”। লক্ষ্য ছাড়া beta শুধু দেরি।
  • কে: বন্ধ (আমন্ত্রিত) বা খোলা (যে চায়)। বিভিন্ন জেলা, পুরোনো আর নতুন ফোন, দুর্বল নেটওয়ার্কের ক্রেতা যেন থাকেন।
  • সম্মতি আর গোপনীয়তা: Beta-তে যোগ দেওয়া নিজের ইচ্ছায়, স্পষ্ট ভাষায় জানানো যে এটি পরীক্ষামূলক। ব্যবহারের তথ্য সংগ্রহ হলে কী তথ্য, কেন, আর কতদিন রাখা হবে, তা লেখা; প্রয়োজনের বেশি তথ্য নয়।
  • Feedback-এর পথ: App-এর ভেতরে একটি ছোট ফর্ম, যা নিজে থেকে app-এর version আর পর্দার মাপ জুড়ে দেয়। “কাজ করে না” লেখা feedback-এর চেয়ে version-সহ feedback অনেক বেশি কাজের।
  • শেষের শর্ত: কখন beta শেষ, কখন সবার জন্য চালু (general availability), আর কোন অবস্থায় flag বন্ধ করে ফেরত যাব। আগে থেকে লেখা।

Feedback থেকে সিদ্ধান্ত

Beta-র feedback কাঁচা মাল। একই সমস্যা দশজন দশ ভাষায় লেখেন, কেউ নতুন feature চান, কেউ প্রশ্ন করেন, কেউ এমন আচরণকে bug বলেন যা নিয়ম মেনেই হচ্ছে। Triage এখানে পর্ব ১৮-এর চেয়ে চওড়া: আগে ঠিক করতে হয় এটি আদৌ defect কি না। একটি feedback-এর যাত্রা দেখুন:

Feedback #1 · beta, রিভিউ feature
ধাপ
হাতে কী
যোগ হওয়া তথ্য
  1. আসা। App-এর ভেতরের ফর্ম থেকে feedback #1: “১ আর ২ স্টার আলাদা করে চাপা যায় না”। ফর্ম নিজেই app-এর version (1.5.0) আর পর্দার চওড়া (360 px) জুড়ে দিয়েছে। শুধু লেখাটি থাকলে প্রথম প্রশ্নই হতো “কোন ফোনে?”
  2. জোড়া লাগানো। #3-ও একই কথা বলছে, অন্য ভাষায়। দুটিকে একটি key-তে রাখা হলো: stars-hard-to-tap, দুজন রিপোর্টকারী। গোনা জরুরি, কারণ কতজন ভুগছেন তা অগ্রাধিকারের একটি উপাদান; কিন্তু একজন রিপোর্ট করলেও গুরুতর ভুল গুরুতরই।
  3. পুনরুৎপাদন। শাপলা browser-এর device emulation-এ ৩৬০ px চওড়া পর্দায় চেষ্টা করলেন (পদ্ধতি পর্ব ৪২-এ, Cross-browser আর responsive testing). স্টারগুলো এত কাছাকাছি যে আঙুলে ১ চাপতে গিয়ে ২ পড়ে। পুনরুৎপাদন হলো, তাই এটি অনুমান নয়, প্রমাণ।
  4. শ্রেণিভাগ। এটি bug: ক্রেতা যে স্টার দিতে চান, তা দিতে পারছেন না, যা AC2-এর উদ্দেশ্যের বিরোধী। WCAG 2.2-এর একটি সাফল্য-শর্ত চাপার লক্ষ্যের ন্যূনতম আকার বলে দেয় (পর্ব ৫৪-এ বিস্তারিত)। Severity major, কারণ কম রেটিং ভুল করে বেশি হয়ে গেলে রিভিউয়ের ওপর ভরসাই নষ্ট হয়।
  5. Defect লেখা। BG-180, প্রমাণসহ: version, পর্দার মাপ, ধাপ, screenshot. সাথে একটি নতুন UI test, ছোট viewport-এ স্টারের আকার মাপার, যাতে ঠিক হওয়ার পরে আর ফিরে না আসে।
  6. সিদ্ধান্ত। নাসরিন, রাকিব আর শাপলা মিলে: সবার জন্য চালুর (GA) আগে ঠিক হবে, beta এক সপ্তাহ বাড়ল। দুই রিপোর্টকারীকে জানানো হলো যে সমস্যাটি ধরা পড়েছে। এই শেষ কাজটি বাদ পড়লে পরের beta-তে কেউ আর feedback দেন না।

এবার পুরো সপ্তাহের ৯টি feedback একসাথে। নিচের ছোট JS triage board প্রতিটিকে কয়েকটি স্পষ্ট নিয়মে একটি কলামে ফেলে, একই key-এর feedback জোড়া লাগিয়ে। “চালান” চাপুন:

// Beta feedback on the review feature (invented); key = what it is about
const feedback = [
  { id: 1, key: "stars-hard-to-tap", kind: "bug", sev: "major" },
  { id: 2, key: "edit-review", kind: "idea" },
  { id: 3, key: "stars-hard-to-tap", kind: "bug", sev: "major" },
  { id: 4, key: "where-is-button", kind: "question" },
  { id: 5, key: "error-msg-in-english", kind: "bug", sev: "minor" },
  { id: 6, key: "shipped-cannot-review", kind: "bug", sev: "minor" },
  { id: 7, key: "page-slow-sometimes", kind: "bug", sev: "unknown" },
  { id: 8, key: "edit-review", kind: "idea" },
  { id: 9, key: "where-is-button", kind: "question" },
];
const OUT_OF_SCOPE = ["edit-review"];      // written in the story
const AS_DESIGNED = ["shipped-cannot-review"]; // AC1 says so

function decide(f) {
  if (OUT_OF_SCOPE.includes(f.key)) return "backlog (out of scope)";
  if (AS_DESIGNED.includes(f.key)) return "works as designed: explain";
  if (f.kind === "question") return "answer + improve UI text";
  if (f.kind === "idea") return "backlog (PO decides)";
  if (f.sev === "unknown") return "ask for steps (need repro)";
  return f.sev === "major" ? "FIX BEFORE LAUNCH" : "known issue / later fix";
}

const board = {};
for (const f of feedback) {
  const col = decide(f);
  board[col] ??= {};
  (board[col][f.key] ??= []).push(f.id);
}
for (const [col, items] of Object.entries(board)) {
  console.log(col);
  for (const [key, ids] of Object.entries(items))
    console.log(`  ${key} x${ids.length}  #${ids.join(" #")}`);
}

আসল আউটপুট:

FIX BEFORE LAUNCH
  stars-hard-to-tap x2  #1 #3
backlog (out of scope)
  edit-review x2  #2 #8
answer + improve UI text
  where-is-button x2  #4 #9
known issue / later fix
  error-msg-in-english x1  #5
works as designed: explain
  shipped-cannot-review x1  #6
ask for steps (need repro)
  page-slow-sometimes x1  #7

৯টি feedback থেকে ৬টি কলাম, আর launch আটকায় শুধু একটি: stars-hard-to-tap, দুজনের রিপোর্ট। বাকিগুলো দেখুন। #6 রিপোর্টকারীর চোখে bug (“shipped অর্ডারে রিভিউ দিতে পারছি না”), কিন্তু AC1 ঠিক এটাই চায়; সঠিক উত্তর ব্যাখ্যা, code-এ পরিবর্তন নয়। যদিও অনেকে একই প্রশ্ন করলে সেটি নিজেই একটি সংকেত: হয়তো পাতায় একটি বার্তা দরকার। #2 আর #8 রিভিউ সম্পাদনা চায়, যা story-তে লিখিতভাবে scope-এর বাইরে; লেখা ছিল বলেই কেউ একে “ফসকে যাওয়া bug” বলতে পারছেন না। #5 সেই BG-172, UAT-এ আগেই মেনে নেওয়া known issue. আর #7 “মাঝে মাঝে ধীর”-এর severity কেউ জানেন না, তাই সিদ্ধান্তের আগে ধাপ চাওয়া। নিয়মের ক্রমও লক্ষ করুন: scope আর নকশার নিয়ম আগে, severity পরে; উল্টো ক্রমে #6 “known issue” হয়ে যেত।

৭ · চুক্তিতে acceptance — নির্দিষ্ট মূল্যের প্রকল্প

বাংলাদেশে অনেক সফটওয়্যার প্রকল্প, বিশেষ করে টেন্ডার বা দরপত্রের মাধ্যমে আসা কাজ, নির্দিষ্ট মূল্যের চুক্তিতে হয়: পরিধি আগে থেকে ঠিক, মূল্যও ঠিক। এমন প্রকল্পে acceptance শুধু মানের প্রশ্ন নয়, হস্তান্তর আর পরিশোধের শর্তও প্রায়ই এর সাথে বাঁধা থাকে। তাই tester-এর কাজ এখানে আইনি গুরুত্ব পায়। চারটি ধারা প্রায়ই দেখা যায়:

ধারাঅর্থTester-এর কাজ
Acceptance test-এর পরিশিষ্টকোন test পাস হলে কাজ গৃহীত, তার তালিকা চুক্তির সাথেপ্রতিটি test-এর প্রত্যাশিত ফল মাপা যায় এমন ভাষায় লেখা; “ব্যবহারবান্ধব”, “দ্রুত” নয়
Deemed acceptanceগ্রাহক নির্দিষ্ট দিনের মধ্যে আপত্তি না জানালে কাজ গৃহীত ধরা হয়গ্রাহকের পক্ষে থাকলে সময়সীমার মধ্যে UAT শেষ করা আর আপত্তি লিখিত জানানো
Warranty periodহস্তান্তরের পরে একটি সময় ধরে পাওয়া ভুল নির্মাতা বিনা খরচে ঠিক করেনএই সময়ে পাওয়া প্রতিটি সমস্যা প্রমাণসহ লেখা, যাতে কোনটি “ভুল” আর কোনটি “নতুন চাওয়া” তা আলাদা থাকে
Change requestচুক্তির পরিধির বাইরের চাওয়া আলাদা অনুরোধ হিসেবে আসেAcceptance criteria-র সাথে মিলিয়ে বলা: এটি লঙ্ঘন, নাকি নতুন চাওয়া

বিবাদের সবচেয়ে বড় উৎস অস্পষ্ট criteria. চুক্তিতে যদি লেখা থাকে “রিভিউ ঠিকমতো কাজ করবে”, তবে emoji-র ভুলটি নির্মাতার দোষ না নতুন চাওয়া, তা নিয়ে সপ্তাহের পর সপ্তাহ তর্ক চলবে। AC3-এর মতো সংখ্যাসহ শর্ত থাকলে তর্কের জায়গাই নেই। তাই চুক্তিভিত্তিক প্রকল্পে পর্ব ১৫-এর ambiguity review সবচেয়ে বেশি মূল্য দেয়, আর acceptance test-এর তালিকা যত আগে দুই পক্ষ মিলে ঠিক করে, তত ভালো। একটি সতর্কতা: চুক্তির ধারা আইনি বিষয়; tester হিসেবে আপনার কাজ test-এর ভাষা পরিষ্কার করা, আইনি পরামর্শ দেওয়া নয়।

OAT আর নিয়ন্ত্রক acceptance চুক্তিতে প্রায়ই ভুলে যাওয়া অংশ। বাজারঘরের উদাহরণে OAT-এর শর্ত হতে পারে: রাতের backup থেকে এক ঘণ্টার মধ্যে ডাটাবেস ফেরানো যায়; নতুন version চালু করে সমস্যা হলে আগেরটিতে ফেরা যায়; disk ভরে গেলে সতর্কবার্তা আসে। এগুলো ব্যবহারকারী কখনো দেখেন না, কিন্তু প্রথম রাতের বিপর্যয়ে এগুলোই ঠিক করে প্রতিষ্ঠান কতক্ষণ বন্ধ থাকবে। চালানোর দিকের বিস্তারিত ক্লাউড ও DevOps কোর্সে, আর reliability আর recovery-র test পর্ব ৫৭-এ।

আরও গভীরে: Acceptance test কতগুলো লাগবে, তার উত্তর “সব মিশ্রণ” নয়। Specification by Example-এর চর্চায় বলা হয় key examples: এমন অল্প কয়েকটি উদাহরণ, যা নিয়মটি পুরোপুরি বোঝায়; বাকি মিশ্রণের দায়িত্ব নিচের স্তরের test-এর। Acceptance suite খুব বড় হলে এটি ধীর আর পড়ার অযোগ্য হয়, তখন ব্যবসার মানুষ আর এটি পড়েন না, আর living documentation-এর মূল উদ্দেশ্য হারায়। ISO/IEC/IEEE 29119-এর শব্দভান্ডারে acceptance একটি test level, আর ISTQB-এর আলাদা একটি syllabus (Acceptance Testing) এই বিষয়কে business analyst আর tester-এর যৌথ কাজ হিসেবে দেখায়; উভয়ের মূল কথা এক: acceptance-এর মাপকাঠি ব্যবসার লক্ষ্য, প্রযুক্তির নয়।

পরীক্ষা ও ইন্টারভিউতে: বিশ্ববিদ্যালয়, চাকরি বা ইন্টারভিউর পরীক্ষায় এমন প্রশ্ন প্রায়ই আসে:

  • Alpha আর beta-র পার্থক্য? Alpha নির্মাতার নিয়ন্ত্রিত জায়গায়, ভেতরের মানুষ বা বাছাই করা ব্যবহারকারী; beta ব্যবহারকারীর নিজের পরিবেশে, বাইরের সীমিত দল।
  • UAT আর system testing-এর পার্থক্য? System testing নির্মাতার দল specification-এর সাথে মেলায়; UAT ব্যবসা বা ব্যবহারকারী আসল প্রয়োজনের সাথে মেলায়, আর শেষে গ্রহণের সিদ্ধান্ত দেয়।
  • ATDD আর TDD-র পার্থক্য? TDD developer-এর ছোট unit test দিয়ে নকশা চালায়; ATDD দল মিলে ব্যবসার উদাহরণ থেকে acceptance test লেখে, কাজ শুরুর আগে।
  • Definition of Done আর acceptance criteria? DoD দলের সব কাজের সাধারণ মান; acceptance criteria একটি নির্দিষ্ট story-র শর্ত। Done হতে দুটিই লাগে।
  • OAT-এ কী যাচাই হয়? Backup ও restore, deploy ও rollback, monitoring, নিরাপত্তার কাজ: অর্থাৎ system চালানো আর রক্ষণাবেক্ষণের প্রস্তুতি।

৮ · AI-এর যুগে acceptance testing

AI সহকারী acceptance-এর কাজে দুই জায়গায় সাহায্য করতে পারে: user story থেকে উদাহরণের খসড়া, আর UAT script-এর সহজ ভাষা। কিন্তু চেনা দুর্বলতাগুলো এখানে বিশেষ বিপজ্জনক, কারণ acceptance-এর ফল একটি সিদ্ধান্ত। শুধু happy path-এর উদাহরণ: delivered অর্ডারে রিভিউ, ৫ স্টার, সুন্দর লেখা; ৯টি অক্ষর বা emoji নয়। Requirement-এর বদলে app-এর বর্তমান আচরণ থেকে expected মান: coupon_ge চালু থাকা app দেখে লেখা “১০০০ টাকায় ছাড় ১০০” acceptance test পাস করবে, আর ভুলটি গৃহীত হয়ে যাবে। বানানো field বা endpoint, যা OpenAPI-তে নেই। UI test-এ sleep. সবকিছু mock করা, যাতে acceptance test আসলে কিছুই গ্রহণ করে না। AC-এর সংখ্যা চুপচাপ বদলে দেওয়া (৫০০-এর জায়গায় “৫০০ অক্ষর বা কম” লিখে ১০-এর সীমা হারানো)। আর না চালিয়েই “সব acceptance test পাস” দাবি, যা sign-off-এর প্রেক্ষাপটে সবচেয়ে ক্ষতিকর।

AI-কে আগে উদাহরণ আর প্রশ্ন চাইতে বলুন, code পরে:

তুমি একজন অভিজ্ঞ tester, ATDD-র Distill ধাপে সাহায্য করছ। নিচে বাজারঘরের রিভিউ feature-এর acceptance criteria দিলাম; app-এর code দিচ্ছি না। AC1 শুধু delivered অর্ডারের পণ্যে রিভিউ। AC2 স্টার ১–৫-এর পূর্ণ সংখ্যা। AC3 লেখা দুই পাশের ফাঁকা বাদে ১০–৫০০ Unicode code point. AC4 এক ক্রেতা এক পণ্যে একটি রিভিউ। AC5 গড় এক দশমিক ঘরে, half up (4.25 → 4.3). AC6 সব স্টারের রিভিউ দেখা যায়। ১. প্রতিটি AC-র জন্য ৩–৭টি key example-এর টেবিল দাও: input, প্রত্যাশিত ফল, আর কোন AC-র কোন শব্দ থেকে এলো। সীমার দুই পাশ, emoji আর বাংলা লেখা রাখো। ২. যে উদাহরণে নিয়ম অস্পষ্ট, সেখানে উত্তর বানিও না; product owner-এর জন্য প্রশ্ন লেখো। ৩. AC-এর সংখ্যা বা শব্দ বদলাবে না। ৪. তারপর pytest + httpx-এ test, নামের শুরুতে test_ac1_ … test_ac6_; কোনো sleep, mock বা আসল ব্যক্তিগত তথ্য নয়। ৫. তুমি test চালাওনি, তাই "সব পাস" লিখবে না; বরং বলো কোন উদাহরণ কোন সম্ভাব্য ভুল ধরবে।

AI-এর লেখা acceptance test বা UAT script হাতে পেলে — চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।

প্র ০১Fit আর FitNesse চেয়েছিল ব্যবসার মানুষ নিজেই acceptance test লিখবেন। বিশ বছর পরেও কেন বেশিরভাগ দলে তা হয় না, আর তাতে কি ধারণাটি ব্যর্থ?

Ward Cunningham ২০০২ সালের দিকে Fit বানান, আর Rick Mugridge-এর সাথে “Fit for Developing Software” (২০০৫) বইয়ে এর পদ্ধতি লেখেন। ধারণাটি ছিল সুন্দর: ব্যবসার মানুষ Word বা HTML-এ পরিচিত টেবিল লিখবেন, যেমন “অর্ডারের দাম, ছাড়”, আর developer শুধু একটি পাতলা fixture লিখবেন, যা টেবিলের প্রতিটি সারি app-এ চালিয়ে ঘরটি সবুজ বা লাল করবে। FitNesse একে wiki-তে নিয়ে আসে, যাতে টেবিল ব্রাউজারেই লেখা ও চালানো যায়। কয়েক বছর পরে, ২০০৮ সালের দিকে, Aslak Hellesøy-র Cucumber একই স্বপ্ন Given-When-Then বাক্যে নিয়ে আসে।

বাস্তবে বেশিরভাগ দলে টেবিল বা feature ফাইল লেখেন tester বা developer, ব্যবসার মানুষ বড়জোর পড়েন। কারণগুলো মানবিক। ব্যবসার মানুষের সময় কম; tool-এর বাক্যগঠন যত সহজই হোক, version control আর build তাঁদের জগৎ নয়; আর লেখার দায় এলে তাঁরা স্বাভাবিকভাবে অন্যকে দিয়ে দেন। Cucumber-এর স্রষ্টারাও পরে বারবার বলেছেন, Cucumber মূলত একটি সহযোগিতার tool, testing tool হিসেবে এর মূল্য দ্বিতীয়।

তাহলে কি ব্যর্থ? Gojko Adzic “Specification by Example” (২০১১) লেখার সময় বহু দলের সাথে কথা বলে দেখেন, যে দলগুলো সফল, তাদের সাফল্য এসেছে আলোচনা থেকে: উদাহরণ নিয়ে একসাথে বসা, প্রশ্ন তোলা, সীমার মান নিয়ে একমত হওয়া। কে টেবিল টাইপ করলেন, তা গৌণ। §২-এর stepper-এ ঠিক এটাই দেখেছেন: emoji-র প্রশ্নটি উঠেছিল তিনজনের আলোচনায়, আর সেই এক প্রশ্নই একটি গুরুতর ভুল production-এর আগে থামিয়েছে। Product owner একটি লাইনও লেখেননি, কিন্তু উদাহরণগুলো তাঁর অনুমোদিত, আর রিপোর্ট তিনি পড়তে পারেন।

তাই আজকের বাস্তব লক্ষ্য: ব্যবসার মানুষ উদাহরণ ঠিক করেন আর ফল পড়েন; tester আর developer লেখেন আর চালান। Test-এর নাম, রিপোর্ট আর ভাষা সেই পাঠকের কথা ভেবে বানানো হয়।

মূল উপলব্ধি: ATDD-র মূল্য টাইপ করায় নয়, একমত হওয়ায়। ব্যবসার মানুষ লেখক না হলেও উদাহরণের মালিক আর রিপোর্টের পাঠক হলেই যথেষ্ট।

প্র ০২“Beta” লেবেল কি দায় এড়ানোর উপায়? একটি পণ্য বছরের পর বছর beta থাকলে tester কী বলবেন?

Tim O'Reilly ২০০৫ সালের “What Is Web 2.0” প্রবন্ধে “perpetual beta” বা চিরস্থায়ী beta-র কথা লেখেন: ওয়েবের সেবা কখনো “শেষ” হয় না, প্রতিদিন একটু একটু বদলায়, আর ব্যবহারকারীরাই সহ-উন্নয়নকারী। ধারণাটির একটি সত্যিকারের ভিত্তি আছে। ওয়েব আর mobile app-এ নতুন version পাঠানো সস্তা, আর ব্যবহারের তথ্য থেকে দ্রুত শেখা যায়। তার পরের দশকে অনেক সেবা বছরের পর বছর “beta” লেবেল নিয়ে চলেছে, কোটি মানুষ ব্যবহার করার পরেও।

কিন্তু tester-এর চোখে এখানে একটি বিপদ আছে: লেবেলটি অভ্যাসে পরিণত হলে acceptance-এর সিদ্ধান্ত আর কখনো নেওয়া হয় না। “এখনো তো beta” বলে ভুলকে সহনীয় বানানো যায়, entry আর exit criteria-র প্রয়োজন মনে হয় না, আর ব্যবহারকারী বুঝতে পারেন না কোন অংশ নির্ভরযোগ্য। ব্যবহারকারীর ক্ষতি হলে লেবেলটি নৈতিক বা আইনি দায় মুছে দেয়, এমন ভাবাও ঠিক নয়; বিশেষ করে যেখানে টাকা, স্বাস্থ্য বা ব্যক্তিগত তথ্য জড়িত। বাজারঘরের payment-এর মতো অংশে “beta” লিখে ভুল হিসাব চালানোর কোনো যুক্তি নেই।

তাহলে tester কী বলবেন? প্রথমত, beta-র একটি লিখিত লক্ষ্য আর শেষের শর্ত চাই: কোন প্রশ্নের উত্তর পেলে, কোন metric-এ পৌঁছালে GA. দ্বিতীয়ত, ঝুঁকি অনুযায়ী ভাগ: রিভিউয়ের ছবি দেখানোর মতো কম ঝুঁকির অংশ দীর্ঘ beta-তে থাকতে পারে, কিন্তু হিসাব, payment আর গোপনীয়তার অংশের জন্য beta-র আগেই কঠোর acceptance. তৃতীয়ত, ব্যবহারকারীর সাথে সততা: beta-তে কী কী জানা সমস্যা, কোন তথ্য সংগ্রহ হচ্ছে, স্পষ্ট লেখা।

একটি ভালো লক্ষণ হলো, beta-র শুরুতে দল লিখে রাখে “কী দেখলে আমরা ফেরত যাব”। লেখা না থাকলে খারাপ খবরকেও “আরও কিছুদিন দেখি” বলে এড়ানো সহজ হয়ে যায়।

মূল উপলব্ধি: Beta একটি শেখার কৌশল, acceptance-এর বিকল্প নয়। লক্ষ্য, শেষের শর্ত আর ঝুঁকির ভাগ না থাকলে beta লেবেল সিদ্ধান্ত পিছিয়ে রাখার অজুহাত হয়ে ওঠে।

প্র ০৩UAT-এ বড় bug পাওয়া কি সাফল্য, না ব্যর্থতা? “দেরিতে পাওয়া ভুল বহুগুণ দামি” কথাটি কতটা নির্ভরযোগ্য?

উত্তর দুটোই। সাফল্য, কারণ ভুলটি ক্রেতার কাছে পৌঁছানোর আগে থামল; UAT তার কাজ করেছে। ব্যর্থতা, কারণ acceptance-এর লক্ষ্য আস্থা তৈরি, ভুল খোঁজা নয়; এখানে বড় ভুল মানে আগের কোনো জাল ফুটো। §৫-এর দিনে BG-171 ঠিক এমন: suite-এ test ছিল, কিন্তু শেষ মুহূর্তের একটি পরিবর্তন suite চালানোর পরে ঢুকেছিল। শিক্ষা: RC বদলালে entry-র N1 আবার যাচাই করা।

“দেরিতে পাওয়া ভুল বহুগুণ দামি” কথাটি প্রায় প্রতিটি testing বইয়ে আছে, প্রায়ই একটি নাটকীয় গুণফলসহ। এর উৎস হিসেবে Barry Boehm-এর “Software Engineering Economics” (১৯৮১) আর সেই সময়ের কয়েকটি গবেষণার উল্লেখ হয়। কিন্তু Laurent Bossavit তাঁর “The Leprechauns of Software Engineering” (২০১২ সালের দিকে) বইয়ে দেখান, অনেক উদ্ধৃত সংখ্যার মূল তথ্য খুঁজলে পাওয়া যায় পুরোনো, ছোট বা ভিন্ন প্রেক্ষাপটের data, আর উদ্ধৃতি থেকে উদ্ধৃতিতে সংখ্যা বদলেছে। তাই নির্দিষ্ট গুণফল মুখস্থ করা বা ইন্টারভিউতে নিশ্চিত সত্য হিসেবে বলা ঠিক নয়।

তবে দিকটি যুক্তিতে বোঝা যায়, সংখ্যা ছাড়াই। আলোচনার সময় emoji-র প্রশ্ন ধরলে খরচ পাঁচ মিনিট। UAT-এ ধরলে: bug report, নতুন RC, retest, regression, ব্যবসার মানুষের অতিরিক্ত সময়, আর হয়তো release-এর তারিখ পেছানো। Production-এ ধরলে: ভুল data পরিষ্কার, ক্রেতার কাছে জবাবদিহি, আস্থার ক্ষতি। প্রতিটি পরের ধাপে আরও বেশি মানুষ আর আরও বেশি কাজ জড়িয়ে যায়।

তাই UAT-এ বড় bug পেলে দোষারোপ নয়, root cause খোঁজা: requirement অস্পষ্ট ছিল? Three amigos বাদ পড়েছিল? Suite পুরোনো build-এ চলেছিল? উত্তর থেকে প্রক্রিয়া বদলায় (পর্ব ৭৫-এ RCA).

মূল উপলব্ধি: UAT-এ পাওয়া বড় bug একটি জয় আর একটি সতর্কবার্তা একসাথে। “দেরিতে দামি” দিকটি যুক্তিসংগত, কিন্তু নির্দিষ্ট গুণফলের দাবিগুলো সাবধানে উদ্ধৃত করুন।

প্র ০৪নির্দিষ্ট মূল্যের চুক্তিতে requirement বদলালে acceptance কীভাবে ন্যায্য থাকে? Agile আর চুক্তির দ্বন্দ্বে tester কোথায় দাঁড়ান?

২০০১ সালের Agile Manifesto-র একটি মূল্যবোধ: চুক্তির দর-কষাকষির চেয়ে গ্রাহকের সাথে সহযোগিতা বেশি মূল্যবান। অথচ নির্দিষ্ট মূল্যের চুক্তি দাঁড়িয়ে থাকে উল্টো ভিত্তিতে: পরিধি, সময় আর মূল্য শুরুতেই বাঁধা। Project management-এ একে প্রায়ই “লোহার ত্রিভুজ” বলা হয়: পরিধি, সময় আর খরচ, তিনটিই একসাথে বাঁধলে চাপ গিয়ে পড়ে চতুর্থ জিনিসে, মানে মানে। দেশের অনেক প্রকল্প, বিশেষ করে দরপত্রের কাজ, এই কাঠামোতেই হয়, কারণ ক্রেতা প্রতিষ্ঠানের বাজেট আর জবাবদিহির নিয়ম তা চায়।

দ্বন্দ্বটি সবচেয়ে প্রকট acceptance-এর দিনে। গ্রাহক বলেন “এটা তো ঠিক নেই”, নির্মাতা বলেন “এটা তো চুক্তিতে ছিল না”। দুই পক্ষই সৎ হতে পারেন; সমস্যা হলো দুজনের মাথায় একই বাক্যের দুটি অর্থ। এখানে tester-এর মূল্য সবচেয়ে বেশি, কারণ তাঁর কাজই অস্পষ্টতাকে মাপা যায় এমন উদাহরণে বদলানো। চুক্তির আগে বা শুরুতে acceptance test-এর তালিকা দুই পক্ষ মিলে ঠিক করলে, পরে প্রতিটি অভিযোগ মেলানো যায়: কোন test-এর লঙ্ঘন, নাকি কোনো test-এই নেই, অর্থাৎ নতুন চাওয়া।

পরিবর্তন অনিবার্য, তাই চুক্তিতে change request-এর পথ রাখা হয়: নতুন চাওয়া লিখিত, প্রভাব হিসাব করা, দুই পক্ষের সম্মতি, আর acceptance test-এর তালিকাও হালনাগাদ। কিছু দল বড় প্রকল্পকে ছোট ছোট ধাপে ভাগ করে, প্রতিটির আলাদা acceptance আর আলাদা হস্তান্তর; এতে Agile-এর ঘন feedback আর চুক্তির নিশ্চয়তা কিছুটা মেলে। Deemed acceptance-এর মতো ধারা দুই দিকেই কাটে: নির্মাতাকে অনন্ত অপেক্ষা থেকে বাঁচায়, আবার গ্রাহককে সময়মতো UAT শেষ করতে বাধ্য করে।

Tester কোন পক্ষের? যে পক্ষের হয়েই কাজ করুন, তাঁর সততার জায়গা একটাই: প্রমাণ। পাস-ফেলের রেকর্ড, পরিবেশ আর version-এর বিবরণ, আর ফল লুকানো বা রং বদলানো নয়।

মূল উপলব্ধি: চুক্তির বিবাদের বেশিরভাগ আসলে অস্পষ্ট acceptance criteria-র বিবাদ। আগে থেকে একমত হওয়া উদাহরণ আর পরিষ্কার change request-এর পথ দুই পক্ষকেই রক্ষা করে।

প্র ০৫Definition of Done, acceptance criteria আর exit criteria — তিনটিই “শেষ” বোঝায়। এগুলো গুলিয়ে ফেললে বাস্তবে কী ক্ষতি হয়?

তিনটির উৎস আলাদা। Definition of Done এসেছে Scrum থেকে: Scrum Guide-এর ২০২০ সালের সংস্করণে একে বলা হয়েছে Increment-এর জন্য একটি প্রতিশ্রুতি, অর্থাৎ পণ্যের যে অংশ তৈরি হলো, তা কখন মানের শর্ত পূরণ করে। Acceptance criteria Scrum Guide-এ নেই; এটি user story-র চর্চা থেকে আসা, Ron Jeffries-এর “3C”-এর Confirmation অংশ (পর্ব ১৫)। Exit criteria এসেছে test ব্যবস্থাপনার ঐতিহ্য থেকে, IEEE 829 আর পরে ISO/IEC/IEEE 29119 আর ISTQB-এর ভাষায়: একটি test কার্যক্রম কখন শেষ ধরা যায়। Definition of Ready-ও Scrum Guide-এর অংশ নয়, দলগুলোর নিজস্ব চর্চা।

গুলিয়ে ফেলার তিনটি পরিচিত ক্ষতি। প্রথমত, DoD-কে acceptance criteria ভাবা: দল ধরে নেয় “test পাস, review হয়েছে, তাই done”, অথচ story-র নিজের শর্ত, যেমন AC5-এর half up, কেউ যাচাই করেননি। দ্বিতীয়ত, acceptance criteria-কে DoD ভাবা: প্রতিটি story-তে বারবার “accessibility দেখতে হবে” লেখা হয়, কোথাও বাদ পড়ে, আর সাধারণ মান story অনুযায়ী ওঠানামা করে। তৃতীয়ত, exit criteria-কে sign-off ভাবা: “সব শর্ত পূরণ, তাই release” বলা হয়, অথচ exit criteria সিদ্ধান্তের তথ্য, সিদ্ধান্ত নয়; শর্ত পূরণের পরেও নতুন ঝুঁকি দেখা দিলে থামা যায়, আবার জেনেশুনে শর্তসহ এগোনোও যায় (পর্ব ১৭)।

একটি সহজ পরীক্ষা: প্রশ্ন করুন “এটা কিসের জন্য?” একটি story-র জন্য হলে acceptance criteria; দলের সব কাজের জন্য হলে DoD; একটি test কার্যক্রমের জন্য হলে exit criteria. বাজারঘরের release 1.5-এ তিনটিই একসাথে কাজ করেছে: AC1–AC6 আর checkout-এর শর্ত story-র, code review আর acceptance suite DoD-র, আর X1–X5 UAT-এর exit.

ইন্টারভিউতে এই পার্থক্য প্রায়ই জিজ্ঞাসা হয়, কারণ এটি বোঝায় প্রার্থী প্রক্রিয়া মুখস্থ করেছেন না বুঝেছেন।

মূল উপলব্ধি: তিনটি “শেষ” তিনটি আলাদা প্রশ্নের উত্তর দেয়: story গ্রহণযোগ্য কি না, কাজ মানসম্মত কি না, আর test কার্যক্রম থামানো যায় কি না। একটি দিয়ে অন্যটির কাজ চালানো যায় না।

অনুশীলন

উত্তর দেখার আগে কাগজে নিজে করুন। হিসাবগুলো বাজারঘরের নিয়মের code দিয়ে মেলানো।

  1. Story থেকে acceptance test: Story: “ক্রেতা হিসেবে আমি checkout-এ ঠিক delivery charge দেখতে চাই, যাতে মোট টাকা আগেই জানি।” নিয়ম: ঢাকায় ৬০ টাকা, ছাড়ের আগের পণ্যের দাম ২০০০ বা বেশি হলে ফ্রি; ঢাকার বাইরে ১২০, Plus সদস্যের ৬০. Coupon: ১০০০-এর বেশি হলে ১০%, ভগ্নাংশ বাদ, সর্বোচ্চ ৩০০. অন্তত ৬টি key example-এর টেবিল বানান (দাম, জেলা, Plus, delivery, মোট), প্রতিটির পেছনের যুক্তিসহ।
    দামজেলাPlusছাড়Deliveryমোটকেন
    1999Dhakaনা199601860ফ্রি-র সীমার ঠিক নিচে
    2000Dhakaনা20001800সীমা; ছাড়ের পরে ১৮০০ হলেও ফ্রি
    2000Rajshahiনা2001201920বাইরে ফ্রি-র নিয়ম নেই
    2000Rajshahiহ্যাঁ200601860Plus বাইরে ৬০
    1999Dhakaহ্যাঁ199601860ঢাকায় Plus-এর আলাদা সুবিধা নেই
    500Gazipurনা0120620Gazipur ঢাকার বাইরে গণ্য

    দ্বিতীয় সারিটি সবচেয়ে মূল্যবান: এটিই delivery_after_discount ধরনের ভুল ধরে, কারণ ছাড়ের পরের দাম (১৮০০) সীমার নিচে পড়ে। বাজারঘরের নিয়মের code-এ এই সারি ভুলসহ চালালে delivery ৬০ আর মোট ১৮৬০ আসে, ঠিক অবস্থায় ০ আর ১৮০০. ১৯৯৯-এর সারি দুই অবস্থাতেই এক, তাই একা এটি ভুলটি ধরে না। Gazipur-এর সারি ঢাকার কাছের জেলা নিয়ে একটি সাধারণ ভুল ধারণা যাচাই করে।

  2. রিপোর্ট পড়ুন আর আগে বলুন: একটি acceptance run-এর শেষে এলো: 3 failed, 17 passed; ব্যর্থ test_chk2_exactly_1000_gets_no_coupon (assert (1000, 100, 960) == (1000, 0, 1060)), test_ac3_…[5-emoji] (5 code points, assert 201 == 422) আর test_ac3_…[500-emoji] (500 code points, assert 422 == 201). (ক) কোন দুটি শর্ত আটকে আছে, আর app-এর সম্ভাব্য দুটি ভুল কী? (খ) Product owner বললেন, “emoji দিয়ে কেউ রিভিউ লেখে না, sign-off দিয়ে দিই।” আপনি কী বলবেন? (গ) শুধু coupon-এর ভুল ঠিক করে আবার চালালে sign-off script-এর শেষ লাইন কী হবে?

    (ক) CHK2 আর AC3. CHK2: ঠিক ১০০০ টাকায় ছাড় ১০০ এসেছে, অর্থাৎ coupon-এর শর্ত > 1000-এর জায়গায় >= 1000. AC3: ৫টি emoji গৃহীত আর ৫০০টি বাতিল, দুটি উল্টো দিকের ভুল একই কারণে: দৈর্ঘ্য code point-এ নয়, UTF-16 unit-এ গোনা, যেখানে প্রতিটি emoji দুটি unit. (খ) সিদ্ধান্ত PO-রই, কিন্তু tester তথ্য দেবেন: ৫০০টি emoji-র সারি দেখায়, বৈধ লম্বা রিভিউও বাতিল হতে পারে, আর emoji-র সাথে বাংলা মেশানো লেখাও প্রভাবিত হয়; ভুলটি AC3-এর সরাসরি লঙ্ঘন। PO জেনেশুনে মেনে নিতে চাইলে সেটি known issue আর residual risk হিসেবে লিখিত হবে, exit criteria চুপচাপ বদলে নয়। (গ) SIGN-OFF: BLOCKED by AC3; CHK2 পূরণ হবে, AC3-এর দুটি সারি তখনো লাল।

  3. এই UAT script-এ ভুল খুঁজুন: অন্তত পাঁচটি সমস্যা বের করুন।
    UAT-07  রিভিউ
    পূর্বশর্ত: UAT-06 শেষ হয়েছে
    ধাপ ১: production-এ নিজের আসল account দিয়ে login করুন
    ধাপ ২: যেকোনো অর্ডারে একটি রিভিউ দিন
    প্রত্যাশিত ফল: রিভিউ ঠিকমতো কাজ করে
    ফল: পাস (tester নিজে চালিয়েছেন)

    (১) Production আর আসল account: UAT চলে আলাদা UAT পরিবেশে, বানানো data দিয়ে; আসল account মানে আসল ব্যক্তিগত তথ্য আর আসল দোকানে নকল রিভিউ। (২) অন্য script-এর ওপর নির্ভরতা: UAT-06 ব্যর্থ বা বাদ পড়লে এটিও চলবে না; পূর্বশর্ত হওয়া উচিত একটি নির্দিষ্ট অবস্থা, যেমন “আপনার একটি delivered অর্ডার আছে”। (৩) “যেকোনো অর্ডারে”: AC1 অনুযায়ী শুধু delivered অর্ডারে রিভিউ চলে; placed অর্ডারে চেষ্টা করলে ব্যর্থতা আসল আচরণ, অথচ script তা বলে না। (৪) অস্পষ্ট প্রত্যাশিত ফল: “ঠিকমতো কাজ করে” মেলানো যায় না; লিখুন “পণ্যের পাতায় আপনার নাম, ৫ স্টার আর লেখা দেখা যায়, গড় হালনাগাদ”। (৫) কোনো AC-এর উল্লেখ নেই: traceability নেই, তাই X4 যাচাই করা যায় না। (৬) Tester নিজে চালিয়েছেন: তাহলে এটি UAT নয়, system test; UAT-এর মূল্য ব্যবসার মানুষের চোখে। (৭) প্রমাণ, তারিখ বা build-এর উল্লেখ নেই।

  4. ATDD-র Distill: AC5: “গড় rating এক দশমিক ঘরে, মাঝখানে হলে ওপরে (half up)”. Developer Python-এর round(avg, 1) ব্যবহার করতে চান, যা মাঝখানের মানে জোড় অঙ্কের দিকে যায়। চারটি স্টারের তালিকা দেওয়া: (ক) ৫, ৪, ৪, ৪ (খ) ৪, ৪, ৪, ১ (গ) ৫, ৫, ৪, ৫ (ঘ) ১, ২, ২. প্রতিটির সঠিক ফল কী, আর কোনগুলো acceptance test-এ রাখলে round()-এর ভুল ধরা পড়বে?

    (ক) গড় ৪.২৫ → half up-এ 4.3; round() দেয় 4.2. ধরা পড়ে। (খ) ৩.২৫ → 3.3; round() দেয় 3.2. ধরা পড়ে। (গ) ৪.৭৫ → 4.8; round()-ও 4.8, কারণ এখানে জোড় অঙ্ক ৮ আর ওপরের দিক একই। ধরা পড়ে না। (ঘ) ১.৬৬৬… → 1.7; মাঝখানের মান নয়, তাই দুই পদ্ধতিই এক। ধরা পড়ে না। সব হিসাব বাজারঘরের নিয়মের code আর Python-এর Decimal দিয়ে মেলানো। শিক্ষা: “half up” পরীক্ষার key example হতে হবে ঠিক মাঝখানের মান, যার আগের অঙ্ক জোড়, যেমন x.25; শুধু x.75 বা ভগ্নাংশহীন উদাহরণ রাখলে suite সবুজ থাকবে আর ভুলটি production-এ যাবে। এজন্যই AC5-এর উদাহরণে ৪.২৫ লেখা হয়েছিল।

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমএকটি UAT দিনের কাজগুলো ঘটার ক্রমে সাজান (▲▼ চেপে সরান)

  1. Entry criteria যাচাই: RC build, acceptance suite, data আর login
  2. ব্যবসার মানুষের briefing: কী নতুন, কী scope-এর বাইরে
  3. UAT script চালানো আর পাওয়া সমস্যা লেখা
  4. Charter নিয়ে নিজের মতো ঘুরে দেখা
  5. সংশোধিত build-এ retest আর regression
  6. Exit criteria মেলানো আর sign-off

একটি অনলাইন দোকানের নতুন feature প্রথমে অফিসের কর্মীরা নিজের বাজারের জন্য এক সপ্তাহ ব্যবহার করলেন, তারপর ৫% ক্রেতা নিজের ফোনে দুই সপ্তাহ। এই দুটি ধাপ ক্রমে কী?

  • Beta, তারপর alpha
  • Alpha, তারপর beta
  • OAT, তারপর UAT
  • System test, তারপর regression

নিচের কোনটি operational acceptance testing (OAT)-এর সবচেয়ে উপযুক্ত উদাহরণ?

  • Product owner নিজে একটি অর্ডার দিয়ে দেখেন হিসাব বোঝা যায় কি না
  • Coupon ১০০০ টাকার বেশি হলে ১০% দেয় কি না
  • ৫% ক্রেতার কাছ থেকে feedback সংগ্রহ
  • রাতের backup থেকে ডাটাবেস নির্দিষ্ট সময়ের মধ্যে ফেরানো যায় কি না

ATDD-র চার ধাপ Discuss, Distill, Develop, Demo. কোন ধাপে আলোচনার উদাহরণগুলো চালানো যায় এমন acceptance test-এ রূপ নেয়, code লেখার আগে?

  • Discuss
  • Develop
  • Distill
  • Demo

একটি রিভিউ story-র সব acceptance criteria-র test পাস, কিন্তু দলের নিয়ম অনুযায়ী code review এখনো হয়নি। Story-টি কি done?

  • না, কারণ Definition of Done পূরণ হয়নি
  • হ্যাঁ, কারণ সব acceptance criteria পূরণ
  • হ্যাঁ, যদি UAT-এর exit criteria পূরণ হয়
  • শুধু product owner বললে হ্যাঁ

UAT-এর exit criteria: সব script চালানো, পাস ৯০% বা বেশি, খোলা critical/major শূন্য। ফল: ১০টির ১০টি চালানো, ৯টি পাস, আর একটি খোলা major bug. কী হবে?

  • Sign-off, কারণ পাসের হার ঠিক ৯০%
  • আরও script চালাতে হবে, কারণ সব চালানো হয়নি
  • Exit criteria পূরণ হয়নি; সংশোধন আর retest, নয়তো লিখিত ঝুঁকি গ্রহণের সিদ্ধান্ত
  • Tester শর্তটি বদলে release করবেন

রিভিউয়ের লেখার দৈর্ঘ্যের নিয়ম (১০–৫০০ code point) acceptance স্তরে স্বয়ংক্রিয়ভাবে যাচাই করতে হবে, সীমার সব মান (৯, ১০, ৫০০, ৫০১, emoji)-সহ। কোন স্তর সবচেয়ে উপযুক্ত?

  • প্রতিটি মান browser-এ UI দিয়ে
  • API স্তরে, প্রতিটি মান একটি parametrize সারি
  • শুধু UAT-এ ব্যবসার মানুষ হাতে
  • Beta-র feedback দেখে

একটি নির্দিষ্ট মূল্যের চুক্তিতে লেখা: “হস্তান্তরের পরে গ্রাহক নির্দিষ্ট দিনের মধ্যে লিখিত আপত্তি না জানালে কাজ গৃহীত ধরা হবে।” এই ধারাকে কী বলে?

  • Warranty period
  • Change request
  • Definition of Done
  • Deemed acceptance

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. Acceptance-এর ফল সিদ্ধান্ত: UAT, OAT, চুক্তি, নিয়ন্ত্রক, alpha, beta; প্রত্যেকটিতে আলাদা মানুষ আর আলাদা মাপকাঠি, কিন্তু প্রশ্ন একটাই, “নেওয়া যায়?”
  2. ATDD: Discuss, Distill, Develop, Demo. উদাহরণ আগে, code পরে; মূল্য আসে আলোচনা থেকে, emoji-র প্রশ্নের মতো।
  3. তিনটি “শেষ”: acceptance criteria story-র, Definition of Done দলের, exit criteria test কার্যক্রমের।
  4. Acceptance suite: নিয়ম API স্তরে, criterion-এর নামে test, JUnit XML আর HTML রিপোর্ট; sign-off-এর ভাষা শতাংশ নয়, কোন শর্ত ভাঙল।
  5. UAT আর beta: পরিকল্পিত দিন, script আর নিজের মতো ঘুরে দেখা, লিখিত sign-off আর residual risk; beta-র feedback-এ জোড়া, পুনরুৎপাদন, শ্রেণিভাগ, তারপর সিদ্ধান্ত।

পরের পর্বে: এই মডিউলে Gherkin আর acceptance suite দেখলেন। এবার পুরো কাঠামো: test automation framework কী দিয়ে গড়া, data-driven আর keyword-driven পদ্ধতি, hybrid framework, আর বাজারঘরের suite-এর স্তরগুলো কীভাবে সাজাবেন।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান