এই পর্বে যা শিখবেন
- Error, defect, failure আর root cause আলাদা করে চেনা, আর একটি বাস্তব ঘটনাকে এই চার ভাগে ভাঙা
- Testing, debugging, QA আর QC — কোন কাজ কার, কোনটি কখন
- Verification আর validation-এর পার্থক্য একটি coupon requirement দিয়ে হাতে-কলমে
- Test basis, test object, expected আর actual result, আর oracle-এর সমস্যা
- নিজে হিসাব করে দেখা কেন ছোট্ট একটি form-এরও সব input test করা যায় না
১ · Testing মানে চেখে দেখা — তবে শুধু চেখে দেখা নয়
বিয়েবাড়ির বাবুর্চির কথা ভাবুন। বিরিয়ানি নামানোর আগে তিনি এক চামচ তুলে চেখে দেখেন — লবণ ঠিক আছে তো? এটি একটি test: জিনিসটি চালিয়ে (এখানে খেয়ে) দেখা, প্রত্যাশার সাথে মেলে কি না। কিন্তু অভিজ্ঞ বাবুর্চি আরও আগে থেকেই যাচাই শুরু করেন। বাজারের ফর্দ মিলিয়ে দেখেন, মাংস তাজা কি না দেখেন, মসলার মাপ খাতার সাথে মেলান। রান্না শুরুর আগের এই যাচাইগুলোও quality-র অংশ, যদিও তখনো কিছুই “চালানো” হয়নি।
Software-এও ঠিক তাই। অনেকে ভাবেন testing মানে app খুলে বোতাম চাপা। সেটি testing-এর একটি অংশ মাত্র। ISTQB-এর Foundation syllabus (সংস্করণ ৪.০, ২০২৩) মোটামুটি এভাবে বলে: testing হলো কিছু কাজের সমষ্টি, যার উদ্দেশ্য software-এর কাজের ফলে defect খুঁজে বের করা আর তার quality মূল্যায়ন করা। “কাজের ফল” মানে শুধু কোড নয় — requirement, নকশা, user manual, এমনকি test case নিজেও।
Testing দুই রকম। Dynamic testing-এ software চালিয়ে আচরণ দেখা হয়। Static testing-এ কিছু না চালিয়ে পড়ে বা বিশ্লেষণ করে ভুল খোঁজা হয় — requirement review, code review, static analysis tool. Static testing-এর বিস্তারিত আসবে পর্ব ০৬-এ (Static testing — review, walkthrough, inspection আর static analysis).
তাহলে testing কেন করি? উত্তরটি “ভুল খোঁজা” বললে অর্ধেক বলা হয়। Syllabus-এর তালিকা ছোট করে বললে, testing-এর উদ্দেশ্যগুলো এরকম:
- Failure ঘটানো আর defect খোঁজা — যত আগে, তত সস্তা।
- Requirement পূরণ হলো কি না যাচাই — লিখিত চাহিদার সাথে মেলানো।
- ঝুঁকি কমানো — যে ভুল ধরা পড়ল, তা আর গ্রাহকের কাছে পৌঁছাবে না।
- সিদ্ধান্তের জন্য তথ্য দেওয়া — “আজ release করা যায় কি না” ঠিক করতে ম্যানেজারের হাতে প্রমাণ তুলে দেওয়া।
- আস্থা তৈরি — গুরুত্বপূর্ণ পথগুলো কাজ করছে, এই বিশ্বাসের ভিত্তি।
এই পর্ব জুড়ে আমরা বাজারঘর নামের একটি কাল্পনিক অনলাইন দোকান ব্যবহার করব। এর তিনটি নিয়ম মনে রাখুন, পুরো মডিউলে এগুলোই বারবার আসবে:
| নিয়ম | লিখিত requirement |
|---|---|
| Coupon | ১০০০ টাকার বেশি অর্ডারে ১০% ছাড়, সর্বোচ্চ ৩০০ টাকা |
| Delivery charge | ঢাকার ভেতরে ৬০ টাকা (অর্ডার ২০০০ টাকা বা বেশি হলে ফ্রি), ঢাকার বাইরে ১২০ টাকা |
| Phone number | ১১ অঙ্ক, শুরুতে 01, তৃতীয় অঙ্ক 3 থেকে 9 (বাজারঘরের নিজের যাচাইয়ের নিয়ম) |
সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৪৫-এ testing-এর এই ভিত্তিগুলোর একটি সংক্ষিপ্ত পরিচয় আছে। এখানে আমরা প্রতিটি ধারণা আরও গভীরে, বেশি উদাহরণ আর অনুশীলনসহ দেখব।
২ · Error, defect, failure — একটি ভুলের তিন চেহারা
পরীক্ষার খাতার কথা ভাবুন। একজন শিক্ষার্থী মনে মনে ভুল সূত্র মনে রাখলেন — এটি মানুষের ভুল। সেই ভুল সূত্র খাতায় লিখলেন — এবার ভুলটি কাগজে বসে গেল। পরীক্ষক খাতা দেখে লাল কালিতে কাটলেন — ভুলটি বাইরে থেকে দেখা গেল। একই ভুলের তিনটি অবস্থা। Testing-এর ভাষায় এদের তিনটি আলাদা নাম আছে।
🧠 Error (mistake)
মানুষের ভুল কাজ বা ভুল ধারণা: requirement ভুল বোঝা, তাড়াহুড়ায় ভুল টাইপ, ক্লান্তি, অস্পষ্ট নির্দেশ।
থাকে মানুষের মাথায়🐛 Defect (fault, bug)
Error-এর ফলে কাজের ফলে ঢুকে পড়া ত্রুটি: কোডের ভুল শর্ত, requirement-এ অসম্পূর্ণ বাক্য, নকশায় ভুল হিসাব।
থাকে কোডে বা নথিতে💥 Failure
Defect-ওয়ালা অংশ চললে system বাইরে থেকে দেখা যায় এমনভাবে প্রত্যাশিত কাজ করতে ব্যর্থ হয়: ভুল টাকা, crash, ভুল বার্তা।
দেখা যায় চলার সময়Bug শব্দটি প্রতিদিনের কথায় তিনটির যেকোনোটির জন্য ব্যবহার হয়। পেশাদার রিপোর্টে তাই নিখুঁত শব্দ বেছে নেওয়া ভালো: গ্রাহক দেখেন failure, tester রিপোর্ট করেন failure, developer খুঁজে পান defect. ISTQB-এর glossary-তে defect, fault আর bug প্রায় সমার্থক।
Error থেকে failure পর্যন্ত, আর ফিরে root cause-এ
A human error leaves a defect; executing it may cause a failure
এবার বাজারঘরের delivery charge-এর নিয়ম ধরে একটি সত্যিকারের ধরনের ভুল ধাপে ধাপে দেখুন। প্রতিটি ধাপে কোন নামটি খাটে, খেয়াল করুন:
- Requirement
ঢাকা ৬০ · বাইরে ১২০test basis - Error
“ছোট হাতের হবে”ভুল ধারণা - Defect
== "dhaka"সুপ্ত - Failure
৬০-এর বদলে ১২০গ্রাহক দেখলেন
Delivery charge:
ঢাকার ভেতরে → 60 টাকা
ঢাকার বাইরে → 120 টাকা
Checkout form-এর district list:
"Dhaka", "Gazipur", "Sylhet", …
“form নিশ্চয়ই ছোট হাতের অক্ষরে district পাঠায় — "dhaka"” (form-এর list কেউ মিলিয়ে দেখেননি)
def delivery_charge(district):
if district == "dhaka":
return 60
return 120
# এখনো কোনো অর্ডার আসেনি — ক্ষতি নেই
district = "Dhaka" (Mirpur থেকে) "Dhaka" == "dhaka" → False return 120
পণ্য : 850 টাকা Delivery (ঢাকা) : 120 টাকা ← হওয়ার কথা 60 Sylhet-এর অর্ডার: 120 — ঠিকই আছে!
লাইন ঠিক : district == DHAKA
(form-এর list থেকে নেওয়া)
গোড়ার কারণ : district-এর মানের এক
জায়গায় লেখা তালিকা নেই
প্রক্রিয়া বদল : দুই শ্রেণির test + review
- Requirement — test-এর ভিত্তি। নিয়মটি পরিষ্কার: ঢাকার ভেতরে ৬০, বাইরে ১২০. Checkout form-এর ড্রপডাউন district পাঠায় বড় হাতের প্রথম অক্ষরে, যেমন
"Dhaka". এই লিখিত নিয়মটিই পরে test-এর ভিত্তি হবে। - Error — মানুষের ভুল ধারণা। Developer ধরে নিলেন form ছোট হাতের
"dhaka"পাঠায়। তিনি অসাবধান নন; তাড়ার মধ্যে একটি অনুমান যাচাই করা হয়নি। এখনো কোনো কোড ভুল হয়নি — ভুলটি শুধু মাথায়। - Defect — ভুল কোডে বসে গেল। অনুমানটি একটি শর্তে রূপ নিল:
district == "dhaka". এটিই defect. কিন্তু এখনো কোনো অর্ডার আসেনি, তাই কারও ক্ষতি হয়নি। Defect এই অবস্থায় সুপ্ত (dormant). - লাইনটি চলল। Mirpur থেকে একটি অর্ডার এলো, district
"Dhaka". তুলনাটিFalseহলো, তাই function ফেরত দিল ১২০. ভেতরে ভুল ঘটে গেছে, কিন্তু এখনো কেউ দেখেননি। - Failure — বাইরে থেকে দেখা গেল। রসিদে delivery ১২০ টাকা, অথচ হওয়ার কথা ৬০. গ্রাহক অভিযোগ করলেন। লক্ষ করুন, Sylhet-এর অর্ডারে ১২০ ঠিকই আছে — এই defect শুধু ঢাকার input-এ failure ঘটায়। কেউ যদি শুধু ঢাকার বাইরের অর্ডার দিয়ে test করতেন, কিছুই ধরা পড়ত না।
- Root cause — কেন ঘটল। লাইন ঠিক করা সহজ। কিন্তু গোড়ার কারণ হলো district-এর মানগুলোর একটি সাধারণ তালিকা ছিল না, আর review-তে কেউ form-এর সাথে মেলাননি। প্রক্রিয়া বদল: তালিকা এক জায়গায় রাখা, আর ঢাকা ও বাইরে — দুই শ্রেণির জন্যই test লেখা। এতে একই ধরনের ভুল আবার হওয়ার সম্ভাবনা কমে।
শব্দের একটি ফাঁদ: ISTQB-এর ধারায় ক্রমটি error (মানুষের ভুল) → defect → failure. কিন্তু reliability আর dependability-র গবেষণায় (যেমন Avižienis ও সহকর্মীদের ২০০৪ সালের পরিচিত শ্রেণিবিভাগ) ক্রমটি fault → error → failure, যেখানে “error” মানে চলার সময় system-এর ভুল অভ্যন্তরীণ অবস্থা। সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৩-এ দ্বিতীয় ধারাটি দেখেছেন। পরীক্ষায় বা ইন্টারভিউতে কোন ধারার কথা হচ্ছে, প্রশ্ন থেকে বুঝে নিন। এই কোর্সে আমরা ISTQB-এর ধারা মানব।
Defect লুকিয়ে থাকে কিছু input-এর পেছনে
উপরের উদাহরণের সবচেয়ে বড় শিক্ষা: একটি defect সব input-এ failure ঘটায় না। এবার নিজে চালিয়ে দেখুন। নিচে coupon-এর নিয়মের একটি developer-এর লেখা সংস্করণ, আর Python-এর স্ট্যান্ডার্ড লাইব্রেরির unittest দিয়ে পাঁচটি test. প্রতিটি test-এ একটি assertion আছে — assertEqual(actual, expected), অর্থাৎ “এই দুটি মান সমান হতেই হবে।” শেষে একটি যত্ন করে লেখা দ্বিতীয় সংস্করণের (reference) সাথে ১ থেকে ৫০,০০০ টাকার প্রতিটি অঙ্ক মেলানো হয়েছে। “চালান” চাপুন:
import sys, unittest
def coupon_discount(total):
"""Rule: over 1000 taka -> 10% off, at most 300."""
if total >= 1000:
return total * 10 // 100
return 0
def reference(total): # a second, careful version
return min(total * 10 // 100, 300) if total > 1000 else 0
class CouponTest(unittest.TestCase):
def test_500_no_discount(self):
self.assertEqual(coupon_discount(500), 0)
def test_1000_no_discount(self):
self.assertEqual(coupon_discount(1000), 0)
def test_1500_ten_percent(self):
self.assertEqual(coupon_discount(1500), 150)
def test_2000_ten_percent(self):
self.assertEqual(coupon_discount(2000), 200)
def test_5000_capped(self):
self.assertEqual(coupon_discount(5000), 300)
suite = unittest.defaultTestLoader.loadTestsFromTestCase(CouponTest)
unittest.TextTestRunner(stream=sys.stdout, verbosity=2).run(suite)
wrong = [t for t in range(1, 50001)
if coupon_discount(t) != reference(t)]
print("wrong amounts:", len(wrong), "first:", wrong[:3])Validator-এ চালানো আসল আউটপুটের মূল অংশ (traceback ছোট করা হয়েছে):
test_1000_no_discount (__main__.CouponTest.test_1000_no_discount) ... FAIL
test_1500_ten_percent (__main__.CouponTest.test_1500_ten_percent) ... ok
test_2000_ten_percent (__main__.CouponTest.test_2000_ten_percent) ... ok
test_5000_capped (__main__.CouponTest.test_5000_capped) ... FAIL
test_500_no_discount (__main__.CouponTest.test_500_no_discount) ... ok
…
self.assertEqual(coupon_discount(1000), 0)
AssertionError: 100 != 0
…
self.assertEqual(coupon_discount(5000), 300)
AssertionError: 500 != 300
…
Ran 5 tests in 0.002s
FAILED (failures=2)
wrong amounts: 46992 first: [1000, 3010, 3011]
পাঁচটির মধ্যে তিনটি test পাস করেছে। ৫০০, ১৫০০ আর ২০০০ টাকায় function ঠিক উত্তর দেয়। দুটি defect লুকিয়ে আছে: >= লেখা হয়েছে >-এর জায়গায়, আর ৩০০ টাকার সর্বোচ্চ সীমা নেই। AssertionError: 100 != 0 পড়ুন এভাবে: actual ১০০, expected ০. Runner test-গুলো নামের বর্ণক্রমে চালায়, তাই test_500 সবার শেষে।
শেষ লাইনটি আরও চমকপ্রদ। প্রথম defect-টি ৫০,০০০টি অঙ্কের মধ্যে মাত্র একটিতে — ঠিক ১০০০ টাকায় — failure ঘটায়। কেউ ৯৯৯ আর ১০০১ দিয়ে test করলে কখনো ধরতেন না। দ্বিতীয়টি ৩০১০ থেকে ওপরের সব অঙ্কে ভুল দেয় (৩০০০ থেকে ৩০০৯ পর্যন্ত ১০% পূর্ণ টাকায় ৩০০-ই হয়)। কোন input বেছে নিলে এমন ভুল ধরা পড়ে, সেটিই পর্ব ০৭ (Equivalence partitioning) আর পর্ব ০৮ (Boundary value analysis)-এর বিষয়।
৩ · Root cause, testing আর debugging — কে কোন কাজ করে
মোবাইল রিচার্জের দোকানের কথা ভাবুন। গ্রাহক এসে বললেন, “৫০ টাকা দিলাম, কিন্তু ব্যালান্সে এসেছে ২০!” দোকানদার প্রথমে আবার রিচার্জ করে দেখলেন সত্যিই হয় কি না — এটি testing-এর মতো। তারপর মেশিনের সেটিং খুলে কারণ খুঁজলেন, পেলেন অঙ্কের ঘরে একটি ভুল, আর ঠিক করলেন — এটি debugging-এর মতো। শেষে আবার ৫০ টাকা রিচার্জ করে নিশ্চিত হলেন — এটি আবার testing.
| দিক | Testing | Debugging |
|---|---|---|
| লক্ষ্য | Failure ঘটানো বা defect খুঁজে পাওয়া | Failure-এর কারণ খুঁজে ঠিক করা |
| ফল | Failure-এর প্রমাণ, bug report, quality-র তথ্য | বদলানো কোড (fix) |
| সাধারণত কে করেন | Tester, QA engineer, developer-ও | Developer |
| কোড বদলায়? | না, শুধু পর্যবেক্ষণ করে | হ্যাঁ |
| Static testing-এ | Review সরাসরি defect দেখায় | তখন failure ছাড়াই সরাসরি সারানো যায় |
Dynamic testing-এ একটি failure পাওয়ার পরের পথটি মোটামুটি এরকম: failure-টি আবার ঘটানো (reproduce), কারণ খোঁজা (diagnosis), ঠিক করা (fix). তারপর দুই রকম test আবার চালানো হয়। Confirmation testing (re-testing) দেখে ঠিক যে test ফেল করেছিল, সেটি এখন পাস করে কি না। Regression test দেখে fix করতে গিয়ে আগের ঠিক থাকা অংশ ভেঙে গেল কি না। এই দুটির পার্থক্য হাতে-কলমে দেখবেন পর্ব ০৫-এ (Test-এর স্তর আর ধরন)।
Root cause কেন আলাদা জিনিস
Defect হলো কোডের একটি লাইন। Root cause হলো সেই গভীর কারণ, যা না সারালে একই ধরনের ভুল আবার ঘটবে। Delivery charge-এর উদাহরণে defect ছিল "dhaka", কিন্তু root cause ছিল district-এর মানের কোনো সাধারণ তালিকা না থাকা। শুধু লাইন বদলালে পরের মাসে অন্য developer হয়তো "Chattogram" আর "Chittagong" নিয়ে একই ভুল করবেন। Root cause analysis-এর পদ্ধতি — “৫ বার কেন” জিজ্ঞেস করা, fishbone diagram — আসবে পর্ব ৭৫-এ (Quality metric আর process improvement).
Test নিজেও ভুল হতে পারে। ভুল expected মান, ভুল test data বা ভুল পরিবেশের কারণে test ফেল করলে কোডে কোনো defect নাও থাকতে পারে — একে বলে false positive. উল্টোটাও ঘটে: defect আছে, কিন্তু test পাস করছে — false negative. তাই failure দেখলে প্রথম প্রশ্ন: “ভুলটা কোডে, না test-এ?”
৪ · QA, QC আর testing — তিনটি শব্দ, তিনটি কাজ
চাকরির বিজ্ঞাপনে “QA Engineer”, “SQA” আর “Tester” প্রায় একই অর্থে দেখা যায়। কিন্তু ধারণাগত দিক থেকে এরা আলাদা। একটি garments কারখানা দিয়ে বুঝুন।
কারখানার একটি দল ঠিক করে কাটিং-এর আগে মাপ দুইবার মেলানো হবে, নতুন কর্মীদের সেলাইয়ের প্রশিক্ষণ হবে, প্রতিটি লাইনে একটি চেকলিস্ট থাকবে। তাঁরা একটি শার্টও হাতে নিয়ে দেখেন না — তাঁরা প্রক্রিয়া ঠিক করেন, যাতে ভুল কম হয়। এটি quality assurance (QA). আরেকটি দল লাইনের শেষে প্রতিটি শার্ট উল্টে দেখে — সেলাই ছুটে গেছে কি না, বোতাম ঠিক জায়গায় কি না। তাঁরা তৈরি জিনিস যাচাই করে খারাপটি আলাদা করেন। এটি quality control (QC). আর শার্ট টেনে দেখা, ধুয়ে দেখা — এই নির্দিষ্ট যাচাইগুলোই testing.
| দিক | QA | QC | Testing |
|---|---|---|---|
| কিসের দিকে নজর | প্রক্রিয়া | তৈরি জিনিস | নির্দিষ্ট কাজের ফল |
| ধরন | প্রতিরোধমূলক | শনাক্তকারী, সংশোধনমূলক | QC-র প্রধান উপায় |
| বাজারঘরে উদাহরণ | প্রতিটি requirement-এ উদাহরণ লেখার নিয়ম, code review বাধ্যতামূলক | Release-এর আগে checkout-এর সব test চালিয়ে রিপোর্ট | ১০০০ টাকার অর্ডারে ছাড় ০ কি না দেখা |
| কার দায়িত্ব | পুরো দলের, QA দল নেতৃত্ব দেয় | Tester, reviewer | Tester, developer |
ISTQB-এর syllabus এভাবে বলে: QA প্রক্রিয়াভিত্তিক, QC পণ্যভিত্তিক; testing হলো QC-র একটি বড় রূপ; আর test-এর ফল দুটোতেই কাজে লাগে। QC-তে test-এর ফল দিয়ে defect ঠিক করা হয়; QA-তে সেই ফল দেখে বোঝা হয় প্রক্রিয়া কতটা ভালো চলছে। যেমন, বাজারঘরের তিন মাসের bug report ঘেঁটে দেখা গেল অর্ধেক defect requirement-এর অস্পষ্টতা থেকে এসেছে — এটি QA-র জন্য সংকেত যে requirement লেখার নিয়ম বদলাতে হবে। সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৬২-এ quality management-এর বড় ছবিটি আছে।
৫ · Verification বনাম validation — ঠিকভাবে বানানো, ঠিক জিনিস বানানো
দর্জির দোকানে পাঞ্জাবি বানাতে দিলেন। দর্জি মাপের খাতা মিলিয়ে দেখলেন — বুক ৪০, লম্বা ৪২, ঠিক আছে। এটি verification: লিখিত specification মেনে বানানো হয়েছে কি না। তারপর আপনি পরে দেখলেন, ঈদের নামাজে বসতে গিয়ে টান লাগছে। খাতা মানা হয়েছে, কিন্তু আপনার আসল প্রয়োজন মেটেনি। এটি ধরা পড়ে validation-এ: জিনিসটি ব্যবহারকারীর আসল প্রয়োজন আর ব্যবহারের পরিবেশে কাজ করে কি না।
Validation: “Are we building the right product?”
Barry Boehm-এর লেখার মাধ্যমে এই দুই প্রশ্ন জনপ্রিয় হয় (১৯৭০ ও ৮০-র দশকে)। মনে রাখার কৌশল: verification তাকায় আগের নথির দিকে — spec, নকশা, মান; validation তাকায় মানুষের দিকে — গ্রাহক, ব্যবসা, বাস্তব পরিবেশ। Verification ব্যর্থ মানে বানাতে ভুল; validation ব্যর্থ মানে spec-ই হয়তো ভুল বা অসম্পূর্ণ।
নিচে বাজারঘরের coupon-এর নিয়ম ধরে দুটি যাচাই পাশাপাশি দেখুন। ডান দিকের দুই সারিতে কোন যাচাই কখন পাস বা ফেল করছে, খেয়াল করুন:
R> 1000 → 10%, max 300Cmin(total*0.1, 300)T1000→0 1500→150 5000→300UUAT: rider + হিসাব বিভাগR+ছাড় পূর্ণ টাকায়
| Verification | |
| Validation |
- Requirement লেখা হলো। “১০০০ টাকার বেশি অর্ডারে ১০% ছাড়, সর্বোচ্চ ৩০০ টাকা।” এখনো কিছু বানানো হয়নি, তাই কোনো যাচাই হয়নি।
- Developer কোড লিখলেন। নিয়মটি হুবহু অনুবাদ: ১০০০-এর বেশি হলে
min(total*0.1, 300), নইলে ০. - Verification — spec-এর সাথে মেলানো। Tester requirement থেকে তিনটি test বানালেন: ১০০০ টাকায় ছাড় ০, ১৫০০-তে ১৫০, ৫০০০-এ ৩০০. তিনটিই পাস, code review-ও ঠিক। “আমরা ঠিকভাবে বানিয়েছি।”
- Validation — মানুষের হাতে দেওয়া। UAT-তে delivery rider আর হিসাব বিভাগ একটি ১০০১ টাকার অর্ডার করলেন, ঢাকায়। Invoice-এ ছাড় ১০০.১ টাকা, পরিশোধ ৯৬০.৯ টাকা। Rider নগদে ৯০ পয়সা নিতে পারেন না, হিসাব বিভাগও পয়সার হিসাব রাখে না। Spec মানা হয়েছে, কিন্তু আসল প্রয়োজন মেটেনি — validation ব্যর্থ।
- Requirement স্পষ্ট করা হলো। মূল নিয়ম একই থাকল; যোগ হলো একটি লাইন: “ছাড় পূর্ণ টাকায় হিসাব হবে, ভগ্নাংশ বাদ।” কোড বদলাল, নতুন test যোগ হলো: ১০০১ টাকায় ছাড় ১০০, পরিশোধ ৯০১ + ৬০ = ৯৬১. এখন verification-এ চারটি test-ই পাস। কিন্তু মানুষ এখনো আবার দেখেননি।
- আবার validation. Rider আর হিসাব বিভাগ আবার চেষ্টা করলেন, এবার সব মিলল। শিক্ষা: verification দুইবারই পাস করেছিল — প্রথমবার spec-এ যে ফাঁক ছিল, verification তা ধরতে পারে না, কারণ সে spec-কেই মাপকাঠি ধরে। ফাঁকটি ধরেছে validation.
| দিক | Verification | Validation |
|---|---|---|
| প্রশ্ন | Spec মেনে বানানো হয়েছে? | আসল প্রয়োজন মেটে? |
| মাপকাঠি | Requirement, নকশা, মান, interface-এর নথি | ব্যবহারকারী, ব্যবসার লক্ষ্য, বাস্তব পরিবেশ |
| উপায় | Review, static analysis, unit/integration/system test | Prototype দেখানো, UAT, beta test, usability test |
| বাজারঘরে | ১৫০০ টাকায় ছাড় ১৫০ কি না | Rider কি invoice-এর টাকা নিতে পারেন? |
একটি সাধারণ ভুল ধারণা: “unit test মানেই verification, acceptance test মানেই validation.” মোটা দাগে ঠিক, কিন্তু আসল প্রশ্ন হলো যাচাইটি কিসের সাথে মেলানো হচ্ছে। Acceptance test যদি শুধু লিখিত acceptance criteria মেলায়, সেটিও verification. আবার requirement পড়ে গ্রাহকের সাথে আলোচনা করে বোঝা যে নিয়মটিই ভুল — কোনো কোড ছাড়াই validation. Requirement-এর সাথে test-এর সম্পর্ক নিয়ে পুরো একটি পর্ব আছে: পর্ব ১৫ (Requirement থেকে test — acceptance criteria আর testability).
৬ · Quality মানে কী — ISO/IEC 25010 এক নজরে
“Quality ভালো” কথাটি অস্পষ্ট। দুজন মানুষ দুটি ভিন্ন জিনিস বোঝাতে পারেন: একজন বোঝান “ভুল হিসাব করে না”, আরেকজন বোঝান “দ্রুত খোলে”। এই অস্পষ্টতা দূর করতে আছে ISO/IEC 25010 নামের আন্তর্জাতিক মানের quality model. ২০২৩ সালের সংস্করণে product quality-র নয়টি quality characteristic আছে; ২০১১ সালের সংস্করণে ছিল আটটি। প্রতিটির পেছনে বাজারঘরের একটি test-প্রশ্ন বসিয়ে দেখুন:
| Characteristic | সহজ অর্থ | বাজারঘরে একটি test-প্রশ্ন |
|---|---|---|
| Functional suitability | যা করার কথা, ঠিকভাবে করে | ৫০০০ টাকায় ছাড় ৩০০ তো? |
| Performance efficiency | সময় আর resource-এর ব্যবহার | ঈদের ভিড়ে checkout কত সেকেন্ডে হয়? |
| Compatibility | অন্য system-এর সাথে চলা | Courier-এর system অর্ডার ঠিক পায়? |
| Interaction capability | ব্যবহার করা সহজ (আগের নাম usability) | নতুন গ্রাহক coupon-এর ঘর খুঁজে পান? |
| Reliability | দীর্ঘ সময় ঠিকঠাক চলা, বিপদে সামলে ওঠা | Payment-এর মাঝে net গেলে অর্ডার হারায়? |
| Security | অনুমতি ছাড়া কেউ তথ্য পায় না, বদলাতে পারে না | অন্যের অর্ডার দেখা যায়? |
| Maintainability | বদলানো আর test করা সহজ | Delivery charge বদলাতে কয়টি ফাইল ছুঁতে হয়? |
| Flexibility | নতুন পরিবেশে মানিয়ে নেওয়া (আগের নাম portability) | নতুন browser-এ চলে? |
| Safety | মানুষ বা সম্পদের ক্ষতি এড়ানো (২০২৩-এ নতুন) | বাজারঘরে কম, তবে ওষুধের দোকানে বড় প্রশ্ন |
Tester-এর কাছে এই তালিকার মূল্য হলো একটি মনে রাখার কাঠামো: শুধু functional দিক test করে “সব ঠিক” বললে বাকি আটটি দিক বাদ পড়ে যায়। প্রতিটির ভেতরে আরও সূক্ষ্ম sub-characteristic আছে; বিস্তারিত সংজ্ঞা আর quality মাপার উপায় সফটওয়্যার ইঞ্জিনিয়ারিং ও Git কোর্সের পর্ব ৩-এ। Functional আর non-functional test-এর ধরনগুলো আসবে পর্ব ০৫-এ, আর performance, security, accessibility-র জন্য আলাদা মডিউল আছে (মডিউল ৮ আর ৯)।
৭ · Test basis, test object আর test oracle — “ঠিক” কে বলে দেয়
প্রতিটি test-এর পেছনে কয়েকটি প্রশ্ন থাকে। কী test করছি? কিসের ভিত্তিতে? ঠিক উত্তর কত হওয়ার কথা? আসলে কত এলো? এগুলোর প্রতিটির একটি নাম আছে:
- Test object — যা test করা হচ্ছে: একটি function, একটি পাতা, পুরো app, এমনকি একটি requirement নথি।
- Test basis — যে জ্ঞানের ভিত্তিতে test বানানো হয়: requirement, user story, নকশা, পুরোনো bug report, ব্যবসার নিয়ম।
- Expected result — test চালানোর আগেই ঠিক করা প্রত্যাশিত ফল।
- Actual result — চালানোর পরে যা সত্যিই পাওয়া গেল।
- Test oracle — expected result যেখান থেকে আসে: spec, হাতে করা হিসাব, পুরোনো সংস্করণ, অন্য একটি স্বাধীন program, বা একজন বিশেষজ্ঞ।
এগুলো মিলেই একটি test case: precondition, input, ধাপ আর expected result. Test case লেখার পূর্ণ কৌশল আসবে পর্ব ১৬-এ (Test case, scenario আর test data লেখা)। এবার একটি test case চালিয়ে oracle-এর কাজ ধাপে ধাপে দেখুন:
1Pre: cart 1500, district Dhaka2Oracle: 1500 − 150 + 603Expected = 14104Run app → Actual5Verdict
| expected | |
| actual | |
| verdict |
- Precondition. Cart-এ ১৫০০ টাকার পণ্য, district
"Dhaka". Test-এর শুরুর অবস্থা নিখুঁতভাবে লেখা থাকলে যে কেউ একই test চালিয়ে একই ফল পাবেন। - Oracle থেকে হিসাব। এখানে oracle হলো লিখিত নিয়ম: ১০০০-এর বেশি, তাই ছাড় ১৫০০-এর ১০% = ১৫০; ঢাকায় delivery ৬০. পরিশোধ = ১৫০০ − ১৫০ + ৬০.
- Expected result আগেই লেখা। ১৪১০ টাকা। App চালানোর আগে লেখা জরুরি। পরে লিখলে মন অজান্তেই app-এর দেখানো অঙ্কের দিকে ঝুঁকে যায়।
- চালানো — actual result. App দেখাল ১৪০৪ টাকা।
- তুলনা। ১৪১০ ≠ ১৪০৪. অমিল পাওয়া গেল। কিন্তু থামুন — ভুলটি app-এর, না oracle-এর? খুঁজে দেখা গেল app ছাড় হিসাব করেছে delivery-সহ ১৫৬০ টাকার ওপর: ছাড় ১৫৬, পরিশোধ ১৫৬০ − ১৫৬ = ১৪০৪. লিখিত নিয়মে “অর্ডার”-এ delivery ধরা হবে কি না, বলা নেই! Oracle নিজেই অস্পষ্ট।
- রায় — FAIL. Tester প্রশ্নটি product owner-এর কাছে তুললেন। সিদ্ধান্ত হলো: ছাড় শুধু পণ্যের দামের ওপর। তাই ১৪০৪ একটি defect, আর expected ১৪১০ ঠিক। Requirement-এও লাইনটি যোগ হলো। একটি failure দুটি জিনিস ঠিক করাল: কোড আর spec.
Oracle-এর সমস্যা
উপরের উদাহরণে oracle ছিল একটি সহজ হিসাব। কিন্তু সবসময় এত সহজ নয়। একে বলে oracle problem: অনেক সময় ঠিক উত্তরটি কী হওয়া উচিত, তা জানাই কঠিন। বাজারঘরে “মোবাইল” লিখে খুঁজলে কোন ২০টি পণ্য কোন ক্রমে আসা উচিত? এক কোটি অর্ডারের মাসিক রিপোর্টের মোট বিক্রি হাতে মেলাবেন কীভাবে? আর একটি সহজ হিসাবেও সমস্যা লুকিয়ে থাকতে পারে, নিচে চালিয়ে দেখুন। একই function, একই input, কিন্তু চারটি ভিন্ন oracle:
import sys, unittest
def coupon_discount(total): # follows the written rule
if total > 1000:
return min(total * 0.1, 300)
return 0
class OracleTest(unittest.TestCase):
def test_a_1500_exact(self):
self.assertEqual(coupon_discount(1500), 150)
def test_b_1001_exact(self):
self.assertEqual(coupon_discount(1001), 100.1)
def test_c_1001_close(self):
self.assertAlmostEqual(coupon_discount(1001), 100.1,
places=2)
def test_d_1001_whole_taka(self):
self.assertEqual(coupon_discount(1001), 100)
print("actual for 1001:", repr(coupon_discount(1001)))
suite = unittest.defaultTestLoader.loadTestsFromTestCase(OracleTest)
unittest.TextTestRunner(stream=sys.stdout, verbosity=2).run(suite)Validator-এ চালানো আসল আউটপুটের মূল অংশ (traceback ছোট করা):
actual for 1001: 100.10000000000001
test_a_1500_exact (__main__.OracleTest.test_a_1500_exact) ... ok
test_b_1001_exact (__main__.OracleTest.test_b_1001_exact) ... FAIL
test_c_1001_close (__main__.OracleTest.test_c_1001_close) ... ok
test_d_1001_whole_taka (__main__.OracleTest.test_d_1001_whole_taka) ... FAIL
…
AssertionError: 100.10000000000001 != 100.1
…
AssertionError: 100.10000000000001 != 100
…
Ran 4 tests in 0.005s
FAILED (failures=2)
Function একটাই, actual একটাই: 100.10000000000001. কম্পিউটার 0.1 সংখ্যাটি binary-তে হুবহু রাখতে পারে না, তাই সামান্য বাড়তি অংশ থেকে যায়। এবার চারটি oracle-এর রায় দেখুন। (a) ১৫০০-তে ১৫০ — পাস (150.0 == 150 সত্য)। (b) হুবহু 100.1 চাইলে ফেল — কিন্তু এটি কি defect, নাকি test-এর তুলনার পদ্ধতিই ভুল? (c) দুই দশমিক পর্যন্ত কাছাকাছি হলেই চলবে — পাস। (d) পূর্ণ টাকায় ১০০ চাইলে ফেল — §৫-এর স্পষ্ট করা নিয়ম অনুযায়ী এটিই আসল defect.
শিক্ষা: তুলনার পদ্ধতিও oracle-এর অংশ। একই actual ফলকে কেউ পাস বলবেন, কেউ ফেল — নির্ভর করে কোন নিয়ম ধরে expected লেখা হয়েছে আর কীভাবে মেলানো হচ্ছে তার ওপর। এজন্যই টাকার হিসাবে সাধারণত float এড়িয়ে পূর্ণসংখ্যা (পয়সায়) বা decimal ব্যবহার করা হয়।
যেখানে নিখুঁত oracle নেই, সেখানে tester-রা আংশিক oracle ব্যবহার করেন। কয়েকটি পরিচিত কৌশল:
- সম্পর্ক যাচাই: সঠিক উত্তর না জেনেও বলা যায়, cart-এ আরও একটি পণ্য যোগ করলে পরিশোধের অঙ্ক কমতে পারে না (ছাড়ের সীমা থাকায়)। এই চিন্তাই metamorphic testing-এর ভিত্তি।
- দ্বিতীয় program-এর সাথে তুলনা: প্রথম code block-এর
referencefunction ঠিক এই কাজটি করেছে। - সম্ভাব্যতার সীমা: উত্তর জানি না, কিন্তু জানি ছাড় কখনো ঋণাত্মক বা ৩০০-র বেশি হবে না।
- মানুষের বিচার: search-এর ফল ভালো লাগছে কি না, বিশেষজ্ঞ দেখে বলেন।
এই কৌশলগুলো আরও শক্তিশালী রূপে আসবে পর্ব ৫৮-এ (Property-based testing — Hypothesis আর shrinking) আর পর্ব ৭২-এ (LLM আর AI app-এর testing), যেখানে oracle-এর সমস্যা সবচেয়ে প্রকট।
৮ · সব input test করা যায় না — আর test ভুলের অনুপস্থিতি প্রমাণ করে না
“সব input দিয়ে চালিয়ে দেখলেই তো হয়!” — নতুনদের প্রথম চিন্তা প্রায়ই এটি। একে বলে exhaustive testing. বাজারঘরের checkout form-এ মাত্র তিনটি ঘর: phone number, district আর অর্ডারের অঙ্ক। চলুন গুনে দেখি কতগুলো মিশ্রণ সম্ভব। ধরে নিই phone-এর ঘরে শূন্য থেকে ১১টি অঙ্ক টাইপ করা যায়, district ৬৪টি জেলার একটি বা “বাছাই হয়নি”, আর অর্ডার ১ থেকে ৫০,০০০ টাকার পূর্ণ সংখ্যা:
# Bazarghar checkout form: three fields
phone_valid = 7 * 10**8 # 01 + one of 3..9 + 8 digits
phone_typed = sum(10**k for k in range(12)) # 0..11 digits
districts = 64 + 1 # 64 districts or none chosen
amounts = 50_000 # 1..50,000 taka, whole numbers
combos = phone_typed * districts * amounts
print(f"valid phone numbers : {phone_valid:,}")
print(f"typed phone strings : {phone_typed:,}")
print(f"all combinations : {combos:,}")
YEAR = 365.25 * 24 * 3600
rates = [("manual, 1 per min", 1 / 60),
("UI script, 1 per s", 1),
("unit test, 1000 per s", 1000)]
for label, per_sec in rates:
years = combos / per_sec / YEAR
print(f"{label:22}: {years:.2e} years")
# one representative per class (details later in the course)
classes = {
"phone": ["valid", "short", "long", "bad prefix", "letters"],
"district": ["Dhaka", "other", "none"],
"amount": ["<=1000", "1001-3000", "over 3000", "0 or less", "too big"],
}
n = 1
for name, values in classes.items():
n *= len(values)
print("class combinations :", n)আসল আউটপুট:
valid phone numbers : 700,000,000
typed phone strings : 111,111,111,111
all combinations : 361,111,111,110,750,000
manual, 1 per min : 6.87e+11 years
UI script, 1 per s : 1.14e+10 years
unit test, 1000 per s : 1.14e+07 years
class combinations : 75
শুধু বৈধ phone number-ই ৭০ কোটি (তৃতীয় অঙ্কের ৭টি বিকল্প × বাকি ৮ ঘরের 108). টাইপ করা সব স্ট্রিং ধরলে ১,১১১ কোটির বেশি — অথচ এখানে অক্ষর, ফাঁকা জায়গা, বাংলা অঙ্ক ধরাই হয়নি। তিনটি ঘর মিলিয়ে মিশ্রণ প্রায় ৩.৬১ × 1017. মিশ্রণের সংখ্যা গুণ হয়, যোগ নয় — এটিই আসল কারণ।
সেকেন্ডে একটি UI script চালালে লাগবে প্রায় ১.১৪ × 1010 বছর, অর্থাৎ ১,১৪৪ কোটি বছরের মতো — মহাবিশ্বের আনুমানিক বয়সের (প্রায় ১,৩৮০ কোটি বছর) কাছাকাছি। সেকেন্ডে ১০০০টি unit test চালালেও এক কোটি বছরের বেশি। অথচ প্রতিটি শ্রেণি থেকে একটি করে প্রতিনিধি নিলে সব মিশ্রণ মাত্র ৭৫টি, আর বুদ্ধি করে বাছলে আরও কম। কোন শ্রেণি, কোন প্রতিনিধি — সেটিই মডিউল ২-এর পুরো বিষয়।
Test ভুল দেখায়, ভুলের অনুপস্থিতি প্রমাণ করে না
Edsger W. Dijkstra-র নামে একটি বিখ্যাত কথা আছে: “Program testing can be used to show the presence of bugs, but never to show their absence!” আমাদের জানামতে কথাটি ১৯৬৯ সালের NATO software engineering সম্মেলনের প্রতিবেদন আর তাঁর “Notes on Structured Programming” (১৯৬৯–৭০)-এ পাওয়া যায়; উৎসভেদে শব্দ সামান্য আলাদা। যুক্তিটি সরল: একটি পাস করা test শুধু বলে “এই input-এ, এই পরিবেশে, এই মুহূর্তে ভুল দেখা যায়নি।” প্রথম code block-এর তিনটি পাস করা test দুটি defect-এর পাশ দিয়ে চলে গেছে।
তাহলে testing-এর মূল্য কোথায়? ভালো বাছাই করা test ঝুঁকি কমায় আর আস্থার যুক্তিসংগত ভিত্তি দেয়। “শূন্য defect”-এর প্রমাণ চাইলে লাগে গাণিতিক প্রমাণ, যাকে বলে formal verification — তার একটি স্বাদ পাবেন ডিসক্রিট ম্যাথ কোর্সের পর্ব ৭৭-এ। আর এই দুটি নীতিসহ testing-এর সাতটি নীতি নিয়ে বিস্তারিত আলোচনা পর্ব ০৩-এ (Testing-এর সাতটি নীতি আর tester-এর মনস্তত্ত্ব)।
আরও গভীরে: Oracle problem নিয়ে গবেষণা দীর্ঘদিনের। Elaine Weyuker ১৯৮২ সালে “On Testing Non-testable Programs” প্রবন্ধে এমন program-এর কথা তোলেন, যার সঠিক উত্তর আগে থেকে জানা অসম্ভব বা অবাস্তব। Barr, Harman ও সহকর্মীদের ২০১৫ সালের IEEE TSE-তে প্রকাশিত জরিপে oracle-কে মোটামুটি চার ভাগে দেখা হয়: নির্দিষ্ট (spec থেকে), উদ্ভূত (অন্য সংস্করণ বা সম্পর্ক থেকে), অন্তর্নিহিত (crash বা exception নিজেই ভুলের চিহ্ন), আর মানুষের বিচার। Automation যত বাড়ে, test চালানো তত সস্তা হয় — কিন্তু “ঠিক কী” বলে দেওয়ার খরচ তত বড় হয়ে ওঠে।
পরীক্ষা ও ইন্টারভিউতে: এই ধরনের প্রশ্ন প্রায়ই আসে —
- Error, defect আর failure-এর পার্থক্য? মানুষের ভুল → কোডে বা নথিতে ত্রুটি → চলার সময় বাইরে দেখা ব্যর্থতা।
- Verification আর validation? Spec মেনে বানানো হয়েছে কি না বনাম আসল প্রয়োজন মেটে কি না।
- Testing আর debugging? Testing failure দেখায়; debugging কারণ খুঁজে ঠিক করে।
- QA আর QC? QA প্রক্রিয়াভিত্তিক ও প্রতিরোধমূলক; QC পণ্যভিত্তিক ও শনাক্তকারী।
- Exhaustive testing কেন অসম্ভব? Input-এর মিশ্রণ গুণ হয়ে অবাস্তব রকম বড় হয়ে যায়; তাই ঝুঁকি দেখে প্রতিনিধি বাছাই করা হয়।
৯ · AI-এর যুগে — AI-এর লেখা test-এর oracle কে?
AI assistant-কে “এই function-এর test লিখে দাও” বললে কয়েক সেকেন্ডে দশটি test চলে আসে। দেখতে পেশাদার, চালালে সবুজ। কিন্তু এই পর্বের ভাষায় প্রশ্নটি হলো: expected মানগুলো কোথা থেকে এলো? AI যদি আপনার কোড পড়ে expected লেখে, তাহলে oracle হলো কোড নিজেই। প্রথম code block-এর ভুল function দিলে AI খুব সম্ভবত assertEqual(coupon_discount(1000), 100) লিখবে — একটি test যা ভুল কোডেও পাস করে আর defect-কে পাকাপোক্ত করে দেয়।
| AI প্রায়ই যা করে | এই পর্বের কোন ধারণার সাথে জড়িত |
|---|---|
| কোড এখন যা করে তাই assert করে, requirement যা বলে তা নয় | ভুল oracle; false negative |
| শুধু সহজ পথ (happy path) test করে | Defect লুকিয়ে থাকে বিশেষ input-এ |
| ১০০০ বা ৩০০০-এর মতো সীমার মান বাদ দেয় | প্রথম code block-এর দুটি defect ঠিক সেখানে |
| নেই এমন API field বা tool option বানিয়ে লেখে | ভুল test basis |
Wait-এর জন্য sleep বসায়, সব mock করে ফেলে | Test পাস করে, কিন্তু আসল কিছু যাচাই হয় না |
| না চালিয়েই বলে “সব test পাস করবে” | প্রমাণ ছাড়া রায় |
AI-কে কাজে লাগানোর ভালো উপায় হলো oracle-টি নিজে দিয়ে দেওয়া — কোড নয়, requirement থেকে test চাওয়া, আর প্রতিটি expected মানের উৎস জানতে চাওয়া:
AI-এর লেখা test হাতে পেলে — যাচাইয়ের চেকলিস্ট
তৃতীয় চেকটি — কোডে ইচ্ছা করে ভুল ঢুকিয়ে test ফেল করে কি না দেখা — আসলে একটি পূর্ণ technique-এর ছোট রূপ। এর নাম mutation testing, আর এটি আসবে পর্ব ৫৯-এ (Mutation testing — test-এর test, mutmut আর mutation score).
ভাবনার প্রশ্ন
প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।
প্র ০১“প্রথম কম্পিউটার bug ছিল একটি সত্যিকারের পোকা” — গল্পটি কতটা সত্য? আর পেশাদাররা “bug” না বলে defect বা failure বলতে চান কেন?
গল্পের সত্য অংশটি এরকম। ১৯৪৭ সালের সেপ্টেম্বরে Harvard বিশ্ববিদ্যালয়ের Mark II কম্পিউটারের দল যন্ত্রের একটি relay-তে আটকে থাকা একটি মথ (পতঙ্গ) খুঁজে পান। তাঁরা পতঙ্গটি log বইয়ে টেপ দিয়ে লাগিয়ে লেখেন, মোটামুটি “bug খুঁজে পাওয়ার প্রথম সত্যিকারের ঘটনা”। Log বইয়ের সেই পাতাটি এখন যুক্তরাষ্ট্রের Smithsonian জাদুঘরের সংগ্রহে আছে বলে জানা যায়। Grace Hopper সেই দলে ছিলেন এবং পরে গল্পটি বহুবার বলেছেন, তাই এটি তাঁর নামে জড়িয়ে গেছে; তবে পতঙ্গটি তিনি নিজেই পেয়েছিলেন কি না, তা নিশ্চিত নয়।
গল্পের ভুল অংশটি হলো “এখান থেকেই bug শব্দের জন্ম”। “সত্যিকারের ঘটনা” কথাটিই রসিকতা — কারণ যন্ত্রের ত্রুটিকে bug বলার চল তার অনেক আগে থেকেই ছিল। Thomas Edison-এর ১৮৭০-এর দশকের চিঠিতেও যন্ত্রের সমস্যাকে “bugs” বলা হয়েছে বলে ইতিহাসবিদেরা উল্লেখ করেন। অর্থাৎ দলটি একটি পুরোনো শব্দকে আক্ষরিক অর্থে পেয়ে মজা করেছিলেন।
পেশাদাররা নিখুঁত শব্দ চান কারণ “bug” একটি শব্দে তিনটি আলাদা জিনিস গুলিয়ে ফেলে। গ্রাহক বলেন “অ্যাপে bug” — তিনি আসলে একটি failure দেখেছেন। Developer বলেন “bug পেয়েছি, লাইন ৪২” — তিনি defect খুঁজে পেয়েছেন। ম্যানেজার জিজ্ঞেস করেন “bug কেন হলো?” — তিনি root cause জানতে চান। একটি failure-এর পেছনে একাধিক defect থাকতে পারে, আবার একটি defect অনেক failure ঘটাতে পারে। Bug report-এ “কী দেখা গেল” (failure) আর “কোথায় ভুল” (defect) আলাদা না রাখলে tracker-এ একই সমস্যা পাঁচবার খোলা হয়, আবার আলাদা সমস্যা একসাথে বন্ধ হয়ে যায়। পর্ব ১৮-এ (Bug report আর defect lifecycle) এর ব্যবহারিক দিক দেখবেন।
মূল উপলব্ধি: জনপ্রিয় গল্পও যাচাই করে বলতে হয় — এটিই tester-এর মানসিকতা। আর শব্দ নিখুঁত হলে চিন্তাও নিখুঁত হয়: কী দেখা গেল, কোথায় ভুল, কেন ভুল — তিনটি আলাদা প্রশ্ন।
প্র ০২১৯৯৯ সালে Mars Climate Orbiter নামের মহাকাশযানটি মঙ্গলের কক্ষপথে ঢোকার সময় হারিয়ে যায়। এই ঘটনাকে error, defect, failure আর root cause-এ ভাঙলে কী পাওয়া যায়?
NASA-র তদন্ত বোর্ডের প্রথম প্রতিবেদন (নভেম্বর ১৯৯৯) অনুযায়ী মূল কারণ ছিল এককের অমিল। পৃথিবীর একটি ground software ফাইল thruster-এর ছোট ছোট ধাক্কার হিসাব দিত imperial এককে (pound-force second), অথচ দুই দলের মধ্যে লেখা interface নথি অনুযায়ী দেওয়ার কথা ছিল metric এককে (newton-second). এক pound-force প্রায় ৪.৪৫ newton, তাই navigation দলের হিসাবে মহাকাশযানের গতিপথ ধারাবাহিকভাবে ভুল হচ্ছিল। শেষে যানটি পরিকল্পনার চেয়ে অনেক নিচু দিয়ে মঙ্গলের বায়ুমণ্ডলে ঢুকে পড়ে এবং হারিয়ে যায়।
এবার চার ভাগে ভাঙুন। Error: software লেখার সময় কেউ interface নথির একক মানেননি বা জানতেন না। Defect: ফাইলটির আউটপুট ভুল এককে। Failure: কক্ষপথে ঢোকার সময় যানের হারিয়ে যাওয়া — বাইরে থেকে দেখা চূড়ান্ত ব্যর্থতা। কিন্তু মাঝপথেও ছোট ছোট failure-এর সংকেত ছিল: navigation দল কয়েক মাস ধরে গতিপথের অমিল লক্ষ করছিলেন, তবে প্রশ্নগুলো আনুষ্ঠানিকভাবে সমাধান হয়নি বলে বোর্ড উল্লেখ করে।
Root cause তাই শুধু “একটি ফাইলে ভুল একক” নয়। বোর্ড প্রক্রিয়ার দুর্বলতাও দেখিয়েছিল: interface-এর end-to-end যাচাই যথেষ্ট ছিল না, দলের মধ্যে যোগাযোগে ফাঁক ছিল, সন্দেহজনক অমিল তোলার আনুষ্ঠানিক পথ কাজ করেনি। এটিই QA-র এলাকা — প্রক্রিয়া বদলালে পরের মিশনে একই ধরনের ভুল কমে।
Verification-এর দৃষ্টিতে এটি একটি পাঠ্যপুস্তকের মতো ঘটনা: লিখিত spec (interface নথি) ছিল, কোড সেটি মানেনি, আর কোনো test সেটি মেলায়নি। দুই দলের নিজ নিজ অংশ আলাদাভাবে ঠিক মনে হলেও জোড়ার জায়গায় ভুল ছিল — integration testing-এর গুরুত্ব এখানেই, যা পর্ব ২৮-এ আসবে।
মূল উপলব্ধি: বড় failure-এর পেছনে প্রায়ই একটি ছোট defect আর একাধিক প্রক্রিয়াগত ফাঁক থাকে। লাইন সারানো debugging-এর কাজ; ফাঁক বন্ধ করা QA-র কাজ।
প্র ০৩১৯৯১ সালে Dhahran-এ একটি Patriot ক্ষেপণাস্ত্র-প্রতিরোধ ব্যবস্থা আসা Scud ক্ষেপণাস্ত্র আটকাতে পারেনি। সময়ের হিসাবের একটি ছোট্ট গরমিল কীভাবে এত বড় ব্যর্থতা ঘটাল, আর এটি verification না validation-এর ব্যর্থতা?
যুক্তরাষ্ট্রের GAO-র ১৯৯২ সালের প্রতিবেদনে ঘটনাটির বিশ্লেষণ আছে। ২৫ ফেব্রুয়ারি ১৯৯১ সৌদি আরবের Dhahran-এ একটি Scud ক্ষেপণাস্ত্র মার্কিন সেনাদের একটি ব্যারাকে আঘাত হানে, ২৮ জন সেনা নিহত হন। কাছের Patriot ব্যবস্থাটি ক্ষেপণাস্ত্রটিকে ঠিকমতো track করতে পারেনি।
কারণটি গাণিতিক। System সময় গুনত সেকেন্ডের দশমাংশে, আর ০.১ সংখ্যাটি binary-তে অসীম ভগ্নাংশ — একটি নির্দিষ্ট দৈর্ঘ্যের register-এ রাখলে সামান্য কেটে যায়। প্রতি দশমাংশে ভুলটি নগণ্য, কিন্তু system একটানা চালু থাকলে ভুল জমতে থাকে। প্রতিবেদন অনুযায়ী প্রায় ১০০ ঘণ্টা চালু থাকার পর সময়ের হিসাবে প্রায় ০.৩৪ সেকেন্ডের গরমিল হয়েছিল। দ্রুতগামী ক্ষেপণাস্ত্রের ক্ষেত্রে এই সময়ে সে অনেক দূর চলে যায়, তাই radar ভুল জায়গায় খুঁজছিল। সমস্যাটি আগেই জানা গিয়েছিল; সংশোধিত software পৌঁছায় পরের দিন। মাঝে system নিয়মিত restart করার পরামর্শ ছিল, কিন্তু কত ঘণ্টা পর পর, তা স্পষ্ট ছিল না বলে জানা যায়।
এবার প্রশ্নের উত্তর। ব্যবস্থাটি মূলত বানানো হয়েছিল অল্প সময় চালু রেখে, জায়গা বদলে বদলে ব্যবহারের কথা ভেবে। সেই spec-এর সীমার ভেতরে গরমিলটি ছোট ছিল — অর্থাৎ verification-এর দৃষ্টিতে ব্যবস্থাটি মোটামুটি “ঠিকভাবে বানানো”। কিন্তু যুদ্ধের বাস্তব পরিবেশে একে একটানা কয়েক দিন চালু রাখা হয়েছিল — ব্যবহারের পরিবেশ বদলে গেছে, আর সেই পরিবেশে ব্যবস্থাটি আসল প্রয়োজন মেটায় কি না, তার যাচাই ছিল দুর্বল। এটি মূলত validation-এর ফাঁক।
Oracle-এর দিক থেকেও শিক্ষা আছে। অল্প সময়ের test-এ actual আর expected প্রায় সমান — test পাস। ১০০ ঘণ্টা চালানোর test না করলে oracle কখনো গরমিল দেখাত না। §৭-এর float-এর উদাহরণে একই ধরনের ছোট্ট ভগ্নাংশের ভুল দেখেছেন।
মূল উপলব্ধি: Spec মানা যথেষ্ট নয়; যে পরিবেশে আর যতক্ষণ software আসলে চলবে, সেখানে যাচাই করতে হয়। ছোট সংখ্যার ভুলও সময়ের সাথে জমে বড় হয়।
প্র ০৪১৯৯৪ সালে একটি জনপ্রিয় processor-এর ভাগ করার circuit-এ ভুল ধরা পড়ে, যা কোটি কোটি ভাগের মধ্যে খুব অল্প কয়েকটিতে ভুল উত্তর দিত। এত test-এর পরেও এমন ভুল কীভাবে বেঁচে যায়, আর শিল্প এরপর কী শিখল?
ঘটনাটি “Pentium FDIV bug” নামে পরিচিত। ১৯৯৪ সালে গণিতের অধ্যাপক Thomas Nicely মৌলিক সংখ্যা নিয়ে গবেষণার হিসাবে অমিল পান, আর খুঁজতে খুঁজতে দেখান যে processor-টির floating-point ভাগ কিছু বিশেষ সংখ্যার জোড়ায় ভুল উত্তর দেয়। কারণ ছিল ভাগের দ্রুত পদ্ধতিতে ব্যবহৃত একটি lookup table-এর কয়েকটি ঘর ফাঁকা থাকা — নকশা থেকে চিপে তোলার সময় সেগুলো বাদ পড়েছিল বলে জানা যায়। প্রস্তুতকারক প্রথমে বলেছিল সাধারণ ব্যবহারকারীর জন্য এটি খুবই বিরল; পরে জনমতের চাপে বদলে দেওয়ার ব্যবস্থা করে, আর তাতে বিপুল আর্থিক খরচ হয়।
এটি এই পর্বের দুটি ধারণার নিখুঁত উদাহরণ। প্রথমত, defect লুকিয়ে থাকে বিশেষ input-এর পেছনে। প্রথম code block-এ >=-এর defect ৫০,০০০টির মধ্যে একটিমাত্র অঙ্কে ধরা পড়ত; এখানে দুটি ৬৪-বিট সংখ্যার জোড়ার বিশাল জগতে ভুল জোড়াগুলো ছিল অতি বিরল। এলোমেলো input দিয়ে test করলে এমন জোড়ায় পৌঁছানোর সম্ভাবনা নগণ্য। দ্বিতীয়ত, exhaustive testing অসম্ভব — দুটি ৬৪-বিট input মানে 2128 জোড়া, যা সেকেন্ডে শত কোটি test চালালেও শেষ হবে না।
শিল্প কী শিখল? ঘটনাটির পর chip-এর নকশায় formal verification — গাণিতিকভাবে প্রমাণ করা যে circuit সব input-এ ঠিক — অনেক বেশি গুরুত্ব পায়। একই সাথে বোঝা গেল, test-এর input বাছাই করতে হয় গঠন বুঝে: table-এর প্রতিটি ঘর অন্তত একবার ব্যবহার হয়, এমন input বেছে নিলে ফাঁকা ঘরগুলো হয়তো ধরা পড়ত। এই চিন্তাই white-box coverage-এর ভিত্তি, যা আসবে পর্ব ১৩-এ।
মূল উপলব্ধি: “লক্ষ লক্ষ test পাস করেছে” আর “ভুল নেই” এক কথা নয়। Test-এর সংখ্যা নয়, কোন input বাছা হলো আর কোন অংশ ছোঁয়া হলো — সেটিই আসল।
প্র ০৫যে program-এর সঠিক উত্তর আগে থেকে জানা নেই — আবহাওয়ার পূর্বাভাস, search-এর ফল, AI chatbot-এর উত্তর — সেগুলো test করা হয় কীভাবে?
এটিই oracle problem-এর সবচেয়ে কঠিন রূপ। Elaine Weyuker ১৯৮২ সালের প্রবন্ধে এমন program-কে বলেছিলেন “non-testable” — প্রচলিত অর্থে, কারণ প্রতিটি test-এর জন্য expected result লেখা সম্ভব নয়। তবু এদের test করা হয়, কয়েকটি বুদ্ধিদীপ্ত কৌশলে।
Metamorphic testing: ১৯৯৮ সালে T. Y. Chen ও সহকর্মীরা প্রস্তাব করেন — একটি input-এর সঠিক উত্তর না জানলেও দুটি input-এর উত্তরের মধ্যে সম্পর্ক জানা যায়। বাজারঘরের search-এ “মোবাইল” খুঁজলে কোন পণ্য আসা উচিত জানি না, কিন্তু জানি “মোবাইল” আর “৫০০০ টাকার নিচে” — এই filter যোগ করলে ফলের সংখ্যা বাড়তে পারে না। সম্পর্ক ভাঙলে নিশ্চিত ভুল।
Differential testing: একই কাজের দুটি স্বাধীন implementation-এর ফল মেলানো — compiler-এর জগতে বহু ভুল এভাবে ধরা পড়েছে। Implicit oracle: উত্তর যা-ই হোক, crash, অসীম loop বা নিরাপত্তা-লঙ্ঘন সবসময় ভুল — fuzz testing এর ওপর দাঁড়িয়ে (পর্ব ৬০)। Statistical oracle: আবহাওয়ার পূর্বাভাস একদিনে মেলানো যায় না, কিন্তু মাসের পর মাস “৭০% বৃষ্টি” বলা দিনগুলোতে মোটামুটি ৭০% দিন বৃষ্টি হলো কি না মাপা যায়।
AI chatbot-এর ক্ষেত্রে এগুলো মিলিয়ে ব্যবহার হয়: হাতে বাছাই করা প্রশ্ন আর গ্রহণযোগ্য উত্তরের একটি “golden set”, নিয়মভিত্তিক check (উত্তরে phone number ফাঁস হলো কি না), আর কখনো মানুষ বা আরেকটি model-এর বিচার — যার নিজেরও যাচাই লাগে। এই বিষয়টি পর্ব ৭২-এ বিস্তারিত আসবে। Barr ও সহকর্মীদের ২০১৫ সালের জরিপে দেখা যায়, test-এর automation যত এগিয়েছে, oracle-ই তত বড় বাধা হয়ে দাঁড়িয়েছে।
মূল উপলব্ধি: নিখুঁত উত্তর না জানলেও “কী কখনো হতে পারে না” আর “দুটি উত্তরের মধ্যে কী সম্পর্ক থাকতেই হবে” — এগুলো জানা যায়। ভালো tester এই আংশিক জ্ঞান দিয়েই শক্তিশালী oracle বানান।
অনুশীলন
খাতা-কলম নিয়ে বসুন। আগে নিজে উত্তর লিখুন, তারপর মিলিয়ে দেখুন।
-
Spec থেকে test case (test design): বাজারঘরের নিয়ম — ১০০০ টাকার বেশি অর্ডারে ১০% ছাড়, সর্বোচ্চ ৩০০ টাকা; ছাড় পূর্ণ টাকায়, ভগ্নাংশ বাদ; ছাড় শুধু পণ্যের দামে; delivery ঢাকায় ৬০ (অর্ডার ২০০০ বা বেশি হলে ফ্রি), বাইরে ১২০. পরিশোধ = পণ্যের দাম − ছাড় + delivery. নিচের ছয়টি অর্ডারের expected পরিশোধ লিখুন, আর বলুন প্রতিটি কেন বাছা হয়েছে: (ক) ৮০০, ঢাকা (খ) ১০০০, সিলেট (গ) ১০০১, ঢাকা (ঘ) ২৫০০, খুলনা (ঙ) ৩০০০, ঢাকা (চ) ৪২০০, রাজশাহী।
অর্ডার ছাড় Delivery Expected কেন 800, Dhaka 0 60 860 ছাড়ের নিচে, ঢাকা 1000, Sylhet 0 120 1120 ঠিক সীমায় — “বেশি” নয় 1001, Dhaka 100 60 961 সীমার ঠিক পরে, ভগ্নাংশ বাদ 2500, Khulna 250 120 2370 সাধারণ ১০%, বাইরে 3000, Dhaka 300 0 2700 ১০% ঠিক সর্বোচ্চ সীমায়; ঢাকায় ২০০০+ তাই delivery ফ্রি 4200, Rajshahi 300 120 4020 সীমা কার্যকর (১০% হতো ৪২০) সব অঙ্ক একটি scratch script-এ মেলানো। লক্ষ করুন, ছয়টি test-এ ছাড়ের তিন অবস্থা (নেই, ১০%, সর্বোচ্চ) আর delivery-র তিন অবস্থা (ঢাকা, ঢাকায় ফ্রি, বাইরে) সবই এসেছে, আর ১০০০ ও ১০০১ সীমার দুই পাশ ধরেছে। প্রথম code block-এর
>=-এর defect (খ)-তে ধরা পড়ত। -
আউটপুট অনুমান করুন: নিচের function আর তিনটি test দেখুন। কোনটি পাস করবে, কোনটি ফেল, আর ফেল করলে
AssertionError-এ কোন দুটি সংখ্যা কোন ক্রমে দেখাবে?def delivery_charge(district): return 60 if district == "dhaka" else 120 test_dhaka : assertEqual(delivery_charge("Dhaka"), 60) test_sylhet: assertEqual(delivery_charge("Sylhet"), 120) test_lower : assertEqual(delivery_charge("dhaka"), 60)test_dhakaফেল করবে:AssertionError: 120 != 60— প্রথমে actual (১২০), তারপর expected (৬০), কারণassertEqual-এ প্রথম argument হিসেবে function-এর ফল দেওয়া হয়েছে।test_sylhetপাস — defect থাকা সত্ত্বেও, কারণ ঢাকার বাইরের input-এ defect-ওয়ালা শর্ত ফলকে বদলায় না।test_lower-ও পাস — কিন্তু এই test-টি বিপজ্জনক, কারণ form কখনো"dhaka"পাঠায়ই না। এটি developer-এর ভুল ধারণাকেই test-এ বসিয়ে দিয়েছে। শিক্ষা: test data আসা উচিত test basis থেকে (form-এর আসল তালিকা), developer-এর অনুমান থেকে নয়। -
Test-এর ভুল খুঁজুন: একজন সহকর্মী (বা AI) প্রথম code block-এর ভুল
coupon_discountচালিয়ে আউটপুট দেখে নিচের test-গুলো লিখলেন। সবগুলো পাস করে। এদের মধ্যে কোনগুলো ভুল, আর কেন?assertEqual(coupon_discount(1000), 100),assertEqual(coupon_discount(1500), 150),assertEqual(coupon_discount(5000), 500).প্রথম আর তৃতীয়টি ভুল। Requirement অনুযায়ী ১০০০ টাকায় ছাড় ০ (“বেশি” নয়), আর ৫০০০ টাকায় ছাড় ৩০০ (সর্বোচ্চ সীমা)। Test-গুলোর oracle ছিল ভুল কোডের আউটপুট, requirement নয় — তাই এরা defect-কে “ঠিক” হিসেবে পাকা করে দিয়েছে। এগুলো false negative তৈরি করে: defect আছে, test সবুজ। আরও খারাপ, পরে কেউ কোড ঠিক করলে এই test-গুলোই ফেল করবে, আর মনে হবে fix-টিই ভুল। দ্বিতীয় test-টি ঠিক, তবে সেটিও কাকতালীয়ভাবে — ১৫০০-তে ভুল আর ঠিক কোড একই উত্তর দেয়।
-
শ্রেণিবিভাগ: প্রতিটি বাক্য error, defect, failure, root cause, verification না validation — কোনটি? (ক) Tester দেখলেন phone-এর ঘরে ১০ অঙ্ক দিলেও অর্ডার হয়ে যাচ্ছে। (খ) Code review-তে ধরা পড়ল যাচাইয়ের শর্তে
len(phone) >= 10লেখা। (গ) Developer requirement-এর পুরোনো খসড়া পড়েছিলেন, যেখানে ১০ অঙ্ক লেখা ছিল। (ঘ) খসড়ার নতুন সংস্করণ দলের সবাইকে জানানোর কোনো নিয়ম ছিল না। (ঙ) নতুন checkout পাতা গ্রামের কয়েকজন গ্রাহককে দিয়ে চালিয়ে দেখা হলো, তাঁরা বুঝতে পারেন কি না। (চ) Test case-এর expected মান SRS-এর সাথে মেলানো হলো।(ক) Failure — চলার সময় বাইরে দেখা ভুল আচরণ। (খ) Defect — কোডে বসে থাকা ত্রুটি; static testing-এ সরাসরি ধরা পড়েছে, কোনো failure ছাড়াই। (গ) Error — মানুষের ভুল কাজ। (ঘ) Root cause — প্রক্রিয়ার ফাঁক, যা না সারালে আবার এমন হবে। (ঙ) Validation — আসল ব্যবহারকারীর প্রয়োজন মেটে কি না। (চ) Verification — লিখিত spec-এর সাথে মেলানো।
নিজেকে যাচাই করুন
ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।
ক্রমএকটি ভুলের জন্ম থেকে নিশ্চিত সমাধান পর্যন্ত ধাপগুলো সঠিক ক্রমে সাজান (▲▼ চেপে সরান)
- 🧠 Developer requirement ভুল বুঝলেন (error)
- 🐛 ভুল শর্তটি কোডে ঢুকল (defect)
- 💥 Test চালাতে গিয়ে ভুল ফল দেখা গেল (failure)
- 🔍 Developer কারণ খুঁজে কোড ঠিক করলেন (debugging)
- ✅ আগের ফেল করা test আবার চালানো হলো (confirmation testing)
- 🔁 বাকি সব test চালিয়ে দেখা হলো কিছু ভাঙল কি না (regression)
একজন developer requirement ভুল বুঝে কোডে একটি ভুল শর্ত লিখলেন। এখনো কেউ সেই অংশটি চালায়নি। কোডের এই ভুল শর্তটিকে কী বলা হয়?
- Error
- Defect
- Failure
- Root cause
একজন tester একটি online দোকানের test case-এর expected মানগুলো SRS নথির নিয়মের সাথে এক এক করে মেলাচ্ছেন। এটি মূলত কোন ধরনের যাচাই?
- Verification
- Validation
- Debugging
- Regression testing
Testing আর debugging-এর পার্থক্য কোন বাক্যটি সবচেয়ে ঠিকভাবে বলে?
- দুটো একই কাজ, শুধু নাম আলাদা
- Testing কোড ঠিক করে, debugging ভুল খোঁজে
- Testing failure দেখায় বা defect খোঁজে; debugging কারণ খুঁজে ঠিক করে
- Testing শুধু tester করেন, debugging শুধু manager
একটি software দলে ঠিক হলো, প্রতিটি requirement-এ অন্তত দুটি উদাহরণ লিখতে হবে আর প্রতিটি code change-এ review বাধ্যতামূলক। এটি কোন কাজের উদাহরণ?
- Quality control
- Dynamic testing
- Debugging
- Quality assurance
Testing-এর ভাষায় “test oracle” বলতে কী বোঝায়?
- যে tool test চালায়
- প্রত্যাশিত ফল ঠিক করার উৎস, যার সাথে actual result মেলানো হয়
- ভবিষ্যতের bug আগে থেকে বলে দেওয়ার পদ্ধতি
- ডেটাবেস test করার একটি পদ্ধতি
একটি form-এ তিনটি ঘর: প্রথমটির ১০টি সম্ভাব্য মান, দ্বিতীয়টির ৫টি, তৃতীয়টির ৪টি। সব মিশ্রণ test করতে হলে কয়টি test লাগবে?
- ১৯
- ৫০
- ২০০
- ১০
শব্দকোষ
লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:
মনে রাখুন
- Testing মানে কাজের ফল — কোড, requirement, নকশা — যাচাই করে defect খোঁজা আর quality সম্পর্কে তথ্য দেওয়া; চালিয়ে (dynamic) বা না চালিয়ে (static).
- Error → defect → failure: মানুষের ভুল, কোডে ত্রুটি, বাইরে দেখা ব্যর্থতা। Defect সুপ্ত থাকতে পারে; গভীর কারণটি root cause.
- Testing failure দেখায়, debugging কারণ খুঁজে ঠিক করে। QA প্রক্রিয়া, QC পণ্য।
- Verification spec-এর সাথে মেলায়, validation আসল প্রয়োজনের সাথে — spec-এর ফাঁক শুধু validation ধরে।
- Expected result আসে oracle থেকে, চালানোর আগেই লেখা হয়। সব input test করা অসম্ভব, আর পাস করা test ভুলের অনুপস্থিতি প্রমাণ করে না.
আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ
- পর্ব ০৩ · Testing-এর সাতটি নীতি আর tester-এর মনস্তত্ত্বপরবর্তী পর্বঅভিজ্ঞতা থেকে আসা সাতটি নীতি আর tester-এর মনের ফাঁদ।
- সফটওয়্যার টেস্টিং ও QA · কোর্স হোম৮২টি পর্বপরের পর্ব: পর্ব ০৩ · Testing-এর সাতটি নীতি আর tester-এর মনস্তত্ত্ব। পুরো কোর্সের রোডম্যাপ এখানে।
- সফটওয়্যার ইঞ্জিনিয়ারিং ও Git · পর্ব ৪৫পাশের ট্র্যাকTesting-এর মৌলিক বিষয়ের সংক্ষিপ্ত পরিচয়, V-model আর test-এর স্তর।
- সফটওয়্যার ইঞ্জিনিয়ারিং ও Git · পর্ব ৩গভীরে যানISO/IEC 25010, fault-error-failure, MTBF আর quality মাপা।
- Python প্রোগ্রামিং · পর্ব ৪৩পাশের ট্র্যাকDebugging-এর পদ্ধতি আর logging — failure থেকে কারণ খোঁজা।
- ডিসক্রিট ম্যাথ · পর্ব ৭৭উন্নতTest নয়, গাণিতিক প্রমাণ — SAT/SMT দিয়ে software যাচাই।