এই পর্বে যা শিখবেন
- “পার্থক্য লিখুন” প্রশ্নে একই মাপকাঠির ছক বানিয়ে বাজারঘরের একটি উদাহরণ আর “কখন কোনটি” দিয়ে শেষ করা
- কোর্সের সত্যিকারের ফল (canary-র p95, mutation score, ZAP-এর scan) সঠিক সংখ্যায় উত্তরে আনা
- উত্তরের প্রতিটি সংখ্যা ছোট Python দিয়ে মিলিয়ে নেওয়া
- কুড়ি মিনিটে test plan, bug report আর test strategy-র কাজের খসড়া লেখা
- ভাইভায় তিন বাক্যে উত্তর, পরের প্রশ্নের প্রস্তুতি, আর না জানলে সৎভাবে বলা
১ · লিখিত উত্তরের কাঠামো — সংজ্ঞা, ছক, উদাহরণ, কখন কোনটি, সীমা
Testing-এর লিখিত প্রশ্নের বড় অংশ তুলনার: verification বনাম validation, mock বনাম stub, load বনাম stress. বাজারে দুটি মোবাইল রিচার্জ প্যাক তুলনা করতে হলে দুটিকেই একই প্রশ্নে দেখতে হয়: দাম, মেয়াদ, ডেটা। একটির মেয়াদ আর অন্যটির ডেটা বললে তুলনা হয় না। উত্তরেও তা-ই: একই সারির ছক, তারপর এমন একটি উদাহরণ, যেখানে একটি কৌশল ভুল ধরে আর অন্যটি ধরে না।
- সংজ্ঞা: দুটি ধারণাই এক বাক্যে, নিজের ভাষায়। ISTQB-এর syllabus-এর শব্দ জানা ভালো, তবে হুবহু মুখস্থ নয়।
- তুলনার ছক: তিন থেকে পাঁচটি সারি; প্রতিটি সারিতে একই প্রশ্ন দুই ধারণার জন্য।
- উদাহরণ: ছোট আর নির্দিষ্ট: কুপনের ১০০০ টাকার সীমা, শিপ হওয়া অর্ডারে বাতিল, রিভিউর ১০–৫০০ অক্ষর।
- কখন কোনটি: পরীক্ষক এখানেই বোঝেন আপনি শুধু মুখস্থ করেননি।
- সীমা: কৌশলটি কী ধরে না, আর লোকে সাধারণত কোথায় ভুল লেখেন।
| প্রশ্নের ধরন | সংজ্ঞা | ছক | উদাহরণ | কখন কোনটি ও সীমা |
|---|---|---|---|---|
| ৫ নম্বর (ছোট তুলনা) | ১ | ২ | ১ | ১ |
| ১০ নম্বর (পূর্ণ তুলনা) | ২ | ৩ | ৩ | ২ |
এই ভাগ কোনো নির্দিষ্ট পরীক্ষার নিয়ম নয়; আপনার পরীক্ষার নির্দেশনা আলাদা হলে সেটিই মানুন। সময়ের হিসাব: মোট মিনিট ÷ মোট নম্বর। ১৮০ মিনিটে ৯০ নম্বর হলে ১০ নম্বরের প্রশ্নে কুড়ি মিনিট। নিচের stepper-এ খ-০১ প্রশ্নের (severity বনাম priority) উত্তর ধাপে ধাপে গড়া হয়েছে।
| যোগ হলো | |
| খাতায় যা লিখলেন | |
| জমা নম্বর | |
| খরচ হওয়া সময় |
- সংজ্ঞা — ২ নম্বর। দুটি শব্দ, দুটি আলাদা প্রশ্ন: “কত ক্ষতি?” আর “কত তাড়াতাড়ি?”
- কে ঠিক করেন — আরও ১। আলাদা মানুষ, আলাদা তথ্য; এ কারণেই দুটি আলাদা field.
- ছক — আরও ৩। চার ঘরের প্রতিটিতে একটি উদাহরণ; মোট ছয় নম্বর, এগারো মিনিট।
- উদাহরণ — আরও ২। কোর্সের আসল defect আর একটি বানানো কিন্তু বিশ্বাসযোগ্য উদাহরণ।
- ভুলের জায়গা — আরও ১। নিজের bug-এর severity বাড়িয়ে লেখা আস্থা নষ্ট করে।
- কখন বদলায় — শেষ ১। কুড়ি মিনিটে দশ নম্বর।
| বিষয় | পর্ব | লিখিত | ভাইভা |
|---|---|---|---|
| ভিত্তি আর test design | ০১–১৪ | অংশ ২ (ক-০১–ক-০৩) | ভ-০১–ভ-০৪ |
| Manual testing আর QA প্রক্রিয়া | ১৫–২০, ৭৩–৭৭ | অংশ ২ (খ-০১–খ-০৪) | ভ-০৫–ভ-০৮ |
| Unit, integration, API আর contract | ২১–৩৪ | অংশ ৩ (গ-০১–গ-০৩) | ভ-০৯–ভ-১২ |
| UI automation আর BDD | ৩৫–৪৫ | অংশ ৪ (ঘ-০১–ঘ-০৩) | ভ-১৩–ভ-১৬ |
| Performance, নিরাপত্তা, accessibility, বাংলা | ৪৬–৫৭ | অংশ ৫ (ঙ-০১–ঙ-০৪) | ভ-১৭–ভ-২০ |
| উন্নত technique, CI, বিশেষ system | ৫৮–৭২ | অংশ ৬ (চ-০১–চ-০৩) | ভ-২১–ভ-২৪ |
এই পাতার কোনো প্রশ্ন কোনো নির্দিষ্ট পরীক্ষা, বিশ্ববিদ্যালয়, certification বা কোম্পানির ইন্টারভিউ থেকে নেওয়া নয়; এ ধরনের প্রশ্ন বিশ্ববিদ্যালয়ের Software Testing কোর্স, চাকরির লিখিত পরীক্ষা আর QA ইন্টারভিউতে প্রায়ই আসে। “পরীক্ষক যা খোঁজেন” একটি অনুশীলনী ছক। সাতটি ব্লক পাতাতেই চলে (ব্রাউজারের Python, শুধু standard library); প্রথমটিতে কয়েক সেকেন্ড লাগে। হিসাবের অনুশীলন (partition, boundary, decision table, coverage) পর্ব ৭৮ (Test design-এর অনুশীলন)-এ, MCQ পর্ব ৭৯ (MCQ প্রশ্নব্যাংক)-এ।
২ · অংশ ক ও খ — ভিত্তি, test design, manual testing আর QA প্রক্রিয়া
রিভিশন: পর্ব ০২ (verification আর validation), পর্ব ০৫ (level আর type), পর্ব ১৩ (coverage), পর্ব ১৮ (bug report), পর্ব ৭৩ (ঝুঁকি), পর্ব ৭৫ (RCA), পর্ব ৭৬ (agile দলে QA).
ক-০১Verification আর validation-এর পার্থক্য লিখুন। Error, defect আর failure-এর সম্পর্ক কী, আর QA ও QC এর সাথে কোথায় বসে? বাজারঘরের একটি উদাহরণ দিন যেখানে verification পাস কিন্তু validation ফেল। — ১০ নম্বর (সহজ)
সংজ্ঞা: Verification: “ঠিকভাবে বানিয়েছি তো?” — কাজের ফল spec বা নকশার সাথে মেলে কি না। Validation: “ঠিক জিনিসটা বানিয়েছি তো?” — ফলটি ব্যবহারকারীর আসল প্রয়োজন মেটায় কি না।
| মাপকাঠি | Verification | Validation |
|---|---|---|
| মাপার মানদণ্ড | লেখা spec, নকশা, মান | ব্যবহারকারীর প্রয়োজন, আসল ব্যবহার |
| সাধারণ কাজ | review, static analysis, spec-ভিত্তিক test | UAT, usability test, beta, production-এর মাপ |
| কে সাধারণত | নির্মাতার দল | ব্যবহারকারী, ব্যবসা, product owner |
ভুলের শিকল: মানুষের error থেকে কোডে বা নথিতে defect; সেই লাইন চললে বাইরে দেখা failure. QA প্রক্রিয়া উন্নত করে error কমায় (প্রতিরোধ); QC, যার অংশ testing, পণ্যে defect খোঁজে (শনাক্ত)।
উদাহরণ: ধীর নেটওয়ার্কে “অর্ডার করুন”-এ দুবার চাপলে বাজারঘর একটিই অর্ডার বানায়, ঠিক যেমন নিয়মে লেখা (verification পাস)। কিন্তু ব্রাউজার গিয়ে থামে “কার্ট খালি” পাতায়, ফলে ক্রেতা ভাবতে পারেন অর্ডার হয়নি (validation ফেল)। এটি কোর্সে পাওয়া আসল defect (পর্ব ৫৭)।
পরীক্ষক যা খোঁজেন: দুই প্রশ্নের সংজ্ঞা (২); ছক (৩); শিকল আর QA/QC (২); উদাহরণ (৩)। যেখানে নম্বর কাটে: verification-কে “static” আর validation-কে “dynamic” বলে সমান করা; failure আর defect-কে একই শব্দ ধরা।
ক-০২Test level আর test type-এর পার্থক্য লিখুন। পাঁচটি level-এর নাম দিন, আর দেখান যে একই type একাধিক level-এ চলে। Retest আর regression test আলাদা কেন? — ১০ নম্বর (সহজ–মাঝারি)
সংজ্ঞা: Test level বলে কতটুকু জোড়া লাগিয়ে দেখছেন (একটি function থেকে পুরো দোকান); test type বলে কোন গুণ দেখছেন (ঠিক হিসাব, গতি, নিরাপত্তা…)। প্রতিটি test-এর দুটি পরিচয়ই থাকে।
| Level | Functional উদাহরণ | Non-functional উদাহরণ |
|---|---|---|
| Component | কুপন: 1001 → 100 | কুপনের হিসাব এক মিলিসেকেন্ডের কম |
| Component integration | অর্ডার service আর database-এর জোড় | একটি query-র সংখ্যা (N+1 নয়) |
| System | পুরো checkout | ৫০ জনে p95 ≤ ২ s (NFR-2) |
| System integration | বাজারঘর আর wallet gateway | gateway-এর timeout-এ আচরণ |
| Acceptance | UAT: ক্রেতা রিভিউ লিখতে পারেন | এক ট্যাপে ফর্মে পৌঁছানো (NFR-1) |
Retest বনাম regression: Retest দেখে ঠিক করা defect সত্যিই গেছে কি না (একই ধাপ আবার); regression test দেখে সেই বদল অন্য কিছু ভাঙল কি না (আশপাশের আগে পাস করা test). Smoke আর sanity: চওড়া-অগভীর বনাম সরু-গভীর, সংজ্ঞায় মতভেদ আছে বলে উল্লেখ করুন।
পরীক্ষক যা খোঁজেন: দুই সংজ্ঞা (২); পাঁচ level (২); একই type দুই level-এ (৩); retest/regression (৩)। পর্ব ০৫ যেখানে নম্বর কাটে: “performance testing একটি level” লেখা; acceptance মানেই শুধু UAT ধরা (OAT, alpha, beta বাদ)।
ক-০৩Black-box, white-box আর অভিজ্ঞতাভিত্তিক test design-এর তুলনা করুন। White-box coverage ১০০% হলেও কেন bug থাকতে পারে, একটি ছোট উদাহরণসহ দেখান। — ১০ নম্বর (মাঝারি)
| মাপকাঠি | Black-box | White-box | অভিজ্ঞতাভিত্তিক |
|---|---|---|---|
| Test-এর ভিত্তি | Spec, requirement | কোডের গঠন | Tester-এর জ্ঞান, আগের defect |
| কৌশল | EP, BVA, decision table, state transition | Statement, branch, MC/DC | Error guessing, checklist, exploratory |
| যা ধরে | না-মানা নিয়ম, হারানো আচরণ | না-চলা কোড, ভুল শাখা | Spec-এ না থাকা ফাঁদ |
| যা ধরে না | কোডের অপ্রয়োজনীয় বা লুকানো পথ | না-লেখা কোড (হারানো requirement) | Coverage মাপা কঠিন |
উদাহরণ: if s > 1000: return min(s // 10, 300), নইলে 0. শুধু 500 আর 2000 দিয়ে test করলে প্রতিটি লাইন আর দুই শাখাই চলে, অথচ >-কে >= করলেও দুটি test পাস করে (অংশ ৬-এর চ-০২ ব্লকে আসল run). Coverage বলে কী চলেছে, ঠিক যাচাই হয়েছে কি না নয়। আর else-হীন একটি if-এ একটিমাত্র সত্য test দিলে statement coverage ১০০% কিন্তু branch coverage ৫০% (পর্ব ১৩)।
কখন কোনটি: নিয়ম লেখা থাকলে আগে black-box; তারপর white-box coverage দিয়ে ফাঁক খোঁজা; শেষে বা spec দুর্বল হলে অভিজ্ঞতাভিত্তিক. তিনটি প্রতিদ্বন্দ্বী নয়, পরিপূরক।
পরীক্ষক যা খোঁজেন: ছক (৪); coverage-এর সীমার উদাহরণ (৪); কখন কোনটি (২)। যেখানে নম্বর কাটে: “white-box মানে developer-এর test, black-box মানে tester-এর” লেখা; ভিত্তি না বলে শুধু কৌশলের তালিকা দেওয়া।
খ-০১Severity আর priority-র পার্থক্য লিখুন, চার ঘরের ছকে প্রতিটির একটি উদাহরণসহ। Defect lifecycle-এ “Fixed” আর “Verified”-এর পার্থক্য কী? — ১০ নম্বর (সহজ)
সংজ্ঞা: Severity হলো ক্ষতির মাত্রা (system বা ব্যবহারকারীর ওপর প্রভাব); priority হলো সারানোর তাড়া (ব্যবসার সিদ্ধান্ত)। প্রথমটি সাধারণত tester প্রস্তাব করেন, দ্বিতীয়টি product owner বা triage সভা ঠিক করে।
| Priority উঁচু | Priority নিচু | |
|---|---|---|
| Severity উঁচু | Timeout-এর পরে আবার pay চাপলে দুবার টাকা কাটা | বছরে একবার চলা পুরোনো রিপোর্টে crash, workaround আছে |
| Severity নিচু | হোম পেজে দোকানের নামের বানান ভুল | Admin পাতার ফুটারে একটি ফাঁকা জায়গা বেশি |
প্রথম ঘরটি আসল: HTML-এর pay form প্রতিটি page view-এ নতুন idempotency key বানায়, তাই timeout-এর পরে আবার চাপলে wallet-এ দুটি charge জমে (পর্ব ৩৭-এ পাওয়া)। Lifecycle: defect lifecycle-এ Fixed মানে developer-এর দাবি; Verified মানে tester report-এর পুরো ধাপ চালিয়ে প্রমাণ পেয়েছেন। Retest ব্যর্থ হলে Reopened.
পরীক্ষক যা খোঁজেন: সংজ্ঞা আর কে ঠিক করেন (৩); চার ঘর (৪); Fixed বনাম Verified (৩)। পর্ব ১৮ যেখানে নম্বর কাটে: দুটিকে সমার্থক লেখা; “severity উঁচু হলে priority সবসময় উঁচু” লেখা।
খ-০২Risk-based testing কী? Risk level কীভাবে ঠিক হয়, আর ঝুঁকি test-এর কোন কোন সিদ্ধান্ত বদলায়? Product risk আর project risk আলাদা করুন। Residual risk কে মেনে নেন? — ১০ নম্বর (মাঝারি)
সংজ্ঞা: Risk-based testing-এ ঝুঁকির মাত্রা ঠিক করে কোথায় আগে, বেশি আর গভীরে test হবে। মাত্রা = likelihood × impact, প্রায়ই ১–৫ মাপে। প্রথমটি কারিগরি প্রশ্ন (জটিলতা, নতুনত্ব, বাইরের নির্ভরতা), দ্বিতীয়টি ব্যবসার (টাকা, আস্থা, আইন)।
| সিদ্ধান্ত | উঁচু ঝুঁকি (পেমেন্ট, ৪ × ৫ = ২০) | নিচু ঝুঁকি (ফুটার, ২ × ১ = ২) |
|---|---|---|
| Technique | State transition, decision table, BVA | Checklist |
| Level | Unit, API, UI, production-এর মাপ | একটি UI-স্তরের দেখা |
| Review-এর স্বাধীনতা | দ্বিতীয় reviewer | নিজের review |
| চালানোর ক্রম | প্রতিটি run-এ প্রথমে | সময় থাকলে |
চিহ্নিত করার কৌশল: brainstorming, checklist, FMEA (RPN = severity × occurrence × detection, যেমন 9 × 3 × 4 = 108), আগের defect, জটিলতা ও churn. Product risk software-এর মানের ঝুঁকি (কী test হবে ঠিক করে); project risk কাজ চালানোর ঝুঁকি (সময়, লোক, environment).
সৎ সীমা: কোর্সে বাজারঘরের কোড radon দিয়ে মেপে বানানো register-কে পরে ১৪টি আসল defect দিয়ে যাচাই করা হয়েছিল: metric-ভিত্তিক likelihood প্রায় কিছুই আগে বলতে পারেনি (rank correlation প্রায় ০)। তাই register একটি বাজি, নতুন defect দেখে হালনাগাদ করতে হয়। Residual risk tester জানান; মেনে নেন ব্যবসার দায়িত্বপ্রাপ্ত মানুষ।
পরীক্ষক যা খোঁজেন: সূত্র (২); চারটি সিদ্ধান্ত (৩); দুই ধরনের risk (২); residual risk আর কে মানেন (২); সীমা (১)। পর্ব ৭৩ যেখানে নম্বর কাটে: impact ৫-এর ঝুঁকিকে গুণফল কম বলে নিচু দলে ফেলা; “tester release-এর অনুমতি দেন” লেখা।
খ-০৩Root cause analysis-এর তিনটি কৌশল (5 Whys, fishbone, fault tree) তুলনা করুন। বাজারঘরের দুবার টাকা কাটার defect-এ 5 Whys প্রয়োগ করুন। — ১০ নম্বর (মাঝারি)
সংজ্ঞা: RCA উপসর্গ থেকে পিছিয়ে খোঁজে কোন প্রক্রিয়া বা সিদ্ধান্ত ভুলটি সম্ভব করল আর কেন আগে ধরা পড়ল না। Metric বলে “কী”, RCA বলে “কেন”।
| কৌশল | গঠন | ভালো যেখানে | দুর্বলতা |
|---|---|---|---|
| 5 Whys | একটি শিকল, বারবার “কেন” | দ্রুত, ছোট ঘটনা | একটি পথেই আটকায়; “মানুষের ভুল”-এ থামার ঝুঁকি |
| Fishbone | শ্রেণি ধরে অনেক কারণ | দলের আলোচনা, ব্যাপ্তি | কারণগুলোর গুরুত্ব বা সম্ভাবনা বলে না |
| Fault tree | AND/OR gate-এর গাছ | নিরাপত্তা-সংবেদী, একাধিক শর্তের মিলন | সময়সাপেক্ষ |
5 Whys: (১) কেন দুটি charge? দ্বিতীয় চাপে নতুন key গেল। (২) কেন নতুন key? Form প্রতিটি page view-এ key বানায়। (৩) কেন নতুন page view? Timeout-এর পরে redirect হয়। (৪) কেন এটি নকশায় ধরা পড়েনি? “Timeout-এর পরে আবার চেষ্টা” পথটি নকশা বা requirement-এ ছিল না। (৫) কেন test-এ ধরা পড়েনি? API test একই key রাখে; UI-র retry পথের test ছিল না। প্রতিকার: key-কে অর্ডারের সাথে বাঁধা, আর ব্যর্থতার পথ নকশা-review-এর checklist-এ।
কোর্সের সত্যিকারের ছবি: ১৪টি আসল defect-এর ১৩টির মূল কারণ দুটি শ্রেণিতে: requirement-এ অ-কার্যকরী গুণ লেখা ছিল না (৭টি), আর ব্যর্থতার পথ নকশায় ছিল না (৬টি) (পর্ব ৭৫)। যেখানে নম্বর কাটে: “developer অসাবধান ছিলেন”-এ থামা; প্রতিকার ছাড়া RCA শেষ করা।
খ-০৪Agile testing quadrants-এর দুই অক্ষ আর চার ঘর লিখুন। Whole-team approach মানে কি tester লাগে না? — ৫ নম্বর (সহজ)
দুই অক্ষ: ব্যবসার দিক বনাম প্রযুক্তির দিক, আর দলকে কাজে সাহায্য বনাম পণ্যের সমালোচনা (agile testing quadrants, Brian Marick-এর ধারণা)। Q1 unit ও component; Q2 story test, BDD; Q3 exploratory, usability, UAT; Q4 performance, নিরাপত্তা। ঘরের নম্বর ক্রম নয়, শুধু নাম।
Whole-team: মানের দায় সবার, কিন্তু testing-এর বিশেষ দক্ষতা দলের ভেতরে থাকে আর অন্যদের শেখায়। কোর্সের ২০টি test-সম্পদের audit-এ Q3-এর ঘরে automated কিছুই নেই, কারণ সেটি মানুষের কাজ; তাই আলাদা সময় চাই (পর্ব ৭৬)। যেখানে নম্বর কাটে: Q1–Q4-কে কাজের ধাপ ভাবা।
৩ · অংশ গ — Unit, integration, API আর contract (মডিউল ৪–৫)
রিভিশন: পর্ব ২৪ (test double), পর্ব ২৮ (integration-এর কৌশল), পর্ব ৩২ (contract), পর্ব ৩৪ (service virtualization).
গ-০১Dummy, stub, spy, mock আর fake-এর পার্থক্য লিখুন। State verification আর behaviour verification কী? Over-mocking-এর বিপদ একটি উদাহরণে দেখান। — ১০ নম্বর (মাঝারি)
| Double | কী করে | কী যাচাই হয় | বাজারঘরে |
|---|---|---|---|
| Dummy | শুধু জায়গা পূরণ | কিছুই না | Log-এর জন্য না-লাগা object |
| Stub | ঠিক করা উত্তর দেয় | ফল (state) | Wallet সবসময় “সফল” |
| Spy | উত্তর দেয়, ডাক লিখে রাখে | পরে ডাকগুলো পড়া | SMS কয়বার পাঠানো হলো |
| Mock | প্রত্যাশিত ডাক জানে | ডাক (behaviour) | charge(8, 961) ঠিক একবার |
| Fake | সহজ পথে সত্যিই কাজ করে | ফল, অবস্থাসহ | Ledger-ওয়ালা নকল wallet |
State verification কাজের পরে ফল বা অবস্থা দেখে; behaviour verification দেখে সহযোগীকে ঠিক argument-এ ঠিক বার ডাকা হয়েছে কি না। নিচের ব্লকে একই pay function-এর দুটি সংস্করণ, যার একটিতে বসানো ভুল: অর্ডার আগেই paid কি না দেখার আগে টাকা কাটে।
from unittest.mock import Mock
class FakeWallet: # fake: really works, keeps a ledger
def __init__(self): self.ledger = []
def charge(self, oid, amount):
self.ledger.append((oid, amount)); return {"txn": f"FAKE-{len(self.ledger)}"}
def pay_ok(order, wallet):
if order["paid"]: return "already-paid"
r = wallet.charge(order["id"], order["total"])
order["paid"] = True; return r["txn"]
def pay_bug(order, wallet): # seeded defect: charges before the check
r = wallet.charge(order["id"], order["total"])
if order["paid"]: return "already-paid"
order["paid"] = True; return r["txn"]
def new(): return {"id": 8, "total": 961, "paid": False}
def t_stub(pay): # stub: canned answer, check the STATE
o = new(); w = Mock(**{"charge.return_value": {"txn": "T1"}})
return pay(o, w) == "T1" and o["paid"]
def t_mock(pay): # mock: check the CALL
o = new(); w = Mock(**{"charge.return_value": {"txn": "T1"}}); pay(o, w)
return w.charge.call_args_list == [((8, 961),)]
def t_fake(pay): # fake: pay twice, count real charges
o = new(); w = FakeWallet(); pay(o, w); pay(o, w)
return len(w.ledger) == 1
for pay in (pay_ok, pay_bug):
res = ["PASS" if t(pay) else "FAIL" for t in (t_stub, t_mock, t_fake)]
print(f"{pay.__name__:8} stub / mock / fake:", " / ".join(res))আসল আউটপুট (ব্রাউজারের Python):
pay_ok stub / mock / fake: PASS / PASS / PASS
pay_bug stub / mock / fake: PASS / PASS / FAIL
ভুল সংস্করণেও stub আর mock-এর test সবুজ, কারণ দুটিই একবার pay করে। Fake-এর test দুবার pay করে ledger গোনে, তাই দুবার টাকা কাটা ধরে ফেলে। Mock দিয়েও ধরা যেত, যদি test দুবার ডেকে assert_called_once দেখত; শিক্ষা হলো, double-এর ধরন নয়, test কোন আচরণ যাচাই করছে সেটিই আসল।
Over-mocking: সব সহযোগী mock করলে ভুল কোডেও test সবুজ থাকে, আর আসল API বদলালেও mock বদলায় না (mock drift). প্রতিকার: অবস্থা-নির্ভর সহযোগীর জন্য fake, নিজের pure নিয়ম আসল, আর mock-এর পেছনে contract test.
পরীক্ষক যা খোঁজেন: পাঁচটির ছক (৪); state বনাম behaviour (২); over-mocking-এর উদাহরণ আর প্রতিকার (৪)। যেখানে নম্বর কাটে: সব double-কে “mock” বলা; “mock সবসময় fake-এর চেয়ে ভালো” লেখা।
গ-০২Big-bang, top-down, bottom-up আর sandwich integration-এর তুলনা করুন। Stub আর test driver কোথায় লাগে? — ৫ নম্বর (সহজ)
| কৌশল | ক্রম | নকল লাগে | সুবিধা / অসুবিধা |
|---|---|---|---|
| Big-bang | সব একসাথে | কিছু না | সহজ শুরু / ভুলের জায়গা খোঁজা কঠিন, দেরিতে ধরা |
| Top-down | UI বা ওপরের module আগে | Stub (ডাকা অংশের নকল) | মূল প্রবাহ আগে দেখা / নিচের আসল আচরণ দেরিতে |
| Bottom-up | নিচের module (database, নিয়ম) আগে | Driver (ডাকার অংশের নকল) | ভিত্তি মজবুত / পুরো প্রবাহ দেরিতে |
| Sandwich | দুই দিক থেকে মাঝের দিকে | দুটিই | সমান্তরাল কাজ / বেশি নকল |
আজকের CI-তে জোড় ছোট আর ঘন ঘন হয়, ফলে বড় big-bang কমে। Integration test-এ যে জোড় যাচাই করছেন তার দুই পাশ আসল রাখুন (পর্ব ২৮)। যেখানে নম্বর কাটে: stub আর driver উল্টে লেখা।
গ-০৩Contract test, integration test আর end-to-end test-এর পার্থক্য লিখুন। Consumer-driven contract কী, আর contract test কোন ভুল ধরে না? — ১০ নম্বর (মাঝারি–কঠিন)
| মাপকাঠি | Contract | Integration | E2E |
|---|---|---|---|
| কী একসাথে চলে | কিছুই না; প্রতিটি পক্ষ আলাদা, একই লিখিত চুক্তির বিরুদ্ধে | দুই বা কয়েকটি অংশ | পুরো system, UI থেকে database |
| কোথায় চলে | প্রতিটি দলের নিজের build-এ | Test environment | Staging-এর মতো পূর্ণ পরিবেশ |
| গতি ও স্থিরতা | দ্রুত, স্থির | মাঝারি | ধীর, ভঙ্গুর |
| ধরে | নাম, ধরন, হারানো field | জোড়ের ভুল | ব্যবহারকারীর যাত্রার ভুল |
Consumer-driven: API ব্যবহারকারী (consumer) লিখে দেয় কী পাঠাবে আর কোন field পড়বে; provider নিজের build-এ সেই চুক্তি আসল কোডে replay করে (provider verification). ফলে বাড়তি field ভাঙায় না, নাম বা ধরন বদল ভাঙায়। কোর্সের সত্যিকারের run-এ (pact-python 4.2.0) pricing.total-এর নাম বদলাতেই verification লাল হয়েছিল।
সীমা: Contract দেখে “একই ভাষায় কথা বলছি কি না”, মান সঠিক কি না নয়। ২০০০ টাকার ঢাকার অর্ডারে ভুল delivery charge থাকলেও contract সবুজ থাকে; সেটি ধরে functional API test. তাই contract E2E-এর সংখ্যা কমায়, বিলুপ্ত করে না।
পরীক্ষক যা খোঁজেন: ছক (৪); consumer-driven আর verification (৩); সীমার উদাহরণ (৩)। পর্ব ৩২ যেখানে নম্বর কাটে: “contract test দুই service একসাথে চালায়” লেখা; ব্যবসার নিয়ম চুক্তিতে ঢোকানো।
৪ · অংশ ঘ — UI automation, flaky test আর BDD (মডিউল ৬–৭)
রিভিশন: পর্ব ৩৬ (auto-wait), পর্ব ৩৮ (wait), পর্ব ৪০ (flaky test), পর্ব ৪৩ (BDD), পর্ব ২৭ (TDD).
ঘ-০১Playwright-এর auto-wait, Selenium-এর implicit আর explicit wait, আর sleep-এর তুলনা করুন। দুই রকম wait মেশালে কী হয়? — ১০ নম্বর (মাঝারি)
| অপেক্ষা | কিসের জন্য | কোথায় | সমস্যা |
|---|---|---|---|
| Auto-wait (Playwright) | প্রতিটি কাজের আগে actionability: visible, stable, enabled, অন্য কিছুতে ঢাকা নয় | প্রতিটি action-এ আপনা-আপনি | শুধু action-এর শর্ত; ফলের জন্য web-first assertion লাগে |
| Implicit wait | Element খুঁজে না পেলে | পুরো session, driver-এর ভেতরে | দৃশ্যমান বা enabled হওয়ার অপেক্ষা করে না |
| Explicit wait | নির্দিষ্ট শর্ত (যেমন লেখা “1”) | নির্দিষ্ট জায়গায়, client-এ polling | প্রতিটি জায়গায় লিখতে হয় |
sleep | কিছুরই না, শুধু সময় | যেখানে লেখা | বেশি হলে ধীর, কম হলে flaky |
বাজারঘরে সত্যিকারের ফল: “কার্টে যোগ করুন”-এর পরে badge ৪০০ ms পরে বদলায়। Click-এর পরপরই inner_text() পড়লে তখনও “0”, test ফেল; expect(badge).to_have_text("1") বারবার দেখে পাস করে। ব্যস্ত বোতামে দ্বিতীয় click প্রায় ৮৩০ ms অপেক্ষা করে তারপর চলেছে (পর্ব ৩৬)। Implicit ৩ s আর explicit ৭ s মেশানো একটি মাপা run-এ ১০.২ s লেগেছিল (পর্ব ৩৮): অপেক্ষার সময় অনুমান করা যায় না, তাই মেশাবেন না।
পরীক্ষক যা খোঁজেন: ছক (৪); web-first assertion (২); মেশানোর ফল (২); sleep কেন খারাপ (২)। যেখানে নম্বর কাটে: “auto-wait থাকলে assertion-এর অপেক্ষা লাগে না” লেখা; timeout বাড়ানোকে সমাধান বলা।
ঘ-০২Flaky test কী? চারটি কারণ আর তাদের স্থায়ী সমাধান লিখুন। Retry আর quarantine-এর পার্থক্য কী? একটি suite-এ ২০০টি test, প্রতিটি ০.৫% flaky হলে suite কত ভাগ run-এ সবুজ? — ১০ নম্বর (মাঝারি–কঠিন)
সংজ্ঞা: কোড আর পরিবেশ না বদলালেও যে test কখনো পাস, কখনো ফেল করে (flaky test). ক্ষতি শুধু একটি test-এর নয়: মানুষ লাল দেখলে উপেক্ষা করতে শেখে, তখন আসল bug-ও উপেক্ষিত হয়।
| কারণ | লক্ষণ | স্থায়ী সমাধান |
|---|---|---|
| সময়ের দৌড় (async wait) | ধীর যন্ত্রে বেশি ফেল | শর্তের অপেক্ষা, sleep নয় |
| Test-এর ক্রম আর ভাগ করা data | একা পাস, suite-এ ফেল | প্রতি test-এ নিজের data, reset |
| Random, ঘড়ি, time zone | নির্দিষ্ট দিনে বা ঘণ্টায় ফেল | নির্ধারিত seed, নিয়ন্ত্রিত ঘড়ি |
| Product-এর আসল race | Production-এও মাঝে মাঝে | Product সারানো; test এখানে সৎ সাক্ষী |
কোর্সের সত্যিকারের ল্যাব: তিনটি Playwright test ২০ বার, প্রতিবার আলাদা ক্রমে: ১০টি run লাল। Sleep-এর বদলে শর্তের অপেক্ষা আর প্রতি test-এ নতুন data দেওয়ার পরে একই ২০টি ক্রমে ০ বার ফেল। Retry দিয়ে লাল run তবুও ১০টি, সময় প্রায় দ্বিগুণ, আর একবার test “পাস” করেছিল ভুল কারণে (পর্ব ৪০)। Quarantine issue, মালিক আর সময়সীমাসহ শুধু শব্দ সরায়; retry শব্দ আর সংকেত দুটোই চাপা দেয়।
import math, random
p, n = 0.005, 200 # every test flaky 0.5 %, 200 tests
print(f"whole suite green: {(1 - p) ** n:.1%} of runs")
for runs in (20, 100, 300): # all runs passed: how bad could it still be?
upper = 1 - 0.05 ** (1 / runs) # 95 % upper bound on the flake rate
print(f"{runs:3} clean runs -> rate may still be {upper:.1%} (rule of three {3 / runs:.1%})")
need = math.ceil(math.log(0.05) / math.log(1 - 0.01))
print("runs to see a 1% flake at least once (95%):", need)
# retry hides the signal: a 20 % flaky test with 2 reruns
q = 0.2
print(f"20% flaky test, 2 reruns -> red only {q ** 3:.1%} of runs")
random.seed(1) # simulate 20 runs of a 25 % flaky test
reds = sum(random.random() < 0.25 for _ in range(20))
print("simulated 20 runs of a 25% flaky test, red:", reds)আসল আউটপুট (ব্রাউজারের Python):
whole suite green: 36.7% of runs
20 clean runs -> rate may still be 13.9% (rule of three 15.0%)
100 clean runs -> rate may still be 3.0% (rule of three 3.0%)
300 clean runs -> rate may still be 1.0% (rule of three 1.0%)
runs to see a 1% flake at least once (95%): 299
20% flaky test, 2 reruns -> red only 0.8% of runs
simulated 20 runs of a 25% flaky test, red: 6
উত্তর: (১ − ০.০০৫)২০০ ≈ ৩৬.৭%; প্রায় তিনটির দুটি run অকারণে লাল। ২০ বার পাস মানেও হার ১৪–১৫% পর্যন্ত হতে পারে; ১% flake ধরতে প্রায় ৩০০ বার চালাতে হয়। Retry-তে ২০% flaky test মাত্র ০.৮% run-এ লাল দেখায়: সংকেত প্রায় হারিয়ে যায়।
পরীক্ষক যা খোঁজেন: সংজ্ঞা আর ক্ষতি (২); চার কারণ-সমাধান (৪); retry বনাম quarantine (২); হিসাব (২)। যেখানে নম্বর কাটে: “timeout বাড়ালেই ঠিক”; flake-কে সবসময় test-এর দোষ ধরা।
ঘ-০৩TDD, ATDD আর BDD-র পার্থক্য লিখুন। BDD কি একটি tool? — ৫ নম্বর (সহজ–মাঝারি)
| মাপকাঠি | TDD | ATDD | BDD |
|---|---|---|---|
| কে | Developer | পুরো দল | পুরো দল (three amigos) |
| স্তর | Unit | Acceptance | সাধারণত acceptance |
| ভাষা | কোড | উদাহরণের ছক | Given-When-Then, ব্যবসার ভাষা |
| চক্র | Red-green-refactor | কাজের আগে acceptance test | Discovery → formulation → automation |
BDD আগে আলাপ, পরে tool; Gherkin ছাড়াও BDD হয়, আর আলাপ ছাড়া Gherkin শুধু ধীর UI test. কোর্সের সত্যিকারের run-এ pytest-bdd 9.0.1 রিভিউ আর কুপনের ২১টি scenario চালিয়েছিল; দুটি bug switch চালু করতেই ঠিক ৩টি লাল (পর্ব ৪৩)। যেখানে নম্বর কাটে: “BDD মানে Cucumber” লেখা।
৫ · অংশ ঙ — Performance, নিরাপত্তা, accessibility আর বাংলা (মডিউল ৮–৯)
রিভিশন: পর্ব ৪৬ (load, stress, percentile), পর্ব ৫০ (SLO), পর্ব ৫৩ (DAST), পর্ব ৫৪ (WCAG), পর্ব ৫৬ (বাংলা localization).
ঙ-০১Load, stress, soak আর spike test-এর তুলনা করুন। Performance requirement গড়ের বদলে p95-এ কেন লেখা হয়? SLI, SLO আর SLA আলাদা করুন। — ১০ নম্বর (মাঝারি)
| Test | চাপ | সময় | যে প্রশ্নের উত্তর |
|---|---|---|---|
| Load | প্রত্যাশিত ভিড় | মাঝারি | লক্ষ্য (যেমন NFR-2) টেকে কি? |
| Stress | সীমার ওপরে | মাঝারি | কোথায় ভাঙে, কীভাবে ফেরে? |
| Soak | স্বাভাবিক | দীর্ঘ | Memory বা connection leak জমে? |
| Spike | হঠাৎ বিশাল | ছোট ঝাঁকুনি | ঈদের সেলের শুরুতে টেকে? |
গড় বনাম p95: গড় অল্প কিছু খুব ধীর উত্তর লুকায়; p95 বলে ১০০টির ৯৫টি কত সময়ের মধ্যে। কোর্সের সত্যিকারের run-এ slow_search চালু করলে গড় ১৮৭৫ ms (২ s-এর নিচে), কিন্তু p95 ২৮৯৪ ms, তাই NFR-2 ফেল (পর্ব ৪৬)। SLI-SLO-SLA: SLI মাপা অনুপাত, SLO সময়ের জানালাসহ লক্ষ্য, SLA পরিণতিসহ চুক্তি; SLO সাধারণত SLA-র চেয়ে কড়া। লক্ষ্য যতটুকু খারাপ মেনে নেয়, সেটি error budget.
import math, random, statistics
random.seed(7) # 100 invented search response times (ms)
rt = sorted([random.randint(150, 450) for _ in range(90)] +
[random.randint(2500, 4000) for _ in range(10)])
def pct(xs, q): # nearest-rank percentile
return xs[math.ceil(q / 100 * len(xs)) - 1]
print("mean", round(statistics.mean(rt)), "ms | median", pct(rt, 50),
"| p95", pct(rt, 95), "| p99", pct(rt, 99))
print("NFR-2 (p95 <= 2000 ms):", "PASS" if pct(rt, 95) <= 2000 else "FAIL")
for slo, days in ((99.9, 30), (99.5, 28)): # error budget
print(f"SLO {slo}% over {days} days -> budget {(100 - slo) / 100 * days * 24 * 60:.1f} min")
X, R, Z = 20, 0.2, 5 # Little: N = X * (R + Z)
print("users needed for 20 req/s:", round(X * (R + Z)))
mtbf, mttr = 999, 1 # hours
print(f"availability = {mtbf / (mtbf + mttr):.1%}")আসল আউটপুট (ব্রাউজারের Python):
mean 615 ms | median 335 | p95 3434 | p99 3717
NFR-2 (p95 <= 2000 ms): FAIL
SLO 99.9% over 30 days -> budget 43.2 min
SLO 99.5% over 28 days -> budget 201.6 min
users needed for 20 req/s: 104
availability = 99.9%
বানানো ১০০টি সময়ের দশটি খুব ধীর: গড় ৬১৫ ms দেখে সব ঠিক মনে হয়, অথচ p95 ৩৪৩৪ ms. ৯৯.৯% SLO-তে ৩০ দিনে খারাপ সময় চলে ৪৩.২ মিনিট। Little-এর সূত্রে ২০ req/s, ০.২ s সাড়া আর ৫ s think time-এ ১০৪ জন নকল ব্যবহারকারী লাগে।
পরীক্ষক যা খোঁজেন: চার test-এর ছক (৪); percentile-এর যুক্তি আর উদাহরণ (৩); SLI/SLO/SLA (৩)। যেখানে নম্বর কাটে: load আর stress-কে সমার্থক লেখা; “p95 মানে ৯৫% অনুরোধ সফল” লেখা।
ঙ-০২SAST, DAST, SCA আর IAST-এর পার্থক্য লিখুন। Passive আর active scan কী? DAST কোন ধরনের ভুল ধরতে পারে না? — ১০ নম্বর (মাঝারি)
| ধরন | কী দেখে | কখন | শক্তি / দুর্বলতা |
|---|---|---|---|
| SAST | Source code, না চালিয়ে | Commit, PR | ঠিক লাইন দেখায় / config আর runtime জানে না, false positive |
| DAST | চলন্ত app, বাইরে থেকে request | Test environment | আসল আচরণ ও header / কোডের লাইন জানে না |
| SCA | Library-র পরিচিত দুর্বলতা | Build, প্রতিদিন | দ্রুত / নিজের কোডের ভুল দেখে না |
| IAST | চলার সময় ভেতরের agent | Test চলার সময় | প্রমাণসহ লাইন / ভাষা ও platform-নির্ভর |
সত্যিকারের ফল: ZAP 2.17.0-এর passive baseline scan বাজারঘরের reflected XSS ধরেনি, শুধু হারানো CSP header দেখিয়েছে; active scan ১৭১০টি request পাঠিয়ে XSS-কে High হিসেবে ধরেছে। Login ছাড়া API scan-এর ১৩৬৪টি request 401-এ আটকেছিল (পর্ব ৫৩)। Bandit (SAST) ২টি low finding দিয়েছিল, যার একটি false positive (পর্ব ৫২)।
সীমা: অন্যের অর্ডার দেখা (IDOR) বা ব্যবসার নিয়মের ভুল scanner বোঝে না; সেখানে access-control ছকের হাতে লেখা test. শুধু নিজের বা লিখিত অনুমতি পাওয়া system-এ scan. যেখানে নম্বর কাটে: “DAST চললে SAST লাগে না”; alert মানেই bug ধরা।
ঙ-০৩WCAG-এর POUR নীতি ব্যাখ্যা করুন, প্রতিটির একটি test-সহ। Automated scan-এ শূন্য violation মানে কি পাতা accessible? — ১০ নম্বর (মাঝারি)
| নীতি | অর্থ | বাজারঘরে একটি test |
|---|---|---|
| Perceivable | সবাই তথ্য অনুভব করতে পারেন | লেখার contrast ≥ ৪.৫:১; ছবির বিকল্প লেখা |
| Operable | সবাই চালাতে পারেন | শুধু keyboard-এ checkout; কোনো keyboard trap নয় |
| Understandable | বোঝা যায়, অনুমানযোগ্য | ভুলের বার্তা বাংলা পাতায় বাংলায়, কোন field তা বলে |
| Robust | সহায়ক প্রযুক্তি পড়তে পারে | প্রতিটি control-এর নাম আর role; lang="bn" |
Scan-এর সীমা: axe-core বাজারঘরের ৯টি পাতায় কোনো violation পায়নি, অথচ সবুজ header-এ নীল focus ring-এর contrast মাত্র ১.০৭:১, যেখানে non-text contrast (1.4.11) চায় ৩:১ (পর্ব ৫৪)। নিচের ব্লক সূত্রটি নিজে চালায়।
def lum(hexc): # WCAG relative luminance
def lin(c):
c /= 255
return c / 12.92 if c <= 0.04045 else ((c + 0.055) / 1.055) ** 2.4
r, g, b = (int(hexc[i:i + 2], 16) for i in (1, 3, 5))
return 0.2126 * lin(r) + 0.7152 * lin(g) + 0.0722 * lin(b)
def ratio(a, b):
hi, lo = sorted((lum(a), lum(b)), reverse=True)
return (hi + 0.05) / (lo + 0.05)
checks = [("#1a56db", "#0b6b3a", 3.0, "focus ring on green header"),
("#ffffff", "#0b6b3a", 3.0, "white focus ring"),
("#767676", "#ffffff", 4.5, "grey body text"),
("#999999", "#ffffff", 4.5, "light grey body text")]
for fg, bg, need, what in checks:
r = ratio(fg, bg)
print(f"{what:27} {r:5.2f}:1 need {need}:1 ->", "PASS" if r >= need else "FAIL")আসল আউটপুট (ব্রাউজারের Python):
focus ring on green header 1.07:1 need 3.0:1 -> FAIL
white focus ring 6.61:1 need 3.0:1 -> PASS
grey body text 4.54:1 need 4.5:1 -> PASS
light grey body text 2.85:1 need 4.5:1 -> FAIL
নীল ring সবুজের ওপর প্রায় অদৃশ্য (১.০৭:১), সাদা ring ৬.৬১:১. সাদা পটভূমিতে #767676 ঠিক সীমা পেরোয় (৪.৫৪:১), #999999 পেরোয় না। Scan শুধু স্বয়ংক্রিয়ভাবে যাচাইযোগ্য নিয়ম দেখে; keyboard, screen reader আর মানুষের বিচার বাকি থাকে।
পরীক্ষক যা খোঁজেন: চার নীতি, প্রতিটির test (৬); scan-এর সীমা উদাহরণসহ (৩); লক্ষ্য সাধারণত WCAG 2.2 AA (১)। যেখানে নম্বর কাটে: POUR-এর R-কে “Reliable” লেখা; accessibility-কে শুধু screen reader ভাবা।
ঙ-০৪Internationalization (i18n) আর localization (l10n)-এর পার্থক্য লিখুন। বাংলা app-এ তিনটি i18n defect-এর উদাহরণ দিন। — ৫ নম্বর (মাঝারি)
সংজ্ঞা: i18n একবার কোডে জায়গা বানায় (Unicode, resource file, locale-নির্ভর format); l10n প্রতিটি locale-এর জন্য লেখা আর নিয়ম বসায় (অনুবাদ, তারিখ, সংখ্যা, plural). i18n-এর ভুল অনুবাদের আগেই pseudo-localization দিয়ে ধরা যায়।
import re, unicodedata as ud
stored = ud.normalize("NFC", "সয়াবিন তেল") # the product name in the DB
typed = "সয়াবিন" # য় typed as ONE code point
print("typed in stored?", typed in stored,
"| after NFC?", ud.normalize("NFC", typed) in stored)
print("U+09DF after NFC:", [hex(ord(c)) for c in ud.normalize("NFC", "য়")])
text = "👍" * 5 # AC3: 10-500 code points
utf16 = len(text.encode("utf-16-le")) // 2
print("code points", len(text), "| UTF-16 units", utf16,
"| AC3 ok?", 10 <= len(text) <= 500, "| buggy check ok?", 10 <= utf16 <= 500)
mixed = "017১২৩৪৫৬৭৮" # Latin + Bangla digits
print("\\d accepts:", bool(re.fullmatch(r"01[3-9]\d{8}", mixed)),
"| [0-9] accepts:", bool(re.fullmatch(r"01[3-9][0-9]{8}", mixed)))আসল আউটপুট (ব্রাউজারের Python):
typed in stored? False | after NFC? True
U+09DF after NFC: ['0x9af', '0x9bc']
code points 5 | UTF-16 units 10 | AC3 ok? False | buggy check ok? True
\d accepts: True | [0-9] accepts: False
তিনটি উদাহরণ: (১) “য়” এক code point-এ লিখলে খোঁজা মেলে না, normalize করলে মেলে; বাজারঘরের search-এ এটি আসল defect (পর্ব ৫৬)। (২) পাঁচটি 👍 code point-এ ৫, UTF-16-এ ১০; ভুল একক বেছে নিলে AC3 ভাঙে। (৩) Python-এর \d বাংলা অঙ্কও মেনে নেয়, তাই phone নিয়মে [0-9] লিখতে হয়; মেশানো অঙ্কই আসল ফাঁদ।
যেখানে নম্বর কাটে: l10n-কে শুধু “অনুবাদ” বলা; বাংলা পাতায় ইংরেজি ভুলের বার্তাকে bug না ধরা।
৬ · অংশ চ — উন্নত technique, CI আর production (মডিউল ১০–১২)
রিভিশন: পর্ব ৫৮ (property-based), পর্ব ৫৯ (mutation), পর্ব ৬৬ (canary আর feature flag), পর্ব ৬৮ (বড় suite).
চ-০১Example-based আর property-based testing-এর তুলনা করুন। Shrinking কী? Property-based testing কি boundary value analysis-এর বদলি? — ১০ নম্বর (মাঝারি–কঠিন)
| মাপকাঠি | Example-based | Property-based |
|---|---|---|
| Input | হাতে বাছা কয়েকটি | Tool-এর বানানো শত শত |
| Oracle | নির্দিষ্ট প্রত্যাশিত মান | সব বৈধ input-এ সত্য একটি নিয়ম |
| শক্তি | জানা সীমা নিশ্চিতভাবে | না-ভাবা কোণ (Unicode, ক্রম) |
| ব্যর্থ হলে | Input আগেই জানা | Shrinking: সরল counterexample |
কোর্সের সত্যিকারের run-এ Hypothesis delivery-র ভুলকে ঠিক subtotal=2000-এ নামিয়ে এনেছিল, কিন্তু ১০০টি উদাহরণে coupon_ge (>-এর জায়গায় >=) ২০টি seed-এর ৮টিতে ধরা পড়েনি (পর্ব ৫৮)। নিচের stdlib ব্লকে একই ভুল, সমান-সম্ভাবনার random input বনাম সীমার দিকে ঝোঁকানো input.
import random
def coupon_ge(s): # seeded bug: >= instead of >
return min(s // 10, 300) if s >= 1000 else 0
def rule_holds(s, d): # property written from the rule
return 0 <= d <= 300 and d <= s // 10 and (d == 0) == (s <= 1000)
print("example test coupon(1000) == 0:", "PASS" if coupon_ge(1000) == 0 else "FAIL")
def caught(gen, seeds=20, n=100): # how many seeds find the bug?
hits = 0
for seed in range(seeds):
rng = random.Random(seed)
if any(not rule_holds(s, coupon_ge(s)) for s in (gen(rng) for _ in range(n))):
hits += 1
return hits
uniform = lambda rng: rng.randint(0, 5000)
edgy = lambda rng: rng.choice([rng.randint(0, 5000), 0, 999, 1000, 1001, 3000, 3010])
print("uniform 100 inputs, seeds that caught it:", caught(uniform), "of 20")
print("boundary-biased 100 inputs, seeds that caught it:", caught(edgy), "of 20")আসল আউটপুট (ব্রাউজারের Python):
example test coupon(1000) == 0: FAIL
uniform 100 inputs, seeds that caught it: 1 of 20
boundary-biased 100 inputs, seeds that caught it: 20 of 20
একটি হাতে-বাছা সীমার উদাহরণ ভুলটি সাথে সাথে ধরে। সমান-সম্ভাবনার ১০০টি input ২০টির মাত্র ১টি seed-এ ১০০০ ছোঁয়; সীমার দিকে ঝোঁকানো generator সবগুলোতে। তাই উত্তর: বদলি নয়, পরিপূরক। জানা সীমা উদাহরণে (Hypothesis-এ @example), random অংশ অজানা কোণ খোঁজে।
যেখানে নম্বর কাটে: property-র oracle কোড থেকে লেখা (কোডের সূত্রই আবার হিসাব করা); seed না লিখে random test চালানো।
চ-০২Code coverage আর mutation score-এর পার্থক্য লিখুন। ১০০% coverage-এ কেন mutant বাঁচে? ২০০টি mutant, ১৫০টি killed, ১০টি equivalent হলে score কত? — ১০ নম্বর (মাঝারি)
সংজ্ঞা: Coverage বলে test চলার সময় কোডের কোন অংশ চলেছে; mutation score বলে কোডে ছোট ভুল বসালে test সেটি ধরে কি না: killed ÷ (মোট − equivalent). উত্তর: ১৫০ ÷ (২০০ − ১০) ≈ ৭৮.৯%. Coverage চলা মাপে, mutation যাচাইয়ের শক্তি মাপে।
SRC = """def coupon(s):
if s > 1000:
return min(s // 10, 300)
return 0"""
MUTANTS = [("s > 1000", "s >= 1000"), ("s > 1000", "s < 1000"),
("1000", "1001"), ("// 10", "// 9"), ("300", "301"), ("min(", "max(")]
def load(src):
ns = {}; exec(src, ns); return ns["coupon"]
suite_a = {500: 0, 2000: 200} # every line and both branches run
suite_b = {**suite_a, 1000: 0, 1001: 100, 3010: 300} # + boundary values
def lines_run(f, inputs): # tiny line-coverage tracer
import sys; seen = set()
def tr(frame, ev, arg):
if ev == "line": seen.add(frame.f_lineno)
return tr
for x in inputs: sys.settrace(tr); f(x); sys.settrace(None)
return sorted(seen)
print("lines run by suite A:", lines_run(load(SRC), suite_a), "of [2, 3, 4]")
for name, suite in (("A", suite_a), ("B", suite_b)):
killed = [new for old, new in MUTANTS
if any(load(SRC.replace(old, new, 1))(x) != want for x, want in suite.items())]
alive = [new for _, new in MUTANTS if new not in killed]
print(f"suite {name}: killed {len(killed)}/{len(MUTANTS)}"
f" = {len(killed) / len(MUTANTS):.0%}, survived {alive}")আসল আউটপুট (ব্রাউজারের Python):
lines run by suite A: [2, 3, 4] of [2, 3, 4]
suite A: killed 3/6 = 50%, survived ['s >= 1000', '1001', '301']
suite B: killed 6/6 = 100%, survived []
Suite A প্রতিটি লাইন আর দুই শাখাই চালায়, তবু ছয়টির তিনটি mutant বাঁচে: সবগুলোই সীমার ভুল। ১০০০, ১০০১ আর ৩০১০-এর তিনটি সীমার test যোগ করতেই ৬/৬. কোর্সের সত্যিকারের run-এ একই ছবি বড় মাপে: pricing module-এ coverage ১০০% রেখে cosmic-ray-এর ৭৪টি mutant-এর ১১টি বেঁচেছিল (৮৫.১%), ৮টি লক্ষ্যভেদী test-এ ৭৪/৭৪ (পর্ব ৫৯)।
যেখানে নম্বর কাটে: equivalent mutant হর থেকে বাদ না দেওয়া; mutation score-কে কোডের মান বলা; coverage-কে লক্ষ্য বানানোর বিপদ (Goodhart) না বলা।
চ-০৩Canary, blue-green আর rolling deployment-এর তুলনা করুন। Deploy আর release-এর পার্থক্য কী, আর feature flag এখানে কী ভূমিকা রাখে? — ১০ নম্বর (মাঝারি)
Blue-green বনাম canary — traffic কীভাবে সরে
Blue-green switches all traffic at once; canary grows a small share step by step
| মাপকাঠি | Blue-green | Canary | Rolling |
|---|---|---|---|
| Traffic সরে | এক ধাপে সব | ছোট ভাগে, মাপ দেখে | Instance ধরে ধরে |
| ফেরা | সবচেয়ে দ্রুত (router বদল) | ভাগ ০ করা | ধীর, আবার rolling |
| খরচ | দুই পূর্ণ পরিবেশ | মাপ আর বিশ্লেষণ | কম |
| Test-এর সুযোগ | Switch-এর আগে smoke | আসল traffic-এ তুলনা | সীমিত, দুই version একসাথে |
সত্যিকারের canary: ১০% traffic পাওয়া নতুন version-এর p95 ৩৪ থেকে ২২২ ms, error দুদিকেই শূন্য; analysis script রায় দিল FAIL, canary-র ভাগ ০, আর পরের ১,৩৫৩টি request-এর সবই পুরোনো version-এ। একই খারাপ version ১%-এ “প্রমাণ যথেষ্ট নয়”, কারণ ছোট নমুনায় statistical power কম (পর্ব ৬৬)।
Deploy বনাম release: deploy মানে কোড production-এ বসানো; release মানে ব্যবহারকারীর জন্য খোলা। Feature flag দুটিকে আলাদা করে: কোর্সে একটি search-এর সংশোধন ১০% → ৫০% → ১০০% খোলা হয়েছিল, আর kill switch-এ এক মুহূর্তে বন্ধ। যেখানে নম্বর কাটে: canary-কে “ছোট blue-green” বলা; production-এ testing-কে release-এর আগের test-এর বদলি বলা।
৭ · কুড়ি মিনিটে লিখুন — test plan, bug report আর test strategy
কিছু পরীক্ষা আর ইন্টারভিউতে একটি নথি লিখতে বলা হয়। প্রথম দুই মিনিট শিরোনাম আর অংশগুলোর নাম, বাকি সময় প্রতিটি অংশে মাপা যায় এমন এক-দুটি লাইন। ফাঁকা অংশের চেয়ে “খোলা প্রশ্ন: …” লেখা ভালো। নিচের stepper-এ ল-০২-এর কুড়ি মিনিট।
| মিনিট | |
| কাজ | |
| খাতায় নতুন |
- আগে নিজে ঘটান। কতবারে কতবার ঘটে, তা লিখলে report-এর বিশ্বাসযোগ্যতা বাড়ে।
- একবারে একটি জিনিস বদলান। API-তে ঘটে না, তাই সমস্যা form-এর key-তে।
- শিরোনাম: কোথায় + কী + কোন অবস্থায়। “পেমেন্ট কাজ করে না” নয়।
- ধাপ সংখ্যাযুক্ত, প্রত্যাশিত ফলের উৎসসহ। উৎস: idempotency-র লেখা নিয়ম।
- প্রমাণ। Ledger-এর দুই সারি সবচেয়ে শক্ত প্রমাণ।
- শেষ তিন মিনিট। Severity ফোলানো নয়; এখানে টাকা, তাই সত্যিই Critical.
ল-০১বাজারঘরের “রিভিউ আর রেটিং” feature-এর জন্য এক পাতার test plan লিখুন (AC1–AC6, NFR-1, NFR-2 দেওয়া)। — ২০ মিনিট
| অংশ | আদর্শ উত্তর |
|---|---|
| Scope | AC1–AC6 (শুধু delivered অর্ডার, ১–৫ পূর্ণ তারা, ১০–৫০০ code point, এক ক্রেতা এক পণ্যে একটি, গড় এক দশমিকে half up, সব তারার স্তর দেখা), NFR-1, NFR-2 |
| Out of scope | রিভিউ সম্পাদনা, ভাষার moderation |
| Approach | AC3-এ BVA (০, ৯, ১০, ৫০০, ৫০১, বাংলা ও emoji); AC1-এ অর্ডারের অবস্থা ধরে state; AC5-এ ৪.২৫ → ৪.৩-এর মতো সীমার মান; API-স্তরে বেশিরভাগ, UI-তে একটি মূল যাত্রা; k6 দিয়ে NFR-2; একটি exploratory session |
| Entry | Build test environment-এ, smoke পাস, seed data প্রস্তুত |
| Exit | পরিকল্পিত সব test চালানো, পাস ≥ ৯৫%, খোলা critical/major bug শূন্য, NFR-2-এর p95 ≤ ২ s |
| ঝুঁকি ও প্রতিকার | Unicode-এর দৈর্ঘ্য (উঁচু): emoji ও যুক্তাক্ষরের data; environment দেরি: আগের দিন smoke |
| দায়িত্ব ও সময় | নকশা ১ দিন, চালানো ২ দিন, রিপোর্ট অর্ধেক দিন; কে কোনটি |
| খোলা প্রশ্ন | ডেলিভারির কত দিন পর্যন্ত রিভিউ লেখা যাবে? |
নম্বর যেখানে: মাপা exit criterion, out of scope আর খোলা প্রশ্ন লেখা। “পর্যাপ্ত test পাস হলে” কোনো exit criterion নয় (পর্ব ১৭)।
ল-০২এই failure-এর জন্য একটি bug report লিখুন: wallet-এর timeout-এর পরে HTML-এর pay form-এ আবার Pay চাপলে অর্ডার paid হয়, কিন্তু wallet-এর ledger-এ দুটি charge জমে। — ২০ মিনিট
ID: BG-142
Title: Payment: pressing Pay again after a wallet timeout charges the wallet twice
Environment: bazarghar 1.0.0 (local, test mode), Edge, wallet mode timeout_once
Precondition: logged in as mitu; order 8 placed, total 961, mobile-wallet
Steps:
1. Set wallet mode to timeout_once (PUT /api/test/wallet)
2. Open /orders/8, press "Pay"
3. See the timeout message, press "Pay" again
4. GET /api/test/wallet
Expected: order paid, exactly ONE charge of 961 (idempotency rule)
Actual: order paid, TWO charges of 961 with different refs
Reproducibility: 3/3. Not reproducible via API with one Idempotency-Key
Severity: Critical (money taken twice) Priority: P1
Evidence: ledger rows, screenshots of both pages
Notes: the form creates a new key on every page view
Report পরীক্ষার ভাষা অনুযায়ী বাংলা বা ইংরেজিতে লেখা যায়; field-গুলোই আসল। নম্বর যেখানে: শিরোনাম (কোথায় + কী + কোন অবস্থায়), উৎসসহ প্রত্যাশিত ফল, পুনরুৎপাদনের হার, এক report-এ একটি সমস্যা, দোষারোপহীন ভাষা (পর্ব ১৮)।
ল-০৩বাজারঘরের checkout-এর জন্য একটি test strategy-র রূপরেখা লিখুন: স্তর, ধরন, tool, CI gate আর release-এর সিদ্ধান্ত। — ২০ মিনিট
| স্তর | কী | Tool | কখন |
|---|---|---|---|
| Unit ও property | কুপন, delivery, phone-এর সব সীমা | pytest, Hypothesis | প্রতিটি PR |
| API ও contract | অর্ডারের অবস্থা, idempotency, access-control ছক | pytest + httpx, Pact | প্রতিটি PR |
| UI | এক-দুটি মূল যাত্রা, auto-wait | Playwright | Merge-এর পরে |
| Non-functional | p95, axe ও keyboard, বাংলা, DAST | k6, axe-core, ZAP | রাতে আর release-এর আগে |
| Production | Canary, synthetic check | Proxy, monitoring | Release-এর সময় |
Gate: সস্তা stage আগে, প্রথম লালে থামা; অপ্রত্যাশিত ব্যর্থতা ০, p95 সীমার নিচে, গুরুতর accessibility লঙ্ঘন ০. চেনা defect-কে xfail(strict=True) test হিসেবে রাখা। সিদ্ধান্ত: ক্যাপস্টোনের ৩৮টি test-এর suite পরিষ্কার build-এ ৩২টি পাস, ৬টি xfail; দুটি bug switch চালু করতেই ৫টি ফেল আর NO-GO. Tester ঝুঁকির তথ্য দেন, সই দেন দায়িত্বপ্রাপ্ত মানুষ (পর্ব ৭৭)। নম্বর যেখানে: প্রতিটি নিয়ম সবচেয়ে নিচের সম্ভব স্তরে, আর কী automate হয়নি তা লেখা।
৮ · ভাইভা — কৌশল, ২৪টি প্রশ্ন, ফাঁদ, সৎ উত্তর আর AI
ভাইভায় পরীক্ষক আপনার শেষ বাক্য থেকে পরের প্রশ্ন বানান। Testing-এ দুটি পরের প্রশ্ন প্রায় নিশ্চিত: “একটি উদাহরণ দিন” আর “এটি কী ধরে না?” তাই প্রথম উত্তরেই একটি উদাহরণ আর একটি সীমা রাখুন।
“Mutation testing কী?” — “কোডে ছোট ভুল বসিয়ে দেখা test সেটি ধরে কি না; test-এর test (কী)। যেমন >-কে >= করলে ১০০০ টাকার test লাল হওয়া উচিত (উদাহরণ)। তবে equivalent mutant কেউ মারতে পারে না, আর খরচ বেশি, তাই পুরো codebase-এ নয় (সীমা)।”
| পরীক্ষক | |
| প্রার্থী (মূল কথা) | |
| কেন ভালো উত্তর | |
| জোড়া পর্ব |
- শুরু। “একই কোড, একই পরিবেশ” না বললে পরের প্রশ্ন সেখানেই আসত।
- মাপ। “কয়েকবার চালাই” নয়; কতবার, কেন, seed সহ।
- ক্ষতি সংখ্যায়। Retry-র বিপদ শুধু মত নয়, হিসাব।
- লক্ষণ বনাম কারণ। Flake সবসময় test-এর দোষ নয়।
- প্রয়োগ। Barrier দিয়ে একসাথে ছাড়া, তারপর ledger-এর মতো দেখা যায় এমন ফল।
- শেষ। HTTP-র নকশা থেকে কারণ; কোর্সের UI defect-এর সাথে যোগ করলে আরও ভালো।
২৪টি ছোট প্রশ্ন — মুখে বলার উত্তর আর পরের প্রশ্ন
জোরে উত্তর বলুন, তারপর প্রশ্নে চেপে মেলান; প্রতিটিতে ৩০ সেকেন্ডের বেশি নয়।
ভিত্তি আর test design (পর্ব ০১–১৪)
ভ-০১Testing-এর সাতটি নীতি বলুন। (সহজ)
Testing ভুলের উপস্থিতি দেখায়, অনুপস্থিতি নয়; exhaustive testing অসম্ভব; early testing; defect clustering; test ক্ষয়ে যায় (pesticide paradox); প্রসঙ্গ-নির্ভর; absence-of-defects fallacy. পর্ব ০৩
পরের প্রশ্ন: pesticide paradox-এর প্রতিকার? — Test আর data হালনাগাদ, নতুন test; তবে regression-এর জন্য পুরোনোও রাখা।
ভ-০২Static আর dynamic testing-এর পার্থক্য? (সহজ)
Static কোড বা নথি না চালিয়ে defect সরাসরি দেখে (review, static analysis); dynamic চালিয়ে failure দেখে। পর্ব ০৬
পরের প্রশ্ন: walkthrough আর inspection? — Walkthrough লেখক চালান, লক্ষ্য বোঝানো; inspection প্রশিক্ষিত moderator চালান, role আর checklist-সহ, লক্ষ্য সর্বোচ্চ defect.
ভ-০৩বয়স ১৮–৬০ বৈধ; দুই-মান BVA-র মান কী? (সহজ)
17, 18, 60, 61. তিন-মানে ISTQB-এর আক্ষরিক রীতিতে 16, 17, 18, 19, 59, 60, 61, 62; কিছু বই শুধু বৈধ কিনারা ধরে ছয়টি দেয়। পর্ব ০৮
পরের প্রশ্ন: BVA কোথায় খাটে না? — ক্রমহীন input-এ, যেমন জেলার নাম বা payment method; সেখানে EP.
ভ-০৪Decision table কখন, pairwise কখন? (মাঝারি)
Manual testing আর প্রক্রিয়া (পর্ব ১৫–২০, ৭৩–৭৭)
ভ-০৫RTM কী, কেন লাগে? (সহজ)
Requirement, test case, ফল আর defect-এর সংযোগের ছক (RTM); test-হীন requirement আর requirement-হীন test খুঁজতে। পর্ব ১৯
পরের প্রশ্ন: blocked আর fail? — Fail-এ test চলেছে কিন্তু ফল মেলেনি; blocked-এ পূর্বশর্তের অভাবে চালানোই যায়নি।
ভ-০৬Testing কখন থামাবেন? (মাঝারি)
আগে লেখা exit criteria পূরণ হলে, অথবা বাকি ঝুঁকি দায়িত্বপ্রাপ্তরা লিখিতভাবে মেনে নিলে; “সব bug শেষ” কখনো মানদণ্ড নয়। পর্ব ১৯
পরের প্রশ্ন: সব test পাস, release করবেন? — কী ঢাকা হয়েছে, কী হয়নি, কোন ঝুঁকি বাকি, তা দেখে; “সব পাস” মানে “ঝুঁকি নেই” নয়।
ভ-০৭ভালো exploratory charter-এর ছাঁচ? (সহজ)
Explore (এলাকা) with (উপকরণ) to discover (তথ্য), এক session-এ শেষ হওয়ার মাপে; যেমন “রিভিউ form, emoji আর যুক্তাক্ষর দিয়ে, দৈর্ঘ্য গোনার ভুল খুঁজতে”। পর্ব ২০
পরের প্রশ্ন: exploratory-র coverage কীভাবে দেখান? — Charter আর session-এর তালিকা, এলাকাভিত্তিক session-সংখ্যা, debrief-এর “বাকি” তালিকা।
ভ-০৮PERT-এ O = 4, M = 6, P = 14 দিন হলে অনুমান? (মাঝারি)
(4 + 4 × 6 + 14) ÷ 6 = 7 দিন; σ = (14 − 4) ÷ 6 ≈ 1.67. পর্ব ৭৪
পরের প্রশ্ন: burn-up কেন burndown-এর চেয়ে বেশি বলে? — Scope আর সম্পন্ন কাজ আলাদা রেখায়, তাই scope বাড়া আর ধীর অগ্রগতি আলাদা চেনা যায়।
Unit, API আর contract (পর্ব ২১–৩৪)
ভ-০৯AAA আর FIRST কী? (সহজ)
Arrange, Act, Assert: অবস্থা সাজানো, একটি কাজ, ফল মেলানো (AAA). FIRST: Fast, Independent, Repeatable, Self-validating, Timely. পর্ব ২২
পরের প্রশ্ন: “এক test-এ একটি assertion” কি নিয়ম? — আসল নিয়ম এক test-এ একটি আচরণ; একই আচরণের কয়েকটি দিক এক test-এ চলে।
ভ-১০from shop.wallet import WalletClient থাকা shop.payment-এর test-এ কোথায় patch করবেন? (মাঝারি)
shop.payment.WalletClient: নাম যেখানে খোঁজা হয়, সেখানে। ভুল target-এ আসল client চলে যায়। পর্ব ২৪
পরের প্রশ্ন: autospec কেন? — সাধারণ Mock ভুল method-এর নাম আর argument নীরবে মানে; autospec আসল class দেখে সাথে সাথে ধরে।
ভ-১১401 আর 403-এর পার্থক্য? অন্যের অর্ডার চাইলে কী আশা করবেন? (সহজ)
ভ-১২JSON Schema validation কি functional test-এর বদলি? (মাঝারি)
UI automation আর BDD (পর্ব ৩৫–৪৫)
ভ-১৩ভালো locator-এর ক্রম কী? (সহজ)
Role + নাম বা label আগে, তারপর test id, তারপর ছোট CSS; index আর লম্বা শিকল শেষ উপায়। পর্ব ৩৫
পরের প্রশ্ন: locator দুটি element মেলালে? — Playwright strict mode-এ থামে; Selenium-এর find_element প্রথমটি নেয়।
ভ-১৪Page object-এ assertion রাখবেন? (মাঝারি)
সাধারণ নিয়মে না; রায় test-এ, যাতে একই page object দিয়ে negative test লেখা যায়। ব্যতিক্রম: পাতা ঠিকমতো খুলেছে কি না। পর্ব ৩৯
পরের প্রশ্ন: method কী ফেরত দেয়? — একই পাতায় থাকলে self, অন্য পাতায় গেলে সেই পাতার object.
ভ-১৫Visual test-এর baseline কে update করেন? (সহজ)
ভ-১৬Scenario আর Scenario Outline-এর পার্থক্য? (সহজ)
Performance, নিরাপত্তা, accessibility, বাংলা (পর্ব ৪৬–৫৭)
ভ-১৭k6-এ check আর threshold-এর পার্থক্য? (মাঝারি)
Check একটি উত্তর যাচাই করে গোনে, run থামায় না; threshold পুরো run-এর metric-এ রায় দেয়, ভাঙলে exit code 99, তাই CI job ব্যর্থ। পর্ব ৪৮
পরের প্রশ্ন: think time না দিলে? — অল্প virtual user অনেক বেশি মানুষের চাপ দেয়; ফলের অর্থ বদলায়।
ভ-১৮N+1 query কীভাবে ধরবেন? (মাঝারি)
প্রতি request-এ query গুনে; সংখ্যা সারির সাথে বাড়লে N+1. বাজারঘরের GET /api/orders seed data-য় অদৃশ্য ছিল, প্রায় ৪০ হাজার অর্ডারে ১০ জনের চাপে p95 প্রায় ৪.৭ s. পর্ব ৪৯
পরের প্রশ্ন: সারানোর প্রমাণ? — একই load-এ আগে আর পরের p95 ও throughput, সাথে functional test পাস।
ভ-১৯IDOR কীভাবে test করবেন? (মাঝারি)
দুই ব্যবহারকারী নিয়ে প্রতিটি সুরক্ষিত resource-এ মালিক, অন্যজন আর লগইন-ছাড়া: তিন সারির ছক; লেখার পথে পরে অবস্থাও যাচাই। কোর্সে ১৬ ঘরের ছকের ২টি লাল হয়ে একটি বসানো IDOR ধরেছিল। পর্ব ৫২
পরের প্রশ্ন: CVSS কি priority? — না; CVSS প্রযুক্তিগত তীব্রতা, priority ব্যবসার প্রভাব মিলিয়ে।
ভ-২০Availability ৯৯.৯% মানে মাসে কত বন্ধ থাকা চলে? (সহজ)
৩০ দিনে ৪৩.২ মিনিট; availability = MTBF ÷ (MTBF + MTTR). পর্ব ৫৭
পরের প্রশ্ন: RPO আর RTO? — RPO: কত সময়ের data হারানো চলে; RTO: কত সময়ে আবার চালু হতে হবে।
উন্নত technique, CI আর বিশেষ system (পর্ব ৫৮–৭২)
ভ-২১Snapshot test আর সাধারণ assertion-এর মূল পার্থক্য? (মাঝারি)
Snapshot-এর oracle আগের output, assertion-এর oracle requirement; snapshot বদল ধরে, সঠিকতা নয়। Diff না পড়ে update করলে ভুল অনুমোদিত হয়। পর্ব ৬১
পরের প্রশ্ন: golden master কখন? — Test-হীন legacy কোড refactor-এর আগে বর্তমান আচরণ রেকর্ড করতে।
ভ-২২Test selection আর prioritization-এর পার্থক্য? (মাঝারি)
Selection কিছু test বাদ দেয়; prioritization সব রাখে, শুধু ক্রম বদলায়। পর্ব ৬৮
পরের প্রশ্ন: selection কখন বিপজ্জনক? — বদল কোডের বাইরে (template, config, lockfile) বা map পুরোনো হলে; তাই রাতে পুরো suite.
ভ-২৩At-least-once delivery-তে consumer কেমন হতে হবে? (কঠিন)
Idempotent: event_id টেকসই জায়গায় মনে রাখা, আর effect ও সেই চিহ্ন একই transaction-এ লেখা। পর্ব ৭০
পরের প্রশ্ন: eventual consistency-র test-এ sleep-এর বদলে? — সর্বোচ্চ সময়সহ বারবার দেখা (bounded polling); মিললেই থামে।
ভ-২৪LLM app-এর eval-এ একটি run কেন যথেষ্ট নয়? (কঠিন)
উত্তর নড়ে, তাই একটি run-এর রায় flaky; অনেক run-এর pass rate আর তার confidence interval দিয়ে রায়। পর্ব ৭২
পরের প্রশ্ন: golden set কী? — বাছাই করা প্রশ্নের তালিকা, প্রতিটির সাথে লিখিত নিয়ম থেকে নেওয়া পাসের শর্ত; প্রতিটি বদলের পরে চলা regression test.
সাধারণ ফাঁদ — যেসব কথায় নম্বর কাটে
| ফাঁদের কথা | কেন ভুল | ঠিক কথা |
|---|---|---|
| “Testing প্রমাণ করে software-এ bug নেই” | Test শুধু উপস্থিতি দেখায় | “চালানো test-এ এই ঝুঁকিগুলো কমেছে” |
| “Coverage ১০০%, তাই suite ভালো” | চলা মাপে, যাচাই নয় | Mutation score আর সীমার test পাশাপাশি |
| “Flaky হলে retry দিন” | সংকেত চাপা পড়ে | কারণ খুঁজুন; মালিক আর সময়সহ quarantine |
| “axe সবুজ, তাই accessible” | Focus ring ১.০৭:১ ধরেনি | Keyboard, contrast আর মানুষের বিচার |
| “Contract সবুজ, তাই integration ঠিক” | মান যাচাই করে না | Functional API test সাথে রাখুন |
| “গড় ২ s-এর নিচে, NFR পাস” | গড় লেজ লুকায় | p95 দেখুন |
| বানানো সংখ্যা, সাল বা “বিখ্যাত প্রশ্ন” | একটি ভুলেই সব উত্তরে সন্দেহ | নিশ্চিত না হলে “প্রায়”, “বলে উল্লেখিত” |
না জানলে — সৎভাবে উত্তর
আংশিক জানলে বলুন: “TMMi-র পাঁচটি level-এর সব নাম মনে নেই; যা জানি, level ৫-এ defect prevention আসে, এর বাইরে অনুমান করব না।” Tool-এর option মনে না থাকলে বলুন কোথায় দেখবেন (official docs) আর কীভাবে যাচাই করবেন। নিজের ভুল ধরা পড়লে “আগে যা বলেছি, তা ভুল; ঠিক হলো …” বলুন। যে run চালাননি, তার ফল কখনো দাবি করবেন না।
AI-এর যুগে — AI-কে কড়া পরীক্ষক বানান
AI সহকারী প্রশ্ন বানাতে আর উত্তর যাচাই করাতে কাজে লাগে, কিন্তু testing-এ তারা প্রায়ই শুধু happy path-এর test লেখে, requirement-এর বদলে কোড এখন যা করে তাই assert করে (ভুল কোডেও পাস করা test), API-র field আর tool-এর option বানায়, sleep দিয়ে flaky wait লেখে, সব mock করে আসল কিছু test হতে দেয় না, সীমা ফসকায়, আর না চালিয়ে বলে “সব test পাস”। তাই তাকে পরীক্ষক বানান, আর প্রতিটি দাবি নিজে চালিয়ে, কোডে ইচ্ছা করে ভুল বসিয়ে আর official docs-এ মেলান।
৯ · শেষ রিভিশন — এক পাতায় তুলনাগুলো
পরীক্ষার আগের রাতে এই ছকটি পড়ুন; প্রতিটি সারি একটি লিখিত প্রশ্নের মেরুদণ্ড।
| জোড়া | এক লাইনের পার্থক্য | প্রশ্ন |
|---|---|---|
| Verification / validation | Spec মেনেছি / প্রয়োজন মিটেছে | ক-০১ |
| Level / type | কতটুকু জোড়া / কোন গুণ | ক-০২ |
| Severity / priority | কত ক্ষতি / কত তাড়া | খ-০১ |
| Stub / mock / fake | উত্তর দেয় / ডাক যাচাই / সত্যিই কাজ করে | গ-০১ |
| Contract / E2E | আলাদা, চুক্তির বিরুদ্ধে / সব একসাথে | গ-০৩ |
| Auto-wait / sleep | শর্তের অপেক্ষা / সময়ের অনুমান | ঘ-০১ |
| Load / stress / soak | প্রত্যাশিত / সীমার ওপরে / দীর্ঘ | ঙ-০১ |
| SAST / DAST | কোড পড়ে / চলন্ত app-এ request | ঙ-০২ |
| i18n / l10n | জায়গা বানানো / locale বসানো | ঙ-০৪ |
| Coverage / mutation | কী চলেছে / ভুল ধরে কি না | চ-০২ |
| Canary / blue-green | ধাপে ধাপে ভাগ / এক ধাপে সব | চ-০৩ |
নিজেকে যাচাই করুন
ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।
ক্রমDefect lifecycle-এর এই ছয়টি অবস্থা (কোনো reopen ছাড়া) ঠিক ক্রমে সাজান (▲▼ চেপে সরান)
- New
- Assigned
- Fixed
- Retest
- Verified
- Closed
(সহজ) একটি খসড়া spec-এ শুধু “১০–৫০০ অক্ষর” লেখা; developer আর tester দুজনেই রিভিউর দৈর্ঘ্য UTF-16 একক ধরে গুনলেন, সব test পাস; কিন্তু ক্রেতা পাঁচটি 👍 লিখে আটকে যান না, অথচ product owner-এর মানে ছিল code point, সেই হিসাবে আটকানোর কথা। মূল শিক্ষা কোনটি?
- Test পাস করেছে, তাই এটি bug নয়
- দৈর্ঘ্যের একক requirement-এ স্পষ্ট না থাকলে কোড আর test একই ভুল করতে পারে
- Emoji রিভিউতে নিষিদ্ধ করাই সমাধান
- এটি performance-এর সমস্যা
(সহজ) “হোম পেজে দোকানের নামের বানান ভুল” — সাধারণত কোন severity আর priority?
- Severity উঁচু, priority উঁচু
- Severity উঁচু, priority নিচু
- Severity নিচু, priority উঁচু
- Severity নিচু, priority নিচু
(মাঝারি) একটি pay function অর্ডার আগেই paid কি না দেখার আগে wallet-এ টাকা কাটে। নিচের কোন test এই ভুল সবচেয়ে নির্ভরযোগ্যভাবে ধরে?
- Stub wallet দিয়ে একবার pay করে ফেরত txn মেলানো
- Mock wallet দিয়ে একবার pay করে
charge(8, 961)ডাকা হয়েছে কি না দেখা - Dummy wallet দিয়ে pay করা
- Ledger-ওয়ালা fake wallet দিয়ে দুবার pay করে charge গোনা
(মাঝারি) ১০০টি response time-এর গড় ৬১৫ ms, কিন্তু p95 ৩৪৩৪ ms. Requirement “p95 ≤ ২ s”. রায় কী?
- ফেল, কারণ p95 সীমা ছাড়িয়েছে
- পাস, কারণ গড় ২ s-এর নিচে
- পাস, কারণ median আরও কম
- বলা যায় না, কমপক্ষে ১০০০টি নমুনা লাগে
(মাঝারি) ZAP-এর passive baseline scan একটি app-এ reflected XSS পায়নি। সবচেয়ে সঠিক সিদ্ধান্ত কোনটি?
- App-এ XSS নেই
- Passive scan payload পাঠায় না; নিজের app-এ active scan আর হাতে লেখা test লাগবে
- DAST বাদ দিয়ে শুধু SAST চালানো উচিত
- XSS rule বন্ধ করে দেওয়া
(কঠিন) একটি suite-এ line আর branch coverage ১০০%, অথচ mutation run-এ ৭৪টি mutant-এর ১১টি বেঁচে আছে। পরের সবচেয়ে ভালো পদক্ষেপ কোনটি?
- আরও লাইন ঢাকতে নতুন test লেখা
- Survived mutant-গুলোকে equivalent ধরে বাদ দেওয়া
- প্রতিটি survivor দেখে requirement থেকে সীমার test যোগ করা
- Coverage gate ৯০% থেকে ১০০% করা
শব্দকোষ
লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব শব্দ এখানে একসাথে:
মনে রাখুন
- কাঠামোই নম্বর: সংজ্ঞা → একই সারির তুলনার ছক → বাজারঘরের উদাহরণ → কখন কোনটি → সীমা।
- দুই প্রশ্ন আলাদা রাখুন: verification বনাম validation, severity বনাম priority, level বনাম type, deploy বনাম release.
- মাপ লক্ষ্য নয়: coverage চলা মাপে, mutation যাচাই মাপে; গড় লেজ লুকায়, p95 দেখায়; axe সবুজ মানে accessible নয়।
- সংখ্যা সত্যিকারের: ৩৬.৭%, ৪৩.২ মিনিট, ১.০৭:১, ৮৫.১% — প্রতিটি হিসাব বা run থেকে; বানানো সংখ্যা নয়।
- ভাইভায় তিন বাক্য: কী → একটি উদাহরণ → কী ধরে না; না জানলে সৎভাবে বলুন।
আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ
- সফটওয়্যার টেস্টিং ও QA · কোর্স হোম৮২টি পর্বপুরো কোর্সের মানচিত্র আর ১৪টি মডিউল।
- পর্ব ৭৭ · ক্যাপস্টোন — বাজারঘরের জন্য পূর্ণ test strategy আর test suiteরিভিশনল-০৩-এর strategy, xfail আর go/no-go-র পূর্ণ রূপ।
- পর্ব ৪০ · Flaky test — কারণ, খোঁজা, quarantine আর স্থায়ী সমাধানরিভিশনঘ-০২-এর ২০টি run-এর সত্যিকারের ল্যাব।
- সফটওয়্যার ইঞ্জিনিয়ারিং ও Git · পর্ব ৬৮ · লিখিত ও মৌখিক (ভাইভা) প্রশ্নপাশের ট্র্যাকProcess, requirement আর design-এর দিক থেকে testing-এর প্রশ্ন।
- সাইবার নিরাপত্তা · পর্ব ৭৮ · লিখিত ও মৌখিক (ভাইভা) প্রশ্নগভীরেঙ-০২-এর SAST, DAST আর web নিরাপত্তার পূর্ণ প্রেক্ষাপট।
- সিস্টেম ডিজাইন · পর্ব ৬৪ · লিখিত ও মৌখিক (ভাইভা) প্রশ্নপাশের ট্র্যাকSLO, canary আর distributed system-এর নকশার প্রশ্ন।