এই পর্বে যা শিখবেন
- Local, CI, test, staging, pre-production আর production পরিবেশের কাজ আলাদা করা, আর parity ও drift বোঝা
- প্রতি পরিবেশে আলাদা config আর secret রাখা, আর দুটি পরিবেশকে একটি smoke script দিয়ে তুলনা করা
- Synthetic, seed, subset আর masked copy থেকে উপযুক্ত test data-র কৌশল বেছে নেওয়া
- Substitution, shuffling, keyed hash আর format-preserving masking প্রয়োগ করে leak আর integrity যাচাই করা
- Ephemeral environment, Docker Compose আর reset বা snapshot দিয়ে test data-র অবস্থা নিয়ন্ত্রণ করা
১ · মঞ্চ আর উপকরণ — test-এর পরিবেশ আর ডেটা কেন আলাদা বিষয়
বিয়েবাড়ির বাবুর্চির কথা ভাবুন। পাঁচশো জনের বিরিয়ানি চড়ানোর আগে তিনি ছোট হাঁড়িতে একবার রেঁধে চেখে দেখেন। কিন্তু ছোট হাঁড়ির স্বাদ ঠিক হলেই বড় ডেকচিতে ঠিক হবে, এমন নিশ্চয়তা নেই: চুলার আঁচ আলাদা, মশলার ব্যাগ অন্য দোকানের, চালও হয়তো নতুন বস্তার। ভালো বাবুর্চি তাই মহড়ায় যতটা সম্ভব আসল চুলা আর আসল চাল ব্যবহার করেন, আর অতিথির প্লেটে তোলার আগে বড় ডেকচি থেকে আবার এক চামচ চাখেন।
Software test-এও দুটি জিনিস ফলকে বদলে দেয়: কোথায় চলছে আর কোন data নিয়ে চলছে। Test environment মানে test চালাতে যা যা লাগে তার পুরো সমষ্টি: server বা container, app-এর নির্দিষ্ট version, config, database, বাইরের service (বা তাদের নকল), আর tool. ISTQB-এর শব্দকোষেও ধারণাটি মোটামুটি এভাবেই: test চালানোর জন্য প্রয়োজনীয় hardware, software, simulator আর সহায়ক উপাদানের পরিবেশ। Test data হলো test চলার আগে যা database-এ থাকে আর test যা input হিসেবে পাঠায়।
বাজারঘরে একই coupon test এক পরিবেশে সবুজ, আরেকটিতে লাল হতে পারে, কোড না বদলে, শুধু config আলাদা বলে; আর order-তালিকা ৭টি order-এ দ্রুত, হাজার হাজার order-এ ধীর (পর্ব ৪৯, Bottleneck খোঁজা)। এই পর্বের প্রশ্ন তিনটি: কোন পরিবেশে কী test চলবে, পরিবেশগুলো কীভাবে একই রকম রাখবেন, আর production-এর মতো বাস্তব data কোথা থেকে আনবেন আসল মানুষের গোপনীয়তা না ভেঙে।
মনে রাখার ছবি: পরিবেশ হলো মঞ্চ, data হলো উপকরণ। মঞ্চ ভুল হলে ঠিক নাটকও ভুল দেখায়; উপকরণ নকল হলে ঠিক রান্নাও ভুল স্বাদ দেয়। আর আসল অতিথির খাবার মহড়ার জন্য তুলে আনা যায় না, যেমন আসল ক্রেতার নাম-ফোন test-এর জন্য তুলে আনা যায় না।
২ · পরিবেশের ধরন — ল্যাপটপ থেকে production
বেশিরভাগ দলে কয়েক ধাপের পরিবেশ থাকে। নাম দল ভেদে বদলায়, কাজটা মোটামুটি একই। পর্ব ০৪-এ (SDLC-তে testing) test environment প্রস্তুতকে test-প্রক্রিয়ার একটি ধাপ হিসেবে দেখেছেন; এখানে প্রতিটি পরিবেশকে আলাদা করে দেখি:
| পরিবেশ | কে, কখন | কোন test | Data |
|---|---|---|---|
| Local (ল্যাপটপ) | Developer, প্রতি মিনিটে | Unit, ছোট integration | Seed, builder |
| CI | প্রতি commit-এ, স্বয়ংক্রিয় | পুরো suite, API, smoke UI | Seed, প্রতি run-এ নতুন |
| Dev / integration | সব দলের কোড একসাথে | Service-এর জোড় | Synthetic |
| Test / QA | Tester, প্রতি build-এ | System, exploratory, regression | Seed + synthetic |
| Staging | Release-এর আগে | শেষ যাচাই, UAT, performance | Masked copy বা বড় synthetic |
| Pre-production | কিছু দলে, production-এর যমজ | Deploy-এর মহড়া | Masked copy |
| Production | আসল ক্রেতা | Smoke, monitoring (পর্ব ৬৬) | আসল data, শুধু এখানেই |
পরিবেশের সিঁড়ি — একই artifact, ভিন্ন config আর ভিন্ন data
The environment ladder: one build promoted upward, config and data change per rung
Parity — যমজ রাখার চেষ্টা। Environment parity মানে পরিবেশগুলো যতটা সম্ভব একই রকম রাখা: একই OS-এর ধরন, একই database engine আর version, একই ধরনের config. ২০১১ সালের দিকে Heroku-র প্রকৌশলীদের (Adam Wiggins প্রমুখ) লেখা Twelve-Factor App নির্দেশিকা দুটি নিয়ম জনপ্রিয় করে, যা tester-এর জন্য সরাসরি কাজের: config কোডে নয়, পরিবেশে (environment variable-এ) রাখা; আর development, staging ও production-এর ফারাক (সময়, মানুষ, tool) ছোট রাখা। প্রতিটি পরিবেশের জন্য আলাদা build বানালে test-এর ফল কেন অর্থহীন, তা ক্লাউড ও DevOps কোর্সের পর্ব ৫৮-এ দেখেছেন।
যা কখনো পুরো মেলে না। Staging-এ ঈদের আগের ভিড় নেই, cache আলাদা, আর wallet নকল। তাই staging-এ পাস করা মানে “বড় ভুল নেই”, “কোনো ভুল নেই” নয়। কোন পার্থক্য ইচ্ছাকৃত আর কোনটি দুর্ঘটনা, সেটি লিখে রাখাই আসল কাজ। দুর্ঘটনার পার্থক্যের নাম configuration drift: কেউ হাতে একটি setting বদলালেন, আর তা আর ফেরানো হলো না।
বাইরের নির্ভরতা: আসল না নকল? বাজারঘরের wallet, SMS বা courier-এর মতো service প্রতিটি পরিবেশে আসল হতে পারে না। নিচের ধাপে virtual service (পর্ব ৩৪, Service virtualization), staging-এ সাধারণত প্রতিষ্ঠানের দেওয়া sandbox, আর শুধু production-এ আসল service. প্রতিটি পরিবেশের তালিকায় লিখুন কোন নির্ভরতা আসল, কোনটি নকল; এই তালিকা না থাকলে staging-এর একটি test ভুল করে আসল ক্রেতাকে SMS পাঠাতে পারে (ভাবনার প্রশ্ন ৫)।
৩ · প্রতি পরিবেশে আলাদা config, আর ক্ষণস্থায়ী পরিবেশ
পর্ব ৪৫-এ (Automation framework) test-এর দিক থেকে নিয়মটি দেখেছেন: base URL আর পাসওয়ার্ড কোডে নয়, বাইরে থেকে আসে। এবার app-এর দিক থেকে। এই পর্বের সব সত্যিকারের run একটি আলাদা scratch ফোল্ডারে: বাজারঘরের app (MIT) নিজের কপি থেকে, Python 3.12.13, Uvicorn 0.54.0, SQLite 3.53.1; test-এ pytest 9.2.0 (MIT) আর httpx 0.28.1 (BSD-3-Clause); data বানাতে Faker 40.54.0 (MIT). সব অনুরোধ শুধু নিজের 127.0.0.1-এ, port 8852 আর 8862; DO_NOT_TRACK=1 রাখা ছিল। এই কম্পিউটারে Docker নেই, তাই “পরিবেশ” মানে এখানে app-এর আলাদা process, port, database ফাইল আর config ফাইল।
দুটি পরিবেশের config ফাইল, যেমন ছিল প্রথম run-এর সময়:
# env/test.env # env/staging.env
BAZARGHAR_PORT=8852 BAZARGHAR_PORT=8862
BAZARGHAR_DB=data/test.db BAZARGHAR_DB=data/staging.db
BAZARGHAR_TEST_MODE=1 BAZARGHAR_TEST_MODE=0
BAZARGHAR_WALLET_MODE=success BAZARGHAR_WALLET_MODE=success
DATA=seed BAZARGHAR_BUGS=coupon_ge
DATA=staging_first.db
Test পরিবেশে /api/test/* চালু, যাতে test নিজেই reset করতে পারে; staging-এ বন্ধ, production-এর মতো। Staging-এর ফাইলে একটি লাইন থাকার কথা নয়; সেটি §৭-এ ধরা পড়বে। ফাইলে কোনো পাসওয়ার্ড নেই। Smoke script-এর লগইন আসে প্রতি পরিবেশের নিজস্ব environment variable থেকে (SMOKE_STAGING_USER, SMOKE_STAGING_PASS); CI-তে এগুলো থাকে secret store-এ, আর বড় প্রতিষ্ঠানে একটি secret manager-এ (প্রতিটি secret পরিবেশ-ভেদে আলাদা), যার ভেতরের কাজ ক্লাউড ও DevOps কোর্সের পর্ব ৩৩-এ।
পরিবেশ চালু আর বন্ধ করে একটি ছোট script, envctl.py: config পড়ে, database বানায় (seed থেকে, বা snapshot থেকে SQLite-এর backup API দিয়ে), server চালিয়ে PID রাখে, আর /api/health-এর জন্য সর্বোচ্চ ১০০ বার দেখে। বন্ধ করে শুধু সেই PID ধরে।
Ephemeral environment — দরকারের সময় জন্ম, কাজ শেষে মৃত্যু
স্থায়ী test পরিবেশে ময়লা জমে: কাল কেউ একটি order বাতিল করে রেখে গেছেন, আজ আপনার test সেটিতে হোঁচট খায়। Ephemeral environment উল্টো পথ নেয়: প্রতিটি pull request বা প্রতিটি test run-এর জন্য একটি নতুন পরিবেশ, শূন্য থেকে, আর কাজ শেষে সব মুছে ফেলা। নিচে সত্যিকারের একটি run, port 8852-এ, seed data দিয়ে:
- Config
eph.envপরিবেশের বর্ণনা - জন্ম
upনতুন database - Smoke
31 msঠিক আছে কি? - Test
4 passedআসল কাজ - মৃত্যু
downকিছু থাকে না
BAZARGHAR_PORT=8852 BAZARGHAR_DB=data/eph.db BAZARGHAR_TEST_MODE=1 DATA=seed
eph up on :8852 data=seed in 0.69 s # ফাঁকা DB → schema → seed → server
orders (admin view) 7 smoke time ms 31 unexpected differences: 0
.... [100%]
4 passed in 0.13s
eph down (pid file removed) DB, -wal, -shm ফাইল মোছা eph files left: 0
ephemeral total: 1876 ms # সবচেয়ে বড় অংশ: server চালু
- বর্ণনা আগে। পরিবেশটি চার লাইনের একটি ফাইলে লেখা: port, database ফাইল, test mode, আর data কোথা থেকে আসবে। হাতে কিছু করা হয় না; তাই প্রতিবার একই পরিবেশ জন্মায়।
- জন্ম, ০.৬৯ সেকেন্ডে। আগের কোনো database ফাইল থাকলে মুছে, schema আর seed বসিয়ে, server চালু, আর health সাড়া দেওয়া পর্যন্ত অপেক্ষা। এই অপেক্ষা সীমিত সংখ্যক চেষ্টায়, অন্ধ
sleep-এ নয়। - Smoke, ৩১ ms-এ। Test চালানোর আগে প্রশ্ন: পরিবেশটি নিজে ঠিক আছে কি? Seed-এ অ্যাডমিন ৭টি order দেখেন, অপ্রত্যাশিত পার্থক্য ০. Smoke ব্যর্থ হলে test চালানো অর্থহীন, কারণ লাল test তখন পরিবেশের দোষ দেখাবে, কোডের নয়।
- আসল test. চারটি API test, ০.১৩ সেকেন্ডে পাস। বাস্তবের দলে এখানে পুরো suite চলে, আর রিপোর্ট আর log artifact হিসেবে রেখে দেওয়া হয়, কারণ পরিবেশটি একটু পরে আর থাকবে না।
- মৃত্যু। নিজের PID ধরে server বন্ধ, তারপর database আর তার
-wal,-shmফাইল মোছা। শেষ লাইন যাচাই করে কিছু পড়ে নেই। এই যাচাইটুকু বাদ দিলে “ক্ষণস্থায়ী” পরিবেশও চুপচাপ জমে যায়। - মোট ১,৮৭৬ ms. ছোট app-এ পুরো জন্ম-মৃত্যু দুই সেকেন্ডেরও কম; বড় system-এ কয়েক মিনিট হতে পারে।
Docker থাকলে একই কাজ সাধারণত Docker Compose দিয়ে হয়: একটি YAML ফাইলে app, database আর নকল service, আর এক কমান্ডে সব চালু বা বন্ধ। নিচের ফাইলটি উদাহরণ, চালানো হয়নি (এই কম্পিউটারে Docker নেই); Compose-এর বিস্তারিত ক্লাউড ও DevOps কোর্সের পর্ব ৪০-এ।
# one image for every environment; only env_file and data change
services:
shop:
image: bazarghar:1.0.0
env_file: env/${ENV:-test}.env
ports: ["127.0.0.1:8852:8765"]
healthcheck:
test: ["CMD", "python", "-c",
"import urllib.request as u; u.urlopen('http://127.0.0.1:8765/api/health')"]
interval: 5s
retries: 10
smoke:
image: bazarghar-tests:1.0.0
depends_on:
shop: {condition: service_healthy}
command: ["python", "env_smoke.py", "test=http://shop:8765"]
# docker compose -p qa-pr-42 up -d --wait (one project name per PR)
# docker compose -p qa-pr-42 down -v (-v: delete its volumes too)লক্ষ করুন: image একটিই, বদলায় শুধু env_file; service_healthy শর্ত smoke-কে health ঠিক হওয়া পর্যন্ত থামিয়ে রাখে; আর প্রতিটি pull request-এর নিজের project নাম, যাতে দুটি পরিবেশ একে অন্যের container না ছোঁয়, আর down -v data-সহ সব মোছে। Test-এর ভেতর থেকে container চালানোর library Testcontainers পর্ব ২৮-এ (Integration testing) দেখেছেন; সেখানে একটি test-এর জন্য একটি database, এখানে পুরো পরিবেশ।
৪ · Test data-র কৌশল — বানানো, seed, অংশ আর মাস্ক করা কপি
পর্ব ২৩-এ (Fixture আর test data) একটি test-এর জন্য data বানানো দেখেছেন: builder, factory আর seed বাঁধা Faker. এখানে প্রশ্ন বড় পরিসরের: একটি পুরো পরিবেশে কোন data থাকবে? চারটি প্রধান কৌশল, আর একটি নিষিদ্ধ পথ:
| কৌশল | ভালো দিক | দুর্বলতা | কোথায় |
|---|---|---|---|
| Seed (স্থির, হাতে লেখা) | প্রতিবার হুবহু এক; boundary মান ইচ্ছামতো | ছোট; বাস্তবের বৈচিত্র্য নেই | Local, CI, test |
| Synthetic (generator দিয়ে বানানো) | যত খুশি বড়; কোনো আসল মানুষ নেই | Generator নিয়ম না জানলে অবাস্তব বা ভাঙা data | Performance, staging |
| Production-এর subset | আসল বণ্টন আর অদ্ভুত ঘটনা | আসল মানুষের data; সম্পর্ক ভাঙার ঝুঁকি | মাস্ক ছাড়া কোথাও নয় |
| Masked copy | বাস্তবের আকার আর বণ্টন, পরিচয় ছাড়া | মাস্ক ভুল হলে ফাঁস; আইনি প্রশ্ন থাকে | Staging, pre-prod |
| আসল production data | — | গোপনীয়তা, নিরাপত্তা আর আইনের ঝুঁকি | Test পরিবেশে কখনো নয় |
এই পর্বে “production-এর মতো” data পুরোটাই বানানো। Faker-এর locale bn_BD এই version-এ বাংলা নাম ও ঠিকানা দেয় (যেমন “নাইম জামান”); কিন্তু এর ফোন নম্বর বাজারঘরের নিয়ম মানে না (পর্ব ২৩), তাই ফোন বানানো হয়েছে নিজের নিয়মে। Seed ৬৫ বাঁধা, তাই প্রতিবার একই ২,০০৫ জন ব্যবহারকারী (অ্যাডমিনসহ) আর ৬,০০৭টি order. এটিই এই পর্বের “production”.
Subset নেওয়ার ফাঁদ। পুরো database বড় হলে অনেক দল একটি ছোট অংশ নেয়। সহজতম পথ, “প্রতিটি table থেকে প্রথম কয়েকটি সারি”, প্রায় সবসময় ভুল, কারণ order আর ক্রেতা আলাদা করে কাটা হলে কিছু order-এর ক্রেতা subset-এ থাকে না। এই শর্তের নাম referential integrity: প্রতিটি foreign key এমন সারিকে দেখায়, যা সত্যিই আছে। নিচের ব্লক আপনার browser-এর SQLite-এ চলে; data আগে থেকে মাস্ক করা, ছয়জন ক্রেতা আর আটটি order:
-- subset A: first 3 customers + first 5 orders, taken separately
CREATE TABLE a_c AS SELECT * FROM customers ORDER BY id LIMIT 3;
CREATE TABLE a_o AS SELECT * FROM orders ORDER BY id LIMIT 5;
-- subset B: pick customers, then follow the foreign key
CREATE TABLE b_c AS SELECT * FROM customers WHERE district = 'Dhaka';
CREATE TABLE b_o AS SELECT * FROM orders
WHERE customer_id IN (SELECT id FROM b_c);
SELECT 'A: first-N' AS subset,
(SELECT count(*) FROM a_o) AS orders,
(SELECT count(*) FROM a_o WHERE customer_id NOT IN (SELECT id FROM a_c)) AS orphans
UNION ALL
SELECT 'B: by foreign key', (SELECT count(*) FROM b_o),
(SELECT count(*) FROM b_o WHERE customer_id NOT IN (SELECT id FROM b_c));
-- masked phones must still follow the phone rule
SELECT id, name, phone FROM customers
WHERE phone NOT GLOB '01[3-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]';আসল আউটপুট (ব্রাউজারের SQLite):
subset | orders | orphans
A: first-N | 5 | 2
B: by foreign key | 5 | 0
id | name | phone
4 | জয় হাসান | 01200000014
5 | সুমি ইসলাম | ০১৭০০০০০০১৫
দুই subset-এই ৫টি order, কিন্তু A-তে দুটি এতিম: order ১০২ (ক্রেতা ৪) আর ১০৪ (ক্রেতা ৬), কারণ subset-এ শুধু ক্রেতা ১–৩. এমন data-য় order-এর পাতা খুললে app ভেঙে পড়তে পারে, আর tester ভাববেন app-এর bug. B আগে ক্রেতা বাছে (ঢাকার তিনজন), তারপর foreign key ধরে তাঁদের সব order আনে; এতিম ০. বড় schema-য় একই নিয়ম পুরো সম্পর্কের গাছ ধরে চলে: order থেকে order_items, history, review আর payment. দ্বিতীয় query দেখায়, মাস্ক করার পরেও দুটি ফোন নিয়ম ভাঙে: একটির তৃতীয় অঙ্ক ২, আরেকটি বাংলা অঙ্কে। মাস্কের কাজ নিয়ম রক্ষা করা; ভুল ফরম্যাটের মাস্ক validation-এর test-কে মিথ্যা লাল করে।
আইন আর গোপনীয়তা নিয়ে সাবধানে: অনেক দেশের ব্যক্তিগত তথ্যের আইনে test-এর জন্য আসল গ্রাহকের data ব্যবহারে উদ্দেশ্য, অনুমতি আর সুরক্ষার শর্ত থাকে বলে ধরা হয়। যেমন ইউরোপের GDPR-এ pseudonymised data-ও সাধারণত ব্যক্তিগত data হিসেবেই গণ্য, শুধু সত্যিকারের বেনামি data এর বাইরে। বাংলাদেশেও ব্যক্তিগত উপাত্ত সুরক্ষা নিয়ে নতুন আইনি কাঠামো এসেছে, যার কাঠামো সাইবার নিরাপত্তা কোর্সের পর্ব ৭০-এ। এটি আইনি পরামর্শ নয়; নিজের প্রতিষ্ঠানের আইনি আর privacy দলের সাথে কথা বলুন। নিরাপদ অভ্যাস: বানানো data দিয়ে কাজ চললে সেটিই প্রথম পছন্দ; আসল data ঢোকে শুধু অনুমোদিত, যাচাই করা masking-এর পরে।
৫ · Data masking-এর কৌশল — কী বদলাবেন, কী রাখবেন
Data masking মানে data-র ব্যক্তিগত অংশ বদলে দেওয়া, যাতে test-এর কাজে লাগে কিন্তু কাউকে চেনা না যায়। সব মুছে দিলে কাউকে চেনা যায় না, কিন্তু test-ও চলে না; তাই কোন field-এ কোন কৌশল, তা ঠিক করে test-এর প্রয়োজন:
| কৌশল | বাজারঘরে | কী থাকে | ঝুঁকি |
|---|---|---|---|
| Substitution (বদলি) | নাম → অন্য বানানো নাম | ধরন, ভাষা, দৈর্ঘ্যের মোটামুটি মিল | ছোট তালিকা থেকে নিলে আসল নামের সাথে মিলতে পারে |
| Shuffling | জেলার column সারিগুলোর মধ্যে এলোমেলো | মোট বণ্টন হুবহু | সারির ভেতরের সম্পর্ক ভাঙে (ঢাকার ঠিকানা, রাজশাহী জেলা) |
| Keyed hash (HMAC) | ই-মেইল → u35b3…@example.test | একই মান → একই মাস্ক, join চলে | Key ফাঁস হলে অনুমানে উল্টানো যায় |
| Format-preserving | ফোন → আরেকটি বৈধ 01[3-9] নম্বর | Validation, দৈর্ঘ্য, ফরম্যাট | Key ছাড়া hash হলে একই ঝুঁকি |
| Redaction বা null | Review-এর লেখা থেকে নম্বর মুছে *** | কিছুই না, শুধু গঠন | Test-এর কাজে কম লাগে |
| Generalization | জন্মতারিখ → জন্মসাল | মোটা বণ্টন | সূক্ষ্ম boundary test চলে না |
দুটি শব্দ গুলিয়ে ফেলবেন না। Pseudonymization মানে আসল পরিচয়ের জায়গায় ছদ্ম মান, যা key বা মিলের তালিকা থাকলে ফেরানো বা মেলানো যায়; keyed hash এই দলে পড়ে। Anonymization মানে চেনার পথ এমনভাবে সরানো, যাতে আর ফেরানো না যায়, যা বাস্তবে অনেক কঠিন (ভাবনার প্রশ্ন ১ আর ২)। Test data-য় বেশিরভাগ সময় যা হয়, তা pseudonymization; তাই key-কে পাসওয়ার্ডের মতোই গোপন রাখতে হয়। তাত্ত্বিক দিক আর PII-র তালিকা সাইবার নিরাপত্তা কোর্সের পর্ব ৭০-এ।
নিচের ব্লকে দুটি কৌশল নিজে চালিয়ে দেখুন: তালিকা থেকে নাম বদলি আর format-preserving ফোন মাস্ক, দুটিই HMAC থেকে আসা একটি বড় সংখ্যার ওপর দাঁড়ানো। শেষে দেখবেন, key ছাড়া সাধারণ hash কেন মাস্ক নয়। প্রথমবার “চালান” চাপলে browser-এ Pyodide নামতে কয়েক সেকেন্ড লাগে।
import hashlib, hmac, random, re
KEY = b"demo-key-65" # the real key lives in a secret store
RULE = re.compile(r"01[3-9]\d{8}")
FIRST = ["রহিম", "সুমি", "তানভীর", "নাসরিন", "জয়", "রুমানা", "আরিফ", "লিপি"]
LAST = ["হাসান", "আক্তার", "সাহা", "রহমান", "ইসলাম", "দাস"]
def num(kind, value, key=KEY): # keyed hash -> a big whole number
d = hmac.new(key, f"{kind}:{value}".encode(), hashlib.sha256).digest()
return int.from_bytes(d[:8], "big")
def mask_name(name, key=KEY): # substitution from a list
n = num("name", name, key)
return FIRST[n % 8] + " " + LAST[(n // 8) % 6]
def mask_phone(phone, key=KEY): # format-preserving: still 01[3-9] + 8 digits
n = num("phone", phone, key)
return "01" + str(3 + n % 7) + f"{(n // 7) % 10**8:08d}"
def show(p): return p[:3] + "*****" + p[-3:] # never print a whole number
row = ("মিতু রহমান", "01700000001")
print("original :", row[0], show(row[1]))
print("masked :", mask_name(row[0]), show(mask_phone(row[1])))
print("again :", mask_name(row[0]), show(mask_phone(row[1])))
print("other key:", mask_name(row[0], b"other-key"), show(mask_phone(row[1], b"other-key")))
rng = random.Random(65)
phones = {"01" + str(rng.randint(3, 9)) + f"{rng.randrange(10**8):08d}" for _ in range(20000)}
masked = [mask_phone(p) for p in phones]
print("valid after masking:", sum(bool(RULE.fullmatch(m)) for m in masked), "of", len(masked))
print("collisions:", len(masked) - len(set(masked)))
plain = hashlib.sha256(b"01700000001").hexdigest() # unkeyed hash, as some teams do
guess = next(f"017000{i:05d}" for i in range(10**5)
if hashlib.sha256(f"017000{i:05d}".encode()).hexdigest() == plain)
print("unkeyed hash reversed by guessing:", show(guess))আসল আউটপুট:
original : মিতু রহমান 017*****001
masked : রুমানা দাস 015*****032
again : রুমানা দাস 015*****032
other key: লিপি আক্তার 019*****242
valid after masking: 20000 of 20000
collisions: 0
unkeyed hash reversed by guessing: 017*****001
চারটি শিক্ষা। এক, deterministic: একই key-তে একই মানুষ সবসময় একই মাস্ক পান (“again” লাইন), তাই users আর orders table-এ মাস্ক মেলে, join ভাঙে না। দুই, key বদলালে সব বদলায়: প্রতিটি পরিবেশে আলাদা key দিলে দুটি কপি মিলিয়ে পরিচয় জোড়া যায় না। তিন, ফরম্যাট রক্ষা: ২০,০০০টির সবকটি মাস্কের পরেও বৈধ, কোনো সংঘর্ষ নেই। সংঘর্ষের সম্ভাবনা কম, শূন্য নয়; বড় table-এ uniqueness আলাদা করে যাচাই করুন। চার, key ছাড়া hash মাস্ক নয়: সাধারণ SHA-256 থেকে নম্বরটি ফিরে এল সম্ভাব্য নম্বর একে একে চেষ্টা করে, কারণ ফোন নম্বরের জগৎ ছোট; পুরো জগৎও একটি সাধারণ কম্পিউটারের নাগালে।
এবার একটি পুরো সারি। নিচের stepper-এর মানগুলো এই পর্বের সত্যিকারের masking run থেকে, ক্রেতা ৬-এর (ফোন নম্বরের মাঝের অঙ্ক ঢাকা)। Pipeline-এ নামের বদলি তালিকা থেকে নয়, Faker bn_BD থেকে, যার seed আসে নামের HMAC থেকে:
1row = users[6]2name = faker(hmac(K,name))3phone = "01"+d3+8 digits4email = "u"+hmac(K,email)5pw = hash("test1234")6orders: same K, same mask
| name | |
| phone | |
| pw | |
| district |
- মূল সারি। ক্রেতা ৬: নাম, ফোন, ই-মেইল, পাসওয়ার্ডের hash আর জেলা; তাঁর ৩টি order-এ ঠিকানা আর ফোন আবার আছে। এটিও বানানো data.
- নাম বদলি। নামের HMAC থেকে একটি seed, সেই seed-এ Faker
bn_BDএকটি নতুন নাম দেয়: “কাবেরি দাস”. একই আসল নাম সবসময় একই নতুন নাম পায়। নামটি বাংলা আর বাস্তবসম্মত, তাই বাংলা লেখা দেখানোর test-ও চলে। - ফোন, ফরম্যাট রেখে। HMAC-এর সংখ্যা থেকে তৃতীয় অঙ্ক (৩–৯) আর বাকি আট অঙ্ক। নতুন নম্বর ১১ অঙ্কের,
01দিয়ে শুরু, তাই checkout-এর ফোন-validation আগের মতোই কাজ করে। - ই-মেইল, keyed hash-এ। ছোট হাতের অক্ষরে নিয়ে HMAC, প্রথম ১২টি hex অক্ষর, আর
example.testডোমেইন, যা কখনো কোনো আসল ইনবক্সে পৌঁছায় না। ই-মেইল UNIQUE, তাই মাস্কও আলাদা থাকা চাই। - পাসওয়ার্ড বদল। আসল hash কপি করা হয় না; সবার জন্য একটি জানা test পাসওয়ার্ডের hash. আসল hash staging-এ গেলে তা offline-এ অনুমান করার লক্ষ্য হয়ে দাঁড়ায়।
- জেলা রাখা, order মেলানো। জেলা delivery charge-এর test-এর জন্য দরকার, তাই অপরিবর্তিত; এটি একটি quasi-identifier, তাই অন্য field-এর সাথে মিলিয়ে ঝুঁকি দেখতে হয়। একই key-তে তিনটি order-এর ফোন আর ঠিকানাও একই মাস্ক পায়; পুরো run-এ ৫,৪২৪টি order-এ ফোন ক্রেতার ফোনের সাথে মেলে, মাস্কের আগেও যতগুলো মিলত।
৬ · সত্যিকারের masking pipeline — আর leak check যা ধরল
Masking script লেখা অর্ধেক কাজ; বাকি অর্ধেক প্রমাণ করা যে এটি কাজ করেছে। Pipeline-এর দুটি অংশ: mask.py (backup API দিয়ে কপি, তারপর কপিতে বদল; key আসে environment variable MASK_KEY থেকে) আর check_mask.py (মূল আর মাস্ক করা কপি পাশাপাশি যাচাই)। যাচাই দুই দলের: test-এর কাজে লাগে কি (সারির সংখ্যা, order-এর মোট টাকা, জেলার বণ্টন, referential integrity, ফোনের নিয়ম, একই মানুষের একই মাস্ক) আর কিছু ফাঁস হয়েছে কি (কোনো field অপরিবর্তিত কি না, আর পুরো database-এর প্রতিটি লেখার ঘরে কোনো আসল ফোন নম্বর আছে কি না)।
Leak-এর খোঁজ সব লেখার column-এ, ঢিলে নিয়মে: বাংলা অঙ্ক, ফাঁকা জায়গা বা ড্যাশ মেনে, তারপর ASCII-তে এনে আসল তালিকার সাথে মিলিয়ে। প্রথম version-এ (v1) শুধু role='customer' সারি মাস্ক হতো, আর review-এর লেখার জন্য তিনটি বিকল্প: কিছু না, সরল regex, পুরো নিয়ম। সত্যিকারের run (প্রতিটি থেকে প্রাসঙ্গিক লাইন):
$ uv run python make_prodlike.py prodlike.db 2000 6000
built prodlike.db: {'users': 2005, 'orders': 6007, 'order_items': 12007, 'reviews': 263} in 0.32 s
--- v1 (customers only), free text: none
masked 2004 customers -> v1_none.db (free text: none) in 4.73 s
PASS row counts equal users 2005, orders 6007
PASS order totals equal 6397439 taka
PASS referential integrity fk errors 0, orphan orders 0
PASS phones keep the 01[3-9] rule 8012 of 8012 valid
PASS same person, same mask 5424 orders match their customer
FAIL no field left unmasked 3 unchanged values
FAIL no real phone anywhere {'users.phone': 1, 'reviews.text': 125}
INFO masked names that are also some original name: 662
--- v1, free text: simple
FAIL no real phone anywhere {'users.phone': 1, 'reviews.text': 79}
--- v1, free text: full
FAIL no real phone anywhere {'users.phone': 1}
--- v2 (all users + test accounts), free text: full
masked 2005 users -> masked_full.db (free text: full) in 4.97 s
PASS row counts equal users 2005, orders 6007
PASS no field left unmasked 0 unchanged values
PASS no real phone anywhere
masked dump sha256: d192704bb7fc failed checks: 0
(second run, same key) masked dump sha256: d192704bb7fc
ফলগুলো একে একে পড়ুন। প্রথম সাতটি “কাজে লাগে কি” check v1-এই সবুজ ছিল; শুধু এগুলো দেখলে মনে হতো masking নিখুঁত। ৩টি অপরিবর্তিত মান: অ্যাডমিনের সারি (নাম, ই-মেইল, ফোন), কারণ role='customer' শর্তে সে বাদ পড়েছিল। Review-এর লেখায় ১২৫টি ফোন নম্বর: ক্রেতারা লিখেছিলেন “ডেলিভারির আগে … নম্বরে ফোন দিন”. ফোন column মাস্ক হলেও free text-এ নম্বর অক্ষত। সরল regex (01[3-9]\d{8}) এর মধ্যে ৪৬টি ধরল; বাকি ৭৯টি (৪১টি ড্যাশসহ, যেমন 01712-345678, আর ৩৮টি বাংলা অঙ্কে) ধরল শুধু পুরো নিয়ম। v2 সব সারি মাস্ক করে, দুটি জানা test account যোগ করে (checker তাদের গোনা থেকে বাদ রাখে), আর সব check সবুজ। একই key-তে দ্বিতীয় run-এর dump-এর hash হুবহু এক: masking পুনরাবৃত্তিযোগ্য।
INFO লাইন: মাস্ক করা ২,০০৫টি নামের ৬৬২টি অন্য কোনো ক্রেতার আসল নামের সাথে মেলে, কারণ বদলি আর মূল দুটিই Faker-এর একই তালিকা থেকে। এটি ফাঁস নয় (একই মানুষের নাম ফেরেনি), কিন্তু নাম দেখে “মাস্ক করা” বোঝা যায় না; তাই অনেক দল আলাদা নামের তালিকা নেয়।
Free text-এর ফাঁকটি ছোট একটি unittest-এ ধরা যায়, আর ধরা উচিত, কারণ masking-এর কোডও কোড। নিচের ব্লকে v1-এর সরল regex, আর চারটি test:
import hashlib, hmac, re, sys, unittest
KEY = b"demo-key-65"
PHONE = re.compile(r"01[3-9]\d{8}") # the first, simple version
def mask_phone(p):
n = int.from_bytes(hmac.new(KEY, p.encode(), hashlib.sha256).digest()[:8], "big")
return "01" + str(3 + n % 7) + f"{(n // 7) % 10**8:08d}"
def scrub(text): # free text, e.g. a review
return PHONE.sub(lambda m: mask_phone(m.group()), text)
REAL = "01712345678" # an invented "original" number
class ScrubFreeText(unittest.TestCase):
def test_plain_number_is_replaced(self):
out = scrub(f"ডেলিভারির আগে {REAL} নম্বরে ফোন দিন।")
self.assertNotIn(REAL, out)
self.assertRegex(out, r"01[3-9]\d{8}")
def test_same_number_same_mask(self):
self.assertEqual(scrub(REAL), scrub(REAL))
def test_number_with_dash_is_replaced(self):
self.assertNotIn("345678", scrub("ফোন দিন 01712-345678 নম্বরে।"))
def test_bangla_digits_are_replaced(self):
self.assertNotIn("৩৪৫৬৭৮", scrub("ফোন: ০১৭১২৩৪৫৬৭৮"))
suite = unittest.defaultTestLoader.loadTestsFromTestCase(ScrubFreeText)
unittest.TextTestRunner(verbosity=2, stream=sys.stdout).run(suite)আসল আউটপুট (traceback ছোট করা):
test_bangla_digits_are_replaced (__main__.ScrubFreeText.test_bangla_digits_are_replaced) ... FAIL
test_number_with_dash_is_replaced (__main__.ScrubFreeText.test_number_with_dash_is_replaced) ... FAIL
test_plain_number_is_replaced (__main__.ScrubFreeText.test_plain_number_is_replaced) ... ok
test_same_number_same_mask (__main__.ScrubFreeText.test_same_number_same_mask) ... ok
…
AssertionError: '৩৪৫৬৭৮' unexpectedly found in 'ফোন: ০১৭১২৩৪৫৬৭৮'
…
AssertionError: '345678' unexpectedly found in 'ফোন দিন 01712-345678 নম্বরে।'
…
Ran 4 tests in …s
FAILED (failures=2)
দুটি সবুজ, দুটি লাল, ঠিক lab-এর ৪৬ বনাম ৭৯-এর গল্প। Regex একটানা ASCII অঙ্ক খোঁজে; মাঝে ড্যাশ থাকলে মেলে না, আর শুরুর 01 বাংলা অঙ্কে থাকলে তো নয়ই। AssertionError-এর বার্তাই প্রমাণ দেয়: লেখাটি একটুও বদলায়নি। Lab-এর পুরো নিয়ম [0০][1১][3-9৩-৯](?:[\s-]?[0-9০-৯]){8} দুটিকেই ধরে, তারপর অঙ্কগুলো ASCII-তে এনে একই mask_phone-এ পাঠায়, যাতে একই নম্বর লেখার ধরন যাই হোক একই মাস্ক পায়। Test-গুলো লেখা requirement থেকে, কোডের বর্তমান আচরণ থেকে নয়; তাই এরা ফাঁক ধরে।
একটি অপ্রত্যাশিত ফল: মাস্ক করা data-র প্রথম staging-এ (পরের অংশে) অ্যাডমিনের order-তালিকা HTTP 500 দিল। কারণ masking নয়, data-র generator: প্রথম version-এ ৪,৯২৭টি paid order বানানো হয়েছিল লেনদেন নম্বর (payment_txn) আর পরিশোধের সময় ছাড়া। Database-এ constraint নেই, তাই insert সফল; কিন্তু API-র response model লেনদেন নম্বর চায়, আর এক সারি ভাঙলেই পুরো তালিকা ব্যর্থ। শিক্ষা: synthetic data-কে ব্যবসার invariant মানতে হয় (paid মানে লেনদেন আছে); generator-এর v2 তা মানে, আর ৩,২৮২টি ledger সারিও বানায়।
৭ · দুটি পরিবেশ পাশাপাশি — smoke check আর drift ধরা
এবার দুটি পরিবেশ একসাথে চালু: test (8852, seed data, test endpoint চালু) আর staging (8862, মাস্ক করা ২,০০৫ জনের data, test endpoint বন্ধ)। env_smoke.py প্রতিটি পরিবেশের একটি “আঙুলের ছাপ” নেয় (version, test endpoint, সংখ্যা, তিনটি boundary-তে দাম, ফোনের নিয়ম, অ্যাডমিন লগইন, order-এর সংখ্যা) আর পাশাপাশি রাখে। নকশার পার্থক্য একটি তালিকায় “expected”; বাকি পার্থক্য DRIFT, আর যেকোনো HTTP error সরাসরি ERROR. প্রথম run, সত্যিকারের আউটপুট:
$ python env_smoke.py test=http://127.0.0.1:8852 staging=http://127.0.0.1:8862
check test staging
health ok 1.0.0 ok 1.0.0
test endpoints on off (expected)
districts 12 12
products 12 12
quote 1000 Dhaka -0 +60 = 1060 -100 +60 = 960 <-- DRIFT
quote 1001 Dhaka -100 +60 = 961 -100 +60 = 961
quote 2000 Dhaka -200 +0 = 1800 -200 +0 = 1800
phone rule False False
admin login 200 200
orders (admin view) 7 HTTP 500 <-- ERROR
smoke time ms 36 977
unexpected differences: 2
exit=1
একই সময়ে দুই পরিবেশে চারটি API test (pytest, base URL বাইরে থেকে): test-এ 4 passed, staging-এ:
FAILED env_tests/test_env_api.py::test_coupon_boundary[1000-0] - assert 100 == 0
FAILED env_tests/test_env_api.py::test_mitu_can_log_in - assert 401 == 200
2 failed, 2 passed in 0.21s
একই version (1.0.0), একই কোড, তবু ফল আলাদা। কোথা থেকে শুরু করবেন? নিচের stepper-এ সত্যিকারের তদন্তের ধাপ:
test: 4 passed
staging: 2 failed, 2 passed
health: ok 1.0.0 | ok 1.0.0
quote 1000: -0 │ -100 DRIFT orders: 7 │ HTTP 500 ERROR বাকি ৮টি check: একই
test.env: (BUGS নেই) staging.env: BAZARGHAR_BUGS=coupon_ge # ডেমোর জন্য বসানো, আর সরানো হয়নি
payment.txn_id: Input should be
a valid string (input: None)
4927টি paid order, txn নেই
mitu@bazarghar.test: শুধু seed-এ
staging-এ ই-মেইল মাস্ক করা
# test নিজেই পরিবেশে বাঁধা
quote 1000: -0 │ -0
orders: 7 │ 6007 (expected)
unexpected differences: 0
pytest v2: 4 passed │ 4 passed
- লক্ষণ লিখুন। একই version দুই পরিবেশে, তবু staging-এ দুটি test লাল। Version এক হওয়ায় কোডের পার্থক্য বাদ; সন্দেহ এখন config, data আর নির্ভরতার ওপর। এই কারণেই health endpoint-এ version দেখানো কাজের।
- Smoke-এর পাশাপাশি তুলনা। দশটি check-এর দুটি অমিল: ১০০০ টাকায় staging ১০০ টাকা ছাড় দিচ্ছে (নিয়ম: ১০০০-এর বেশি হলে ছাড়), আর অ্যাডমিনের order-তালিকা HTTP 500. বাকি আটটি একই, তাই সমস্যা সংকীর্ণ।
- Config মেলান। দুই env ফাইল পাশাপাশি রাখতেই উত্তর: staging-এ
BAZARGHAR_BUGS=coupon_ge, যা কেউ একটি ডেমোর জন্য বসিয়ে আর সরাননি। এটিই configuration drift: লিখিত নকশা আর চলমান পরিবেশ আলাদা। (বাজারঘরে এটি একটি ইচ্ছাকৃত bug switch; বাস্তবে এমন জিনিস হয় একটি পুরোনো feature flag বা হাতে বদলানো setting.) - 500-এর পেছনে data. Server-এর traceback: response model-এ
payment.txn_idফাঁকা হতে পারে না। Database-এ খুঁজতেই ৪,৯২৭টি paid order পাওয়া গেল লেনদেন নম্বর ছাড়া, যা প্রথম generator-এর ভুল (§৬-এর নোট)। Config এক থাকলেও data আলাদা হলে ফল আলাদা। - 401: drift নয়, নকশা। Test-টি
mitu@bazarghar.testদিয়ে লগইন করে, যিনি শুধু seed-এ আছেন; staging-এর data মাস্ক করা। পরিবেশ ঠিক আছে, test-টিই এক পরিবেশে বাঁধা। সমাধান: প্রতি পরিবেশের নিজস্ব test account, যার ঠিকানা আর পাসওয়ার্ড আসে environment variable থেকে (masking pipeline staging-এ দুটি জানা test account যোগ করে)। - সারানো আর প্রমাণ। Staging-এর ফাইল থেকে switch সরানো, data-র উৎস v2 generator-এর কপি, আর test-এ প্রতি পরিবেশের নিজস্ব account. আবার run: অপ্রত্যাশিত পার্থক্য ০, staging-এ ৬,০০৭টি order দেখা যায়, আর দুই পরিবেশেই
4 passed. Smoke-টিকে এখন প্রতি deploy-এর পরে বাধ্যতামূলক করুন, যাতে পরের drift নিজে থেকে ধরা পড়ে।
খুঁটিনাটি: staging-এর smoke প্রায় ১ সেকেন্ড, test-এর ৩৬ ms; পার্থক্যের প্রায় পুরোটাই ৬,০০৭টি order-এর তালিকায়, পর্ব ৪৯-এর সেই N+1, যা seed-এ অদৃশ্য ছিল।
Smoke-এর তুলনা app-এর আচরণ দেখে; config-এর তুলনা কারণ দেখায়। দ্বিতীয়টিও স্বয়ংক্রিয় করা যায়: প্রতিটি পরিবেশের কার্যকর config (code-এর default, তারপর ফাইল, তারপর process-এর environment variable) বের করে পাশাপাশি রাখা, secret লুকিয়ে, আর যে পার্থক্য নকশায় নেই তা চিহ্নিত করা। নিচের ব্লকে একটি ছোট রূপ, যেখানে staging-এ কেউ একবার হাতে LOG_LEVEL=debug-ও বসিয়েছিলেন:
import re
DEFAULTS = {"TEST_MODE": "0", "BUGS": "", "WALLET_MODE": "success", "LOG_LEVEL": "info"}
FILES = { # what each environment's .env file says
"test": "PORT=8852\nDB=data/test.db\nTEST_MODE=1\nQA_PASS=demo-a",
"staging": "PORT=8862\nDB=data/staging.db\nBUGS=coupon_ge\nQA_PASS=demo-b",
}
BY_DESIGN = {"PORT", "DB", "TEST_MODE", "QA_PASS"} # allowed to differ
SECRET = re.compile(r"PASS|KEY|TOKEN|SECRET")
def load(text, process_env=None):
cfg = dict(DEFAULTS) # 1. defaults in code
cfg.update(l.split("=", 1) for l in text.splitlines() if "=" in l) # 2. file
cfg.update(process_env or {}) # 3. real env vars win
return cfg
def show(key, value):
return "***" if SECRET.search(key) and value else (value or "''")
envs = {"test": load(FILES["test"]),
"staging": load(FILES["staging"], {"LOG_LEVEL": "debug"})} # set by hand once
drift = 0
print(f"{'key':12}{'test':>15}{'staging':>19}")
for key in sorted(set(envs["test"]) | set(envs["staging"])):
a, b = (envs[n].get(key, "-") for n in ("test", "staging"))
if a == b:
status = ""
elif key in BY_DESIGN:
status = " by design"
else:
status, drift = " DRIFT", drift + 1
print(f"{key:12}{show(key, a):>15}{show(key, b):>19}{status}")
print("drift:", drift)আসল আউটপুট:
key test staging
BUGS '' coupon_ge DRIFT
DB data/test.db data/staging.db by design
LOG_LEVEL info debug DRIFT
PORT 8852 8862 by design
QA_PASS *** *** by design
TEST_MODE 1 0 by design
WALLET_MODE success success
drift: 2
দুটি drift: ফাইলে থাকা bug switch, আর এমন একটি মান, যা কোনো ফাইলে নেই, এসেছে process-এর environment থেকে। দ্বিতীয়টি ফাইল পড়ে খুঁজে পাওয়া যায় না; শুধু চলমান পরিবেশের কার্যকর config দেখায়। QA_PASS দুই পরিবেশে আলাদা (যা হওয়া উচিত), কিন্তু ছাপা হয়েছে শুধু ***: drift রিপোর্ট নিজেই যেন secret ফাঁসের পথ না হয়। আর তালিকা “by design”-এর নিয়ম key ধরে; §৭-এর smoke-এর প্রথম version-এ ঠিক এই ধরনের তালিকা একটি HTTP 500-কে “expected” বলে লুকিয়ে ফেলেছিল (অনুশীলন ৩)।
৮ · Test data management — reset, snapshot আর প্রতি test-এর নিজের data
Test data management মানে test-এর data কীভাবে বানানো, রাখা, আলাদা করা, ফেরানো আর মোছা হবে তার পরিকল্পনা। পর্ব ২৩-এর builder আর factory একটি test-এর ভেতরের কাজ; পরিবেশের স্তরে মূল প্রশ্ন: প্রতিটি test বা প্রতিটি run একটি জানা অবস্থা থেকে শুরু হবে কীভাবে, আর কত দ্রুত? Test পরিবেশে (8852) সত্যিকারের মাপ:
POST /api/test/reset (seed, 5 runs): median 47 ms
restore masked snapshot, backup API (5 runs): median 16 ms, 3.0 MB
generate + mask from scratch: 5.3 s
| পথ | মাপা সময় | কখন |
|---|---|---|
| Reset endpoint (seed আবার বসানো) | ৪৭ ms | প্রতি test বা প্রতি test file-এর আগে; শুধু test পরিবেশে |
| তৈরি snapshot ফেরানো (৩.০ MB) | ১৬ ms | বড় data-র পরিবেশের শুরুতে; staging refresh |
| নতুন করে বানানো + মাস্ক | ৫.৩ সেকেন্ড | Snapshot-টি নিজে বানানোর সময়, দিনে বা সপ্তাহে একবার |
নকশাটি তাই সাধারণ: ধীর কাজ (বানানো, মাস্ক, যাচাই) একবার করে একটি “golden” snapshot রাখুন, আর প্রতিটি run সেটি থেকে ফেরান; এখানে ফেরানো ৩০০ গুণের বেশি দ্রুত। সাবধানতা: snapshot-এর schema যেন app-এর বর্তমান migration-এর সাথে মেলে, নইলে পুরোনো snapshot-ই নতুন bug-এর মতো দেখায়।
প্রতি test-এর নিজের data: একই পরিবেশে অনেক test, বা একসাথে কয়েকটি worker চললে (পর্ব ৩৭-এ xdist), একটি test-এর order আরেকটি test-এর গণনায় ঢুকে পড়ে। তিনটি পরিচিত সমাধান: প্রতিটি test নিজের data নিজে বানায় অনন্য নামে (যেমন qa-run42-w1-cart), আর শুধু নিজের data-র ওপর assert করে; প্রতিটি worker নিজের database পায়; অথবা প্রতিটি test-এর শেষে নিজের data মোছে। প্রথমটি staging-এর মতো শেয়ার করা পরিবেশেও চলে, যেখানে reset নেই। পর্ব ৪০-এ (Flaky test) দেখেছেন, শেয়ার করা data flaky test-এর বড় উৎস।
Secret আর test account. প্রতিটি পরিবেশের নিজস্ব test account আর পাসওয়ার্ড, secret store থেকে (§৭-এর 401 মনে করুন)। Production-এর কোনো credential কখনো test পরিবেশে নয়; masking-এর key-ও একটি secret.
Drift ঠেকানোর অভ্যাস। পরিবেশ কোডে বর্ণনা করুন (env ফাইল, Compose, infrastructure-as-code), প্রতিটি deploy-এর পরে smoke আর config-এর তুলনা চালান, আর হাতের বদলও কোডে ফেরান। CI-তে এই সব stage কীভাবে সাজানো হয়, তা পর্ব ৬৪ (CI-তে test pipeline)-এর বিষয়।
আরও গভীরে: Format-preserving-এর কাজটি এখানে HMAC দিয়ে একমুখী মাস্ক; দরকার হলে উল্টানোও যায় এমন format-preserving encryption-এর জন্য NIST-এর SP 800-38G (২০১৬) FF1 আর FF3 নামের পদ্ধতি দিয়েছিল, আর পরে FF3-তে দুর্বলতা পাওয়ায় সংশোধিত রূপ প্রস্তাব করা হয় বলে জানা যায়। Statistical model দিয়ে পুরো synthetic database বানানো এখন সক্রিয় গবেষণার এলাকা, কিন্তু মডেল আসল data থেকে শিখলে আসল মানুষের তথ্য মনে রাখতে পারে; differential privacy সেই ঝুঁকি গাণিতিকভাবে বাঁধার চেষ্টা করে।
পরীক্ষা ও ইন্টারভিউতে (বিশ্ববিদ্যালয়, চাকরি বা ইন্টারভিউর পরীক্ষায় এমন প্রশ্ন সাধারণ):
- Test environment কী, আর staging কেন? — Test চালানোর hardware, software, config, data আর নির্ভরতার সমষ্টি; staging হলো production-এর মতো শেষ মহড়ার পরিবেশ।
- Production data সরাসরি test-এ কেন নয়? — গোপনীয়তা, আইন, নিরাপত্তা দুর্বল পরিবেশে ফাঁস, আর ভুল করে আসল ক্রেতাকে বার্তা বা চার্জের ঝুঁকি; মাস্ক বা synthetic data নিন।
- Masking, encryption আর anonymization-এর পার্থক্য? — Encryption key দিয়ে ফেরানো যায়; masking বা pseudonymization মান বদলায়, key-তে মেলানো যায়; anonymization-এ ফেরার পথ থাকে না।
- Environment drift কী, কীভাবে ধরবেন? — লিখিত config আর চলমান পরিবেশের অমিল; deploy-এর পরে smoke আর config-এর তুলনা দিয়ে।
- Subset নেওয়ার সময় কী মানবেন? — Referential integrity: আগে মূল সারি বাছুন, তারপর foreign key ধরে সম্পর্কিত সারি আনুন।
৯ · AI-এর যুগে test environment আর test data
AI সহকারীকে “staging-এর জন্য production-এর মতো data বানিয়ে দাও” বা “এই database মাস্ক করার script দাও” বললে চেনা ভুলগুলো আসে। Masking-এ শুধু স্পষ্ট column (name, phone) ধরে, free text, log, ঠিকানার ভেতরের নাম বা অ্যাডমিনের সারি বাদ দেয়। Key ছাড়া SHA-256 বা MD5-কে “anonymization” বলে। Generator বানায় database-এর constraint মেনে কিন্তু ব্যবসার invariant ভেঙে, ঠিক যেমন এই পর্বের ৪,৯২৭টি লেনদেনহীন paid order. Config-এ পাসওয়ার্ড লিখে দেয়, Compose-এর এমন option বানায় যা নথিতে নেই, আর কোনো leak check না চালিয়েই বলে “data নিরাপদ, সব test পাস”।
AI-কে কাজ দেওয়ার সময় data-র নিয়ম, কোন ঝুঁকি আর কী যাচাই করতে হবে তা স্পষ্ট দিন:
AI-এর লেখা environment বা test data-র কোড হাতে পেলে — চেকলিস্ট
ভাবনার প্রশ্ন
প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।
প্র ০১নাম আর ইউজার আইডি সরিয়ে দিলেই কি একটি dataset বেনামি হয়? দুটি বিখ্যাত ঘটনা কী শেখায়?
২০০৬ সালের আগস্টে AOL গবেষণার কাজে প্রায় ৬.৫ লাখ ব্যবহারকারীর তিন মাসের প্রায় দুই কোটি search query প্রকাশ করে। নাম ছিল না, প্রতিটি ব্যবহারকারীর জায়গায় একটি সংখ্যা। কয়েক দিনের মধ্যেই The New York Times-এর সাংবাদিকেরা ৪৪১৭৭৪৯ নম্বর ব্যবহারকারীর খোঁজগুলো (নিজের এলাকার নাম, পরিবারের পদবি, নানা ব্যক্তিগত প্রশ্ন) মিলিয়ে তাঁকে চিনে ফেলেন, আর তাঁর সম্মতিতে পরিচয় প্রকাশ করেন। Data দ্রুত সরিয়ে নেওয়া হলেও ততক্ষণে তা ছড়িয়ে গিয়েছিল।
একই বছর Netflix তাদের recommendation প্রতিযোগিতার জন্য প্রায় পাঁচ লাখ গ্রাহকের ১০ কোটির মতো movie rating প্রকাশ করে, গ্রাহকের পরিচয় সংখ্যায় বদলে। ২০০৮ সালের দিকে গবেষক Arvind Narayanan আর Vitaly Shmatikov দেখান, কয়েকটি rating আর তার আনুমানিক তারিখ জানা থাকলেই, যেমন IMDb-তে কেউ প্রকাশ্যে যা লিখেছেন, এই dataset-এ সেই মানুষকে খুঁজে পাওয়া যায়। পরে একটি মামলার পরে Netflix দ্বিতীয় প্রতিযোগিতার পরিকল্পনা বাতিল করে বলে জানা যায়।
দুটি ঘটনার শিক্ষা এক: চেনার উপায় শুধু নাম বা আইডি নয়। মানুষের আচরণের ধরন, বিরল মানের সমাহার, সময়ের ছাপ, এগুলোও আঙুলের ছাপের মতো। আর বাইরের অন্য data-র সাথে মেলালে (linkage) “বেনামি” data চেনা যায়।
Tester-এর কাছে এর মানে: masking-এর পরেও প্রশ্ন করুন, কোন field-এর সমাহার একজন মানুষকে আলাদা করে? বাজারঘরে একজন Plus সদস্য, একটি ছোট জেলা, আর একটি বিরল পণ্যের নিয়মিত order মিলে হয়তো একজনই। staging-এ masked copy গেলে সেখানে কারা ঢুকতে পারেন, তা production-এর মতোই সীমিত রাখা, আর যত কম column দরকার, তত কম নেওয়া (data minimization), এই দুটিই বাস্তব প্রতিরক্ষা। সবচেয়ে নিরাপদ পথ এখনো synthetic data, যেখানে চেনার মতো কোনো মানুষই নেই।
মূল উপলব্ধি: নাম মুছলেই মানুষ হারান না; আচরণ আর বিরল সমাহার তাঁকে চেনায়, তাই masked data-কেও ব্যক্তিগত data-র মতো সাবধানে রাখুন, আর সম্ভব হলে বানানো data নিন।
প্র ০২জন্মতারিখ, লিঙ্গ আর পোস্ট কোড — তিনটি নিরীহ field কীভাবে একজন মানুষকে চেনাতে পারে, আর এর উত্তরে কী পদ্ধতি এসেছিল?
১৯৯০-এর দশকের শেষে যুক্তরাষ্ট্রের Massachusetts রাজ্য সরকারি কর্মীদের হাসপাতালের data গবেষকদের দেয়, নাম আর ঠিকানা সরিয়ে, কিন্তু জন্মতারিখ, লিঙ্গ আর ZIP কোড রেখে। তখনকার গবেষক Latanya Sweeney ভোটার তালিকা কিনে, যেখানে নাম আর একই তিনটি field ছিল, দুটিকে মিলিয়ে দেখান যে রাজ্যের তৎকালীন গভর্নর William Weld-এর চিকিৎসার রেকর্ড আলাদা করে চেনা যায়। পরে তাঁর একটি বিশ্লেষণে (যুক্তরাষ্ট্রের ১৯৯০-এর আদমশুমারির data থেকে) অনুমান করা হয়, দেশের প্রায় ৮৭% মানুষকে শুধু এই তিনটি field-এর সমাহার দিয়েই অনন্যভাবে চেনা সম্ভব।
এই field-গুলোকে বলা হয় quasi-identifier: একা কাউকে চেনায় না, একসাথে চেনায়। এর উত্তরে Sweeney প্রমুখ ২০০২ সালের দিকে k-anonymity-র ধারণা দেন: প্রকাশিত data-য় quasi-identifier-এর প্রতিটি সমাহার অন্তত k জনের ক্ষেত্রে একই হতে হবে, যাতে কেউ “এই k জনের একজন”-এর চেয়ে বেশি নিশ্চিত হতে না পারেন। এর জন্য মান মোটা করা হয় (জন্মতারিখ থেকে শুধু সাল, পুরো পোস্ট কোড থেকে প্রথম তিন অঙ্ক) বা বিরল সারি সরানো হয়। পরের গবেষণা এর সীমাও দেখায়: k জনের সবার রোগ একই হলে তবু তথ্য ফাঁস হয়, যার জবাবে আরও কঠোর শর্ত আসে।
Tester-এর কাজে এটি কেন জরুরি? Masking-এর সময় আমরা স্বাভাবিকভাবে নাম, ফোন, ই-মেইল ধরি, কিন্তু জেলা, Plus সদস্যপদ, জন্মসাল আর order-এর তারিখ রেখে দিই, কারণ test-এর জন্য দরকার। এই পর্বের pipeline-ও জেলা অপরিবর্তিত রেখেছে। প্রশ্নটি তাই হিসাব করে দেখার মতো: মাস্ক করা কপিতে কতগুলো সারি quasi-identifier-এর সমাহারে একা? একটি ছোট SQL query (GROUP BY জেলা, Plus, জন্মসাল HAVING count(*) < k) দিয়ে সেটি মাপা যায়, আর masking-এর check-এ যোগ করা যায়।
মূল উপলব্ধি: চেনার ঝুঁকি একক field-এ নয়, field-এর সমাহারে; masking-এর পরে quasi-identifier-এর বিরল সমাহার গুনে দেখা leak check-এরই অংশ।
প্র ০৩Container আর “সব কিছু কোডে” আসার পরে কি “আমার কম্পিউটারে তো চলে” সমস্যা শেষ? কোন পার্থক্য এখনো থেকে যায়?
২০১৩ সালের মার্চে PyCon সম্মেলনের একটি ছোট বক্তৃতায় Solomon Hykes Docker-কে প্রথম প্রকাশ্যে দেখান, আর কয়েক বছরের মধ্যে container সফটওয়্যার চালানোর সাধারণ পথ হয়ে ওঠে। মূল প্রতিশ্রুতি ছিল একটি image, যার ভেতরে OS-এর দরকারি অংশ, library আর app একসাথে; ল্যাপটপ, CI আর server-এ একই image চললে “এখানে চলে, ওখানে চলে না” অনেকটা কমে। তার আগে ২০১১-র দিকের Twelve-Factor নির্দেশিকা config-কে environment variable-এ সরানো আর development ও production-এর ফারাক ছোট রাখার কথা বলেছিল। Infrastructure-as-code পরে পুরো পরিবেশকেই ফাইলে বর্ণনা করার পথ দেয়।
এগুলো সত্যিই অনেক drift কমিয়েছে, কিন্তু কয়েকটি পার্থক্য থেকেই যায়। Data: image একই হলেও database-এর আকার, বণ্টন আর পুরোনো সারির অদ্ভুততা আলাদা; এই পর্বে ৭টি order-এর seed-এ N+1 অদৃশ্য ছিল, ৬,০০৭টি order-এ smoke-এর সময় প্রায় ১ সেকেন্ড হলো। Config আর secret: image একই, কিন্তু environment variable আলাদা, আর সেখানেই §৭-এর bug switch লুকিয়ে ছিল। বাইরের নির্ভরতা: নকল wallet আর আসল wallet-এর আচরণ কখনো হুবহু নয়। Scale আর সময়: একটি container বনাম অনেকগুলো, অল্প ব্যবহারকারী বনাম ভিড়, ঘড়ির সময়-অঞ্চল, সার্টিফিকেটের মেয়াদ। Kernel আর hardware: container host-এর kernel ভাগ করে, তাই খুব নিচের স্তরের পার্থক্য (CPU-র ধরন, ফাইল system) কখনো কখনো ফল বদলায়।
তাই tester-এর কাজ বদলেছে, শেষ হয়নি: প্রতিটি পরিবেশের ইচ্ছাকৃত পার্থক্যের একটি লিখিত তালিকা রাখা, আর বাকি সব পার্থক্য স্বয়ংক্রিয়ভাবে ধরা (smoke-এর আঙুলের ছাপ, config-এর তুলনা), যেমন এই পর্বে করেছেন।
মূল উপলব্ধি: Container কোড আর library-র পার্থক্য কমায়, কিন্তু data, config, নির্ভরতা আর scale-এর পার্থক্য থেকে যায়; সেগুলো লিখে রাখুন আর প্রতিটি deploy-এর পরে যাচাই করুন।
প্র ০৪একটি private repository-তে রাখা একটি credential কীভাবে লাখো মানুষের data ফাঁসের কারণ হতে পারে? Test পরিবেশের secret-এর ক্ষেত্রে এর শিক্ষা কী?
Uber-এর ২০১৬ সালের data ফাঁসের ঘটনা এর বহুল আলোচিত উদাহরণ, যা প্রতিষ্ঠানটি প্রকাশ করে ২০১৭ সালের নভেম্বরে। প্রকাশিত বিবরণ অনুযায়ী আক্রমণকারীরা প্রকৌশলীদের ব্যবহৃত একটি private GitHub repository-তে ঢুকে সেখানে লেখা cloud storage-এর একটি credential পায়, আর তা দিয়ে প্রায় ৫ কোটি ৭০ লাখ যাত্রী ও চালকের তথ্য নামিয়ে নেয়, যার মধ্যে নাম, ই-মেইল আর ফোন নম্বর ছিল। ঘটনা গোপন রাখার চেষ্টা নিয়ে পরে নিয়ন্ত্রক সংস্থার পদক্ষেপ আর আইনি প্রক্রিয়াও হয়।
শিক্ষাগুলো test পরিবেশে সরাসরি খাটে। প্রথম, “private” repository নিরাপদ জায়গা নয়; কোডে বা config ফাইলে লেখা secret অনেক মানুষের নাগালে, আর ইতিহাসে মুছলেও আগের commit-এ থেকে যায়। দ্বিতীয়, test বা staging-এর credential প্রায়ই অবহেলায় রাখা হয় (“এটা তো শুধু test”), অথচ সেই পরিবেশে যদি মাস্ক না করা copy থাকে, বা credential-টি production-এরই হয়, তাহলে ক্ষতি production-এর সমান। তৃতীয়, একটি credential যত বেশি জায়গায় কাজ করে, ফাঁস তত বড়; তাই প্রতিটি পরিবেশের আলাদা, ন্যূনতম অনুমতির credential.
এই পর্বের নিয়মগুলো এর সরাসরি প্রয়োগ: env ফাইলে পাসওয়ার্ড নেই; smoke-এর লগইন আর masking-এর key আসে environment থেকে; drift রিপোর্ট secret-কে *** ছাপে; আর staging-এর test account-এর পাসওয়ার্ড production-এর কোনো কিছুর সাথে মেলে না। Tester নিজেও এগুলো test করতে পারেন: repository-তে secret খোঁজার tool চালানো, log-এ পাসওয়ার্ড ছাপা হয় কি না দেখা, আর একটি পরিবেশের credential অন্য পরিবেশে কাজ করে কি না যাচাই করা (করা উচিত নয়)।
মূল উপলব্ধি: Test পরিবেশের secret-ও আসল secret; কোডের বাইরে রাখুন, প্রতি পরিবেশে আলাদা করুন, আর এক পরিবেশের চাবি যেন অন্যটিতে না খোলে, সেটিও test করুন।
প্র ০৫“Integration Test Email #1” নামের একটি ফাঁকা ই-মেইল কীভাবে লাখো গ্রাহকের কাছে পৌঁছাল? পরিবেশ আলাদা রাখার কোন নিয়ম এখানে ভেঙেছিল?
২০২১ সালের জুনে HBO Max-এর অনেক গ্রাহক একটি প্রায় ফাঁকা ই-মেইল পান, যার শিরোনাম ছিল “Integration Test Email #1”. প্রতিষ্ঠানটি পরে প্রকাশ্যে জানায়, ভুল করে একটি test ই-মেইল তাদের mailing list-এর একটি অংশে চলে গেছে, আর হালকা সুরে যোগ করে যে কাজটি এক intern-এর; এরপর বহু প্রকৌশলী সামাজিক মাধ্যমে নিজেদের এমন ভুলের গল্প শেয়ার করেন। ঘটনাটি নিরীহ ছিল, কিন্তু একটি গুরুতর প্রশ্ন সামনে আনে: test-এর কোড কীভাবে আসল গ্রাহকের তালিকায় পৌঁছাল?
এমন ভুলের সাধারণ কারণগুলো চেনা: test পরিবেশের config-এ ই-মেইল service-এর production credential; একই mailing list test আর production-এ; বা একটি পরিবেশ-চিহ্ন (“এটা test”) কোডের এক জায়গায় পড়া হয়, অন্য জায়গায় নয়। ই-মেইলের জায়গায় SMS, push notification বা টাকার লেনদেন হলে একই ভুলের দাম অনেক বেশি। বাজারঘরে ভাবুন: staging-এর একটি test order-এর “আপনার order রওনা হয়েছে” SMS যদি masked data-র একটি নম্বরে যায়, আর সেই বানানো নম্বরটি কাকতালীয়ভাবে কোনো আসল মানুষের হয়!
প্রতিরক্ষা কয়েক স্তরের। প্রথম, production ছাড়া সব পরিবেশে বাইরের যোগাযোগ নকল বা sandbox (পর্ব ৩৪)। দ্বিতীয়, নকশাতেই নিরাপত্তা: test data-র ই-মেইল ডোমেইন example.test, যা কখনো আসল ইনবক্সে যায় না, আর এই পর্বের pipeline ঠিক তাই করেছে; ফোন নম্বরের জন্য একটি allowlist, যার বাইরে staging কোনো SMS পাঠায় না। তৃতীয়, smoke check-এ পরিবেশের নির্ভরতা যাচাই: staging-এর ই-মেইল আর SMS কি sandbox-এ যাচ্ছে? চতুর্থ, production credential test পরিবেশে না থাকা, যাতে ভুল config-ও আসল service-এ পৌঁছাতে না পারে।
মূল উপলব্ধি: Test পরিবেশ থেকে আসল মানুষের কাছে কিছু পৌঁছানোর পথ নকশাতেই বন্ধ রাখুন (নকল service, নিরাপদ ডোমেইন, allowlist), আর smoke check-এ সেই বন্ধ থাকাটাও যাচাই করুন।
অনুশীলন
উত্তর দেখার আগে কাগজে নিজের উত্তর লিখুন।
-
Spec থেকে test case (test design): Requirement M-3: “staging-এর masked copy-তে (ক) কোনো আসল ফোন নম্বর থাকবে না, কোনো table-এর কোনো লেখায়; (খ) মাস্ক করা ফোন ১১ অঙ্কের,
01দিয়ে শুরু, তৃতীয় অঙ্ক ৩–৯; (গ) একই আসল নম্বর সব জায়গায় একই মাস্ক পাবে; (ঘ) order-এর মোট টাকা আর সংখ্যা বদলাবে না।” Free text-এর scrub function-এর জন্য test case বানান, boundary আর অদ্ভুত লেখার ধরনসহ, প্রত্যাশিত ফল লিখুন।লেখার ধরন ধরে (ক, গ): TC1 একটানা ASCII নম্বর, বাক্যের মাঝে → বদলায়, নতুনটি (খ) মানে। TC2 লেখার একদম শুরুতে আর শেষে নম্বর (কোনো ফাঁকা জায়গা ছাড়া) → বদলায়। TC3 ড্যাশসহ
01712-345678→ বদলায়। TC4 ফাঁকা জায়গাসহ01712 345678→ বদলায়। TC5 বাংলা অঙ্কে০১৭১২৩৪৫৬৭৮→ বদলায়, আর মাস্ক TC1-এর একই নম্বরের মাস্কের সমান (গ)। TC6+8801712345678→ ভেতরের ১১ অঙ্ক বদলায়। TC7 এক লেখায় দুটি আলাদা নম্বর → দুটিই বদলায়, আলাদা মাস্কে। TC8 একই নম্বর দুটি table-এ (users.phone আর review-এর লেখায়) → একই মাস্ক।সীমানা আর ভুল-ইতিবাচক: TC9 ১০ বা ১২ অঙ্কের সংখ্যা আর তৃতীয় অঙ্ক ২ (
01212345678) → নিয়মে ফোন নয়, কিন্তু ভুল-লেখা আসল নম্বর হতে পারে; দল সিদ্ধান্ত নিক (নিরাপদ পথ: মাস্ক), আর test-এ তা লিখে রাখুন। TC10 খুব লম্বা লেখার শেষে নম্বর → বদলায়। TC11 order নম্বর বা টাকা (6397439) → বদলাবে না, (ঘ) রক্ষা। TC12 খালি লেখা আর NULL → ভাঙে না। শেষে পুরো database-এ (ঘ): order-এর সংখ্যা আর মোট টাকা আগের সমান। -
আউটপুট অনুমান করুন: একটি masking script শুধু
role='customer'সারি মাস্ক করে; অ্যাডমিনের একটি সারি আছে, যার ফোন অন্য কোথাও নেই। Review-এর লেখায় মোট ১২৫টি ফোন নম্বরের উল্লেখ: ৪৬টি একটানা ASCII অঙ্কে, ৪১টি ড্যাশসহ, ৩৮টি বাংলা অঙ্কে। Free text-এ শুধু01[3-9]\d{8}regex প্রয়োগ হয়। যে leak check সব লেখার column-এ বাংলা অঙ্ক আর ড্যাশ মেনে আসল নম্বর খোঁজে, সে ঠিক কী রিপোর্ট দেবে?সত্যিকারের run-এর লাইন:
FAIL no real phone anywhere {'users.phone': 1, 'reviews.text': 79}. অ্যাডমিনের সারি মাস্ক হয়নি, তাইusers.phone-এ ১টি। Regex ধরেছে শুধু একটানা ASCII-র ৪৬টি; ড্যাশসহ ৪১টি মেলে না (মাঝে ড্যাশ), আর বাংলা অঙ্কের ৩৮টির শুরুর “০১” ASCII “01” নয়। ৪১ + ৩৮ = ৭৯. একই run-এ “no field left unmasked”-ও লাল: ৩টি অপরিবর্তিত মান, অ্যাডমিনের নাম, ই-মেইল আর ফোন।লক্ষ করুন, leak check-এর খোঁজার নিয়ম masking-এর নিয়মের চেয়ে ঢিলে হতেই হবে; দুটি একই regex হলে check ঠিক সেই নম্বরগুলোই খুঁজত, যা masking আগেই ধরেছে, আর সবুজ দেখাত।
-
এই smoke check-এ ভুল খুঁজুন: দুটি পরিবেশের তুলনার প্রথম version-এ এই লাইনগুলো ছিল, আর staging-এর আসল আউটপুটের একটি লাইন নিচে। Script
exit=0দিয়েছিল আর CI সবুজ দেখাত। সমস্যা কী, আর কীভাবে সারাবেন?EXPECTED_DIFF = {"test endpoints", "products", "orders (admin view)"} fp["orders (admin view)"] = len(o.json()) if o.status_code == 200 else f"HTTP {o.status_code}" flag = "" if len(set(map(str, vals))) == 1 else ( " (expected)" if k in EXPECTED_DIFF else " <-- DRIFT") orders (admin view) 7 HTTP 500 (expected)অনুমোদিত পার্থক্যের তালিকা check-এর নাম ধরে, পার্থক্যের ধরন ধরে নয়। “Order-এর সংখ্যা আলাদা হতে পারে” (৭ বনাম ৬,০০৭) ঠিক; কিন্তু তালিকাটি “এই check-এ যেকোনো কিছু চলবে” হয়ে গেছে, তাই একটি server error-ও “(expected)” ছাপা হলো। এটি সত্যিকারের ঘটনা: এই পর্বের প্রথম smoke run-এ ঠিক এই লাইন এসেছিল, আর মানুষ পড়ে ধরেছিলেন।
সমাধান: error কখনো প্রত্যাশিত নয়; তুলনার আগে যেকোনো মান
HTTP …হলে সরাসরি ERROR আর exit 1 (চূড়ান্ত version তাই করে, পরের run-এ লাইনটি ERROR দেখায়)। আরও ভালো: অনুমোদিত পার্থক্যের সাথে তার শর্তও লিখুন, যেমন “orders: দুটিই পূর্ণসংখ্যা আর staging-এ ১০০০-এর বেশি”। আর smoke script-এর নিজেরও test লিখুন: একটি নকল পরিবেশ 500 দিলে script লাল হয় কি না। -
কৌশল বাছাই: প্রতিটি কাজের জন্য test data-র কৌশল আর পরিবেশ বাছুন, কারণসহ: (ক) coupon-এর ১০০০/১০০১ boundary-র unit আর API test; (খ) ৬,০০০ order-এ order-তালিকার গতি মাপা; (গ) production-এ একজন ক্রেতার অভিযোগ, “অদ্ভুত ঠিকানায় checkout ভেঙে যায়”, সেটি পুনরায় ঘটানো; (ঘ) একটি partner ব্যাংকের সাথে wallet payment-এর শেষ যাচাই।
(ক) Seed বা builder, local আর CI-তে: boundary মান হাতে বসানো (তেল + আটা = ১০০০, তেল + আলু = ১০০১), প্রতিবার একই, দ্রুত। বড় data এখানে শুধু ধীর করে। (খ) Synthetic, seed বাঁধা, staging বা আলাদা performance পরিবেশে; generator যেন ব্যবসার invariant মানে (এই পর্বের ৪,৯২৭টি লেনদেনহীন order-এর শিক্ষা), আর কয়েকজন ক্রেতার অনেক order-এর মতো বাস্তব বণ্টন থাকে।
(গ) ক্রেতার আসল সারি কপি নয়। অভিযোগ থেকে ধরনটি বুঝুন (যেমন ঠিকানায় ইমোজি, খুব লম্বা লেখা, বা শুধু বাংলা অঙ্ক), তারপর একই ধরনের একটি বানানো ঠিকানা দিয়ে test পরিবেশে ঘটান; সেটি regression test হয়ে থাকে। যদি সত্যিই আসল সারি দেখা দরকার হয়, তাহলে শুধু অনুমোদিত মানুষ, production-এর নিয়ন্ত্রণের মধ্যেই, আর অনুমতির নিয়ম মেনে। (ঘ) Staging বা pre-production-এ ব্যাংকের sandbox আর ব্যাংকের দেওয়া test account; masked data-র মানুষের নামে কোনো লেনদেন নয়, আর production credential কখনো নয়।
নিজেকে যাচাই করুন
ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।
ক্রমএকটি pull request-এর ephemeral environment-এর ধাপগুলো সঠিক ক্রমে সাজান (▲▼ চেপে সরান)
- পরিবেশের বর্ণনা (config, data-র উৎস) কোড থেকে নেওয়া
- নতুন database তৈরি করে seed বা snapshot বসানো আর app চালু করা
- Health আর smoke check, পরিবেশ নিজে ঠিক আছে কি না
- পুরো test suite চালানো
- রিপোর্ট আর log artifact হিসেবে রেখে দেওয়া
- পরিবেশ বন্ধ করে data-সহ সব মুছে ফেলা আর কিছু পড়ে নেই তা যাচাই
একটি দল ক্রেতার ফোন নম্বর key ছাড়া SHA-256 দিয়ে hash করে staging-এ পাঠায় আর বলে, “এখন data বেনামি।” এই দাবির মূল দুর্বলতা কী?
- SHA-256-এ দুটি নম্বর প্রায়ই একই hash পায়
- Hash-টি ১১ অঙ্কের নয়, তাই শুধু validation ভাঙে
- সম্ভাব্য সব নম্বরের hash হিসাব করে মেলালেই আসল নম্বর ফিরে পাওয়া যায়
- SHA-256 উল্টানোর একটি সূত্র প্রকাশ্যে আছে
একটি database থেকে test-এর জন্য ছোট অংশ নিতে কেউ প্রথম ১০০ জন ক্রেতা আর প্রথম ৫০০টি order আলাদা করে কপি করলেন। সবচেয়ে সম্ভাব্য সমস্যা কোনটি?
- Database খুব ছোট হওয়ায় app চালু হবে না
- কিছু order-এর ক্রেতা subset-এ থাকবে না, অর্থাৎ এতিম সারি তৈরি হবে
- সব ফোন নম্বর নিজে থেকে মাস্ক হয়ে যাবে
- একই order দুবার কপি হবে
Test আর staging দুটিতেই app-এর version 1.0.0. Staging-এ /api/pricing/quote?subtotal=1000&district=Dhaka ১০০ টাকা ছাড় দেয়, test-এ ০ (নিয়ম: ১০০০-এর বেশি হলে ছাড়)। প্রথমে কী দেখা সবচেয়ে যুক্তিসঙ্গত?
- Coupon-এর কোডে নতুন bug খুঁজতে source code পড়া
- Staging-এর database-এ ক্রেতার সংখ্যা
- Browser-এর cache মুছে আবার দেখা
- দুই পরিবেশের কার্যকর config পাশাপাশি তুলনা করা
বাজারঘরের ফোনের নিয়ম ^01[3-9][0-9]{8}$. Staging-এর masked data-য় ফোনের মাস্ক এমন হওয়া উচিত কেন, যাতে নতুন নম্বরও এই নিয়ম মানে?
- যাতে validation আর ফোন-নির্ভর flow-এর test মাস্কের কারণে মিথ্যা লাল না হয়
- যাতে দরকার হলে আসল নম্বর ফিরিয়ে আনা যায়
- যাতে database ফাইলের আকার ছোট থাকে
- যাতে staging থেকে নিশ্চিন্তে আসল SMS পাঠানো যায়
একটি synthetic data generator ৫,০০০টি paid order বানাল, database-এর সব constraint মেনে। Staging-এ order-তালিকার API HTTP 500 দিচ্ছে, কারণ ওই order-গুলোর লেনদেন নম্বর ফাঁকা। এর মূল শিক্ষা কী?
- Database-এ constraint থাকলে এমন হতো না, তাই generator-এর কিছু করার নেই
- API-কে ফাঁকা লেনদেন নম্বর মেনে নিতে বদলানো
- Generator-কে database-এর constraint নয়, ব্যবসার invariant মানতে হয়
- Synthetic data কখনো ব্যবহার না করে production-এর কপি নেওয়া
Ephemeral environment-এর সবচেয়ে বড় সুবিধা কোনটি?
- এটি production-এর হুবহু নকল, তাই সেখানে পাস করলে production-এ কোনো ভুল থাকে না
- প্রতিটি কাজ একটি পরিষ্কার, আলাদা পরিবেশ পায়, আর শেষে কিছু জমে থাকে না
- এতে smoke check-এর আর দরকার হয় না
- এতে secret রাখার নিয়ম মানার দরকার হয় না
শব্দকোষ
লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:
মনে রাখুন
- পরিবেশ আর data-ও test-এর অংশ: local, CI, test, staging আর production-এর কাজ আলাদা; একই build ওপরে ওঠে, প্রতিটি ধাপে শুধু config আর data বদলায়, আর আসল ব্যক্তিগত data production ছেড়ে নামে না।
- Drift ধরুন যন্ত্র দিয়ে: smoke-এর পাশাপাশি তুলনায় staging-এর ভুলে থাকা switch (১০০০ টাকায় ১০০ ছাড়) আর data-র HTTP 500 ধরা পড়ল; error কখনো “expected” নয়, আর config-এর তুলনায় secret ছাপা হয় না।
- Test data-র কৌশল: boundary-র জন্য seed, আকারের জন্য synthetic, বাস্তবতার জন্য masked copy; subset নিন foreign key ধরে, আর generator যেন ব্যবসার invariant মানে।
- Masking প্রমাণ চায়: keyed hash-এ একই মানুষ একই মাস্ক পান, ফোন বৈধ থাকে; কিন্তু leak check-ই ধরেছিল অ্যাডমিনের সারি আর free text-এর ১২৫টি নম্বর।
- জানা অবস্থা দ্রুত ফেরান: reset ৪৭ ms, snapshot ১৬ ms, নতুন করে বানানো ৫.৩ সেকেন্ড; প্রতিটি পরিবেশের নিজস্ব test account আর secret.
আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ
- পর্ব ৬৬ · Production-এ testing — canary, feature flag আর synthetic monitoringপরবর্তী পর্বCanary, feature flag আর synthetic monitoring দিয়ে production-এ নিরাপদে test.
- পর্ব ৬৪ · CI-তে test pipeline — stage, parallel, gate আর দ্রুত feedbackCIPipeline-এর stage, gate আর দ্রুত feedback.
- সফটওয়্যার টেস্টিং ও QA · কোর্স হোম৮২টি পর্বপুরো কোর্সের রোডম্যাপ; পরের পর্ব ৬৬ production-এ testing.
- পর্ব ২৩ · Fixture আর test data — scope, factory আর builderbuilderএকটি test-এর data: builder, factory আর seed বাঁধা Faker.
- পর্ব ৩৪ · Service virtualization — mock server আর নির্ভরতা আলাদা করানকল serviceপ্রতি পরিবেশে বাইরের নির্ভরতার নকল।
- পর্ব ৩৩ · Database testing — SQL দিয়ে data যাচাই, migration আর integrityintegritySQL দিয়ে data-র নিয়ম আর migration যাচাই।
- ক্লাউড ও DevOps · পর্ব ৪০ComposeDocker Compose দিয়ে একাধিক service আর local stack.
- সাইবার নিরাপত্তা · পর্ব ৭০privacyPseudonymization, k-anonymity আর উপাত্ত সুরক্ষার আইনি কাঠামো।