সরাসরি পর্বে যান
পর্ব ৬৫ · ৮২-এর মধ্যে · মডিউল ১১

Test environment আর test data — Docker Compose, seed আর masking

Test Environments and Test Data — Docker Compose, Seeding and Data Masking

Taught in Bangla, this lesson treats environments and data as part of the test. Two real local environments of the demo shop are compared with one smoke script, exposing a forgotten staging switch and a seed-data gap that caused HTTP 500. Faker bn_BD builds seeded customers and orders, which a keyed-hash pipeline masks while keeping phone formats valid; a leak check finds numbers a simple regex missed. It times reset, snapshot restore and an ephemeral environment, and explains Docker Compose setups.

এই পর্বে যা শিখবেন

  • Local, CI, test, staging, pre-production আর production পরিবেশের কাজ আলাদা করা, আর parity ও drift বোঝা
  • প্রতি পরিবেশে আলাদা config আর secret রাখা, আর দুটি পরিবেশকে একটি smoke script দিয়ে তুলনা করা
  • Synthetic, seed, subset আর masked copy থেকে উপযুক্ত test data-র কৌশল বেছে নেওয়া
  • Substitution, shuffling, keyed hash আর format-preserving masking প্রয়োগ করে leak আর integrity যাচাই করা
  • Ephemeral environment, Docker Compose আর reset বা snapshot দিয়ে test data-র অবস্থা নিয়ন্ত্রণ করা

১ · মঞ্চ আর উপকরণ — test-এর পরিবেশ আর ডেটা কেন আলাদা বিষয়

বিয়েবাড়ির বাবুর্চির কথা ভাবুন। পাঁচশো জনের বিরিয়ানি চড়ানোর আগে তিনি ছোট হাঁড়িতে একবার রেঁধে চেখে দেখেন। কিন্তু ছোট হাঁড়ির স্বাদ ঠিক হলেই বড় ডেকচিতে ঠিক হবে, এমন নিশ্চয়তা নেই: চুলার আঁচ আলাদা, মশলার ব্যাগ অন্য দোকানের, চালও হয়তো নতুন বস্তার। ভালো বাবুর্চি তাই মহড়ায় যতটা সম্ভব আসল চুলা আর আসল চাল ব্যবহার করেন, আর অতিথির প্লেটে তোলার আগে বড় ডেকচি থেকে আবার এক চামচ চাখেন।

Software test-এও দুটি জিনিস ফলকে বদলে দেয়: কোথায় চলছে আর কোন data নিয়ে চলছে। Test environment মানে test চালাতে যা যা লাগে তার পুরো সমষ্টি: server বা container, app-এর নির্দিষ্ট version, config, database, বাইরের service (বা তাদের নকল), আর tool. ISTQB-এর শব্দকোষেও ধারণাটি মোটামুটি এভাবেই: test চালানোর জন্য প্রয়োজনীয় hardware, software, simulator আর সহায়ক উপাদানের পরিবেশ। Test data হলো test চলার আগে যা database-এ থাকে আর test যা input হিসেবে পাঠায়।

বাজারঘরে একই coupon test এক পরিবেশে সবুজ, আরেকটিতে লাল হতে পারে, কোড না বদলে, শুধু config আলাদা বলে; আর order-তালিকা ৭টি order-এ দ্রুত, হাজার হাজার order-এ ধীর (পর্ব ৪৯, Bottleneck খোঁজা)। এই পর্বের প্রশ্ন তিনটি: কোন পরিবেশে কী test চলবে, পরিবেশগুলো কীভাবে একই রকম রাখবেন, আর production-এর মতো বাস্তব data কোথা থেকে আনবেন আসল মানুষের গোপনীয়তা না ভেঙে।

মনে রাখার ছবি: পরিবেশ হলো মঞ্চ, data হলো উপকরণ। মঞ্চ ভুল হলে ঠিক নাটকও ভুল দেখায়; উপকরণ নকল হলে ঠিক রান্নাও ভুল স্বাদ দেয়। আর আসল অতিথির খাবার মহড়ার জন্য তুলে আনা যায় না, যেমন আসল ক্রেতার নাম-ফোন test-এর জন্য তুলে আনা যায় না।

২ · পরিবেশের ধরন — ল্যাপটপ থেকে production

বেশিরভাগ দলে কয়েক ধাপের পরিবেশ থাকে। নাম দল ভেদে বদলায়, কাজটা মোটামুটি একই। পর্ব ০৪-এ (SDLC-তে testing) test environment প্রস্তুতকে test-প্রক্রিয়ার একটি ধাপ হিসেবে দেখেছেন; এখানে প্রতিটি পরিবেশকে আলাদা করে দেখি:

পরিবেশকে, কখনকোন testData
Local (ল্যাপটপ)Developer, প্রতি মিনিটেUnit, ছোট integrationSeed, builder
CIপ্রতি commit-এ, স্বয়ংক্রিয়পুরো suite, API, smoke UISeed, প্রতি run-এ নতুন
Dev / integrationসব দলের কোড একসাথেService-এর জোড়Synthetic
Test / QATester, প্রতি build-এSystem, exploratory, regressionSeed + synthetic
StagingRelease-এর আগেশেষ যাচাই, UAT, performanceMasked copy বা বড় synthetic
Pre-productionকিছু দলে, production-এর যমজDeploy-এর মহড়াMasked copy
Productionআসল ক্রেতাSmoke, monitoring (পর্ব ৬৬)আসল data, শুধু এখানেই

পরিবেশের সিঁড়ি — একই artifact, ভিন্ন config আর ভিন্ন data

The environment ladder: one build promoted upward, config and data change per rung

Local, CI, Test, Staging, Production — একই build ওপরে ওঠে, আসল data শুধু production-এ ৫ · Production আসল ক্রেতা, আসল data — শুধু এখানে আসল ব্যক্তিগত data এই দাগের নিচে নয় ৪ · Staging (8862) masked copy, production-এর মতো config ৩ · Test / QA (8852) seed + synthetic, test endpoint চালু ২ · CI প্রতি run-এ নতুন database ১ · Local (ল্যাপটপ) seed আর builder, সবচেয়ে দ্রুত ওপরে: বাস্তবতা ও ঝুঁকি বাড়ে, গতি কমে
ছবি ৬৫.১ — নীল তীর: একই build (artifact) নিচ থেকে ওপরে ওঠে, প্রতি ধাপে শুধু config আর data বদলায়। লাল দাগ: আসল ক্রেতার data production ছেড়ে নিচে নামে না; নিচের ধাপগুলো বানানো বা মাস্ক করা data পায়।

Parity — যমজ রাখার চেষ্টা। Environment parity মানে পরিবেশগুলো যতটা সম্ভব একই রকম রাখা: একই OS-এর ধরন, একই database engine আর version, একই ধরনের config. ২০১১ সালের দিকে Heroku-র প্রকৌশলীদের (Adam Wiggins প্রমুখ) লেখা Twelve-Factor App নির্দেশিকা দুটি নিয়ম জনপ্রিয় করে, যা tester-এর জন্য সরাসরি কাজের: config কোডে নয়, পরিবেশে (environment variable-এ) রাখা; আর development, staging ও production-এর ফারাক (সময়, মানুষ, tool) ছোট রাখা। প্রতিটি পরিবেশের জন্য আলাদা build বানালে test-এর ফল কেন অর্থহীন, তা ক্লাউড ও DevOps কোর্সের পর্ব ৫৮-এ দেখেছেন।

যা কখনো পুরো মেলে না। Staging-এ ঈদের আগের ভিড় নেই, cache আলাদা, আর wallet নকল। তাই staging-এ পাস করা মানে “বড় ভুল নেই”, “কোনো ভুল নেই” নয়। কোন পার্থক্য ইচ্ছাকৃত আর কোনটি দুর্ঘটনা, সেটি লিখে রাখাই আসল কাজ। দুর্ঘটনার পার্থক্যের নাম configuration drift: কেউ হাতে একটি setting বদলালেন, আর তা আর ফেরানো হলো না।

বাইরের নির্ভরতা: আসল না নকল? বাজারঘরের wallet, SMS বা courier-এর মতো service প্রতিটি পরিবেশে আসল হতে পারে না। নিচের ধাপে virtual service (পর্ব ৩৪, Service virtualization), staging-এ সাধারণত প্রতিষ্ঠানের দেওয়া sandbox, আর শুধু production-এ আসল service. প্রতিটি পরিবেশের তালিকায় লিখুন কোন নির্ভরতা আসল, কোনটি নকল; এই তালিকা না থাকলে staging-এর একটি test ভুল করে আসল ক্রেতাকে SMS পাঠাতে পারে (ভাবনার প্রশ্ন ৫)।

৩ · প্রতি পরিবেশে আলাদা config, আর ক্ষণস্থায়ী পরিবেশ

পর্ব ৪৫-এ (Automation framework) test-এর দিক থেকে নিয়মটি দেখেছেন: base URL আর পাসওয়ার্ড কোডে নয়, বাইরে থেকে আসে। এবার app-এর দিক থেকে। এই পর্বের সব সত্যিকারের run একটি আলাদা scratch ফোল্ডারে: বাজারঘরের app (MIT) নিজের কপি থেকে, Python 3.12.13, Uvicorn 0.54.0, SQLite 3.53.1; test-এ pytest 9.2.0 (MIT) আর httpx 0.28.1 (BSD-3-Clause); data বানাতে Faker 40.54.0 (MIT). সব অনুরোধ শুধু নিজের 127.0.0.1-এ, port 8852 আর 8862; DO_NOT_TRACK=1 রাখা ছিল। এই কম্পিউটারে Docker নেই, তাই “পরিবেশ” মানে এখানে app-এর আলাদা process, port, database ফাইল আর config ফাইল।

দুটি পরিবেশের config ফাইল, যেমন ছিল প্রথম run-এর সময়:

# env/test.env                   # env/staging.env
BAZARGHAR_PORT=8852              BAZARGHAR_PORT=8862
BAZARGHAR_DB=data/test.db        BAZARGHAR_DB=data/staging.db
BAZARGHAR_TEST_MODE=1            BAZARGHAR_TEST_MODE=0
BAZARGHAR_WALLET_MODE=success    BAZARGHAR_WALLET_MODE=success
DATA=seed                        BAZARGHAR_BUGS=coupon_ge
                                 DATA=staging_first.db

Test পরিবেশে /api/test/* চালু, যাতে test নিজেই reset করতে পারে; staging-এ বন্ধ, production-এর মতো। Staging-এর ফাইলে একটি লাইন থাকার কথা নয়; সেটি §৭-এ ধরা পড়বে। ফাইলে কোনো পাসওয়ার্ড নেই। Smoke script-এর লগইন আসে প্রতি পরিবেশের নিজস্ব environment variable থেকে (SMOKE_STAGING_USER, SMOKE_STAGING_PASS); CI-তে এগুলো থাকে secret store-এ, আর বড় প্রতিষ্ঠানে একটি secret manager-এ (প্রতিটি secret পরিবেশ-ভেদে আলাদা), যার ভেতরের কাজ ক্লাউড ও DevOps কোর্সের পর্ব ৩৩-এ।

পরিবেশ চালু আর বন্ধ করে একটি ছোট script, envctl.py: config পড়ে, database বানায় (seed থেকে, বা snapshot থেকে SQLite-এর backup API দিয়ে), server চালিয়ে PID রাখে, আর /api/health-এর জন্য সর্বোচ্চ ১০০ বার দেখে। বন্ধ করে শুধু সেই PID ধরে।

Ephemeral environment — দরকারের সময় জন্ম, কাজ শেষে মৃত্যু

স্থায়ী test পরিবেশে ময়লা জমে: কাল কেউ একটি order বাতিল করে রেখে গেছেন, আজ আপনার test সেটিতে হোঁচট খায়। Ephemeral environment উল্টো পথ নেয়: প্রতিটি pull request বা প্রতিটি test run-এর জন্য একটি নতুন পরিবেশ, শূন্য থেকে, আর কাজ শেষে সব মুছে ফেলা। নিচে সত্যিকারের একটি run, port 8852-এ, seed data দিয়ে:

  1. Configeph.envপরিবেশের বর্ণনা
  2. জন্মupনতুন database
  3. Smoke31 msঠিক আছে কি?
  4. Test4 passedআসল কাজ
  5. মৃত্যুdownকিছু থাকে না
env/eph.envসব লিখিত
BAZARGHAR_PORT=8852
BAZARGHAR_DB=data/eph.db
BAZARGHAR_TEST_MODE=1
DATA=seed
envctl.py up ephhealth পর্যন্ত
eph up on :8852  data=seed
in 0.69 s
# ফাঁকা DB → schema → seed → server
env_smoke.pyশেষ ৩ লাইন
orders (admin view)     7
smoke time ms          31
unexpected differences: 0
pytestenv_tests_v2
....                  [100%]
4 passed in 0.13s
envctl.py down ephনিজের PID
eph down (pid file removed)
DB, -wal, -shm ফাইল মোছা
eph files left: 0
মোটজন্ম থেকে মৃত্যু
ephemeral total: 1876 ms
# সবচেয়ে বড় অংশ: server চালু
  1. বর্ণনা আগে। পরিবেশটি চার লাইনের একটি ফাইলে লেখা: port, database ফাইল, test mode, আর data কোথা থেকে আসবে। হাতে কিছু করা হয় না; তাই প্রতিবার একই পরিবেশ জন্মায়।
  2. জন্ম, ০.৬৯ সেকেন্ডে। আগের কোনো database ফাইল থাকলে মুছে, schema আর seed বসিয়ে, server চালু, আর health সাড়া দেওয়া পর্যন্ত অপেক্ষা। এই অপেক্ষা সীমিত সংখ্যক চেষ্টায়, অন্ধ sleep-এ নয়।
  3. Smoke, ৩১ ms-এ। Test চালানোর আগে প্রশ্ন: পরিবেশটি নিজে ঠিক আছে কি? Seed-এ অ্যাডমিন ৭টি order দেখেন, অপ্রত্যাশিত পার্থক্য ০. Smoke ব্যর্থ হলে test চালানো অর্থহীন, কারণ লাল test তখন পরিবেশের দোষ দেখাবে, কোডের নয়।
  4. আসল test. চারটি API test, ০.১৩ সেকেন্ডে পাস। বাস্তবের দলে এখানে পুরো suite চলে, আর রিপোর্ট আর log artifact হিসেবে রেখে দেওয়া হয়, কারণ পরিবেশটি একটু পরে আর থাকবে না।
  5. মৃত্যু। নিজের PID ধরে server বন্ধ, তারপর database আর তার -wal, -shm ফাইল মোছা। শেষ লাইন যাচাই করে কিছু পড়ে নেই। এই যাচাইটুকু বাদ দিলে “ক্ষণস্থায়ী” পরিবেশও চুপচাপ জমে যায়।
  6. মোট ১,৮৭৬ ms. ছোট app-এ পুরো জন্ম-মৃত্যু দুই সেকেন্ডেরও কম; বড় system-এ কয়েক মিনিট হতে পারে।

Docker থাকলে একই কাজ সাধারণত Docker Compose দিয়ে হয়: একটি YAML ফাইলে app, database আর নকল service, আর এক কমান্ডে সব চালু বা বন্ধ। নিচের ফাইলটি উদাহরণ, চালানো হয়নি (এই কম্পিউটারে Docker নেই); Compose-এর বিস্তারিত ক্লাউড ও DevOps কোর্সের পর্ব ৪০-এ।

# one image for every environment; only env_file and data change
services:
  shop:
    image: bazarghar:1.0.0
    env_file: env/${ENV:-test}.env
    ports: ["127.0.0.1:8852:8765"]
    healthcheck:
      test: ["CMD", "python", "-c",
             "import urllib.request as u; u.urlopen('http://127.0.0.1:8765/api/health')"]
      interval: 5s
      retries: 10
  smoke:
    image: bazarghar-tests:1.0.0
    depends_on:
      shop: {condition: service_healthy}
    command: ["python", "env_smoke.py", "test=http://shop:8765"]

# docker compose -p qa-pr-42 up -d --wait     (one project name per PR)
# docker compose -p qa-pr-42 down -v          (-v: delete its volumes too)

লক্ষ করুন: image একটিই, বদলায় শুধু env_file; service_healthy শর্ত smoke-কে health ঠিক হওয়া পর্যন্ত থামিয়ে রাখে; আর প্রতিটি pull request-এর নিজের project নাম, যাতে দুটি পরিবেশ একে অন্যের container না ছোঁয়, আর down -v data-সহ সব মোছে। Test-এর ভেতর থেকে container চালানোর library Testcontainers পর্ব ২৮-এ (Integration testing) দেখেছেন; সেখানে একটি test-এর জন্য একটি database, এখানে পুরো পরিবেশ।

৪ · Test data-র কৌশল — বানানো, seed, অংশ আর মাস্ক করা কপি

পর্ব ২৩-এ (Fixture আর test data) একটি test-এর জন্য data বানানো দেখেছেন: builder, factory আর seed বাঁধা Faker. এখানে প্রশ্ন বড় পরিসরের: একটি পুরো পরিবেশে কোন data থাকবে? চারটি প্রধান কৌশল, আর একটি নিষিদ্ধ পথ:

কৌশলভালো দিকদুর্বলতাকোথায়
Seed (স্থির, হাতে লেখা)প্রতিবার হুবহু এক; boundary মান ইচ্ছামতোছোট; বাস্তবের বৈচিত্র্য নেইLocal, CI, test
Synthetic (generator দিয়ে বানানো)যত খুশি বড়; কোনো আসল মানুষ নেইGenerator নিয়ম না জানলে অবাস্তব বা ভাঙা dataPerformance, staging
Production-এর subsetআসল বণ্টন আর অদ্ভুত ঘটনাআসল মানুষের data; সম্পর্ক ভাঙার ঝুঁকিমাস্ক ছাড়া কোথাও নয়
Masked copyবাস্তবের আকার আর বণ্টন, পরিচয় ছাড়ামাস্ক ভুল হলে ফাঁস; আইনি প্রশ্ন থাকেStaging, pre-prod
আসল production data—গোপনীয়তা, নিরাপত্তা আর আইনের ঝুঁকিTest পরিবেশে কখনো নয়

এই পর্বে “production-এর মতো” data পুরোটাই বানানো। Faker-এর locale bn_BD এই version-এ বাংলা নাম ও ঠিকানা দেয় (যেমন “নাইম জামান”); কিন্তু এর ফোন নম্বর বাজারঘরের নিয়ম মানে না (পর্ব ২৩), তাই ফোন বানানো হয়েছে নিজের নিয়মে। Seed ৬৫ বাঁধা, তাই প্রতিবার একই ২,০০৫ জন ব্যবহারকারী (অ্যাডমিনসহ) আর ৬,০০৭টি order. এটিই এই পর্বের “production”.

Subset নেওয়ার ফাঁদ। পুরো database বড় হলে অনেক দল একটি ছোট অংশ নেয়। সহজতম পথ, “প্রতিটি table থেকে প্রথম কয়েকটি সারি”, প্রায় সবসময় ভুল, কারণ order আর ক্রেতা আলাদা করে কাটা হলে কিছু order-এর ক্রেতা subset-এ থাকে না। এই শর্তের নাম referential integrity: প্রতিটি foreign key এমন সারিকে দেখায়, যা সত্যিই আছে। নিচের ব্লক আপনার browser-এর SQLite-এ চলে; data আগে থেকে মাস্ক করা, ছয়জন ক্রেতা আর আটটি order:

-- subset A: first 3 customers + first 5 orders, taken separately
CREATE TABLE a_c AS SELECT * FROM customers ORDER BY id LIMIT 3;
CREATE TABLE a_o AS SELECT * FROM orders ORDER BY id LIMIT 5;
-- subset B: pick customers, then follow the foreign key
CREATE TABLE b_c AS SELECT * FROM customers WHERE district = 'Dhaka';
CREATE TABLE b_o AS SELECT * FROM orders
                    WHERE customer_id IN (SELECT id FROM b_c);
SELECT 'A: first-N' AS subset,
       (SELECT count(*) FROM a_o) AS orders,
       (SELECT count(*) FROM a_o WHERE customer_id NOT IN (SELECT id FROM a_c)) AS orphans
UNION ALL
SELECT 'B: by foreign key', (SELECT count(*) FROM b_o),
       (SELECT count(*) FROM b_o WHERE customer_id NOT IN (SELECT id FROM b_c));
-- masked phones must still follow the phone rule
SELECT id, name, phone FROM customers
 WHERE phone NOT GLOB '01[3-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]';

আসল আউটপুট (ব্রাউজারের SQLite):

subset            | orders | orphans
A: first-N        | 5      | 2
B: by foreign key | 5      | 0

id | name       | phone
4  | জয় হাসান   | 01200000014
5  | সুমি ইসলাম  | ০১৭০০০০০০১৫

দুই subset-এই ৫টি order, কিন্তু A-তে দুটি এতিম: order ১০২ (ক্রেতা ৪) আর ১০৪ (ক্রেতা ৬), কারণ subset-এ শুধু ক্রেতা ১–৩. এমন data-য় order-এর পাতা খুললে app ভেঙে পড়তে পারে, আর tester ভাববেন app-এর bug. B আগে ক্রেতা বাছে (ঢাকার তিনজন), তারপর foreign key ধরে তাঁদের সব order আনে; এতিম ০. বড় schema-য় একই নিয়ম পুরো সম্পর্কের গাছ ধরে চলে: order থেকে order_items, history, review আর payment. দ্বিতীয় query দেখায়, মাস্ক করার পরেও দুটি ফোন নিয়ম ভাঙে: একটির তৃতীয় অঙ্ক ২, আরেকটি বাংলা অঙ্কে। মাস্কের কাজ নিয়ম রক্ষা করা; ভুল ফরম্যাটের মাস্ক validation-এর test-কে মিথ্যা লাল করে।

আইন আর গোপনীয়তা নিয়ে সাবধানে: অনেক দেশের ব্যক্তিগত তথ্যের আইনে test-এর জন্য আসল গ্রাহকের data ব্যবহারে উদ্দেশ্য, অনুমতি আর সুরক্ষার শর্ত থাকে বলে ধরা হয়। যেমন ইউরোপের GDPR-এ pseudonymised data-ও সাধারণত ব্যক্তিগত data হিসেবেই গণ্য, শুধু সত্যিকারের বেনামি data এর বাইরে। বাংলাদেশেও ব্যক্তিগত উপাত্ত সুরক্ষা নিয়ে নতুন আইনি কাঠামো এসেছে, যার কাঠামো সাইবার নিরাপত্তা কোর্সের পর্ব ৭০-এ। এটি আইনি পরামর্শ নয়; নিজের প্রতিষ্ঠানের আইনি আর privacy দলের সাথে কথা বলুন। নিরাপদ অভ্যাস: বানানো data দিয়ে কাজ চললে সেটিই প্রথম পছন্দ; আসল data ঢোকে শুধু অনুমোদিত, যাচাই করা masking-এর পরে।

৫ · Data masking-এর কৌশল — কী বদলাবেন, কী রাখবেন

Data masking মানে data-র ব্যক্তিগত অংশ বদলে দেওয়া, যাতে test-এর কাজে লাগে কিন্তু কাউকে চেনা না যায়। সব মুছে দিলে কাউকে চেনা যায় না, কিন্তু test-ও চলে না; তাই কোন field-এ কোন কৌশল, তা ঠিক করে test-এর প্রয়োজন:

কৌশলবাজারঘরেকী থাকেঝুঁকি
Substitution (বদলি)নাম → অন্য বানানো নামধরন, ভাষা, দৈর্ঘ্যের মোটামুটি মিলছোট তালিকা থেকে নিলে আসল নামের সাথে মিলতে পারে
Shufflingজেলার column সারিগুলোর মধ্যে এলোমেলোমোট বণ্টন হুবহুসারির ভেতরের সম্পর্ক ভাঙে (ঢাকার ঠিকানা, রাজশাহী জেলা)
Keyed hash (HMAC)ই-মেইল → u35b3…@example.testএকই মান → একই মাস্ক, join চলেKey ফাঁস হলে অনুমানে উল্টানো যায়
Format-preservingফোন → আরেকটি বৈধ 01[3-9] নম্বরValidation, দৈর্ঘ্য, ফরম্যাটKey ছাড়া hash হলে একই ঝুঁকি
Redaction বা nullReview-এর লেখা থেকে নম্বর মুছে ***কিছুই না, শুধু গঠনTest-এর কাজে কম লাগে
Generalizationজন্মতারিখ → জন্মসালমোটা বণ্টনসূক্ষ্ম boundary test চলে না

দুটি শব্দ গুলিয়ে ফেলবেন না। Pseudonymization মানে আসল পরিচয়ের জায়গায় ছদ্ম মান, যা key বা মিলের তালিকা থাকলে ফেরানো বা মেলানো যায়; keyed hash এই দলে পড়ে। Anonymization মানে চেনার পথ এমনভাবে সরানো, যাতে আর ফেরানো না যায়, যা বাস্তবে অনেক কঠিন (ভাবনার প্রশ্ন ১ আর ২)। Test data-য় বেশিরভাগ সময় যা হয়, তা pseudonymization; তাই key-কে পাসওয়ার্ডের মতোই গোপন রাখতে হয়। তাত্ত্বিক দিক আর PII-র তালিকা সাইবার নিরাপত্তা কোর্সের পর্ব ৭০-এ।

নিচের ব্লকে দুটি কৌশল নিজে চালিয়ে দেখুন: তালিকা থেকে নাম বদলি আর format-preserving ফোন মাস্ক, দুটিই HMAC থেকে আসা একটি বড় সংখ্যার ওপর দাঁড়ানো। শেষে দেখবেন, key ছাড়া সাধারণ hash কেন মাস্ক নয়। প্রথমবার “চালান” চাপলে browser-এ Pyodide নামতে কয়েক সেকেন্ড লাগে।

import hashlib, hmac, random, re

KEY = b"demo-key-65"                # the real key lives in a secret store
RULE = re.compile(r"01[3-9]\d{8}")
FIRST = ["রহিম", "সুমি", "তানভীর", "নাসরিন", "জয়", "রুমানা", "আরিফ", "লিপি"]
LAST = ["হাসান", "আক্তার", "সাহা", "রহমান", "ইসলাম", "দাস"]

def num(kind, value, key=KEY):      # keyed hash -> a big whole number
    d = hmac.new(key, f"{kind}:{value}".encode(), hashlib.sha256).digest()
    return int.from_bytes(d[:8], "big")

def mask_name(name, key=KEY):       # substitution from a list
    n = num("name", name, key)
    return FIRST[n % 8] + " " + LAST[(n // 8) % 6]

def mask_phone(phone, key=KEY):     # format-preserving: still 01[3-9] + 8 digits
    n = num("phone", phone, key)
    return "01" + str(3 + n % 7) + f"{(n // 7) % 10**8:08d}"

def show(p): return p[:3] + "*****" + p[-3:]      # never print a whole number
row = ("মিতু রহমান", "01700000001")
print("original :", row[0], show(row[1]))
print("masked   :", mask_name(row[0]), show(mask_phone(row[1])))
print("again    :", mask_name(row[0]), show(mask_phone(row[1])))
print("other key:", mask_name(row[0], b"other-key"), show(mask_phone(row[1], b"other-key")))

rng = random.Random(65)
phones = {"01" + str(rng.randint(3, 9)) + f"{rng.randrange(10**8):08d}" for _ in range(20000)}
masked = [mask_phone(p) for p in phones]
print("valid after masking:", sum(bool(RULE.fullmatch(m)) for m in masked), "of", len(masked))
print("collisions:", len(masked) - len(set(masked)))
plain = hashlib.sha256(b"01700000001").hexdigest()     # unkeyed hash, as some teams do
guess = next(f"017000{i:05d}" for i in range(10**5)
             if hashlib.sha256(f"017000{i:05d}".encode()).hexdigest() == plain)
print("unkeyed hash reversed by guessing:", show(guess))

আসল আউটপুট:

original : মিতু রহমান 017*****001
masked   : রুমানা দাস 015*****032
again    : রুমানা দাস 015*****032
other key: লিপি আক্তার 019*****242
valid after masking: 20000 of 20000
collisions: 0
unkeyed hash reversed by guessing: 017*****001

চারটি শিক্ষা। এক, deterministic: একই key-তে একই মানুষ সবসময় একই মাস্ক পান (“again” লাইন), তাই users আর orders table-এ মাস্ক মেলে, join ভাঙে না। দুই, key বদলালে সব বদলায়: প্রতিটি পরিবেশে আলাদা key দিলে দুটি কপি মিলিয়ে পরিচয় জোড়া যায় না। তিন, ফরম্যাট রক্ষা: ২০,০০০টির সবকটি মাস্কের পরেও বৈধ, কোনো সংঘর্ষ নেই। সংঘর্ষের সম্ভাবনা কম, শূন্য নয়; বড় table-এ uniqueness আলাদা করে যাচাই করুন। চার, key ছাড়া hash মাস্ক নয়: সাধারণ SHA-256 থেকে নম্বরটি ফিরে এল সম্ভাব্য নম্বর একে একে চেষ্টা করে, কারণ ফোন নম্বরের জগৎ ছোট; পুরো জগৎও একটি সাধারণ কম্পিউটারের নাগালে।

এবার একটি পুরো সারি। নিচের stepper-এর মানগুলো এই পর্বের সত্যিকারের masking run থেকে, ক্রেতা ৬-এর (ফোন নম্বরের মাঝের অঙ্ক ঢাকা)। Pipeline-এ নামের বদলি তালিকা থেকে নয়, Faker bn_BD থেকে, যার seed আসে নামের HMAC থেকে:

1row = users[6]2name = faker(hmac(K,name))3phone = "01"+d3+8 digits4email = "u"+hmac(K,email)5pw = hash("test1234")6orders: same K, same mask
ক্রেতা ৬
name
phone
email
pw
district
  1. মূল সারি। ক্রেতা ৬: নাম, ফোন, ই-মেইল, পাসওয়ার্ডের hash আর জেলা; তাঁর ৩টি order-এ ঠিকানা আর ফোন আবার আছে। এটিও বানানো data.
  2. নাম বদলি। নামের HMAC থেকে একটি seed, সেই seed-এ Faker bn_BD একটি নতুন নাম দেয়: “কাবেরি দাস”. একই আসল নাম সবসময় একই নতুন নাম পায়। নামটি বাংলা আর বাস্তবসম্মত, তাই বাংলা লেখা দেখানোর test-ও চলে।
  3. ফোন, ফরম্যাট রেখে। HMAC-এর সংখ্যা থেকে তৃতীয় অঙ্ক (৩–৯) আর বাকি আট অঙ্ক। নতুন নম্বর ১১ অঙ্কের, 01 দিয়ে শুরু, তাই checkout-এর ফোন-validation আগের মতোই কাজ করে।
  4. ই-মেইল, keyed hash-এ। ছোট হাতের অক্ষরে নিয়ে HMAC, প্রথম ১২টি hex অক্ষর, আর example.test ডোমেইন, যা কখনো কোনো আসল ইনবক্সে পৌঁছায় না। ই-মেইল UNIQUE, তাই মাস্কও আলাদা থাকা চাই।
  5. পাসওয়ার্ড বদল। আসল hash কপি করা হয় না; সবার জন্য একটি জানা test পাসওয়ার্ডের hash. আসল hash staging-এ গেলে তা offline-এ অনুমান করার লক্ষ্য হয়ে দাঁড়ায়।
  6. জেলা রাখা, order মেলানো। জেলা delivery charge-এর test-এর জন্য দরকার, তাই অপরিবর্তিত; এটি একটি quasi-identifier, তাই অন্য field-এর সাথে মিলিয়ে ঝুঁকি দেখতে হয়। একই key-তে তিনটি order-এর ফোন আর ঠিকানাও একই মাস্ক পায়; পুরো run-এ ৫,৪২৪টি order-এ ফোন ক্রেতার ফোনের সাথে মেলে, মাস্কের আগেও যতগুলো মিলত।

৬ · সত্যিকারের masking pipeline — আর leak check যা ধরল

Masking script লেখা অর্ধেক কাজ; বাকি অর্ধেক প্রমাণ করা যে এটি কাজ করেছে। Pipeline-এর দুটি অংশ: mask.py (backup API দিয়ে কপি, তারপর কপিতে বদল; key আসে environment variable MASK_KEY থেকে) আর check_mask.py (মূল আর মাস্ক করা কপি পাশাপাশি যাচাই)। যাচাই দুই দলের: test-এর কাজে লাগে কি (সারির সংখ্যা, order-এর মোট টাকা, জেলার বণ্টন, referential integrity, ফোনের নিয়ম, একই মানুষের একই মাস্ক) আর কিছু ফাঁস হয়েছে কি (কোনো field অপরিবর্তিত কি না, আর পুরো database-এর প্রতিটি লেখার ঘরে কোনো আসল ফোন নম্বর আছে কি না)।

Leak-এর খোঁজ সব লেখার column-এ, ঢিলে নিয়মে: বাংলা অঙ্ক, ফাঁকা জায়গা বা ড্যাশ মেনে, তারপর ASCII-তে এনে আসল তালিকার সাথে মিলিয়ে। প্রথম version-এ (v1) শুধু role='customer' সারি মাস্ক হতো, আর review-এর লেখার জন্য তিনটি বিকল্প: কিছু না, সরল regex, পুরো নিয়ম। সত্যিকারের run (প্রতিটি থেকে প্রাসঙ্গিক লাইন):

$ uv run python make_prodlike.py prodlike.db 2000 6000
built prodlike.db: {'users': 2005, 'orders': 6007, 'order_items': 12007, 'reviews': 263} in 0.32 s

--- v1 (customers only), free text: none
masked 2004 customers -> v1_none.db (free text: none) in 4.73 s
PASS  row counts equal  users 2005, orders 6007
PASS  order totals equal  6397439 taka
PASS  referential integrity  fk errors 0, orphan orders 0
PASS  phones keep the 01[3-9] rule  8012 of 8012 valid
PASS  same person, same mask  5424 orders match their customer
FAIL  no field left unmasked  3 unchanged values
FAIL  no real phone anywhere  {'users.phone': 1, 'reviews.text': 125}
INFO  masked names that are also some original name: 662
--- v1, free text: simple
FAIL  no real phone anywhere  {'users.phone': 1, 'reviews.text': 79}
--- v1, free text: full
FAIL  no real phone anywhere  {'users.phone': 1}
--- v2 (all users + test accounts), free text: full
masked 2005 users -> masked_full.db (free text: full) in 4.97 s
PASS  row counts equal  users 2005, orders 6007
PASS  no field left unmasked  0 unchanged values
PASS  no real phone anywhere
masked dump sha256: d192704bb7fc   failed checks: 0
(second run, same key)  masked dump sha256: d192704bb7fc

ফলগুলো একে একে পড়ুন। প্রথম সাতটি “কাজে লাগে কি” check v1-এই সবুজ ছিল; শুধু এগুলো দেখলে মনে হতো masking নিখুঁত। ৩টি অপরিবর্তিত মান: অ্যাডমিনের সারি (নাম, ই-মেইল, ফোন), কারণ role='customer' শর্তে সে বাদ পড়েছিল। Review-এর লেখায় ১২৫টি ফোন নম্বর: ক্রেতারা লিখেছিলেন “ডেলিভারির আগে … নম্বরে ফোন দিন”. ফোন column মাস্ক হলেও free text-এ নম্বর অক্ষত। সরল regex (01[3-9]\d{8}) এর মধ্যে ৪৬টি ধরল; বাকি ৭৯টি (৪১টি ড্যাশসহ, যেমন 01712-345678, আর ৩৮টি বাংলা অঙ্কে) ধরল শুধু পুরো নিয়ম। v2 সব সারি মাস্ক করে, দুটি জানা test account যোগ করে (checker তাদের গোনা থেকে বাদ রাখে), আর সব check সবুজ। একই key-তে দ্বিতীয় run-এর dump-এর hash হুবহু এক: masking পুনরাবৃত্তিযোগ্য।

INFO লাইন: মাস্ক করা ২,০০৫টি নামের ৬৬২টি অন্য কোনো ক্রেতার আসল নামের সাথে মেলে, কারণ বদলি আর মূল দুটিই Faker-এর একই তালিকা থেকে। এটি ফাঁস নয় (একই মানুষের নাম ফেরেনি), কিন্তু নাম দেখে “মাস্ক করা” বোঝা যায় না; তাই অনেক দল আলাদা নামের তালিকা নেয়।

Free text-এর ফাঁকটি ছোট একটি unittest-এ ধরা যায়, আর ধরা উচিত, কারণ masking-এর কোডও কোড। নিচের ব্লকে v1-এর সরল regex, আর চারটি test:

import hashlib, hmac, re, sys, unittest

KEY = b"demo-key-65"
PHONE = re.compile(r"01[3-9]\d{8}")              # the first, simple version

def mask_phone(p):
    n = int.from_bytes(hmac.new(KEY, p.encode(), hashlib.sha256).digest()[:8], "big")
    return "01" + str(3 + n % 7) + f"{(n // 7) % 10**8:08d}"

def scrub(text):                                 # free text, e.g. a review
    return PHONE.sub(lambda m: mask_phone(m.group()), text)

REAL = "01712345678"                             # an invented "original" number

class ScrubFreeText(unittest.TestCase):
    def test_plain_number_is_replaced(self):
        out = scrub(f"ডেলিভারির আগে {REAL} নম্বরে ফোন দিন।")
        self.assertNotIn(REAL, out)
        self.assertRegex(out, r"01[3-9]\d{8}")

    def test_same_number_same_mask(self):
        self.assertEqual(scrub(REAL), scrub(REAL))

    def test_number_with_dash_is_replaced(self):
        self.assertNotIn("345678", scrub("ফোন দিন 01712-345678 নম্বরে।"))

    def test_bangla_digits_are_replaced(self):
        self.assertNotIn("৩৪৫৬৭৮", scrub("ফোন: ০১৭১২৩৪৫৬৭৮"))

suite = unittest.defaultTestLoader.loadTestsFromTestCase(ScrubFreeText)
unittest.TextTestRunner(verbosity=2, stream=sys.stdout).run(suite)

আসল আউটপুট (traceback ছোট করা):

test_bangla_digits_are_replaced (__main__.ScrubFreeText.test_bangla_digits_are_replaced) ... FAIL
test_number_with_dash_is_replaced (__main__.ScrubFreeText.test_number_with_dash_is_replaced) ... FAIL
test_plain_number_is_replaced (__main__.ScrubFreeText.test_plain_number_is_replaced) ... ok
test_same_number_same_mask (__main__.ScrubFreeText.test_same_number_same_mask) ... ok
…
AssertionError: '৩৪৫৬৭৮' unexpectedly found in 'ফোন: ০১৭১২৩৪৫৬৭৮'
…
AssertionError: '345678' unexpectedly found in 'ফোন দিন 01712-345678 নম্বরে।'
…
Ran 4 tests in …s

FAILED (failures=2)

দুটি সবুজ, দুটি লাল, ঠিক lab-এর ৪৬ বনাম ৭৯-এর গল্প। Regex একটানা ASCII অঙ্ক খোঁজে; মাঝে ড্যাশ থাকলে মেলে না, আর শুরুর 01 বাংলা অঙ্কে থাকলে তো নয়ই। AssertionError-এর বার্তাই প্রমাণ দেয়: লেখাটি একটুও বদলায়নি। Lab-এর পুরো নিয়ম [0০][1১][3-9৩-৯](?:[\s-]?[0-9০-৯]){8} দুটিকেই ধরে, তারপর অঙ্কগুলো ASCII-তে এনে একই mask_phone-এ পাঠায়, যাতে একই নম্বর লেখার ধরন যাই হোক একই মাস্ক পায়। Test-গুলো লেখা requirement থেকে, কোডের বর্তমান আচরণ থেকে নয়; তাই এরা ফাঁক ধরে।

একটি অপ্রত্যাশিত ফল: মাস্ক করা data-র প্রথম staging-এ (পরের অংশে) অ্যাডমিনের order-তালিকা HTTP 500 দিল। কারণ masking নয়, data-র generator: প্রথম version-এ ৪,৯২৭টি paid order বানানো হয়েছিল লেনদেন নম্বর (payment_txn) আর পরিশোধের সময় ছাড়া। Database-এ constraint নেই, তাই insert সফল; কিন্তু API-র response model লেনদেন নম্বর চায়, আর এক সারি ভাঙলেই পুরো তালিকা ব্যর্থ। শিক্ষা: synthetic data-কে ব্যবসার invariant মানতে হয় (paid মানে লেনদেন আছে); generator-এর v2 তা মানে, আর ৩,২৮২টি ledger সারিও বানায়।

৭ · দুটি পরিবেশ পাশাপাশি — smoke check আর drift ধরা

এবার দুটি পরিবেশ একসাথে চালু: test (8852, seed data, test endpoint চালু) আর staging (8862, মাস্ক করা ২,০০৫ জনের data, test endpoint বন্ধ)। env_smoke.py প্রতিটি পরিবেশের একটি “আঙুলের ছাপ” নেয় (version, test endpoint, সংখ্যা, তিনটি boundary-তে দাম, ফোনের নিয়ম, অ্যাডমিন লগইন, order-এর সংখ্যা) আর পাশাপাশি রাখে। নকশার পার্থক্য একটি তালিকায় “expected”; বাকি পার্থক্য DRIFT, আর যেকোনো HTTP error সরাসরি ERROR. প্রথম run, সত্যিকারের আউটপুট:

$ python env_smoke.py test=http://127.0.0.1:8852 staging=http://127.0.0.1:8862
check                             test           staging
health                        ok 1.0.0          ok 1.0.0
test endpoints                      on               off  (expected)
districts                           12                12
products                            12                12
quote 1000 Dhaka         -0 +60 = 1060    -100 +60 = 960  <-- DRIFT
quote 1001 Dhaka        -100 +60 = 961    -100 +60 = 961
quote 2000 Dhaka        -200 +0 = 1800    -200 +0 = 1800
phone rule                       False             False
admin login                        200               200
orders (admin view)                  7          HTTP 500  <-- ERROR
smoke time ms                       36               977
unexpected differences: 2
exit=1

একই সময়ে দুই পরিবেশে চারটি API test (pytest, base URL বাইরে থেকে): test-এ 4 passed, staging-এ:

FAILED env_tests/test_env_api.py::test_coupon_boundary[1000-0] - assert 100 == 0
FAILED env_tests/test_env_api.py::test_mitu_can_log_in - assert 401 == 200
2 failed, 2 passed in 0.21s

একই version (1.0.0), একই কোড, তবু ফল আলাদা। কোথা থেকে শুরু করবেন? নিচের stepper-এ সত্যিকারের তদন্তের ধাপ:

লক্ষণএকই version
test:    4 passed
staging: 2 failed, 2 passed
health:  ok 1.0.0 | ok 1.0.0
Smoke-এর তুলনা২টি অমিল
quote 1000: -0  │ -100  DRIFT
orders:     7   │ HTTP 500  ERROR
বাকি ৮টি check: একই
Config-এর তুলনাenv ফাইল
test.env:    (BUGS নেই)
staging.env: BAZARGHAR_BUGS=coupon_ge
# ডেমোর জন্য বসানো, আর সরানো হয়নি
HTTP 500-এর কারণdata
payment.txn_id: Input should be
  a valid string (input: None)
4927টি paid order, txn নেই
401 — drift নয়data-র পার্থক্য
mitu@bazarghar.test: শুধু seed-এ
staging-এ ই-মেইল মাস্ক করা
# test নিজেই পরিবেশে বাঁধা
সারানোর পরেআবার run
quote 1000: -0 │ -0
orders:     7  │ 6007 (expected)
unexpected differences: 0
pytest v2: 4 passed │ 4 passed
  1. লক্ষণ লিখুন। একই version দুই পরিবেশে, তবু staging-এ দুটি test লাল। Version এক হওয়ায় কোডের পার্থক্য বাদ; সন্দেহ এখন config, data আর নির্ভরতার ওপর। এই কারণেই health endpoint-এ version দেখানো কাজের।
  2. Smoke-এর পাশাপাশি তুলনা। দশটি check-এর দুটি অমিল: ১০০০ টাকায় staging ১০০ টাকা ছাড় দিচ্ছে (নিয়ম: ১০০০-এর বেশি হলে ছাড়), আর অ্যাডমিনের order-তালিকা HTTP 500. বাকি আটটি একই, তাই সমস্যা সংকীর্ণ।
  3. Config মেলান। দুই env ফাইল পাশাপাশি রাখতেই উত্তর: staging-এ BAZARGHAR_BUGS=coupon_ge, যা কেউ একটি ডেমোর জন্য বসিয়ে আর সরাননি। এটিই configuration drift: লিখিত নকশা আর চলমান পরিবেশ আলাদা। (বাজারঘরে এটি একটি ইচ্ছাকৃত bug switch; বাস্তবে এমন জিনিস হয় একটি পুরোনো feature flag বা হাতে বদলানো setting.)
  4. 500-এর পেছনে data. Server-এর traceback: response model-এ payment.txn_id ফাঁকা হতে পারে না। Database-এ খুঁজতেই ৪,৯২৭টি paid order পাওয়া গেল লেনদেন নম্বর ছাড়া, যা প্রথম generator-এর ভুল (§৬-এর নোট)। Config এক থাকলেও data আলাদা হলে ফল আলাদা।
  5. 401: drift নয়, নকশা। Test-টি mitu@bazarghar.test দিয়ে লগইন করে, যিনি শুধু seed-এ আছেন; staging-এর data মাস্ক করা। পরিবেশ ঠিক আছে, test-টিই এক পরিবেশে বাঁধা। সমাধান: প্রতি পরিবেশের নিজস্ব test account, যার ঠিকানা আর পাসওয়ার্ড আসে environment variable থেকে (masking pipeline staging-এ দুটি জানা test account যোগ করে)।
  6. সারানো আর প্রমাণ। Staging-এর ফাইল থেকে switch সরানো, data-র উৎস v2 generator-এর কপি, আর test-এ প্রতি পরিবেশের নিজস্ব account. আবার run: অপ্রত্যাশিত পার্থক্য ০, staging-এ ৬,০০৭টি order দেখা যায়, আর দুই পরিবেশেই 4 passed. Smoke-টিকে এখন প্রতি deploy-এর পরে বাধ্যতামূলক করুন, যাতে পরের drift নিজে থেকে ধরা পড়ে।

খুঁটিনাটি: staging-এর smoke প্রায় ১ সেকেন্ড, test-এর ৩৬ ms; পার্থক্যের প্রায় পুরোটাই ৬,০০৭টি order-এর তালিকায়, পর্ব ৪৯-এর সেই N+1, যা seed-এ অদৃশ্য ছিল।

Smoke-এর তুলনা app-এর আচরণ দেখে; config-এর তুলনা কারণ দেখায়। দ্বিতীয়টিও স্বয়ংক্রিয় করা যায়: প্রতিটি পরিবেশের কার্যকর config (code-এর default, তারপর ফাইল, তারপর process-এর environment variable) বের করে পাশাপাশি রাখা, secret লুকিয়ে, আর যে পার্থক্য নকশায় নেই তা চিহ্নিত করা। নিচের ব্লকে একটি ছোট রূপ, যেখানে staging-এ কেউ একবার হাতে LOG_LEVEL=debug-ও বসিয়েছিলেন:

import re

DEFAULTS = {"TEST_MODE": "0", "BUGS": "", "WALLET_MODE": "success", "LOG_LEVEL": "info"}
FILES = {   # what each environment's .env file says
    "test": "PORT=8852\nDB=data/test.db\nTEST_MODE=1\nQA_PASS=demo-a",
    "staging": "PORT=8862\nDB=data/staging.db\nBUGS=coupon_ge\nQA_PASS=demo-b",
}
BY_DESIGN = {"PORT", "DB", "TEST_MODE", "QA_PASS"}   # allowed to differ
SECRET = re.compile(r"PASS|KEY|TOKEN|SECRET")

def load(text, process_env=None):
    cfg = dict(DEFAULTS)                         # 1. defaults in code
    cfg.update(l.split("=", 1) for l in text.splitlines() if "=" in l)   # 2. file
    cfg.update(process_env or {})                # 3. real env vars win
    return cfg

def show(key, value):
    return "***" if SECRET.search(key) and value else (value or "''")

envs = {"test": load(FILES["test"]),
        "staging": load(FILES["staging"], {"LOG_LEVEL": "debug"})}   # set by hand once
drift = 0
print(f"{'key':12}{'test':>15}{'staging':>19}")
for key in sorted(set(envs["test"]) | set(envs["staging"])):
    a, b = (envs[n].get(key, "-") for n in ("test", "staging"))
    if a == b:
        status = ""
    elif key in BY_DESIGN:
        status = "  by design"
    else:
        status, drift = "  DRIFT", drift + 1
    print(f"{key:12}{show(key, a):>15}{show(key, b):>19}{status}")
print("drift:", drift)

আসল আউটপুট:

key                    test            staging
BUGS                     ''          coupon_ge  DRIFT
DB             data/test.db    data/staging.db  by design
LOG_LEVEL              info              debug  DRIFT
PORT                   8852               8862  by design
QA_PASS                 ***                ***  by design
TEST_MODE                 1                  0  by design
WALLET_MODE         success            success
drift: 2

দুটি drift: ফাইলে থাকা bug switch, আর এমন একটি মান, যা কোনো ফাইলে নেই, এসেছে process-এর environment থেকে। দ্বিতীয়টি ফাইল পড়ে খুঁজে পাওয়া যায় না; শুধু চলমান পরিবেশের কার্যকর config দেখায়। QA_PASS দুই পরিবেশে আলাদা (যা হওয়া উচিত), কিন্তু ছাপা হয়েছে শুধু ***: drift রিপোর্ট নিজেই যেন secret ফাঁসের পথ না হয়। আর তালিকা “by design”-এর নিয়ম key ধরে; §৭-এর smoke-এর প্রথম version-এ ঠিক এই ধরনের তালিকা একটি HTTP 500-কে “expected” বলে লুকিয়ে ফেলেছিল (অনুশীলন ৩)।

৮ · Test data management — reset, snapshot আর প্রতি test-এর নিজের data

Test data management মানে test-এর data কীভাবে বানানো, রাখা, আলাদা করা, ফেরানো আর মোছা হবে তার পরিকল্পনা। পর্ব ২৩-এর builder আর factory একটি test-এর ভেতরের কাজ; পরিবেশের স্তরে মূল প্রশ্ন: প্রতিটি test বা প্রতিটি run একটি জানা অবস্থা থেকে শুরু হবে কীভাবে, আর কত দ্রুত? Test পরিবেশে (8852) সত্যিকারের মাপ:

POST /api/test/reset (seed, 5 runs): median 47 ms
restore masked snapshot, backup API (5 runs): median 16 ms, 3.0 MB
generate + mask from scratch: 5.3 s
পথমাপা সময়কখন
Reset endpoint (seed আবার বসানো)৪৭ msপ্রতি test বা প্রতি test file-এর আগে; শুধু test পরিবেশে
তৈরি snapshot ফেরানো (৩.০ MB)১৬ msবড় data-র পরিবেশের শুরুতে; staging refresh
নতুন করে বানানো + মাস্ক৫.৩ সেকেন্ডSnapshot-টি নিজে বানানোর সময়, দিনে বা সপ্তাহে একবার

নকশাটি তাই সাধারণ: ধীর কাজ (বানানো, মাস্ক, যাচাই) একবার করে একটি “golden” snapshot রাখুন, আর প্রতিটি run সেটি থেকে ফেরান; এখানে ফেরানো ৩০০ গুণের বেশি দ্রুত। সাবধানতা: snapshot-এর schema যেন app-এর বর্তমান migration-এর সাথে মেলে, নইলে পুরোনো snapshot-ই নতুন bug-এর মতো দেখায়।

প্রতি test-এর নিজের data: একই পরিবেশে অনেক test, বা একসাথে কয়েকটি worker চললে (পর্ব ৩৭-এ xdist), একটি test-এর order আরেকটি test-এর গণনায় ঢুকে পড়ে। তিনটি পরিচিত সমাধান: প্রতিটি test নিজের data নিজে বানায় অনন্য নামে (যেমন qa-run42-w1-cart), আর শুধু নিজের data-র ওপর assert করে; প্রতিটি worker নিজের database পায়; অথবা প্রতিটি test-এর শেষে নিজের data মোছে। প্রথমটি staging-এর মতো শেয়ার করা পরিবেশেও চলে, যেখানে reset নেই। পর্ব ৪০-এ (Flaky test) দেখেছেন, শেয়ার করা data flaky test-এর বড় উৎস।

Secret আর test account. প্রতিটি পরিবেশের নিজস্ব test account আর পাসওয়ার্ড, secret store থেকে (§৭-এর 401 মনে করুন)। Production-এর কোনো credential কখনো test পরিবেশে নয়; masking-এর key-ও একটি secret.

Drift ঠেকানোর অভ্যাস। পরিবেশ কোডে বর্ণনা করুন (env ফাইল, Compose, infrastructure-as-code), প্রতিটি deploy-এর পরে smoke আর config-এর তুলনা চালান, আর হাতের বদলও কোডে ফেরান। CI-তে এই সব stage কীভাবে সাজানো হয়, তা পর্ব ৬৪ (CI-তে test pipeline)-এর বিষয়।

আরও গভীরে: Format-preserving-এর কাজটি এখানে HMAC দিয়ে একমুখী মাস্ক; দরকার হলে উল্টানোও যায় এমন format-preserving encryption-এর জন্য NIST-এর SP 800-38G (২০১৬) FF1 আর FF3 নামের পদ্ধতি দিয়েছিল, আর পরে FF3-তে দুর্বলতা পাওয়ায় সংশোধিত রূপ প্রস্তাব করা হয় বলে জানা যায়। Statistical model দিয়ে পুরো synthetic database বানানো এখন সক্রিয় গবেষণার এলাকা, কিন্তু মডেল আসল data থেকে শিখলে আসল মানুষের তথ্য মনে রাখতে পারে; differential privacy সেই ঝুঁকি গাণিতিকভাবে বাঁধার চেষ্টা করে।

পরীক্ষা ও ইন্টারভিউতে (বিশ্ববিদ্যালয়, চাকরি বা ইন্টারভিউর পরীক্ষায় এমন প্রশ্ন সাধারণ):

  • Test environment কী, আর staging কেন? — Test চালানোর hardware, software, config, data আর নির্ভরতার সমষ্টি; staging হলো production-এর মতো শেষ মহড়ার পরিবেশ।
  • Production data সরাসরি test-এ কেন নয়? — গোপনীয়তা, আইন, নিরাপত্তা দুর্বল পরিবেশে ফাঁস, আর ভুল করে আসল ক্রেতাকে বার্তা বা চার্জের ঝুঁকি; মাস্ক বা synthetic data নিন।
  • Masking, encryption আর anonymization-এর পার্থক্য? — Encryption key দিয়ে ফেরানো যায়; masking বা pseudonymization মান বদলায়, key-তে মেলানো যায়; anonymization-এ ফেরার পথ থাকে না।
  • Environment drift কী, কীভাবে ধরবেন? — লিখিত config আর চলমান পরিবেশের অমিল; deploy-এর পরে smoke আর config-এর তুলনা দিয়ে।
  • Subset নেওয়ার সময় কী মানবেন? — Referential integrity: আগে মূল সারি বাছুন, তারপর foreign key ধরে সম্পর্কিত সারি আনুন।

৯ · AI-এর যুগে test environment আর test data

AI সহকারীকে “staging-এর জন্য production-এর মতো data বানিয়ে দাও” বা “এই database মাস্ক করার script দাও” বললে চেনা ভুলগুলো আসে। Masking-এ শুধু স্পষ্ট column (name, phone) ধরে, free text, log, ঠিকানার ভেতরের নাম বা অ্যাডমিনের সারি বাদ দেয়। Key ছাড়া SHA-256 বা MD5-কে “anonymization” বলে। Generator বানায় database-এর constraint মেনে কিন্তু ব্যবসার invariant ভেঙে, ঠিক যেমন এই পর্বের ৪,৯২৭টি লেনদেনহীন paid order. Config-এ পাসওয়ার্ড লিখে দেয়, Compose-এর এমন option বানায় যা নথিতে নেই, আর কোনো leak check না চালিয়েই বলে “data নিরাপদ, সব test পাস”।

AI-কে কাজ দেওয়ার সময় data-র নিয়ম, কোন ঝুঁকি আর কী যাচাই করতে হবে তা স্পষ্ট দিন:

তুমি একজন QA engineer. বাজারঘর নামের একটি localhost app-এর SQLite database-এর একটি কপি মাস্ক করার Python script লেখো, আর আলাদা একটি check script লেখো। নিয়ম: ১. users-এর সব সারি (অ্যাডমিনসহ): নাম Faker bn_BD দিয়ে বদলি, ই-মেইল keyed HMAC + example.test, ফোন format রেখে (11 অঙ্ক, ^01[3-9][0-9]{8}$), পাসওয়ার্ড hash একটি জানা test পাসওয়ার্ডে। ২. orders-এর ফোন আর ঠিকানা একই key-তে, যাতে একই মানুষ একই মাস্ক পান। ৩. সব TEXT column-এ (review-এর লেখাসহ) ফোন নম্বর খুঁজবে: ASCII, বাংলা অঙ্ক, ফাঁকা জায়গা আর ড্যাশসহ। ৪. Key আসবে environment variable থেকে; কোডে কোনো key বা পাসওয়ার্ড লিখবে না। ৫. Check script: সারির সংখ্যা, মোট টাকা, foreign key, ফোনের নিয়ম, কোনো অপরিবর্তিত field, আর যেকোনো আসল ফোন নম্বর পুরো database-এ। ব্যর্থ হলে exit code 1. ৬. কোন sqlite3 বা Faker function-এর আচরণ নিয়ে নিশ্চিত নও, তা আলাদা তালিকায় লেখো; বানিয়ে লিখবে না। ৭. Script চালানোর আগে "নিরাপদ" বা "সব পাস" দাবি করবে না।

AI-এর লেখা environment বা test data-র কোড হাতে পেলে — চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন — তারপর “→ উত্তর” চাপুন।

প্র ০১নাম আর ইউজার আইডি সরিয়ে দিলেই কি একটি dataset বেনামি হয়? দুটি বিখ্যাত ঘটনা কী শেখায়?

২০০৬ সালের আগস্টে AOL গবেষণার কাজে প্রায় ৬.৫ লাখ ব্যবহারকারীর তিন মাসের প্রায় দুই কোটি search query প্রকাশ করে। নাম ছিল না, প্রতিটি ব্যবহারকারীর জায়গায় একটি সংখ্যা। কয়েক দিনের মধ্যেই The New York Times-এর সাংবাদিকেরা ৪৪১৭৭৪৯ নম্বর ব্যবহারকারীর খোঁজগুলো (নিজের এলাকার নাম, পরিবারের পদবি, নানা ব্যক্তিগত প্রশ্ন) মিলিয়ে তাঁকে চিনে ফেলেন, আর তাঁর সম্মতিতে পরিচয় প্রকাশ করেন। Data দ্রুত সরিয়ে নেওয়া হলেও ততক্ষণে তা ছড়িয়ে গিয়েছিল।

একই বছর Netflix তাদের recommendation প্রতিযোগিতার জন্য প্রায় পাঁচ লাখ গ্রাহকের ১০ কোটির মতো movie rating প্রকাশ করে, গ্রাহকের পরিচয় সংখ্যায় বদলে। ২০০৮ সালের দিকে গবেষক Arvind Narayanan আর Vitaly Shmatikov দেখান, কয়েকটি rating আর তার আনুমানিক তারিখ জানা থাকলেই, যেমন IMDb-তে কেউ প্রকাশ্যে যা লিখেছেন, এই dataset-এ সেই মানুষকে খুঁজে পাওয়া যায়। পরে একটি মামলার পরে Netflix দ্বিতীয় প্রতিযোগিতার পরিকল্পনা বাতিল করে বলে জানা যায়।

দুটি ঘটনার শিক্ষা এক: চেনার উপায় শুধু নাম বা আইডি নয়। মানুষের আচরণের ধরন, বিরল মানের সমাহার, সময়ের ছাপ, এগুলোও আঙুলের ছাপের মতো। আর বাইরের অন্য data-র সাথে মেলালে (linkage) “বেনামি” data চেনা যায়।

Tester-এর কাছে এর মানে: masking-এর পরেও প্রশ্ন করুন, কোন field-এর সমাহার একজন মানুষকে আলাদা করে? বাজারঘরে একজন Plus সদস্য, একটি ছোট জেলা, আর একটি বিরল পণ্যের নিয়মিত order মিলে হয়তো একজনই। staging-এ masked copy গেলে সেখানে কারা ঢুকতে পারেন, তা production-এর মতোই সীমিত রাখা, আর যত কম column দরকার, তত কম নেওয়া (data minimization), এই দুটিই বাস্তব প্রতিরক্ষা। সবচেয়ে নিরাপদ পথ এখনো synthetic data, যেখানে চেনার মতো কোনো মানুষই নেই।

মূল উপলব্ধি: নাম মুছলেই মানুষ হারান না; আচরণ আর বিরল সমাহার তাঁকে চেনায়, তাই masked data-কেও ব্যক্তিগত data-র মতো সাবধানে রাখুন, আর সম্ভব হলে বানানো data নিন।

প্র ০২জন্মতারিখ, লিঙ্গ আর পোস্ট কোড — তিনটি নিরীহ field কীভাবে একজন মানুষকে চেনাতে পারে, আর এর উত্তরে কী পদ্ধতি এসেছিল?

১৯৯০-এর দশকের শেষে যুক্তরাষ্ট্রের Massachusetts রাজ্য সরকারি কর্মীদের হাসপাতালের data গবেষকদের দেয়, নাম আর ঠিকানা সরিয়ে, কিন্তু জন্মতারিখ, লিঙ্গ আর ZIP কোড রেখে। তখনকার গবেষক Latanya Sweeney ভোটার তালিকা কিনে, যেখানে নাম আর একই তিনটি field ছিল, দুটিকে মিলিয়ে দেখান যে রাজ্যের তৎকালীন গভর্নর William Weld-এর চিকিৎসার রেকর্ড আলাদা করে চেনা যায়। পরে তাঁর একটি বিশ্লেষণে (যুক্তরাষ্ট্রের ১৯৯০-এর আদমশুমারির data থেকে) অনুমান করা হয়, দেশের প্রায় ৮৭% মানুষকে শুধু এই তিনটি field-এর সমাহার দিয়েই অনন্যভাবে চেনা সম্ভব।

এই field-গুলোকে বলা হয় quasi-identifier: একা কাউকে চেনায় না, একসাথে চেনায়। এর উত্তরে Sweeney প্রমুখ ২০০২ সালের দিকে k-anonymity-র ধারণা দেন: প্রকাশিত data-য় quasi-identifier-এর প্রতিটি সমাহার অন্তত k জনের ক্ষেত্রে একই হতে হবে, যাতে কেউ “এই k জনের একজন”-এর চেয়ে বেশি নিশ্চিত হতে না পারেন। এর জন্য মান মোটা করা হয় (জন্মতারিখ থেকে শুধু সাল, পুরো পোস্ট কোড থেকে প্রথম তিন অঙ্ক) বা বিরল সারি সরানো হয়। পরের গবেষণা এর সীমাও দেখায়: k জনের সবার রোগ একই হলে তবু তথ্য ফাঁস হয়, যার জবাবে আরও কঠোর শর্ত আসে।

Tester-এর কাজে এটি কেন জরুরি? Masking-এর সময় আমরা স্বাভাবিকভাবে নাম, ফোন, ই-মেইল ধরি, কিন্তু জেলা, Plus সদস্যপদ, জন্মসাল আর order-এর তারিখ রেখে দিই, কারণ test-এর জন্য দরকার। এই পর্বের pipeline-ও জেলা অপরিবর্তিত রেখেছে। প্রশ্নটি তাই হিসাব করে দেখার মতো: মাস্ক করা কপিতে কতগুলো সারি quasi-identifier-এর সমাহারে একা? একটি ছোট SQL query (GROUP BY জেলা, Plus, জন্মসাল HAVING count(*) < k) দিয়ে সেটি মাপা যায়, আর masking-এর check-এ যোগ করা যায়।

মূল উপলব্ধি: চেনার ঝুঁকি একক field-এ নয়, field-এর সমাহারে; masking-এর পরে quasi-identifier-এর বিরল সমাহার গুনে দেখা leak check-এরই অংশ।

প্র ০৩Container আর “সব কিছু কোডে” আসার পরে কি “আমার কম্পিউটারে তো চলে” সমস্যা শেষ? কোন পার্থক্য এখনো থেকে যায়?

২০১৩ সালের মার্চে PyCon সম্মেলনের একটি ছোট বক্তৃতায় Solomon Hykes Docker-কে প্রথম প্রকাশ্যে দেখান, আর কয়েক বছরের মধ্যে container সফটওয়্যার চালানোর সাধারণ পথ হয়ে ওঠে। মূল প্রতিশ্রুতি ছিল একটি image, যার ভেতরে OS-এর দরকারি অংশ, library আর app একসাথে; ল্যাপটপ, CI আর server-এ একই image চললে “এখানে চলে, ওখানে চলে না” অনেকটা কমে। তার আগে ২০১১-র দিকের Twelve-Factor নির্দেশিকা config-কে environment variable-এ সরানো আর development ও production-এর ফারাক ছোট রাখার কথা বলেছিল। Infrastructure-as-code পরে পুরো পরিবেশকেই ফাইলে বর্ণনা করার পথ দেয়।

এগুলো সত্যিই অনেক drift কমিয়েছে, কিন্তু কয়েকটি পার্থক্য থেকেই যায়। Data: image একই হলেও database-এর আকার, বণ্টন আর পুরোনো সারির অদ্ভুততা আলাদা; এই পর্বে ৭টি order-এর seed-এ N+1 অদৃশ্য ছিল, ৬,০০৭টি order-এ smoke-এর সময় প্রায় ১ সেকেন্ড হলো। Config আর secret: image একই, কিন্তু environment variable আলাদা, আর সেখানেই §৭-এর bug switch লুকিয়ে ছিল। বাইরের নির্ভরতা: নকল wallet আর আসল wallet-এর আচরণ কখনো হুবহু নয়। Scale আর সময়: একটি container বনাম অনেকগুলো, অল্প ব্যবহারকারী বনাম ভিড়, ঘড়ির সময়-অঞ্চল, সার্টিফিকেটের মেয়াদ। Kernel আর hardware: container host-এর kernel ভাগ করে, তাই খুব নিচের স্তরের পার্থক্য (CPU-র ধরন, ফাইল system) কখনো কখনো ফল বদলায়।

তাই tester-এর কাজ বদলেছে, শেষ হয়নি: প্রতিটি পরিবেশের ইচ্ছাকৃত পার্থক্যের একটি লিখিত তালিকা রাখা, আর বাকি সব পার্থক্য স্বয়ংক্রিয়ভাবে ধরা (smoke-এর আঙুলের ছাপ, config-এর তুলনা), যেমন এই পর্বে করেছেন।

মূল উপলব্ধি: Container কোড আর library-র পার্থক্য কমায়, কিন্তু data, config, নির্ভরতা আর scale-এর পার্থক্য থেকে যায়; সেগুলো লিখে রাখুন আর প্রতিটি deploy-এর পরে যাচাই করুন।

প্র ০৪একটি private repository-তে রাখা একটি credential কীভাবে লাখো মানুষের data ফাঁসের কারণ হতে পারে? Test পরিবেশের secret-এর ক্ষেত্রে এর শিক্ষা কী?

Uber-এর ২০১৬ সালের data ফাঁসের ঘটনা এর বহুল আলোচিত উদাহরণ, যা প্রতিষ্ঠানটি প্রকাশ করে ২০১৭ সালের নভেম্বরে। প্রকাশিত বিবরণ অনুযায়ী আক্রমণকারীরা প্রকৌশলীদের ব্যবহৃত একটি private GitHub repository-তে ঢুকে সেখানে লেখা cloud storage-এর একটি credential পায়, আর তা দিয়ে প্রায় ৫ কোটি ৭০ লাখ যাত্রী ও চালকের তথ্য নামিয়ে নেয়, যার মধ্যে নাম, ই-মেইল আর ফোন নম্বর ছিল। ঘটনা গোপন রাখার চেষ্টা নিয়ে পরে নিয়ন্ত্রক সংস্থার পদক্ষেপ আর আইনি প্রক্রিয়াও হয়।

শিক্ষাগুলো test পরিবেশে সরাসরি খাটে। প্রথম, “private” repository নিরাপদ জায়গা নয়; কোডে বা config ফাইলে লেখা secret অনেক মানুষের নাগালে, আর ইতিহাসে মুছলেও আগের commit-এ থেকে যায়। দ্বিতীয়, test বা staging-এর credential প্রায়ই অবহেলায় রাখা হয় (“এটা তো শুধু test”), অথচ সেই পরিবেশে যদি মাস্ক না করা copy থাকে, বা credential-টি production-এরই হয়, তাহলে ক্ষতি production-এর সমান। তৃতীয়, একটি credential যত বেশি জায়গায় কাজ করে, ফাঁস তত বড়; তাই প্রতিটি পরিবেশের আলাদা, ন্যূনতম অনুমতির credential.

এই পর্বের নিয়মগুলো এর সরাসরি প্রয়োগ: env ফাইলে পাসওয়ার্ড নেই; smoke-এর লগইন আর masking-এর key আসে environment থেকে; drift রিপোর্ট secret-কে *** ছাপে; আর staging-এর test account-এর পাসওয়ার্ড production-এর কোনো কিছুর সাথে মেলে না। Tester নিজেও এগুলো test করতে পারেন: repository-তে secret খোঁজার tool চালানো, log-এ পাসওয়ার্ড ছাপা হয় কি না দেখা, আর একটি পরিবেশের credential অন্য পরিবেশে কাজ করে কি না যাচাই করা (করা উচিত নয়)।

মূল উপলব্ধি: Test পরিবেশের secret-ও আসল secret; কোডের বাইরে রাখুন, প্রতি পরিবেশে আলাদা করুন, আর এক পরিবেশের চাবি যেন অন্যটিতে না খোলে, সেটিও test করুন।

প্র ০৫“Integration Test Email #1” নামের একটি ফাঁকা ই-মেইল কীভাবে লাখো গ্রাহকের কাছে পৌঁছাল? পরিবেশ আলাদা রাখার কোন নিয়ম এখানে ভেঙেছিল?

২০২১ সালের জুনে HBO Max-এর অনেক গ্রাহক একটি প্রায় ফাঁকা ই-মেইল পান, যার শিরোনাম ছিল “Integration Test Email #1”. প্রতিষ্ঠানটি পরে প্রকাশ্যে জানায়, ভুল করে একটি test ই-মেইল তাদের mailing list-এর একটি অংশে চলে গেছে, আর হালকা সুরে যোগ করে যে কাজটি এক intern-এর; এরপর বহু প্রকৌশলী সামাজিক মাধ্যমে নিজেদের এমন ভুলের গল্প শেয়ার করেন। ঘটনাটি নিরীহ ছিল, কিন্তু একটি গুরুতর প্রশ্ন সামনে আনে: test-এর কোড কীভাবে আসল গ্রাহকের তালিকায় পৌঁছাল?

এমন ভুলের সাধারণ কারণগুলো চেনা: test পরিবেশের config-এ ই-মেইল service-এর production credential; একই mailing list test আর production-এ; বা একটি পরিবেশ-চিহ্ন (“এটা test”) কোডের এক জায়গায় পড়া হয়, অন্য জায়গায় নয়। ই-মেইলের জায়গায় SMS, push notification বা টাকার লেনদেন হলে একই ভুলের দাম অনেক বেশি। বাজারঘরে ভাবুন: staging-এর একটি test order-এর “আপনার order রওনা হয়েছে” SMS যদি masked data-র একটি নম্বরে যায়, আর সেই বানানো নম্বরটি কাকতালীয়ভাবে কোনো আসল মানুষের হয়!

প্রতিরক্ষা কয়েক স্তরের। প্রথম, production ছাড়া সব পরিবেশে বাইরের যোগাযোগ নকল বা sandbox (পর্ব ৩৪)। দ্বিতীয়, নকশাতেই নিরাপত্তা: test data-র ই-মেইল ডোমেইন example.test, যা কখনো আসল ইনবক্সে যায় না, আর এই পর্বের pipeline ঠিক তাই করেছে; ফোন নম্বরের জন্য একটি allowlist, যার বাইরে staging কোনো SMS পাঠায় না। তৃতীয়, smoke check-এ পরিবেশের নির্ভরতা যাচাই: staging-এর ই-মেইল আর SMS কি sandbox-এ যাচ্ছে? চতুর্থ, production credential test পরিবেশে না থাকা, যাতে ভুল config-ও আসল service-এ পৌঁছাতে না পারে।

মূল উপলব্ধি: Test পরিবেশ থেকে আসল মানুষের কাছে কিছু পৌঁছানোর পথ নকশাতেই বন্ধ রাখুন (নকল service, নিরাপদ ডোমেইন, allowlist), আর smoke check-এ সেই বন্ধ থাকাটাও যাচাই করুন।

অনুশীলন

উত্তর দেখার আগে কাগজে নিজের উত্তর লিখুন।

  1. Spec থেকে test case (test design): Requirement M-3: “staging-এর masked copy-তে (ক) কোনো আসল ফোন নম্বর থাকবে না, কোনো table-এর কোনো লেখায়; (খ) মাস্ক করা ফোন ১১ অঙ্কের, 01 দিয়ে শুরু, তৃতীয় অঙ্ক ৩–৯; (গ) একই আসল নম্বর সব জায়গায় একই মাস্ক পাবে; (ঘ) order-এর মোট টাকা আর সংখ্যা বদলাবে না।” Free text-এর scrub function-এর জন্য test case বানান, boundary আর অদ্ভুত লেখার ধরনসহ, প্রত্যাশিত ফল লিখুন।

    লেখার ধরন ধরে (ক, গ): TC1 একটানা ASCII নম্বর, বাক্যের মাঝে → বদলায়, নতুনটি (খ) মানে। TC2 লেখার একদম শুরুতে আর শেষে নম্বর (কোনো ফাঁকা জায়গা ছাড়া) → বদলায়। TC3 ড্যাশসহ 01712-345678 → বদলায়। TC4 ফাঁকা জায়গাসহ 01712 345678 → বদলায়। TC5 বাংলা অঙ্কে ০১৭১২৩৪৫৬৭৮ → বদলায়, আর মাস্ক TC1-এর একই নম্বরের মাস্কের সমান (গ)। TC6 +8801712345678 → ভেতরের ১১ অঙ্ক বদলায়। TC7 এক লেখায় দুটি আলাদা নম্বর → দুটিই বদলায়, আলাদা মাস্কে। TC8 একই নম্বর দুটি table-এ (users.phone আর review-এর লেখায়) → একই মাস্ক।

    সীমানা আর ভুল-ইতিবাচক: TC9 ১০ বা ১২ অঙ্কের সংখ্যা আর তৃতীয় অঙ্ক ২ (01212345678) → নিয়মে ফোন নয়, কিন্তু ভুল-লেখা আসল নম্বর হতে পারে; দল সিদ্ধান্ত নিক (নিরাপদ পথ: মাস্ক), আর test-এ তা লিখে রাখুন। TC10 খুব লম্বা লেখার শেষে নম্বর → বদলায়। TC11 order নম্বর বা টাকা (6397439) → বদলাবে না, (ঘ) রক্ষা। TC12 খালি লেখা আর NULL → ভাঙে না। শেষে পুরো database-এ (ঘ): order-এর সংখ্যা আর মোট টাকা আগের সমান।

  2. আউটপুট অনুমান করুন: একটি masking script শুধু role='customer' সারি মাস্ক করে; অ্যাডমিনের একটি সারি আছে, যার ফোন অন্য কোথাও নেই। Review-এর লেখায় মোট ১২৫টি ফোন নম্বরের উল্লেখ: ৪৬টি একটানা ASCII অঙ্কে, ৪১টি ড্যাশসহ, ৩৮টি বাংলা অঙ্কে। Free text-এ শুধু 01[3-9]\d{8} regex প্রয়োগ হয়। যে leak check সব লেখার column-এ বাংলা অঙ্ক আর ড্যাশ মেনে আসল নম্বর খোঁজে, সে ঠিক কী রিপোর্ট দেবে?

    সত্যিকারের run-এর লাইন: FAIL no real phone anywhere {'users.phone': 1, 'reviews.text': 79}. অ্যাডমিনের সারি মাস্ক হয়নি, তাই users.phone-এ ১টি। Regex ধরেছে শুধু একটানা ASCII-র ৪৬টি; ড্যাশসহ ৪১টি মেলে না (মাঝে ড্যাশ), আর বাংলা অঙ্কের ৩৮টির শুরুর “০১” ASCII “01” নয়। ৪১ + ৩৮ = ৭৯. একই run-এ “no field left unmasked”-ও লাল: ৩টি অপরিবর্তিত মান, অ্যাডমিনের নাম, ই-মেইল আর ফোন।

    লক্ষ করুন, leak check-এর খোঁজার নিয়ম masking-এর নিয়মের চেয়ে ঢিলে হতেই হবে; দুটি একই regex হলে check ঠিক সেই নম্বরগুলোই খুঁজত, যা masking আগেই ধরেছে, আর সবুজ দেখাত।

  3. এই smoke check-এ ভুল খুঁজুন: দুটি পরিবেশের তুলনার প্রথম version-এ এই লাইনগুলো ছিল, আর staging-এর আসল আউটপুটের একটি লাইন নিচে। Script exit=0 দিয়েছিল আর CI সবুজ দেখাত। সমস্যা কী, আর কীভাবে সারাবেন?
    EXPECTED_DIFF = {"test endpoints", "products", "orders (admin view)"}
    fp["orders (admin view)"] = len(o.json()) if o.status_code == 200 else f"HTTP {o.status_code}"
    flag = "" if len(set(map(str, vals))) == 1 else (
           "  (expected)" if k in EXPECTED_DIFF else "  <-- DRIFT")
    
    orders (admin view)                  7          HTTP 500  (expected)

    অনুমোদিত পার্থক্যের তালিকা check-এর নাম ধরে, পার্থক্যের ধরন ধরে নয়। “Order-এর সংখ্যা আলাদা হতে পারে” (৭ বনাম ৬,০০৭) ঠিক; কিন্তু তালিকাটি “এই check-এ যেকোনো কিছু চলবে” হয়ে গেছে, তাই একটি server error-ও “(expected)” ছাপা হলো। এটি সত্যিকারের ঘটনা: এই পর্বের প্রথম smoke run-এ ঠিক এই লাইন এসেছিল, আর মানুষ পড়ে ধরেছিলেন।

    সমাধান: error কখনো প্রত্যাশিত নয়; তুলনার আগে যেকোনো মান HTTP … হলে সরাসরি ERROR আর exit 1 (চূড়ান্ত version তাই করে, পরের run-এ লাইনটি ERROR দেখায়)। আরও ভালো: অনুমোদিত পার্থক্যের সাথে তার শর্তও লিখুন, যেমন “orders: দুটিই পূর্ণসংখ্যা আর staging-এ ১০০০-এর বেশি”। আর smoke script-এর নিজেরও test লিখুন: একটি নকল পরিবেশ 500 দিলে script লাল হয় কি না।

  4. কৌশল বাছাই: প্রতিটি কাজের জন্য test data-র কৌশল আর পরিবেশ বাছুন, কারণসহ: (ক) coupon-এর ১০০০/১০০১ boundary-র unit আর API test; (খ) ৬,০০০ order-এ order-তালিকার গতি মাপা; (গ) production-এ একজন ক্রেতার অভিযোগ, “অদ্ভুত ঠিকানায় checkout ভেঙে যায়”, সেটি পুনরায় ঘটানো; (ঘ) একটি partner ব্যাংকের সাথে wallet payment-এর শেষ যাচাই।

    (ক) Seed বা builder, local আর CI-তে: boundary মান হাতে বসানো (তেল + আটা = ১০০০, তেল + আলু = ১০০১), প্রতিবার একই, দ্রুত। বড় data এখানে শুধু ধীর করে। (খ) Synthetic, seed বাঁধা, staging বা আলাদা performance পরিবেশে; generator যেন ব্যবসার invariant মানে (এই পর্বের ৪,৯২৭টি লেনদেনহীন order-এর শিক্ষা), আর কয়েকজন ক্রেতার অনেক order-এর মতো বাস্তব বণ্টন থাকে।

    (গ) ক্রেতার আসল সারি কপি নয়। অভিযোগ থেকে ধরনটি বুঝুন (যেমন ঠিকানায় ইমোজি, খুব লম্বা লেখা, বা শুধু বাংলা অঙ্ক), তারপর একই ধরনের একটি বানানো ঠিকানা দিয়ে test পরিবেশে ঘটান; সেটি regression test হয়ে থাকে। যদি সত্যিই আসল সারি দেখা দরকার হয়, তাহলে শুধু অনুমোদিত মানুষ, production-এর নিয়ন্ত্রণের মধ্যেই, আর অনুমতির নিয়ম মেনে। (ঘ) Staging বা pre-production-এ ব্যাংকের sandbox আর ব্যাংকের দেওয়া test account; masked data-র মানুষের নামে কোনো লেনদেন নয়, আর production credential কখনো নয়।

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমএকটি pull request-এর ephemeral environment-এর ধাপগুলো সঠিক ক্রমে সাজান (▲▼ চেপে সরান)

  1. পরিবেশের বর্ণনা (config, data-র উৎস) কোড থেকে নেওয়া
  2. নতুন database তৈরি করে seed বা snapshot বসানো আর app চালু করা
  3. Health আর smoke check, পরিবেশ নিজে ঠিক আছে কি না
  4. পুরো test suite চালানো
  5. রিপোর্ট আর log artifact হিসেবে রেখে দেওয়া
  6. পরিবেশ বন্ধ করে data-সহ সব মুছে ফেলা আর কিছু পড়ে নেই তা যাচাই

একটি দল ক্রেতার ফোন নম্বর key ছাড়া SHA-256 দিয়ে hash করে staging-এ পাঠায় আর বলে, “এখন data বেনামি।” এই দাবির মূল দুর্বলতা কী?

  • SHA-256-এ দুটি নম্বর প্রায়ই একই hash পায়
  • Hash-টি ১১ অঙ্কের নয়, তাই শুধু validation ভাঙে
  • সম্ভাব্য সব নম্বরের hash হিসাব করে মেলালেই আসল নম্বর ফিরে পাওয়া যায়
  • SHA-256 উল্টানোর একটি সূত্র প্রকাশ্যে আছে

একটি database থেকে test-এর জন্য ছোট অংশ নিতে কেউ প্রথম ১০০ জন ক্রেতা আর প্রথম ৫০০টি order আলাদা করে কপি করলেন। সবচেয়ে সম্ভাব্য সমস্যা কোনটি?

  • Database খুব ছোট হওয়ায় app চালু হবে না
  • কিছু order-এর ক্রেতা subset-এ থাকবে না, অর্থাৎ এতিম সারি তৈরি হবে
  • সব ফোন নম্বর নিজে থেকে মাস্ক হয়ে যাবে
  • একই order দুবার কপি হবে

Test আর staging দুটিতেই app-এর version 1.0.0. Staging-এ /api/pricing/quote?subtotal=1000&district=Dhaka ১০০ টাকা ছাড় দেয়, test-এ ০ (নিয়ম: ১০০০-এর বেশি হলে ছাড়)। প্রথমে কী দেখা সবচেয়ে যুক্তিসঙ্গত?

  • Coupon-এর কোডে নতুন bug খুঁজতে source code পড়া
  • Staging-এর database-এ ক্রেতার সংখ্যা
  • Browser-এর cache মুছে আবার দেখা
  • দুই পরিবেশের কার্যকর config পাশাপাশি তুলনা করা

বাজারঘরের ফোনের নিয়ম ^01[3-9][0-9]{8}$. Staging-এর masked data-য় ফোনের মাস্ক এমন হওয়া উচিত কেন, যাতে নতুন নম্বরও এই নিয়ম মানে?

  • যাতে validation আর ফোন-নির্ভর flow-এর test মাস্কের কারণে মিথ্যা লাল না হয়
  • যাতে দরকার হলে আসল নম্বর ফিরিয়ে আনা যায়
  • যাতে database ফাইলের আকার ছোট থাকে
  • যাতে staging থেকে নিশ্চিন্তে আসল SMS পাঠানো যায়

একটি synthetic data generator ৫,০০০টি paid order বানাল, database-এর সব constraint মেনে। Staging-এ order-তালিকার API HTTP 500 দিচ্ছে, কারণ ওই order-গুলোর লেনদেন নম্বর ফাঁকা। এর মূল শিক্ষা কী?

  • Database-এ constraint থাকলে এমন হতো না, তাই generator-এর কিছু করার নেই
  • API-কে ফাঁকা লেনদেন নম্বর মেনে নিতে বদলানো
  • Generator-কে database-এর constraint নয়, ব্যবসার invariant মানতে হয়
  • Synthetic data কখনো ব্যবহার না করে production-এর কপি নেওয়া

Ephemeral environment-এর সবচেয়ে বড় সুবিধা কোনটি?

  • এটি production-এর হুবহু নকল, তাই সেখানে পাস করলে production-এ কোনো ভুল থাকে না
  • প্রতিটি কাজ একটি পরিষ্কার, আলাদা পরিবেশ পায়, আর শেষে কিছু জমে থাকে না
  • এতে smoke check-এর আর দরকার হয় না
  • এতে secret রাখার নিয়ম মানার দরকার হয় না

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. পরিবেশ আর data-ও test-এর অংশ: local, CI, test, staging আর production-এর কাজ আলাদা; একই build ওপরে ওঠে, প্রতিটি ধাপে শুধু config আর data বদলায়, আর আসল ব্যক্তিগত data production ছেড়ে নামে না।
  2. Drift ধরুন যন্ত্র দিয়ে: smoke-এর পাশাপাশি তুলনায় staging-এর ভুলে থাকা switch (১০০০ টাকায় ১০০ ছাড়) আর data-র HTTP 500 ধরা পড়ল; error কখনো “expected” নয়, আর config-এর তুলনায় secret ছাপা হয় না।
  3. Test data-র কৌশল: boundary-র জন্য seed, আকারের জন্য synthetic, বাস্তবতার জন্য masked copy; subset নিন foreign key ধরে, আর generator যেন ব্যবসার invariant মানে।
  4. Masking প্রমাণ চায়: keyed hash-এ একই মানুষ একই মাস্ক পান, ফোন বৈধ থাকে; কিন্তু leak check-ই ধরেছিল অ্যাডমিনের সারি আর free text-এর ১২৫টি নম্বর।
  5. জানা অবস্থা দ্রুত ফেরান: reset ৪৭ ms, snapshot ১৬ ms, নতুন করে বানানো ৫.৩ সেকেন্ড; প্রতিটি পরিবেশের নিজস্ব test account আর secret.

পরের পর্বে: পর্ব ৬৬ (Production-এ testing — canary, feature flag আর synthetic monitoring)-এ যাবেন সিঁড়ির সবচেয়ে ওপরের ধাপে: নতুন version অল্প কিছু ক্রেতার কাছে পাঠিয়ে পুরোনোর সাথে তুলনা, খারাপ হলে স্বয়ংক্রিয়ভাবে ফেরা, আর নির্দিষ্ট সময় পরপর একটি নকল ক্রেতার যাত্রা দিয়ে production-কে পাহারা দেওয়া।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান