ব্যাক-অফ-দ্য-এনভেলপ এস্টিমেশন

১ · কেন এস্টিমেশন করি

L01-এ দেখেছি নন-ফাংশনাল রিকোয়ারমেন্টই আর্কিটেকচার ঠিক করে দেয়। কিন্তু "স্কেলেবল হতে হবে" বললে যথেষ্ট নয় — কত ইউজার, প্রতি সেকেন্ডে কত রিকোয়েস্ট, কত ডেটা জমবে — এই সংখ্যাগুলো না জানলে আপনি জানবেন না একটি সার্ভার যথেষ্ট নাকি হাজারটা লাগবে, একটি ডেটাবেস যথেষ্ট নাকি শার্ডিং লাগবে (M4)। এস্টিমেশনের লক্ষ্য নিখুঁত সংখ্যা নয় — বরং সঠিক মাত্রা (order of magnitude) বোঝা, যাতে আলোচনা "নাকি এটা একটা ছোট স্ক্রিপ্ট" বনাম "নাকি এটা একটা গ্লোবাল ডিস্ট্রিবিউটেড সিস্টেম" পর্যায়ে সঠিক দিকে যায়।

২ · প্রয়োজনীয় রেফারেন্স সংখ্যা

প্রতিটি এস্টিমেশনের ভিত্তি এই কয়েকটি সংখ্যা মুখস্থ থাকা দরকার —

লক্ষ্য করুন — সহজ হিসাবের জন্য ১০৩৬Base-1000 আনুমানিকসঠিকভাবে ১ KB = ১০২৪ বাইট (2¹⁰), কিন্তু ব্যাক-অফ-দ্য-এনভেলপ হিসাবে ১০০০ ধরে নেওয়া যথেষ্ট নির্ভুল এবং মাথায় হিসাব করা সহজ করে। এর বদলে ১০০০-ভিত্তিক (decimal) ইউনিট ধরে নেওয়া হয় — এতে সামান্য পার্থক্য হলেও মাত্রার হিসাবে কোনো প্রভাব পড়ে না।

৩ · চারটি মূল হিসাব

ক) ট্রাফিক — QPS

$$QPS_{avg} = \frac{DAU \times \text{requests per user per day}}{86400}$$ পিক ট্রাফিক সবসময় গড়ের চেয়ে বেশি — সাধারণত ২x থেকে ৫x পিক ফ্যাক্টর ধরা হয় (নির্দিষ্ট ডোমেইনের উপর নির্ভর করে): $$QPS_{peak} = QPS_{avg} \times \text{peak factor}$$

খ) স্টোরেজ

$$\text{Storage} = \text{records per day} \times \text{avg record size} \times \text{retention period}$$ রিটেনশন পিরিয়ড (কতদিন ডেটা রাখতে হবে) সবসময় জিজ্ঞেস করা জরুরি — বছরের পর বছর রাখতে হলে সংখ্যাটা দ্রুত পেটাবাইটে চলে যায়।

গ) ব্যান্ডউইথ

$$\text{Bandwidth} = QPS \times \text{avg payload size}$$ এটি নেটওয়ার্ক ইনফ্রাস্ট্রাকচার ও CDN (L20) প্রয়োজনীয়তা ঠিক করতে সাহায্য করে।

ঘ) ক্যাশ/মেমরি সাইজিং

সব ডেটা ক্যাশ করার দরকার নেই — বাস্তবে প্রতিদিনের সবচেয়ে "হট" (ঘনঘন অ্যাক্সেস হওয়া) ডেটার একটি অংশ, প্রায়ই দৈনিক ডেটার ~২০%, ক্যাশ করলেই বেশিরভাগ রিকোয়েস্ট ক্যাশ থেকে সার্ভ হয়ে যায় (এটি L19-এ বিস্তারিত দেখব) — $$\text{Cache size} \approx 0.2 \times \text{daily data volume}$$

৪ · সম্পূর্ণ ওয়ার্কড উদাহরণ — ফটো-শেয়ারিং অ্যাপ

ধরুন একটি ফটো-শেয়ারিং অ্যাপের ১ কোটি (10,000,000) DAU আছে, এবং প্রতিজন গড়ে প্রতিদিন ২টি ছবি আপলোড করে, প্রতিটি ছবির গড় সাইজ ২ MB। এক বছরে মোট কত স্টোরেজ লাগবে?

• মোট ছবি/দিন = ১,০০,০০,০০০ × ২ = ২,০০,০০,০০০ (20,000,000)
• স্টোরেজ/দিন = ২,০০,০০,০০০ × ২ MB = ৪,০০,০০,০০০ MB = ৪০,০০,০০০ MB → ৪০ TB/দিন
• স্টোরেজ/বছর = ৪০ TB × ৩৬৫ = ১৪,৬০০ TB = ১৪.৬ PB/বছর

dau = 10_000_000              # ১ কোটি DAU
photos_per_user_per_day = 2
avg_photo_size_mb = 2

photos_per_day = dau * photos_per_user_per_day
storage_per_day_mb = photos_per_day * avg_photo_size_mb
storage_per_day_tb = storage_per_day_mb / 1_000_000   # 1 TB = 10^6 MB

storage_per_year_tb = storage_per_day_tb * 365
storage_per_year_pb = storage_per_year_tb / 1_000      # 1 PB = 1000 TB

print(f"ছবি/দিন: {photos_per_day:,}")
print(f"স্টোরেজ/দিন: {storage_per_day_tb:,.1f} TB")
print(f"স্টোরেজ/বছর: {storage_per_year_tb:,.1f} TB = {storage_per_year_pb:,.2f} PB")

assert round(storage_per_day_tb, 1) == 40.0
assert round(storage_per_year_pb, 1) == 14.6