চূড়ান্ত প্রকল্প — সম্পূর্ণ DevOps পাইপলাইন ডিজাইন সিমুলেশন

১ · প্রকল্পের প্রেক্ষাপট

একটি কাল্পনিক স্টার্টআপ একটি নতুন প্রোডাক্ট — একটি রিয়েল-টাইম কোলাবোরেশন টুল — লঞ্চ করতে যাচ্ছে। টিমের কাছে কোনো বিদ্যমান ইনফ্রাস্ট্রাকচার নেই, শুধু কোড। লক্ষ্য: এই পুরো কোর্সে শেখা প্রতিটি স্তম্ভ ব্যবহার করে একটি সম্পূর্ণ, প্রোডাকশন-রেডি প্ল্যাটফর্ম ডিজাইন করা — প্রতিটি সিদ্ধান্তে "কেন এটি বেছে নেওয়া হলো" এবং "কোন লেসনের কৌশল এখানে প্রয়োগ হচ্ছে" স্পষ্টভাবে ব্যাখ্যা করে।

২ · কম্পিউট/স্টোরেজ/নেটওয়ার্কিং ফাউন্ডেশন (M1-M4)

কম্পিউট: রিয়েল-টাইম কোলাবোরেশন ফিচার (দীর্ঘস্থায়ী WebSocket কানেকশন সহ) পোর্টেবিলিটি ও ধারাবাহিক পরিবেশের জন্য কন্টেইনারে চলবে, শুধু কাঁচা VM-এ নয় (L05 বনাম L22 — কন্টেইনার বেছে নেওয়া হলো কারণ এটি dev/staging/prod জুড়ে "works on my machine" সমস্যা দূর করে এবং M7-এর Kubernetes অর্কেস্ট্রেশনের সাথে সরাসরি সংযুক্ত)। ব্যাকগ্রাউন্ড, সাময়িক কাজ (যেমন ইমেইল নোটিফিকেশন পাঠানো) সার্ভারলেস FaaS-এ (L07) চলবে, কারণ এই কাজগুলো সাড়ম্বর নয়, ইভেন্ট-ট্রিগার্ড। স্টোরেজ: ব্যবহারকারীর আপলোড করা ফাইল অবজেক্ট স্টোরেজে (L09) যাবে, প্রাইমারি ডেটাবেস একটি ম্যানেজড সার্ভিস হিসেবে (L10) চলবে যাতে টিমকে নিজে প্যাচিং/ব্যাকআপ সামলাতে না হয়। নেটওয়ার্কিং: একটি VPC-তে (L13) পাবলিক সাবনেটে লোড ব্যালেন্সার, প্রাইভেট সাবনেটে ডেটাবেস ও অ্যাপ্লিকেশন সার্ভার রাখা হবে (least-privilege নেটওয়ার্কিং, L16)।

৩ · IaC-ম্যানেজড ইনফ্রাস্ট্রাকচার, মডিউল সহ (M5/L18-19)

পুরো VPC, কম্পিউট ক্লাস্টার ও ডেটাবেস Terraform দিয়ে ডিক্লারেটিভভাবে সংজ্ঞায়িত (L18) — কোনো ম্যানুয়াল কনসোল-ক্লিকিং নয়, প্রতিটি পরিবর্তন একটি রিভিউ করা প্ল্যানের মধ্য দিয়ে যায়। একটি পুনঃব্যবহারযোগ্য "স্ট্যান্ডার্ড ওয়েব সার্ভিস" মডিউল (L19) dev/staging/production — তিন এনভায়রনমেন্টেই একই সামঞ্জস্যপূর্ণ কাঠামো তৈরি করে, শুধু প্যারামিটার (ইনস্ট্যান্স সাইজ, রেপ্লিকা কাউন্ট) পাল্টে।

৪ · কন্টেইনারাইজড অ্যাপ + সিকিউরিটি-স্ক্যানিং সহ CI/CD (M6, M8)

প্রতিটি কমিট একটি CI পাইপলাইন ট্রিগার করে (L33) — লিন্ট → ইউনিট টেস্ট → multi-stage Dockerfile বিল্ড (L23, L25) → ইমেজ ভালনারেবিলিটি স্ক্যান (L26), ফেইল-ফাস্ট নিয়মে। এটি L53-এর কেস স্টাডিতে ব্যবহৃত ঠিক একই প্যাটার্ন, এখন একটি নতুন প্রোডাক্টের প্রথম দিন থেকেই প্রয়োগ করা হচ্ছে — মাইগ্রেশনের অপেক্ষা না করে।

৫ · Kubernetes ডিপ্লয়মেন্ট, Helm ও ক্যানারি রোলআউট (M7, M8/L37)

অ্যাপ্লিকেশন একটি Kubernetes Deployment/Service (L28-29) হিসেবে চলে, কনফিগারেশন/সিক্রেট ConfigMap/Secret দিয়ে ইনজেক্ট হয় (L30), এবং পুরো ম্যানিফেস্ট সেট একটি Helm চার্টে প্যাকেজ করা (L31) — L56-এর কেস স্টাডির সরাসরি প্রয়োগ। প্রতিটি রিলিজ একটি ক্যানারি স্ট্র্যাটেজিতে (L37) যায় — প্রথমে ৫% ট্রাফিক, স্বাস্থ্য নিশ্চিত হলে ধীরে ধীরে বৃদ্ধি — যাতে একটি লঞ্চ-দিনের বাগ পুরো ইউজারবেসকে একসাথে আঘাত না করে।

৬ · কেন্দ্রীয় মনিটরিং/লগিং/ট্রেসিং ও অ্যালার্টিং (M10)

মেট্রিক্স (L41) গোল্ডেন সিগনাল ট্র্যাক করে, সেন্ট্রালাইজড লগিং (L42) সব সার্ভিসের লগ একটি জায়গায় সার্চযোগ্য করে, ডিস্ট্রিবিউটেড ট্রেসিং (L43) একটি রিকোয়েস্টের পুরো ক্রস-সার্ভিস পথ দেখায়। অ্যালার্টিং (L44) শুধুমাত্র কনসিকিউটিভ থ্রেশহোল্ড ব্রিচে ট্রিগার হয় (নয়েজ কমাতে), এবং ক্যানারি রোলআউটের সময় এরর-রেট স্পাইক ধরা পড়লে স্বয়ংক্রিয় রোলব্যাক ট্রিগার করে — L54-এর কেস স্টাডির প্যাটার্নের সরাসরি পুনরাবৃত্তি।

৭ · ডকুমেন্টেড DR/মাল্টি-ক্লাউড পসচার (M12/L52, M13/L55)

লঞ্চের প্রথম দিন থেকেই টিম L52-এর পোর্টেবিলিটি নীতি মেনে চলে (কন্টেইনার, Kubernetes, Terraform — কোনো ভারী প্রোপাইটারি লক-ইন নয়) যাতে ভবিষ্যতে প্রয়োজনে মাল্টি-ক্লাউড DR (L55) সম্ভব থাকে। প্রাথমিকভাবে একটি অ্যাক্টিভ-প্যাসিভ/পাইলট-লাইট সেটআপ বেছে নেওয়া হয়েছে (স্টার্টআপ পর্যায়ে খরচ সংবেদনশীলতা বিবেচনায়), একটি নির্দিষ্ট RPO/RTO (L12) মেনে, এবং একটি ত্রৈমাসিক ফেইলওভার ড্রিল ক্যালেন্ডারে নির্ধারিত।

৮ · FinOps কস্ট-অ্যালোকেশন ও রাইট-সাইজিং রিভিউ ক্যাডেন্স (M12/L50-51)

প্রতিটি রিসোর্স টিম-ট্যাগসহ প্রভিশন করা হয় (L51), যাতে খরচ সঠিকভাবে বরাদ্দ করা যায় এবং কোনো "অনাথ" খরচ অদৃশ্য না থাকে। একটি মাসিক রাইট-সাইজিং রিভিউ (L50) প্রকৃত ব্যবহার বনাম প্রভিশন করা ক্যাপাসিটি তুলনা করে — লঞ্চের পরের মাসগুলোতে ট্রাফিক প্যাটার্ন স্থিতিশীল হওয়ার সাথে সাথে এই রিভিউ ক্যাডেন্স প্ল্যাটফর্মকে ক্রমাগত সঠিক আকারে রাখে, প্রথম দিনের অনুমান-ভিত্তিক প্রভিশনিংয়ের উপর চিরকাল নির্ভর না করে।

৯ · কোড — চূড়ান্ত প্ল্যাটফর্ম সামারি রিপোর্ট

নিচের কোডটি এই কোর্সের চারটি ভিন্ন লেসনের প্যাটার্ন থেকে ছোট সিমুলেটেড ফলাফল টেনে নিয়ে একটি একক, সমন্বিত "প্ল্যাটফর্ম সামারি রিপোর্টে" একত্র করে — একটি CI রান (L33), একটি ক্যানারি স্প্লিট (L37), একটি টিম-ভিত্তিক কস্ট ব্রেকডাউন (L51), ও একটি রাইট-সাইজিং সুপারিশ (L50)।

import random

platform_report = {}

# --- ১. CI পাইপলাইন ফলাফল (L33-এর প্যাটার্ন) ---
def run_ci_pipeline(stages):
    for name, passed in stages:
        if not passed:
            return False, name
    return True, None

ci_stages = [("lint", True), ("unit_test", True), ("build_image", True), ("scan_image", True)]
ci_passed, failed_stage = run_ci_pipeline(ci_stages)
platform_report["ci_pipeline"] = {
    "status": "PASS" if ci_passed else f"FAIL at {failed_stage}",
    "stages_run": len(ci_stages),
}

# --- ২. ক্যানারি ট্রাফিক-স্প্লিট ফলাফল (L37-এর প্যাটার্ন) ---
def route_traffic(canary_pct, rng):
    return "new_version" if rng.random() * 100 < canary_pct else "old_version"

rng = random.Random(7)
canary_pct = 5
routed = [route_traffic(canary_pct, rng) for _ in range(1000)]
new_version_pct = routed.count("new_version") / len(routed) * 100
platform_report["canary_rollout"] = {
    "configured_pct": canary_pct,
    "actual_pct": round(new_version_pct, 1),
}

# --- ৩. টিম-ভিত্তিক কস্ট ব্রেকডাউন (L51-এর প্যাটার্ন) ---
tagged_resources = [
    {"team": "platform",     "monthly_cost": 420},
    {"team": "collaboration","monthly_cost": 680},
    {"team": "collaboration","monthly_cost": 150},
    {"team": None,            "monthly_cost": 90},   # ট্যাগবিহীন — FinOps সমস্যা
]

def cost_by_team(resources):
    totals = {}
    untagged = 0
    for r in resources:
        if r["team"] is None:
            untagged += r["monthly_cost"]
        else:
            totals[r["team"]] = totals.get(r["team"], 0) + r["monthly_cost"]
    return totals, untagged

team_costs, untagged_cost = cost_by_team(tagged_resources)
platform_report["cost_by_team"] = team_costs
platform_report["untagged_cost_warning"] = untagged_cost

# --- ৪. রাইট-সাইজিং সুপারিশ (L50-এর প্যাটার্ন) ---
resources_to_check = {
    "web-tier":  {"provisioned_size": 100, "observed_peak_utilization_pct": 22},
    "db-tier":   {"provisioned_size": 100, "observed_peak_utilization_pct": 91},
}

def recommend_rightsizing(resources, target_pct=70):
    recs = {}
    for name, info in resources.items():
        peak = info["observed_peak_utilization_pct"]
        if peak < target_pct - 30:
            recs[name] = "downsize (উল্লেখযোগ্যভাবে ওভার-প্রভিশনড)"
        elif peak > 90:
            recs[name] = "upsize (ক্যাপাসিটি সীমার কাছাকাছি)"
        else:
            recs[name] = "ঠিক আছে"
    return recs

platform_report["rightsizing"] = recommend_rightsizing(resources_to_check)

# --- চূড়ান্ত সমন্বিত রিপোর্ট ---
print("=== প্ল্যাটফর্ম সামারি রিপোর্ট ===\n")
for section, data in platform_report.items():
    print(f"{section}:")
    print(f"  {data}\n")