লগিং, মনিটরিং ও ডিস্ট্রিবিউটেড ট্রেসিং

১ · অবজারভেবিলিটির তিন স্তম্ভ

একটি বড় ডিস্ট্রিবিউটেড সিস্টেমে "ভেতরে কী ঘটছে" বোঝার জন্য তিন ধরনের সিগন্যাল দরকার হয়, প্রতিটি ভিন্ন প্রশ্নের উত্তর দেয় —

২ · স্ট্রাকচার্ড লগিং

সাধারণ ফ্রি-টেক্সট লগ ("User 42 failed to login at 10:03") মানুষের পড়ার জন্য সহজ, কিন্তু লক্ষ লক্ষ লাইনের মধ্যে প্রোগ্রাম্যাটিকভাবে খোঁজা কঠিন। স্ট্রাকচার্ড (JSON) লগ ({"event":"login_failed","user_id":42,"ts":"..."}) প্রতিটি তথ্যকে একটি ফিল্ড হিসেবে রাখে — যাতে "সব login_failed ইভেন্ট যেখানে user_id=42" এর মতো প্রশ্ন সরাসরি কোয়েরি করা যায়, টেক্সট প্যাটার্ন-ম্যাচিং ছাড়াই। স্কেলে (কোটি কোটি লগ লাইন) এই পার্থক্যটাই লগিংকে ব্যবহারযোগ্য বনাম অকেজো করে দেয়।

৩ · ডিস্ট্রিবিউটেড ট্রেসিং — span ও ট্রেস-আইডি

যখন একটি ক্লায়েন্ট রিকোয়েস্ট একাধিক মাইক্রোসার্ভিস (L25) দিয়ে যায় (যেমন Gateway → Service A → Service B), প্রতিটি রিকোয়েস্টকে একটি ইউনিক trace ID দেওয়া হয় যা প্রতিটি সার্ভিস কলের সাথে প্রপাগেট হয়। প্রতিটি সার্ভিস তার নিজের কাজের একটি span (নাম + শুরু সময় + শেষ সময়) রেকর্ড করে এবং সেই span-টি trace ID-এর সাথে ট্যাগ করে পাঠিয়ে দেয় একটি কেন্দ্রীয় ট্রেসিং সিস্টেমে (Jaeger, Zipkin, OpenTelemetry)। সব span একত্র করলে পুরো রিকোয়েস্টের একটি "ওয়াটারফল" টাইমলাইন পুনর্গঠিত হয় — কোন সার্ভিস কতক্ষণ ধরে চলেছিল, এবং কোনটি কোনটির ভেতরে নেস্টেড ছিল।

নিচের কোড সেলে একটি বাস্তব (fake-clock ভিত্তিক, রিপ্রোডিউসিবল) ট্রেস সিমুলেশন — handle_request কল করে call_service_a-কে, যা কল করে call_service_b-কে। প্রতিটি ফাংশন নিজের span একটি শেয়ার্ড তালিকায় রেকর্ড করে, একটি ম্যানুয়ালি-বাড়ানো ফেক-ক্লক কাউন্টার ব্যবহার করে।

spans = []
clock = [0]   # ফেক মনোটোনিক ক্লক — লিস্টে রাখা হলো যাতে নেস্টেড ফাংশন থেকে বাড়ানো যায়

def tick():
    clock[0] += 1
    return clock[0]

def call_service_b():
    start = tick()
    tick(); tick()          # সিমুলেটেড কাজ
    end = tick()
    spans.append(("call_service_b", start, end, 2))   # depth 2 — সবচেয়ে গভীরে
    return end

def call_service_a():
    start = tick()
    call_service_b()
    end = tick()
    spans.append(("call_service_a", start, end, 1))    # depth 1
    return end

def handle_request():
    start = tick()
    call_service_a()
    end = tick()
    spans.append(("handle_request", start, end, 0))    # depth 0 — রুট span
    return end

handle_request()

# শুরুর সময় অনুযায়ী সাজিয়ে ট্রেস পুনর্গঠন করা
spans_sorted = sorted(spans, key=lambda s: s[1])

print(f"{'Span':<22}{'Start':<8}{'End':<8}{'Duration':<10}{'Depth'}")
for name, start, end, depth in spans_sorted:
    indent = "  " * depth
    label = indent + name
    print(f"{label:<22}{start:<8}{end:<8}{end-start:<10}{depth}")

৪ · মেট্রিক্স ও ড্যাশবোর্ড

লগ ও ট্রেস সাধারণত একটি নির্দিষ্ট সমস্যা তদন্ত করার জন্য ব্যবহৃত হয় (কিছু একটা ভুল হয়েছে জানার পর)। কিন্তু কিছু ভুল হচ্ছে তা প্রথমে জানতে হলে দরকার মেট্রিক্স — রিকোয়েস্ট কাউন্ট, এরর রেট, লেটেন্সি পার্সেন্টাইল (p50/p95/p99, L03), CPU/মেমরি ব্যবহার — সময়ের সাথে সংগৃহীত ও ড্যাশবোর্ডে ভিজ্যুয়ালাইজড। এই মেট্রিক্সের উপর ভিত্তি করেই অ্যালার্ট সেট করা হয় (যেমন "এরর রেট ৫%-এর বেশি হলে অন-কল ইঞ্জিনিয়ারকে জানাও") — যা L42-এ SLA/SLO/SLI-এর সাথে সরাসরি যুক্ত।