সেন্ট্রালাইজড লগিং

১ · বিক্ষিপ্ত লগ কেন স্কেলে অকার্যকর

একটি একক সার্ভারে চলা একটি অ্যাপ্লিকেশনের জন্য "একটি লগ ফাইল দেখুন" যথেষ্ট। কিন্তু আধুনিক ক্লাউড পরিবেশে একটি রিকোয়েস্ট প্রায়ই একাধিক সার্ভিস, একাধিক ইনস্ট্যান্স/পড, একাধিক অঞ্চল জুড়ে ভ্রমণ করে (M6-M7-এর কন্টেইনার/Kubernetes পরিবেশে এই সংখ্যা শত শত হতে পারে)। প্রতিটি ইনস্ট্যান্স নিজের স্থানীয় ডিস্কে লগ লিখলে, একটি প্রোডাকশন ইনসিডেন্ট ডিবাগ করতে ইঞ্জিনিয়ারকে একে একে প্রতিটি মেশিনে লগইন করে সঠিক লগ ফাইল খুঁজতে হতো — বাস্তবে অসম্ভব, বিশেষ করে যখন ইনস্ট্যান্স নিজেই ইতিমধ্যে টার্মিনেট বা রিসাইকেল হয়ে গেছে (সার্ভারলেস/অটো-স্কেলিং পরিবেশে এটি খুবই সাধারণ)।

২ · স্ট্রাকচার্ড লগিং — কেন ফ্রি-টেক্সট যথেষ্ট নয়

একটি ফ্রি-টেক্সট লগ লাইন যেমন "User 42 login failed at 10:32" মানুষের চোখে পড়া সহজ, কিন্তু হাজার হাজার সার্ভিসের কোটি কোটি লাইন জুড়ে নির্ভরযোগ্যভাবে পার্স/ফিল্টার/অ্যাগ্রিগেট করা কঠিন — প্রতিটি ডেভেলপার সামান্য ভিন্ন ফরম্যাটে বার্তা লিখলে অনুসন্ধান ভঙ্গুর হয়ে পড়ে। স্ট্রাকচার্ড লগিংStructured Loggingকনসিস্টেন্ট ফিল্ড-নাম সহ JSON (বা অনুরূপ) ফরম্যাটে লগ লেখার প্র্যাকটিস — যাতে প্রতিটি লগ এন্ট্রি নির্ভরযোগ্যভাবে মেশিন-পার্সেবল হয়। —প্রতিটি লগ এন্ট্রিকে কনসিস্টেন্ট ফিল্ড (timestamp, level, service, message, এবং প্রাসঙ্গিক কনটেক্সট ফিল্ড যেমন user_id) সহ JSON হিসেবে লেখে — কেন্দ্রীয় সিস্টেম তখন নির্ভরযোগ্যভাবে যেকোনো ফিল্ড দিয়ে ফিল্টার/অ্যাগ্রিগেট করতে পারে।

৩ · সেন্ট্রালাইজড লগিং পাইপলাইন

একটি সাধারণ পাইপলাইন (ELK — Elasticsearch/Logstash/Kibana — স্টাইল, বা অনুরূপ যেকোনো সিস্টেম, নাম নির্দিষ্ট প্রোভাইডার-নিরপেক্ষ একটি উদাহরণ মাত্র): প্রতিটি সার্ভিস স্ট্রাকচার্ড লগ লেখে → একটি লগ ফরওয়ার্ডার/এজেন্ট প্রতিটি মেশিনে চলে ও সেই লগ কালেক্ট করে → কেন্দ্রীয় স্টোরেজে অ্যাগ্রিগেট ও ইনডেক্স হয় → একটি ড্যাশবোর্ড/সার্চ ইন্টারফেস দিয়ে যেকোনো ইঞ্জিনিয়ার পুরো সিস্টেম জুড়ে খুঁজতে পারে।

৪ · লগ রিটেনশন — ডিবাগযোগ্যতা বনাম খরচ

স্কেলে লগ দ্রুত জমা হয় — প্রতিটি রিকোয়েস্ট, প্রতিটি সার্ভিস কল কয়েক লাইন লগ তৈরি করতে পারে, তাই সব লগ চিরকাল সম্পূর্ণ বিস্তারিতভাবে রাখলে স্টোরেজ খরচ দ্রুত বেড়ে যায়। একটি রিটেনশন পলিসি ঠিক করে কতদিন কোন ডিটেইল লেভেলে লগ রাখা হবে — যেমন সাম্প্রতিক ৭ দিনের লগ সম্পূর্ণ বিস্তারিত ও দ্রুত-অনুসন্ধানযোগ্য রাখা, তারপর পুরনো লগ সংক্ষিপ্ত/সংকুচিত করে সস্তা আর্কাইভ স্টোরেজে সরানো (L11-এর স্টোরেজ-টায়ারিং ধারণার সরাসরি প্রয়োগ, এবার লগের জন্য) — খুব পুরনো ইনসিডেন্ট তদন্তে সামান্য বেশি সময় লাগলেও দৈনন্দিন খরচ অনেক কমে।

# একাধিক সিমুলেটেড সার্ভিস থেকে স্ট্রাকচার্ড লগ — একটি কেন্দ্রীয় তালিকায় অ্যাগ্রিগেট করা হচ্ছে
service_logs = {
    "auth-service": [
        {"ts": 101, "level": "INFO", "msg": "user login succeeded", "user_id": 42},
        {"ts": 104, "level": "ERROR", "msg": "token validation failed", "user_id": 17},
        {"ts": 110, "level": "INFO", "msg": "user logout", "user_id": 42},
    ],
    "payment-service": [
        {"ts": 102, "level": "INFO", "msg": "payment initiated", "order_id": 501},
        {"ts": 105, "level": "ERROR", "msg": "gateway timeout", "order_id": 501},
        {"ts": 108, "level": "WARN", "msg": "retrying payment", "order_id": 501},
    ],
    "inventory-service": [
        {"ts": 103, "level": "INFO", "msg": "stock check ok", "sku": "SKU-9"},
        {"ts": 109, "level": "ERROR", "msg": "stock database unreachable", "sku": "SKU-9"},
    ],
}

def aggregate_logs(service_logs):
    """সব সার্ভিসের লগ একটি একক কেন্দ্রীয় তালিকায় একত্র করে, প্রতিটি এন্ট্রিতে সার্ভিসের নাম যোগ করে।"""
    central_log = []
    for service_name, entries in service_logs.items():
        for entry in entries:
            merged = {"service": service_name, **entry}
            central_log.append(merged)
    central_log.sort(key=lambda e: e["ts"])
    return central_log

def search_logs(all_logs, service=None, level=None):
    """কেন্দ্রীয় লগে সার্ভিস ও/অথবা লেভেল দিয়ে ফিল্টার করে — বিক্ষিপ্ত থাকলে এই কোয়েরি অসম্ভব হতো।"""
    results = []
    for entry in all_logs:
        if service is not None and entry["service"] != service:
            continue
        if level is not None and entry["level"] != level:
            continue
        results.append(entry)
    return results

central_log = aggregate_logs(service_logs)
print(f"মোট কেন্দ্রীভূত লগ এন্ট্রি: {len(central_log)}")

print("\n--- সব সার্ভিস জুড়ে সব ERROR-level লগ (এক কোয়েরিতে) ---")
for entry in search_logs(central_log, level="ERROR"):
    print(f"[{entry['ts']}] {entry['service']:18}{entry['msg']}")