কেস স্টাডি: রেট লিমিটার ডিজাইন করা

১ · রিকোয়ারমেন্ট

২ · মূল সমস্যা — কেন লোকাল কাউন্টার এখানে ভেঙে পড়ে

L35-এ আমরা টোকেন বাকেট ও স্লাইডিং উইন্ডো বাস্তবায়ন করেছিলাম একটি প্রোগ্রামের ভেতরে একটি একক মেমরি-স্থিতি (in-memory state) ব্যবহার করে। কিন্তু একটি বাস্তব API-এর পেছনে সাধারণত লোড ব্যালেন্সারের (L11) পেছনে একাধিক স্টেটলেস অ্যাপ সার্ভার (L12) চলে। যদি প্রতিটি সার্ভার তার নিজস্ব আলাদা ইন-মেমরি কাউন্টার রাখে, তাহলে একই ক্লায়েন্ট ৩টি সার্ভার জুড়ে রাউন্ড-রবিন রাউট হলে, কার্যকরভাবে তার প্রকৃত লিমিট হয়ে যায় N × ৩ (কারণ প্রতিটি সার্ভার আলাদা করে N পর্যন্ত গণনা করে) — এটিই ঠিক সেই সমস্যা যা স্টেটফুল বনাম স্টেটলেস আলোচনায় (L12) দেখা গিয়েছিল।

৩ · সমাধান — শেয়ার্ড স্টোর

সমাধান হলো L12-এর নীতিই আবার প্রয়োগ করা — "সার্ভার নিজে কোনো স্টেট রাখবে না, একটি শেয়ার্ড স্টোর রাখবে।" সব অ্যাপ সার্ভার ইনস্ট্যান্স একটি কেন্দ্রীয়, দ্রুত কী-ভ্যালু স্টোরে (বাস্তবে সাধারণত Redis) পড়ে-লেখে। L35-এর টোকেন বাকেট বা স্লাইডিং উইন্ডো অ্যালগরিদম অপরিবর্তিত থাকে — শুধু তার "স্টেট" (কতগুলো টোকেন বাকি, বা কোন টাইমস্ট্যাম্পগুলো উইন্ডোতে আছে) এখন প্রতিটি সার্ভারের নিজস্ব মেমরির বদলে শেয়ার্ড স্টোরে থাকে।

৪ · প্লেসমেন্ট — API গেটওয়েতে কেন

রেট লিমিটার সাধারণত API গেটওয়েতে (L26) বসানো হয়, প্রতিটি ব্যাকএন্ড মাইক্রোসার্ভিসে আলাদা করে বসানোর বদলে — একটি একক জায়গায় সব ইনকামিং ট্রাফিকের জন্য সামঞ্জস্যপূর্ণ নীতি প্রয়োগ হয়, প্রতিটি সার্ভিসকে নিজে থেকে লিমিটিং লজিক ডুপ্লিকেট করতে হয় না, এবং অতিরিক্ত ট্রাফিক ব্যাকএন্ডে পৌঁছানোর আগেই বাতিল হয় (রিসোর্স বাঁচায়)।

৫ · ট্রেড-অফ — শেয়ার্ড স্টোরের খরচ ও fail-open নীতি

শেয়ার্ড স্টোর যোগ করার মূল্য — প্রতিটি রিকোয়েস্টে একটি অতিরিক্ত নেটওয়ার্ক হপ (লিমিটার স্টোরকে জিজ্ঞাসা করা), এবং এই স্টোর নিজেই এখন একটি ক্রিটিক্যাল ডিপেন্ডেন্সি — যদি এটি ডাউন হয়, পুরো সিস্টেমের রেট লিমিটিং ভেঙে পড়ে। এই পরিস্থিতিতে বেশিরভাগ বাস্তব সিস্টেম fail-open নীতি নেয় — স্টোর অনুপলব্ধ হলে ট্রাফিক ব্লক না করে সবকিছু পাস করতে দেওয়া হয় (সাময়িকভাবে আনলিমিটেড রেখে), কারণ পুরো API বন্ধ করে দেওয়া (fail-closed) সাধারণত রেট লিমিট সাময়িকভাবে না থাকার চেয়ে অনেক বেশি খারাপ ফলাফল।

def sliding_window_allow(store, client_id, now, window_size, limit):
    """L35-এর স্লাইডিং উইন্ডো, কিন্তু স্টেট একটি শেয়ার্ড dict-এ (Redis-এর স্ট্যান্ড-ইন)।"""
    timestamps = store.setdefault(client_id, [])
    cutoff = now - window_size
    store[client_id] = [t for t in timestamps if t > cutoff]
    if len(store[client_id]) < limit:
        store[client_id].append(now)
        return True
    return False

def local_allow(local_store, instance_id, client_id, now, window_size, limit):
    """ভুল পদ্ধতি: প্রতিটি ইনস্ট্যান্সের নিজস্ব আলাদা, বিচ্ছিন্ন কাউন্টার।"""
    key = (instance_id, client_id)
    timestamps = local_store.setdefault(key, [])
    cutoff = now - window_size
    local_store[key] = [t for t in timestamps if t > cutoff]
    if len(local_store[key]) < limit:
        local_store[key].append(now)
        return True
    return False

LIMIT = 5
WINDOW = 10  # সময় ইউনিট, উইন্ডোর মধ্যে সব রিকোয়েস্ট থাকবে

# "user-42"-এর ৮টি রিকোয়েস্ট, লোড ব্যালেন্সার দিয়ে ৩টি ইনস্ট্যান্স জুড়ে রাউন্ড-রবিন রাউট হচ্ছে
requests = [(t, ["server-A", "server-B", "server-C"][t % 3]) for t in range(8)]

print("=== শেয়ার্ড স্টোর (সঠিক — Redis-স্টাইল, একটাই গ্লোবাল গণনা) ===")
shared_store = {}
for now, instance in requests:
    allowed = sliding_window_allow(shared_store, "user-42", now, WINDOW, LIMIT)
    print(f"t={now}  {instance:<10} -> {'ALLOWED' if allowed else 'DENIED '}")

print("\n=== পার-ইনস্ট্যান্স লোকাল কাউন্টার (ভুল — প্রতিটি ইনস্ট্যান্স আলাদাভাবে গোনে) ===")
local_store = {}
for now, instance in requests:
    allowed = local_allow(local_store, instance, "user-42", now, WINDOW, LIMIT)
    print(f"t={now}  {instance:<10} -> {'ALLOWED' if allowed else 'DENIED '}")