মেসেজ কিউ ও Pub/Sub প্যাটার্ন

১ · মেসেজ কিউ কী এবং কেন দরকার

এতদিন আমরা যেসব সিস্টেম দেখেছি সেগুলোতে একটি সার্ভিস আরেকটি সার্ভিসকে সরাসরি কল করে এবং রেসপন্সের জন্য অপেক্ষা করে (সিঙ্ক্রোনাস)। কিন্তু অনেক কাজ তাৎক্ষণিকভাবে শেষ করার দরকার নেই — যেমন একটি ইমেইল পাঠানো, একটি ভিডিও ট্রান্সকোড করা, বা একটি রিপোর্ট জেনারেট করা। এসব ক্ষেত্রে মেসেজ কিউMessage Queueপ্রোডিউসার ও কনজিউমারের মধ্যে একটি বাফার — প্রোডিউসার বার্তা কিউতে রেখে সাথে সাথে ফিরে যেতে পারে, কনজিউমার নিজের গতিতে সেগুলো প্রসেস করে। কাজে আসে — এটি প্রোডিউসার (যে বার্তা তৈরি করে) ও কনজিউমারের (যে বার্তা প্রসেস করে) মাঝখানে একটি বাফার হিসেবে বসে থাকে।

২ · পয়েন্ট-টু-পয়েন্ট কিউ বনাম Pub/Sub

মেসেজিং সিস্টেমের দুটি প্রধান প্যাটার্ন আছে, এবং তারা সম্পূর্ণ ভিন্ন সমস্যার সমাধান করে।

সহজ কথায় — কিউ ব্যবহার করুন যখন আপনি চান একটি কাজ ঠিক একবার কেউ একজন করুক (যেমন একটি অর্ডার প্রসেস করা)। Pub/Sub ব্যবহার করুন যখন একই ইভেন্ট নিয়ে একাধিক আলাদা সিস্টেমের স্বাধীনভাবে প্রতিক্রিয়া জানানো দরকার (যেমন একটি অর্ডার প্লেস হলে ইনভেন্টরি, নোটিফিকেশন ও অ্যানালিটিক্স — তিনটি ভিন্ন সিস্টেমই জানতে চায়, বিস্তারিত L23-এ)।

৩ · মেসেজ কিউয়ের তিনটি মূল সুবিধা

৪ · Python-এ একটি সাধারণ ইন-মেমরি কিউ

নিচে collections.deque দিয়ে একটি ছোট কিউ বানানো হলো। লক্ষ্য করুন — প্রোডিউসার একসাথে কয়েকটি বার্তা পাঠিয়ে দিচ্ছে, কনজিউমার তখনও চালু হয়নি, তবু কোনো বার্তা হারায় না — সবগুলো কিউতে বাফার হয়ে অপেক্ষা করছে।

from collections import deque

queue = deque()

def produce(msg):
    queue.append(msg)
    print(f"producer পাঠালো: {msg} (কিউতে এখন {len(queue)}টি বার্তা)")

def consume():
    if queue:
        msg = queue.popleft()
        print(f"consumer প্রসেস করলো: {msg}")
        return msg
    print("কিউ খালি")
    return None

# প্রোডিউসার বেশ কয়েকটি মেসেজ পাঠাচ্ছে, consumer এখনও একটিও চালায়নি
produce("Order#101 placed")
produce("Order#102 placed")
produce("Order#103 placed")
produce("Order#104 placed")

print(f"\nএখন কিউতে {len(queue)}টি বার্তা জমে আছে (consumer এখনো একটিও প্রসেস করেনি)\n")

# consumer এখন চালু হয়ে একে একে প্রসেস করছে, নিজের গতিতে
while queue:
    consume()

print(f"\nকিউ এখন খালি — অবশিষ্ট বার্তা: {len(queue)}")

৫ · কোথায় ব্যবহার হয়

ইমেইল/SMS পাঠানো, ভিডিও ট্রান্সকোডিং (L48), অর্ডার প্রসেসিং পাইপলাইন, লগ অ্যাগ্রিগেশন, এবং মাইক্রোসার্ভিসের মধ্যে অ্যাসিনক্রোনাস কমিউনিকেশন — এসব ক্ষেত্রে মেসেজ কিউ ও Pub/Sub ব্যাপকভাবে ব্যবহৃত হয়। পরবর্তী দুটি পাঠে আমরা দেখব কীভাবে এই বেসিক বিল্ডিং ব্লকের উপর ভিত্তি করে সম্পূর্ণ ইভেন্ট-ড্রিভেন আর্কিটেকচার (L23) এবং স্ট্রিম প্রসেসিং সিস্টেম (L24) বানানো হয়।