সরাসরি পর্বে যান
পর্ব ৭৩ · ৮৫-এর মধ্যে · মডিউল ১২

MQTT — broker, topic, QoS আর retained message

MQTT — Broker, Topics, QoS and Retained Messages

Taught in Bangla, this lesson explains publish/subscribe and runs everything on a local amqtt 0.12.2 broker on 127.0.0.1 with paho-mqtt clients. It decodes CONNECT and PUBLISH bytes, tests six filters against six topics for the + and # wildcards, traces the QoS 2 PUBLISH, PUBREC, PUBREL and PUBCOMP exchange, and simulates loss and duplicates per QoS. Retained messages reach late subscribers, a 2 s keep-alive Last Will fires after 3.0 s, sessions keep queued messages, and market topics and payloads are designed.

এই পর্বে যা শিখবেন

  • Publish/subscribe, broker আর client-এর ভূমিকা বোঝা, আর CONNECT থেকে PUBLISH পর্যন্ত packet-এর byte নিজে পড়তে ও বানাতে পারা
  • Topic-এর স্তর আর +, # wildcard-এর নিয়ম দিয়ে কোন subscriber কোন বার্তা পাবে তা আগে থেকে বলা
  • QoS 0, 1, 2-এর packet-এর আদান-প্রদান আসল log থেকে পড়া, আর খারাপ link-এ কোনটি হারায় বা দুবার আসে তা হিসাব করা
  • Retained message, Last Will, keep-alive আর persistent session দিয়ে device-এর অবস্থা (online/offline) নির্ভরযোগ্যভাবে জানানো
  • বাজারঘরের smart scale আর cold-storage monitor-এর জন্য topic, QoS আর payload নকশা করা, আর MQTT 3.1.1 বনাম 5.0-এর মূল পার্থক্য বলা

১ · কেন MQTT — জিজ্ঞেস করার বদলে ঘোষণা শোনা

বাজারঘরের cold-storage monitor প্রতি 10 s-এ একটি telemetry বার্তা তৈরি করে। এটি কে কে পড়বে? দোকানের dashboard, মালিকের phone app, হয়তো পরে একটি alarm-এর service. প্রতিটি পাঠককে device যদি আলাদা করে চিনতে হয়, প্রত্যেকের ঠিকানা মনে রাখতে হয়, আর প্রত্যেকে device-কে বারবার জিজ্ঞেস করে “নতুন কিছু আছে?”, তবে ছোট microcontroller-এর RAM, battery আর network দ্রুত ফুরাবে। এই পর্বে hex লেখা হবে C-এর ধাঁচে বা byte-এর তালিকায় (0x2e, 10 3c).

উপমা — রেলস্টেশনের ঘোষণা: কমলাপুর স্টেশনে প্রতিটি যাত্রী টিকিট কাউন্টারে গিয়ে “চট্টগ্রামের ট্রেন কখন?” জিজ্ঞেস করেন না। ঘোষক মাইকে বলেন “চট্টগ্রামগামী ট্রেন ৩ নম্বর প্ল্যাটফর্মে”, আর যে যাত্রী চট্টগ্রামের খবরে কান পেতে আছেন, শুধু তিনিই সাড়া দেন। ঘোষক জানেন না কে শুনছে। MQTT-তে device হলো যে খবর দেয়, broker হলো স্টেশনের মাইক, topic হলো “চট্টগ্রামগামী”, আর subscriber হলো কান পেতে থাকা যাত্রী।

এই ধাঁচের নাম publish-subscribe. MQTT-তে প্রকাশক (publisher) একটি topic-এ বার্তা পাঠায় MQTT broker-এর কাছে; broker দেখে কোন কোন client সেই topic-এ subscribe করেছে, আর প্রত্যেককে একটি কপি পাঠায়। Publisher আর subscriber একে অপরকে চেনে না, একই সময়ে চালু থাকারও দরকার নেই (retained message আর session দিয়ে, অংশ ৫ ও ৭). Pub/sub-এর বড় পরিসরের নকশা, যেমন fan-out আর event-driven system, System Design পর্ব ৩২-এ; application layer-এ MQTT-এর জায়গা Computer Networks পর্ব ৩৪-এ। এখানে device আর firmware-এর দিক।

MQTT চলে TCP-র ওপর (প্রচলিত port 1883, TLS-সহ 8883). এর একটি বড় সুবিধা প্রায়ই চোখ এড়িয়ে যায়: সংযোগ সবসময় device থেকে broker-এর দিকে খোলে। দোকানের router-এর পেছনে, NAT-এর আড়ালে বা mobile network-এ থাকা device-এর কোনো সরাসরি ঠিকানা লাগে না; বাইরে থেকে কেউ device-এ ঢোকে না, device নিজে বাইরে যায়। TCP-র handshake আর সংযোগের অবস্থা Computer Networks পর্ব ২৯-এ।

ছবি ৭৩.১ — বাজারঘরের MQTT: দুটি device, একটি broker, দুটি subscriber

ওপরে publisher, মাঝে broker আর তার রাখা retained বার্তা (★), নিচে subscriber আর তাদের filter

বাজারঘরের MQTT: publisher, broker আর subscriber scale-1 smart scale coldroom-1 UART → bridge PUBLISH QoS 1 PUBLISH Broker (amqtt, 127.0.0.1) ★ bazarghar/scale/1/weight bazarghar/coldroom/1/temp ★ bazarghar/coldroom/1/status fan-out retained আগে dashboard bazarghar/# phone-app …/scale/1/weight সব TCP সংযোগ client → broker দিকে খোলে
ছবি ৭৩.১ — কোর্সের virtual board BG-M3-এ কোনো radio বা network নেই; firmware-এর UART লাইনকে lab-এর একটি Python bridge MQTT বার্তায় বদলায় (অংশ ৮). ★ = broker-এর রাখা retained বার্তা।

ইতিহাসের পাতা থেকে: MQTT-এর শুরু ১৯৯৯ সালে। IBM-এর Andy Stanford-Clark আর Arcom-এর (পরে Eurotech-এর অংশ) Arlen Nipper তেলের pipeline দেখভালের যন্ত্র satellite link দিয়ে যুক্ত করতে এটি বানান, যেখানে bandwidth দামি আর সংযোগ প্রায়ই ভাঙে। নামটি IBM-এর MQ পণ্য-পরিবার থেকে আসা বলে প্রচলিত। IBM পরে এটি OASIS-কে দেয়; MQTT 3.1.1 OASIS Standard হয় ২৯ অক্টোবর ২০১৪-এ, ISO/IEC 20922 হিসেবেও গৃহীত হয় (সূত্রভেদে ২০১৬), আর MQTT 5.0 আসে ৭ মার্চ ২০১৯-এ। এই পর্বের নিয়ম MQTT 3.1.1 ধরে, সেকশন নম্বর তার OASIS দলিলের।

২ · সংযোগ — CONNECT, CONNACK আর packet-এর byte

প্রতিটি MQTT সংযোগ শুরু হয় client-এর CONNECT আর broker-এর CONNACK দিয়ে। কোর্সের reference lab-এর mqtt_demo.py একটি amqtt broker শুধু 127.0.0.1-এ চালায় আর paho-mqtt client দিয়ে বাজারঘরের পাঁচটি client বানায় (README-এর অংশ ৫, Spec decision 37–39). প্রথম ধাপের আসল packet log (Python 3.13.5; amqtt 0.12.2, MIT license; paho-mqtt 2.2.0, EPL-2.0/EDL-1.0):

$ cd ~/lab/_ref && python -B mqtt_demo.py
broker: amqtt 0.12.2 listening on 127.0.0.1 (port chosen at run time)

1. dashboard connects and subscribes to bazarghar/# with QoS 2
    dashboard  Sending CONNECT (u0, p0, wr0, wq0, wf0, c1, k60) client_id=dashboard
    dashboard  Received CONNACK (0, 0)
    dashboard  Sending SUBSCRIBE (d0, m1) [(b'bazarghar/#', 2)]
    dashboard  Received SUBACK

paho-র log-এর বন্ধনী CONNECT-এর flag-গুলো দেখায়: u0, p0 মানে user name আর password নেই; wr, wq, wf হলো Will-এর retain, QoS আর flag; c1 মানে clean session; k60 মানে keep-alive 60 s. CONNACK (0, 0)-এর প্রথম সংখ্যা session present, দ্বিতীয়টি return code, 0 মানে গৃহীত। Port কখনো ছাপা হয় না, কারণ broker প্রতিবার একটি খালি port বেছে নেয়।

Log সুন্দর, কিন্তু তারের ওপর আসলে কী যায়? আমার lab-এর rawlab.py একই broker-এ (reference-এর BrokerThread আর patch_amqtt() শুধু import করে) paho ছাড়া, খালি socket দিয়ে নিজের বানানো packet পাঠায় আর প্রতিটি byte ছাপে। Cold room-এর CONNECT, যার সঙ্গে একটি Last Will (status = offline, QoS 1, retained):

$ cd ~/lab/mqtt && python -B rawlab.py bytes
  coldroom-1 -> CONNECT    10 3c 00 04 4d 51 54 54 04 2e 00 3c 00 0a 63 6f 6c 64 72 6f 6f 6d 2d 31 00 1b 62 61 7a 61 72 67 68 61 72 2f 63 6f 6c 64 72 6f 6f 6d 2f 31 2f 73 74 61 74 75 73 00 07 6f 66 66 6c 69 6e 65
  coldroom-1 <- CONNACK    20 02 00 00

প্রতিটি MQTT packet-এর শুরুতে একটি fixed header: প্রথম byte-এর ওপরের ৪ বিট packet-এর ধরন (1 = CONNECT, 2 = CONNACK, 3 = PUBLISH …), নিচের ৪ বিট flag; তারপর remaining length, অর্থাৎ বাকি অংশ কত byte. নিচের stepper এই ৬২ byte এক এক অংশ করে পড়ে:

coldroom-1 → broker, মোট 62 byte
অংশ
byte
মানে
গোনা byte
  1. Fixed header. 0x10-এর ওপরের ৪ বিট 1, অর্থাৎ CONNECT; flag 0. পরের byte 0x3c = 60: এর পরে আরও 60 byte আছে, তাই মোট 62.
  2. Protocol name. MQTT-এর সব লেখা আগে ২ byte দৈর্ঘ্য, তারপর UTF-8: 00 04 আর “MQTT”-এর চারটি অক্ষর 4d 51 54 54.
  3. Protocol level. 04 মানে MQTT 3.1.1; MQTT 5.0-এ এই byte 5.
  4. Connect flags = 0x2e = 0b00101110. বিট ১ clean session = 1, বিট ২ Will flag = 1, বিট ৩–৪ Will QoS = 01, বিট ৫ Will retain = 1; বিট ৬ আর ৭ (password, user name) 0. paho-র ভাষায় wr1, wq1, wf1, c1.
  5. Keep-alive. 00 3c = 60 s: এর চেয়ে বেশি সময় কোনো packet না পাঠালে device-কে PINGREQ পাঠাতে হবে (অংশ ৬).
  6. Payload শুরু: client id. 00 0a = 10, তারপর “coldroom-1”. Broker এই নামে session চেনে; একই id-তে দ্বিতীয় সংযোগ এলে আগেরটি বন্ধ হয়।
  7. Will topic. 00 1b = 27 byte: bazarghar/coldroom/1/status. Will flag 1 বলেই এই ঘর আছে।
  8. Will message. 00 07 আর “offline”. গোনা মেলে: 2 + 10 (variable header) + 12 + 29 + 9 = 62. উত্তর CONNACK 20 02 00 00: ধরন 2, দৈর্ঘ্য 2, session present 0, return code 0.

একই byte নিজে বানানো যায়। নিচের ব্লক MQTT 3.1.1-এর নিয়মে CONNECT আর PUBLISH তৈরি করে, আর remaining length-এর encoding দেখায়: প্রতি byte-এ ৭ বিট মান, আর সবচেয়ে উঁচু বিট 1 মানে “আরও byte আছে”, সর্বোচ্চ ৪ byte (OASIS দলিলের অংশ 2.2.3).

# MQTT 3.1.1-এর packet হাতে বানানো: CONNECT (Last Will-সহ) আর PUBLISH
def rem_len(n):                       # Remaining Length: 7 বিট করে, MSB = আরও আছে
    out = bytearray()
    while True:
        n, d = divmod(n, 128)
        out.append(d | (0x80 if n else 0))
        if n == 0:
            return bytes(out)

def s(text):                          # 2 byte দৈর্ঘ্য + UTF-8 লেখা
    b = text.encode()
    return len(b).to_bytes(2, "big") + b

def connect(cid, keep, will_topic, will_msg):
    flags = 0x02 | 0x04 | (1 << 3) | 0x20   # clean, will, will QoS 1, will retain
    body = s("MQTT") + bytes([4, flags]) + keep.to_bytes(2, "big")
    body += s(cid) + s(will_topic) + s(will_msg)
    return bytes([0x10]) + rem_len(len(body)) + body

def publish(topic, payload, qos, pid=0, retain=0):
    body = s(topic) + (pid.to_bytes(2, "big") if qos else b"") + payload.encode()
    return bytes([0x30 | qos << 1 | retain]) + rem_len(len(body)) + body

hx = lambda b: " ".join(f"{x:02x}" for x in b)
c = connect("coldroom-1", 60, "bazarghar/coldroom/1/status", "offline")
print("CONNECT", len(c), "bytes:", hx(c[:14]), "...")
print("  flags byte = 0x%02x = %s" % (c[9], format(c[9], "08b")))
p = publish("bazarghar/coldroom/1/temp",
            '{"dev":"coldroom-1","seq":3,"temp_c":4.00,"alarm":"OFF"}', qos=2, pid=4)
print("PUBLISH", len(p), "bytes:", hx(p[:4]), "...", hx(p[27:31]), "...")
for n in (0, 127, 128, 16383, 16384, 268435455):
    print(f"remaining length {n:>9} -> {hx(rem_len(n))}")

আসল আউটপুট (ব্রাউজারের Python):

CONNECT 62 bytes: 10 3c 00 04 4d 51 54 54 04 2e 00 3c 00 0a ...
  flags byte = 0x2e = 00101110
PUBLISH 87 bytes: 34 55 00 19 ... 6d 70 00 04 ...
remaining length         0 -> 00
remaining length       127 -> 7f
remaining length       128 -> 80 01
remaining length     16383 -> ff 7f
remaining length     16384 -> 80 80 01
remaining length 268435455 -> ff ff ff 7f

CONNECT-এর প্রথম ১৪ byte আসল broker-এ পাঠানো capture-এর সঙ্গে হুবহু মেলে, আর PUBLISH-এর ৮৭ byte-ও (34 55 00 19: ধরন 3, QoS 2, দৈর্ঘ্য 85, topic-এর দৈর্ঘ্য 25; topic-এর শেষ “mp”-এর পরে packet id 00 04). 128 থেকে দ্বিতীয় byte লাগে, 16384 থেকে তৃতীয়; ৪ byte-এ সর্বোচ্চ 268 435 455, অর্থাৎ প্রায় 256 MB. ছোট telemetry-র জন্য fixed header তাই সাধারণত মাত্র ২ byte, আর এটিই MQTT-এর “হালকা” হওয়ার একটি কারণ।

৩ · Topic আর wildcard — কে কোন বার্তা পাবে

Topic হলো / দিয়ে স্তরে ভাগ করা UTF-8 লেখা, যেমন পোস্ট অফিসের ঠিকানা: দেশ/জেলা/থানা/বাড়ি। Publisher সবসময় একটি পূর্ণ topic নামে পাঠায়, wildcard ছাড়া (MQTT 3.1.1-এর নিয়ম MQTT-3.3.2-2). Subscriber দেয় একটি topic filter, যাতে দুটি wildcard চলে:

  • + ঠিক একটি স্তরের জায়গা নেয়: bazarghar/+/1/temp মেলে bazarghar/coldroom/1/temp-এর সঙ্গে, কিন্তু চার স্তরের বেশি বা কম কিছুর সঙ্গে নয়।
  • # বাকি সব স্তর নেয়, শূন্য স্তরও; তাই এটি filter-এর একেবারে শেষে বসতে হয়, আর bazarghar/# খোদ bazarghar-কেও মেলে (অংশ 4.7.1.2: “# includes the parent level”).
  • $ দিয়ে শুরু topic (যেমন broker-এর $SYS/…) wildcard দিয়ে শুরু হওয়া filter-এ মেলে না (অংশ 4.7.2); তাই # subscribe করলেও $SYS আসে না।
  • বড়-ছোট হাতের অক্ষর আলাদা, আর খালি স্তরও একটি স্তর: /bazarghar/… আর bazarghar/… দুটি ভিন্ন topic.

নিয়মগুলো আসল broker-এ যাচাই করা হলো। rawlab.py wild ছয়টি subscriber-কে ছয়টি filter দিয়ে যুক্ত করে, তারপর ছয়টি topic-এ একটি করে বার্তা পাঠায়। সত্যিকারের run:

$ python -B rawlab.py wild
filter                      receives
bazarghar/#                 bazarghar/coldroom/1/temp, bazarghar/coldroom/1/status, bazarghar/scale/1/weight, bazarghar/coldroom/2/temp, bazarghar/coldroom/1, bazarghar
bazarghar/+/1/temp          bazarghar/coldroom/1/temp
bazarghar/coldroom/+/+      bazarghar/coldroom/1/temp, bazarghar/coldroom/1/status, bazarghar/coldroom/2/temp
bazarghar/scale/#           bazarghar/scale/1/weight
+/scale/1/weight            bazarghar/scale/1/weight
bazarghar/coldroom/1        bazarghar/coldroom/1

লক্ষ করুন, bazarghar/coldroom/+/+ চার স্তরের তিনটি cold-room topic পায় কিন্তু তিন স্তরের bazarghar/coldroom/1 পায় না। ভুল filter-ও broker ধরিয়ে দেয়: আমার lab-এ bazarghar/coldroom/#/temp subscribe করলে SUBACK এসেছে 90 03 00 01 80, শেষ byte 0x80 মানে “failure”, কারণ # শেষে নেই। নিচের ব্লক একই নিয়ম Python-এ লেখে, আর broker-এর টেবিল হুবহু ফিরিয়ে দেয়:

# MQTT 3.1.1-এর topic filter মেলানো: + এক স্তর, # বাকি সব স্তর (মূল স্তরসহ)
def matches(flt, topic):
    if topic.startswith("$") and flt[:1] in ("+", "#"):
        return False                       # §4.7.2: $-topic wildcard দিয়ে শুরু হওয়া filter-এ নয়
    f, t = flt.split("/"), topic.split("/")
    for i, part in enumerate(f):
        if part == "#":
            return True                    # # সবসময় শেষ স্তর; বাকি সব মেলে
        if i >= len(t):
            return False
        if part != "+" and part != t[i]:
            return False
    return len(f) == len(t)

filters = ["bazarghar/#", "bazarghar/+/1/temp", "bazarghar/coldroom/+/+",
           "bazarghar/scale/#", "+/scale/1/weight", "bazarghar/coldroom/1"]
topics = ["bazarghar/coldroom/1/temp", "bazarghar/coldroom/1/status",
          "bazarghar/scale/1/weight", "bazarghar/coldroom/2/temp",
          "bazarghar/coldroom/1", "bazarghar"]
for flt in filters:
    got = [t for t in topics if matches(flt, t)]
    print(f"{flt:<24} {len(got)}: {', '.join(t.replace('bazarghar', 'bg') for t in got)}")

print("--- কিনারার ঘটনা ---")
for flt, topic in [("#", "$SYS/broker/uptime"), ("$SYS/#", "$SYS/broker/uptime"),
                   ("bazarghar/+", "bazarghar/coldroom/1"), ("+/+", "/coldroom"),
                   ("bazarghar/coldroom/1/+", "bazarghar/coldroom/1/")]:
    print(f"{flt:<24} vs {topic:<22} -> {matches(flt, topic)}")

আসল আউটপুট (ব্রাউজারের Python):

bazarghar/#              6: bg/coldroom/1/temp, bg/coldroom/1/status, bg/scale/1/weight, bg/coldroom/2/temp, bg/coldroom/1, bg
bazarghar/+/1/temp       1: bg/coldroom/1/temp
bazarghar/coldroom/+/+   3: bg/coldroom/1/temp, bg/coldroom/1/status, bg/coldroom/2/temp
bazarghar/scale/#        1: bg/scale/1/weight
+/scale/1/weight         1: bg/scale/1/weight
bazarghar/coldroom/1     1: bg/coldroom/1
--- কিনারার ঘটনা ---
#                        vs $SYS/broker/uptime     -> False
$SYS/#                   vs $SYS/broker/uptime     -> True
bazarghar/+              vs bazarghar/coldroom/1   -> False
+/+                      vs /coldroom              -> True
bazarghar/coldroom/1/+   vs bazarghar/coldroom/1/  -> True

ছয়টি সারি broker-এর run-এর সঙ্গে মেলে (জায়গা বাঁচাতে bazarghar ছাপা হয়েছে bg). কিনারার তিনটি ঘটনা অবাক করে: শুরুর / একটি খালি স্তর বানায়, তাই /coldroom দুই স্তরের; আর শেষের /-ও একটি খালি স্তর, যা + মেলায়। এ কারণে topic-এর শুরু বা শেষে / না রাখাই প্রচলিত পরামর্শ। মডেলটি filter বৈধ কি না (যেমন # মাঝে) যাচাই করে না; সেই কাজ broker-এর SUBACK করে।

৪ · QoS 0, 1, 2 — কতটা নিশ্চয়তা, কত packet

QoS (Quality of Service) বলে একটি বার্তা পৌঁছানোর কতটা নিশ্চয়তা চাই। তিনটি স্তর, প্রতিটির নিজের packet-এর আদান-প্রদান:

QoSপ্রতিশ্রুতিpacket (প্রতি পা)বাজারঘরে কোথায়
0at most once: হারাতে পারে, দুবার নয়PUBLISHঘন ঘন আসা, পরেরটি আগেরটিকে পুরোনো করে দেয় এমন মাপ
1at least once: হারায় না, দুবার আসতে পারেPUBLISH → PUBACKওজন, তাপমাত্রা, status: বেশিরভাগ telemetry
2exactly once: ঠিক একবারPUBLISH → PUBREC → PUBREL → PUBCOMPযে command দুবার চললে ক্ষতি, যেমন “বিলে টাকা যোগ”

“পা” শব্দটি জরুরি। MQTT-এ বার্তা কখনো সরাসরি publisher থেকে subscriber-এ যায় না: প্রথম পা publisher → broker, দ্বিতীয় পা broker → subscriber, আর QoS-এর প্রতিশ্রুতি প্রতিটি পায়ে আলাদা। দ্বিতীয় পায়ের QoS = min(publish-এর QoS, subscriber-কে অনুমোদিত QoS), OASIS দলিলের অংশ 3.8.4-এর ভাষায় “the minimum of the QoS of the originally published message and the maximum QoS granted by the Server”. amqtt 0.12.2 এখানে ভুল করে: subscription-এর QoS-এই পাঠায়, তাই QoS 0-এর বার্তা QoS 2-এর subscriber-এর কাছে QoS 2 হয়ে যেত। কোর্সের lab এটি runtime-এ ঠিক করে, ইনস্টল করা package না বদলে, আর test দিয়ে প্রমাণ রাখে যে patch ছাড়া ভুলটি আছে, patch-সহ নেই (Spec decision 37-এর (a)). উল্টো দিকের প্রমাণ আমার lab-এর একটি run: QoS 0-এ subscribe করা একটি display QoS 1-এর বার্তা পেয়েছে 30 28 … হিসেবে, প্রথম byte 0x30 মানে QoS 0, আর packet id ছাড়া।

এবার demo-র তৃতীয় ধাপ: coldroom-1 একই topic-এ তিনটি বার্তা পাঠায় QoS 0, 1 আর 2 দিয়ে, আর dashboard (QoS 2-এ subscribe করা) তিনটিই পায়। আসল log-এর QoS 2 অংশ:

  QoS 2:
    coldroom-1 Sending PUBLISH (d0, q2, r0, m4), 'bazarghar/coldroom/1/temp', ... (56 bytes)
    coldroom-1 Received PUBREC (Mid: 4)
    coldroom-1 Sending PUBREL (Mid: 4)
    coldroom-1 Received PUBCOMP (Mid: 4)
    dashboard  Received PUBLISH (d0, q2, r0, m4), 'bazarghar/coldroom/1/temp', ...  (56 bytes)
    dashboard  Sending PUBREC (Mid: 4)
    dashboard  Received PUBREL (Mid: 4)
    dashboard  Sending PUBCOMP (Mid: 4)
    dashboard got bazarghar/coldroom/1/temp qos=2 retain=0 {"dev":"coldroom-1","seq":3,"temp_c":4.00,"alarm":"OFF"}

Log-টি client ধরে সাজানো: প্রতিটি ধাপ শেষ হলে আগে coldroom-1-এর সব লাইন, তারপর dashboard-এর (Spec decision 39). তাই দুই পায়ের মধ্যে কোনটি আগে ঘটেছে, এই log বলে না; প্রতিটি পায়ের ভেতরের ক্রম অবশ্য নিশ্চিত। নিচের stepper আটটি packet ধাপে ধাপে দেখায়:

coldroom-1 → broker → dashboard, seq 3
packet
দিক
যে রাখে
app পেল?
  1. PUBLISH, QoS 2, packet id 4. 56 byte-এর payload. Device বার্তাটি নিজের কাছে রেখে দেয়, যতক্ষণ না PUBREC আসে; না এলে আবার পাঠাবে, DUP flag 1 দিয়ে।
  2. PUBREC: “পেয়েছি”. Broker id 4 মনে রাখে। এখন device-এর বার্তার কপি আর দরকার নেই; সে শুধু id 4 রাখে।
  3. PUBREL: “ছেড়ে দিন”. Device জানায়, এই id-র কাজ শেষ। একই PUBLISH আবার এলে broker id দেখে বুঝবে এটি পুরোনো, দ্বিতীয়বার বিতরণ করবে না।
  4. PUBCOMP: “শেষ”. Broker id 4 ভুলে যায়, device-ও। প্রথম পায়ের চারটি packet এখানে শেষ; দুই পক্ষের কারও কাছে আর কোনো অবস্থা নেই।
  5. দ্বিতীয় পা শুরু. Broker নিজে publisher হয়ে dashboard-কে QoS 2-এ পাঠায় (min(2, 2) = 2). Packet id প্রতিটি সংযোগের নিজের: demo-তে কাকতালীয়ভাবে দুটিই 4, আমার raw run-এ এই পায়ের id ছিল 1.
  6. Dashboard-এর PUBREC. paho বার্তাটি id 4-এর নামে জমা রাখে, এখনো app-এ দেয় না। এটি OASIS দলিলের “Method A”; “Method B”-তে শুধু id মনে রেখে বার্তা আগেই এগিয়ে দেওয়া হয় (অংশ 4.3.3, কোনটি নেবে তা implementation-এর ব্যাপার). একই id-তে আবার PUBLISH এলে শুধু PUBREC ফেরত যায়।
  7. Broker-এর PUBREL. “এই id ছেড়ে দিন”. paho এখন জমা বার্তাটি সরিয়ে app-এর on_message-এ দেয়, ঠিক একবার। এরপর ওই id নতুন বার্তার জন্য আবার ব্যবহার করা যাবে।
  8. Dashboard-এর PUBCOMP. দ্বিতীয় পা শেষ, দুই পক্ষ id ভুলে যায়। App পেয়েছে seq 3, 4.00 °C, OFF, ঠিক একবার। মোট আটটি packet, QoS 0-এর দুটির জায়গায় (প্রতি পায়ে একটি).

বাস্তবে link খারাপ হলে কী হয়? নিচের ব্লক একটি সরল মডেল: প্রতিটি packet দুই দিকেই ২০ শতাংশ সম্ভাবনায় হারায়, প্রেরক উত্তর না পেলে একই id দিয়ে আবার পাঠায়, আর ১০০০টি বার্তা পাঠানো হয়। MQTT 3.1.1-এ আবার পাঠানো বাধ্যতামূলক শুধু clean session = 0-এ আবার সংযোগের পরে (অংশ 4.4); মডেলটি সেই খুঁটিনাটি বাদ দিয়ে শুধু “উত্তর না এলে আবার” ধরে:

# খারাপ link-এ QoS 0, 1, 2: প্রতিটি packet 20 % সম্ভাবনায় হারায় (দুই দিকেই)
# প্রেরক উত্তর না পেলে একই packet id দিয়ে আবার পাঠায় (সরল মডেল)
import random
LOSS, N = 0.20, 1000

def run(qos, rng):
    app = []                         # গ্রাহকের app যা পেল
    pending = set()                  # QoS 2: PUBREC দেওয়া হয়েছে, PUBREL আসেনি
    sent, ok = 0, lambda: rng.random() >= LOSS
    for mid in range(1, N + 1):
        if qos == 0:
            sent += 1; app += [mid] if ok() else []
            continue
        while True:                  # ধাপ ১: PUBLISH, যতক্ষণ না ack ফেরে
            sent += 1
            if ok():                 # PUBLISH পৌঁছাল
                if qos == 1 or mid not in pending:
                    app.append(mid)  # QoS 1: প্রতিবার; QoS 2: প্রথমবারই
                if qos == 2: pending.add(mid)
                sent += 1
                if ok(): break       # PUBACK / PUBREC ফিরল
        if qos == 2:
            while True:              # ধাপ ২: PUBREL, যতক্ষণ না PUBCOMP ফেরে
                sent += 1
                if ok():
                    pending.discard(mid)
                    sent += 1
                    if ok(): break
    return N - len(set(app)), len(app) - len(set(app)), sent

for q in (0, 1, 2):
    lost, dup, sent = run(q, random.Random(73))
    print(f"QoS {q}: হারানো {lost:3}, দুবার পাওয়া {dup:3}, মোট packet {sent:5}"
          f" (বার্তাপ্রতি {sent / N:.2f})")

আসল আউটপুট (ব্রাউজারের Python):

QoS 0: হারানো 206, দুবার পাওয়া   0, মোট packet  1000 (বার্তাপ্রতি 1.00)
QoS 1: হারানো   0, দুবার পাওয়া 274, মোট packet  2883 (বার্তাপ্রতি 2.88)
QoS 2: হারানো   0, দুবার পাওয়া   0, মোট packet  5725 (বার্তাপ্রতি 5.72)

তিনটি প্রতিশ্রুতি সংখ্যায়: QoS 0 প্রায় ২০ শতাংশ হারায়; QoS 1 কিছু হারায় না, কিন্তু PUBACK হারালে device আবার পাঠায় আর app একই বার্তা দুবার পায় (২৭৪ বার); QoS 2 কিছু হারায়ও না, দুবারও দেয় না, কিন্তু QoS 1-এর প্রায় দ্বিগুণ packet. তত্ত্বও মেলে: একবারে দুটি packet-ই টেকার সম্ভাবনা 0.8 × 0.8 = 0.64, তাই গড়ে 1 ÷ 0.64 ≈ 1.56 চেষ্টা, প্রতিটিতে 1 + 0.8 packet, মোট প্রায় 2.81. বাজারঘরের telemetry-তে seq নম্বর আছে, তাই dashboard দুবার আসা বার্তা নিজেই ফেলে দিতে পারে: QoS 1 + seq প্রায়ই QoS 2-এর চেয়ে সস্তা আর যথেষ্ট।

৫ · Retained message — দেরিতে আসা subscriber-ও শেষ খবর পায়

সাধারণ বার্তা broker শুধু সেই মুহূর্তের subscriber-দের দেয়, তারপর ভুলে যায়। মালিক সকালে phone app খুললেন; smart scale-এর শেষ ওজন এসেছিল দশ মিনিট আগে। পরের ওজন না আসা পর্যন্ত app কি খালি থাকবে? Retained message এই সমস্যার সমাধান: PUBLISH-এর retain বিট 1 হলে broker সেই topic-এর শেষ বার্তার একটি কপি রেখে দেয়, আর পরে যে কেউ মেলানো filter-এ subscribe করে, তাকে সঙ্গে সঙ্গে সেটি পাঠায়। দোকানের সামনের নোটিশ বোর্ডের মতো: দিনের দাম একবার লেখা থাকে, যে খদ্দের যখনই আসুন, পড়ে নেন।

Demo-র ধাপ ২, ৪ আর ৫ ঠিক এটিই দেখায় (আসল log থেকে বাছাই করা লাইন):

2. scale-1 publishes a weight reading: QoS 1, retained
    scale-1    Sending PUBLISH (d0, q1, r1, m1), 'bazarghar/scale/1/weight', ... (110 bytes)
    dashboard  Received PUBLISH (d0, q1, r0, m1), 'bazarghar/scale/1/weight', ...  (110 bytes)
    -> net 1250 g x 65.50 Tk/kg = 8188 paisa = 81.88 Tk
4. phone-app connects later and subscribes to the weight topic: the retained message arrives at once
    phone-app  Sending SUBSCRIBE (d0, m1) [(b'bazarghar/scale/1/weight', 1)]
    phone-app  Received SUBACK
    phone-app  Received PUBLISH (d0, q1, r1, m1), 'bazarghar/scale/1/weight', ...  (110 bytes)
5. scale-1 clears the retained message (empty payload, retain=1); a new subscriber gets nothing
    scale-1    Sending PUBLISH (d0, q1, r1, m2), 'bazarghar/scale/1/weight' (NULL payload)
    phone-app2 received 0 message(s)
topic bazarghar/scale/1/weight
ঘটনা
broker-এর তাক
কে কী পেল
  1. রাখা। scale-1 পাঠায় QoS 1, retain 1, payload 110 byte: net 1250 g, দাম 8188 পয়সা = ৮১.৮৮ টাকা (৬৫.৫০ টাকা/kg হারে). Broker এই topic-এর তাকে বার্তাটির কপি রাখে, আগের কোনো কপি থাকলে তার জায়গায়।
  2. চালু subscriber-এর কপিতে retain 0. Dashboard আগে থেকেই bazarghar/#-এ ছিল; সে পায় r0. নিয়ম: চালু subscription-এর কারণে পাঠানো বার্তায় retain 0 (অংশ 3.3.1.3). এতে subscriber বুঝতে পারে, এটি এখনকার খবর।
  3. দেরিতে আসা phone-app. SUBACK-এর পরপরই একটি PUBLISH, এবার r1: “এটি জমা থাকা শেষ খবর, নতুন নয়”. ওজন আর দাম কোনো নতুন মাপ ছাড়াই app-এ দেখা গেল।
  4. মুছে ফেলা। scale-1 একই topic-এ খালি payload আর retain 1 পাঠায়। দলিল বলে শূন্য byte-এর retained বার্তা জমা রাখা হবে না, আর আগের কপি মুছে যাবে। চালু subscriber-রা খালি বার্তাটি সাধারণভাবে পায়: dashboard-এর তালিকায় qos=1 retain=0 (empty).
  5. পরের subscriber কিছুই পায় না। phone-app2 subscribe করে 0 message(s) পায়। Retained বার্তা মোছার এটিই নিয়মিত উপায়, যেমন একটি device স্থায়ীভাবে সরিয়ে ফেলার সময়।

Demo-র আরেকটি খুঁটিনাটি amqtt-এর দ্বিতীয় বিচ্যুতির সঙ্গে জড়িত: patch ছাড়া amqtt একটি নতুন client-এর সংযোগের সময়ই তাকে এমন retained বার্তা পাঠাত, যা অন্য client-দের subscription-এর সঙ্গে মেলে, তার নিজের SUBSCRIBE ছাড়াই। Retained বার্তা যাওয়ার কথা শুধু client-এর নিজের SUBSCRIBE-এর পরে; lab-এর patch_amqtt() এটি ঠিক করে (Spec decision 37-এর (b)). Broker বদলালে এই আচরণ নিজে যাচাই করে নেওয়া ভালো।

সাবধান — পুরোনো retained বার্তা: retained কপি কোনো মেয়াদ ছাড়াই থাকে (MQTT 3.1.1-এ; 5.0-এ message expiry দেওয়া যায়). একটি scale বিক্রি বা সরিয়ে ফেললেও তার শেষ ওজন বছরের পর বছর নতুন subscriber দেখবে, যদি না কেউ খালি payload দিয়ে মোছে। তাই payload-এ সময় বা seq রাখুন, আর device সরানোর তালিকায় “retained মোছা” রাখুন।

৬ · Last Will, keep-alive আর device-এর online/offline

Cold room-এর device বিদ্যুৎ চলে গেলে বা Wi-Fi হারালে নিজে “আমি চললাম” বলতে পারে না। কিন্তু dashboard-কে জানতে হবে, কারণ নীরব cold room মানে হয়তো গলে যাওয়া মাছ। MQTT-এর সমাধান Last Will: CONNECT-এর সময় device broker-এর কাছে একটি বার্তা জমা রাখে (অংশ ২-এর stepper-এ offline), আর broker সেটি নিজে প্রকাশ করে যখন সংযোগ DISCONNECT packet ছাড়াই ভাঙে। দলিলের অংশ 3.1.2.5 কয়েকটি অবস্থা গোনায়: network-এর ত্রুটি, client DISCONNECT ছাড়া সংযোগ বন্ধ করা, protocol-এর ভুল, আর keep-alive-এর সময়ে কোনো packet না আসা।

শেষেরটি keep-alive: client কথা দেয় যে এত সেকেন্ডের বেশি চুপ থাকবে না; বলার কিছু না থাকলে PINGREQ পাঠাবে (c0 00), broker দেবে PINGRESP (d0 00). Broker keep-alive-এর দেড় গুণ সময় কিছু না পেলে সংযোগ ভেঙে দেয়, “as if the network had failed” (অংশ 3.1.2.10). TCP নিজে মরা সংযোগ সহজে টের পায় না, বিশেষ করে অন্য প্রান্তের বিদ্যুৎ চলে গেলে; MQTT-এর এই heartbeat সেই ফাঁক ঢাকে। দুটি আসল run:

(demo-র ধাপ ৬: coldroom-1-এর TCP socket বন্ধ, DISCONNECT ছাড়া)
6. coldroom-1 loses its connection without DISCONNECT: the broker publishes its Last Will
    dashboard got bazarghar/coldroom/1/status qos=1 retain=0 offline

$ python -B rawlab.py keepalive        (keep-alive 2 s, তারপর একদম চুপ, socket খোলা)
  coldroom-1 -> CONNECT    10 3c 00 04 4d 51 54 54 04 2e 00 02 00 0a 63 6f ...
  coldroom-1 <- CONNACK    20 02 00 00
  coldroom-1 keep-alive 2 s, then silent (socket left open, no PINGREQ)
  dashboard got bazarghar/coldroom/1/status = offline qos=1 after 3.0 s
  coldroom-1 socket: closed by broker

দ্বিতীয় run-এ CONNECT-এর keep-alive ঘর 00 02; socket খোলা থাকলেও 3.0 s পরে, অর্থাৎ 2 × 1.5-এ, broker সংযোগ কেটে Will প্রকাশ করেছে। আর ঠিকভাবে বিদায় নিলে? rawlab.py bytes-এর শেষে coldroom-1 DISCONNECT (e0 00) পাঠায়, আর dashboard 0.5 s অপেক্ষা করে কিছুই পায় না: “Will discarded after DISCONNECT”.

bazarghar/coldroom/1/status
মুহূর্ত
broker-এর কাছে
dashboard দেখে
  1. CONNECT-এ Will জমা। Flag wr1, wq1, wf1: Will-এর topic bazarghar/coldroom/1/status, বার্তা offline, QoS 1, retain 1 (Spec decision 38).
  2. নিজের জন্মের খবর। সংযোগের পরপরই device নিজে পাঠায় online, QoS 1, retain 1. Broker-এর তাকে এখন online; dashboard পায় qos=1 retain=0 online.
  3. সংযোগ ভাঙে। Demo-তে socket হঠাৎ বন্ধ, DISCONNECT ছাড়া। Keep-alive-এর run-এ socket খোলা, কিন্তু device চুপ: আসল জীবনে যেমন বিদ্যুৎ চলে গেলে বা router আটকে গেলে।
  4. Broker টের পায়। TCP বন্ধ হলে সঙ্গে সঙ্গে; চুপ থাকলে keep-alive-এর ১.৫ গুণে, run-এ 2 s × 1.5 = 3.0 s. Keep-alive 60 s হলে এই দেরি সর্বোচ্চ প্রায় 90 s.
  5. Will প্রকাশ। Broker নিজে পাঠায় offline, QoS 1. Will-এর retain 1 বলে তাকের online-এর জায়গায় এখন offline, তাই পরে যে app খুলবে, সেও সঠিক অবস্থা দেখবে।
  6. বিপরীত পরীক্ষা। Device DISCONNECT পাঠালে broker Will ফেলে দেয়, কিছু প্রকাশ করে না। তাই ইচ্ছা করে বন্ধ করার আগে device-কে নিজেই offline (retain 1) পাঠাতে হয়, নইলে তাকে চিরকাল online থেকে যাবে।

Keep-alive-এর দাম battery-তে। Device যদি গভীর ঘুমে যায় (পর্ব ৬০), তবে প্রতি keep-alive-এ জেগে PINGREQ পাঠাতে হয়, নইলে broker তাকে মৃত ধরে Will প্রকাশ করবে। দুটি সাধারণ পথ: keep-alive লম্বা রাখা (কয়েক মিনিট), নয়তো প্রতিবার জেগে নতুন সংযোগ খুলে বার্তা দিয়ে আবার ঘুমানো, তখন offline হওয়াটাই স্বাভাবিক অবস্থা। কোন পথে কত energy, তার হিসাবের ধাঁচ পর্ব ৬২-এ।

৭ · Session — clean session আর জমা থাকা বার্তা

CONNECT-এর clean session বিট ঠিক করে broker client-কে মনে রাখবে কি না। Clean session = 1 মানে প্রতিটি সংযোগ নতুন: আগের subscription আর অসমাপ্ত বার্তা মুছে যায়, সংযোগ শেষ হলে আবারও। Clean session = 0 মানে persistent session: broker client id ধরে subscription মনে রাখে, আর client দূরে থাকার সময় QoS 1 আর 2-এর বার্তা তার জন্য জমিয়ে রাখে; ফিরলে CONNACK-এর “session present” বিট 1 আসে আর জমা বার্তা পাঠানো হয়। MQTT 3.1.1-এ এই session কতদিন থাকবে বা কত বার্তা জমবে, তার সীমা broker-এর নিজের নীতি; MQTT 5.0 এর জন্য session expiry interval দিয়েছে।

কোর্সের broker-এ এটি পরীক্ষা করতে গিয়ে একটি শিক্ষণীয় ঘটনা পাওয়া গেল। Reference broker anonymous (Spec decision 37). আমার lab-এ phone-app clean session = 0 দিয়ে subscribe করে চলে গেল, coldroom-1 একটি QoS 1 বার্তা দিল, phone-app ফিরে এল: CONNACK 20 02 01 00, session present 1, কিন্তু কোনো বার্তা নেই (“phone-app: no queued message”). amqtt-এর code পড়লে কারণ পরিষ্কার: anonymous client-এর জন্য এটি ইচ্ছা করেই বার্তা জমায় না। এটি MQTT 3.1.1-এর নিয়ম নয়, amqtt-এর নিজের নীতি। তাই আমার lab-এ একটি copy broker-এ anonymous বন্ধ করে, client-রা একটি user name পাঠিয়ে (password ছাড়া, শুধু পরীক্ষার জন্য) আবার চালানো হলো:

$ python -B rawlab.py session_named
[1] phone-app (user name sent) clean session = 0, SUBSCRIBE QoS 1, DISCONNECT
  phone-app  -> CONNECT    10 20 00 04 4d 51 54 54 04 80 00 3c 00 09 70 68 ...
  phone-app  <- CONNACK    20 02 00 00
[2] coldroom-1 publishes QoS 1 while phone-app is away
  coldroom-1 -> PUBLISH    32 55 00 19 62 61 7a 61 72 67 68 61 72 2f 63 6f ... (87 bytes)
  coldroom-1 <- PUBACK     40 02 00 07
[3] phone-app comes back with clean session = 0
  phone-app  <- CONNACK    20 02 01 00
  phone-app  <- PUBLISH    33 55 00 19 62 61 7a 61 72 67 68 61 72 2f 63 6f ... (87 bytes)
  queued message delivered: bazarghar/coldroom/1/temp qos=1 id=1 {"dev":"coldroom-1","seq":3,"temp_c":4.00,"alarm":"OFF"}
[4] anonymous client (no user name) is refused
  guest      <- CONNACK    20 02 00 05

এবার জমা বার্তা এসেছে। Connect flag 0x80 মানে শুধু user name, clean session 0. দুটি জিনিস চোখে রাখার মতো। এক, জমা বার্তার প্রথম byte 0x33: QoS 1, আর retain বিট 1. অংশ 3.3.1.3 বলে, চালু subscription-এর জন্য পাঠানো বার্তায় retain 0 হওয়ার কথা; এটি amqtt 0.12.2-এর আরেকটি বিচ্যুতি, যা reference lab-এর patch-এ নেই, আর এখানে শুধু লক্ষ করা হলো। দুই, user name ছাড়া guest পেয়েছে return code 5, “Connection Refused, not authorized”.

নকশার শিক্ষা: persistent session নিয়ে broker-ভেদে আচরণ আলাদা হতে পারে: কোনটি anonymous client-এর জন্য জমায় না, কোনটি কত বার্তা জমাবে তার সীমা রাখে, কোনটি পুরোনো session কখন মোছে তা নিজের নিয়মে ঠিক করে। যে broker ব্যবহার করবেন, তার documentation পড়ুন আর ঠিক এই ধরনের ছোট পরীক্ষা নিজে চালান। Device-এর দিকে নিরাপদ অভ্যাস: প্রতিটি device-এর client id স্থির আর অনন্য রাখা (দলিল অন্তত ১ থেকে ২৩ byte-এর id মেনে নিতে broker-কে বাধ্য করে, অংশ 3.1.3.1), আর জমা বার্তার ভরসায় না থেকে payload-এ seq রাখা।

৮ · বাজারঘরের topic আর payload নকশা

কোর্সের reference lab বাজারঘরের তিনটি topic স্থির করেছে (Spec decision 38), আর প্রতিটির QoS আর retain-এর পেছনে যুক্তি আছে:

TopicQoS · retainকেন
bazarghar/scale/1/weight1 · হ্যাঁনতুন app খুলেই শেষ ওজন আর দাম দেখবে; দুবার আসা ক্ষতিকর নয়, seq আছে
bazarghar/coldroom/1/temptelemetry (demo-তে 0, 1, 2)প্রতি 10 s-এ; alarm-এর খবর হারানো চলে না, তাই বাস্তবে QoS 1 যুক্তিসংগত
bazarghar/coldroom/1/status1 · হ্যাঁ, Last Willonline/offline; সবসময় শেষ অবস্থা জানা চাই

নামের কাঠামো হলো প্রতিষ্ঠান/যন্ত্রের ধরন/যন্ত্রের নম্বর/মাপ. এতে wildcard স্বাভাবিকভাবে কাজ করে: সব cold room-এর তাপমাত্রা bazarghar/coldroom/+/temp, একটি device-এর সব খবর bazarghar/coldroom/1/#. প্রচলিত কয়েকটি পরামর্শ: শুরুতে / না রাখা, space আর অদ্ভুত অক্ষর এড়ানো, ছোট হাতের অক্ষর, device-এর নম্বর topic-এ (payload-এ শুধু নয়) রাখা যাতে ACL দিয়ে প্রতিটি device-কে শুধু নিজের topic-এ সীমিত করা যায়, আর $ দিয়ে শুরু নাম broker-এর জন্য ছেড়ে রাখা।

Payload-এর format MQTT ঠিক করে না, broker শুধু byte বহন করে। বাজারঘরে compact JSON, স্থির key-এর ক্রম, firmware-এর পূর্ণসংখ্যার formatting (তাপমাত্রা সবসময় ২ দশমিক ঘর). JSON পড়তে সহজ, কিন্তু ছোট link-এ এর দাম আছে। নিচের ব্লক cold room-এর telemetry-র MQTT-স্তরের byte হিসাব করে, দিনে ৮৬৪০টি বার্তা ধরে:

# Cold room-এর telemetry: প্রতি 10 s-এ একটি বার্তা। দিনে MQTT-স্তরে কত byte?
# (TCP/IP-এর header, TLS আর radio-র নিজের খরচ এখানে ধরা হয়নি)
def rem_len_size(n):
    return 1 if n < 128 else 2 if n < 16384 else 3 if n < 2097152 else 4

def publish_size(topic, payload, qos):
    body = 2 + len(topic.encode()) + (2 if qos else 0) + len(payload.encode())
    return 1 + rem_len_size(body) + body

ACK = 4                                # PUBACK, PUBREC, PUBREL, PUBCOMP: 4 byte করে
PER_DAY = 24 * 3600 // 10              # 8640টি বার্তা
payload = '{"dev":"coldroom-1","seq":1,"temp_c":7.00,"alarm":"HIGH"}'
topics = ["bazarghar/coldroom/1/temp", "bg/cr/1/t"]

print(f"payload {len(payload)} byte, দিনে {PER_DAY}টি বার্তা")
for topic in topics:
    for qos in (0, 1, 2):
        one = publish_size(topic, payload, qos) + ACK * (0, 1, 3)[qos]
        print(f"{topic:<26} QoS {qos}: {one:3} byte/বার্তা, দিনে {one * PER_DAY / 1024:6.1f} KiB")

compact = "1,7.00,H"                       # ছোট CSV-ধাঁচের payload
print(f"ছোট payload '{compact}': QoS 1-এ {publish_size(topics[0], compact, 1) + ACK} byte/বার্তা")
# কোনো বার্তা না থাকলে keep-alive 60 s-এ PINGREQ + PINGRESP = 2 + 2 byte
print(f"শুধু keep-alive (60 s): দিনে {4 * 24 * 60} byte")

আসল আউটপুট (ব্রাউজারের Python):

payload 57 byte, দিনে 8640টি বার্তা
bazarghar/coldroom/1/temp  QoS 0:  86 byte/বার্তা, দিনে  725.6 KiB
bazarghar/coldroom/1/temp  QoS 1:  92 byte/বার্তা, দিনে  776.2 KiB
bazarghar/coldroom/1/temp  QoS 2: 100 byte/বার্তা, দিনে  843.8 KiB
bg/cr/1/t                  QoS 0:  70 byte/বার্তা, দিনে  590.6 KiB
bg/cr/1/t                  QoS 1:  76 byte/বার্তা, দিনে  641.2 KiB
bg/cr/1/t                  QoS 2:  84 byte/বার্তা, দিনে  708.8 KiB
ছোট payload '1,7.00,H': QoS 1-এ 43 byte/বার্তা
শুধু keep-alive (60 s): দিনে 5760 byte

QoS 0-এর 86 byte demo-র আসল packet-এর সঙ্গে মেলে (payload 57 + topic 25 + দৈর্ঘ্যের ঘর ২ + fixed header ২). বড় অংশ payload আর topic, QoS-এর বাড়তি মাত্র ৬ থেকে ১৪ byte. Topic ছোট করলে প্রায় ১৯ শতাংশ বাঁচে, কিন্তু পড়া কঠিন হয়; payload ছোট করলে বার্তা অর্ধেকের কম, কিন্তু format-এর দলিল আর version-এর ঝামেলা বাড়ে। Wi-Fi-তে এই পার্থক্য প্রায় অর্থহীন; সীমিত LPWAN বা প্রতি byte-এ গোনা cellular-এ বড় (পর্ব ৭২, LPWAN — LoRaWAN, Zigbee, NB-IoT আর LTE-M). মনে রাখুন, আসল তারে TCP/IP-এর header আর TLS যোগ হয়, যা এই হিসাবের বাইরে। MQTT 5.0-এর topic alias লম্বা topic-কে একটি ছোট সংখ্যায় বদলে এই খরচ কমাতে পারে।

শেষে পুরো শিকলটি একবার চালানো যাক। কোর্সের virtual board BG-M3 কোনো আসল পণ্য নয়, আসল Cortex-M chip-এর আদলে তৈরি, আর এতে radio নেই। তাই আমার lab-এর bridge.py board-এ reference-এর coldroom.elf চালায় (README-এর script, 20 s), UART-এর প্রতিটি TELEMETRY লাইন থেকে JSON কেটে QoS 1-এ publish করে, আর শেষে socket হঠাৎ বন্ধ করে। Radio link-এর জায়গায় এই bridge; board-এর সময় আসল সময়ের চেয়ে দ্রুত চলে, তাই এটি সময়ের নয়, শুধু তথ্যপ্রবাহের পরীক্ষা। সত্যিকারের run (board: Unicorn 2.1.4, binding BSD, engine GPLv2):

$ python -B bridge.py
broker: amqtt on 127.0.0.1 (port chosen at run time)
board 10000.1104 ms  UART TELEMETRY -> PUBLISH qos=1 mid=2
board 20000.1097 ms  UART TELEMETRY -> PUBLISH qos=1 mid=3
dashboard got bazarghar/coldroom/1/status qos=1 retain=0 online
dashboard got bazarghar/coldroom/1/temp   qos=1 retain=0 {"dev":"coldroom-1","seq":1,"temp_c":7.00,"alarm":"HIGH"}
dashboard got bazarghar/coldroom/1/temp   qos=1 retain=0 {"dev":"coldroom-1","seq":2,"temp_c":-0.50,"alarm":"LOW"}
dashboard got bazarghar/coldroom/1/status qos=1 retain=0 offline
broker stopped

Board-এর ১০ s আর ২০ s-এর দুটি TELEMETRY লাইন (README-এর expected output-এর সঙ্গে একই সময়) dashboard-এ পৌঁছেছে, আর link ভাঙার পরে Last Will. mid=2 দিয়ে শুরু, কারণ mid=1 ছিল online-এর PUBLISH. UART লাইনের format আর ring buffer পর্ব ৪৯-এ; পুরো device–gateway–cloud স্তরের ছবি পর্ব ৭০ (IoT architecture — device, gateway, edge আর cloud)-এ।

৯ · MQTT 3.1.1 বনাম 5.0, নিরাপত্তা আর পরীক্ষার প্রস্তুতি

কোর্সের lab MQTT 3.1.1 চালায়, কারণ এটি সরল আর প্রায় সব library ও broker সমর্থন করে। MQTT 5.0 একই ধারণার ওপর বহু সুবিধা যোগ করেছে; নামগুলো চিনে রাখা দরকার:

MQTT 5.0-এর সুবিধাকী সমস্যা মেটায়
প্রায় সব ack-এ reason code3.1.1-এ PUBACK-এ কারণ জানানোর ঘর নেই; 5.0-এ broker বলতে পারে কেন বার্তা নেওয়া হলো না
Session expiry interval, Clean StartPersistent session কতক্ষণ থাকবে, client নিজে বলে
Message expiry intervalপুরোনো retained বা জমা বার্তা নিজে থেকে বাতিল
Topic aliasলম্বা topic-কে ছোট সংখ্যায় বদলে byte বাঁচানো
Shared subscription ($share/…)কয়েকটি worker-এর মধ্যে বার্তা ভাগ করে দেওয়া
User property, response topic, correlation dataMetadata আর request/response ধাঁচ
Will delay intervalছোট বিচ্ছিন্নতায় সঙ্গে সঙ্গে offline না দেখানো
Receive maximum, maximum packet size, AUTH packetFlow control, বড় packet আটকানো, উন্নত authentication

নিরাপত্তায় MQTT নিজে প্রায় কিছুই বাধ্য করে না: user name আর password খোলা লেখায় যায়, যদি না সংযোগ TLS-এ মোড়া হয় (প্রচলিত port 8883; TLS-এর handshake আর certificate Computer Networks পর্ব ৪৮-এ). কোর্সের lab শুধু 127.0.0.1-এ, anonymous, TLS ছাড়া চলে, কারণ এটি শুধু শেখার জন্য; বাস্তব device-এ এই তিনটিই ঝুঁকি। ন্যূনতম নিয়ম: TLS আর broker-এর certificate যাচাই, প্রতিটি device-এর আলাদা পরিচয় (আলাদা password বা client certificate), আর topic ধরে ACL, যাতে scale-1 শুধু bazarghar/scale/1/#-এ লিখতে পারে। IoT-এর বড় নিরাপত্তার ছবি Cybersecurity পর্ব ৩৫-এ, আর এই কোর্সে পর্ব ৭৬ (IoT security — ঝুঁকি, threat model আর নিরাপদ নকশার নিয়ম)-এ।

আরও গভীরে: TCP-ও চালানো কঠিন এমন খুব ছোট sensor network-এর জন্য MQTT-SN (MQTT for Sensor Networks) নামের একটি রূপ আছে, যা UDP বা অন্য datagram-এর ওপর চলে আর topic-কে ছোট সংখ্যার id দিয়ে বদলায়; একটি gateway একে সাধারণ MQTT-তে অনুবাদ করে। শিল্প-কারখানায় MQTT-এর ওপর Sparkplug নামের একটি নির্দিষ্ট topic আর payload-এর নিয়মও ব্যবহার হয় বলে জানা যায়, যেখানে retained বার্তা আর Last Will দিয়ে device-এর “জন্ম” আর “মৃত্যু”-র ঘোষণা বাঁধা ধাঁচে করা হয়। আর MQTT 5.0-এর shared subscription, যা 3.1.1-এ অনেক broker নিজের মতো বানাত, এখন standard-এর অংশ।

পরীক্ষা ও ইন্টারভিউতে: “QoS 1 আর 2-এর পার্থক্য?” → QoS 1-এ PUBLISH + PUBACK, দুবার আসতে পারে; QoS 2-এ PUBLISH, PUBREC, PUBREL, PUBCOMP, ঠিক একবার। “Retained message কী?” → topic-এর শেষ বার্তার কপি broker রাখে, নতুন subscriber সঙ্গে সঙ্গে পায়; খালি payload + retain দিয়ে মোছে। “Last Will কখন প্রকাশ হয়?” → DISCONNECT ছাড়া সংযোগ ভাঙলে বা keep-alive-এর ১.৫ গুণ চুপ থাকলে। “+ আর #?” → এক স্তর বনাম বাকি সব স্তর, # শুধু শেষে। “Subscriber কোন QoS-এ পায়?” → min(publish-এর QoS, অনুমোদিত QoS).

১০ · AI-এর যুগে MQTT কোড যাচাই

“ESP32 থেকে MQTT-তে তাপমাত্রা পাঠানোর কোড দিন” বললে AI assistant কয়েক সেকেন্ডে চালানো যায় এমন কোড দেয়। সমস্যা হলো, MQTT-এর ভুলগুলো প্রথম দিন ধরা পড়ে না: বার্তা যায়, dashboard দেখায়; ভুল ধরা পড়ে মাস পরে, যখন একটি device চুপচাপ মারা যায় আর dashboard তখনো “online” দেখায়, বা কেউ খোলা broker-এ ঢুকে পড়ে। পরিচিত ভুল আর ধরার উপায়:

AI প্রায়ই যা করেকীভাবে ধরবেন
Hard-coded Wi-Fi আর broker-এর password, TLS ছাড়া port 1883, কোনো পরীক্ষামূলক public brokerCredential আলাদা জায়গায়; 8883 আর certificate যাচাই; নিজের broker বা 127.0.0.1-এ পরীক্ষা
QoS 2 মানে “end-to-end ঠিক একবার” বলে, বা subscriber publisher-এর QoS-এ পাবে বলেদুই পায়ের নিয়ম আর min(QoS) মেলানো; app-এ seq দিয়ে duplicate ছাঁকা
Publish-এর topic-এ wildcard, বা filter-এ # মাঝখানেSUBACK-এর return code (0x80) পড়া; topic matcher দিয়ে test
Last Will নেই, বা status retained নয়, বা বন্ধের আগে নিজে offline পাঠায় নাSocket হঠাৎ বন্ধ করে আর keep-alive-এ চুপ থেকে Will আসে কি না দেখা
Callback-এর ভেতরে blocking কাজ, বা ISR থেকে সরাসরি publishISR শুধু queue-তে রাখে, network task publish করে (পর্ব ৫৮)
প্রতিটি device-এর একই client id, তাই দুটি device পালাক্রমে একে অপরকে কেটে দেয়Client id-তে device-এর অনন্য নম্বর; broker-এর log-এ বারবার সংযোগ দেখা

AI-কে কাজে লাগাতে protocol-এর version, topic আর নিরাপত্তার শর্ত শুরুতেই দিন:

আমি MQTT 3.1.1 (OASIS standard) দিয়ে একটি cold-room monitor-এর firmware লিখছি। Topic: bazarghar/coldroom/1/temp (telemetry, প্রতি 10 s) আর bazarghar/coldroom/1/status (online/offline, retained, Last Will). ১. CONNECT-এর flag-গুলো (clean session, Will flag, Will QoS, Will retain, keep-alive) কী হবে আর কেন, byte ধরে লেখো। ২. Telemetry-র জন্য QoS 0, 1 না 2, যুক্তি দাও; দুবার আসা বার্তা dashboard কীভাবে চিনবে, দেখাও। ৩. Network task আর sensor task আলাদা রেখে কোড দাও; ISR থেকে কোনো network কাজ করবে না। ৪. Credential hard-code করবে না, TLS (port 8883) আর broker certificate যাচাই রাখবে। ৫. যে দাবির জন্য OASIS দলিলের অংশ নম্বর জানো, তা লেখো; নিশ্চিত না হলে "নিশ্চিত নই" লেখো।

AI-এর উত্তর হাতে পেলে — যাচাইয়ের চেকলিস্ট

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিয়ে নিজে কিছুক্ষণ ভাবুন, তারপর “→ উত্তর” চাপুন।

প্র ০১Device-এ একটি ছোট HTTP server বসিয়ে dashboard-কে সরাসরি জিজ্ঞেস করতে দিলেই তো হয়। MQTT-এর মতো একটি মাঝের broker কেন এত জনপ্রিয় হলো?

MQTT-এর জন্মকথাই উত্তরের অর্ধেক। ১৯৯৯ সালে Andy Stanford-Clark আর Arlen Nipper যে সমস্যায় পড়েছিলেন, তা ছিল দূরের তেলের pipeline-এর যন্ত্রকে satellite link দিয়ে কেন্দ্রের সঙ্গে যুক্ত করা। Link-এ প্রতিটি byte দামি, সংযোগ প্রায়ই ভাঙে, আর যন্ত্রগুলো সংখ্যায় অনেক। প্রতিটি পাঠক যদি প্রতিটি যন্ত্রকে বারবার জিজ্ঞেস করে, তবে link-এ একই প্রশ্ন আর একই উত্তর বহুবার যায়। একটি broker থাকলে যন্ত্র একবার বলে, broker বহুজনকে জানায়।

দ্বিতীয় কারণ network-এর বাস্তবতা। বাজারঘরের cold-room monitor দোকানের router-এর পেছনে, NAT-এর আড়ালে থাকে; বাইরে থেকে তার কোনো সরাসরি ঠিকানা নেই। Device-এ HTTP server বসালে বাইরের dashboard তাকে খুঁজেই পাবে না, যদি না port forwarding বা অন্য কৌশল লাগানো হয়, আর তাতে device-টি পুরো internet-এর সামনে খুলে যায়। MQTT-এ device নিজে বাইরে broker-এর দিকে সংযোগ খোলে, আর সেই সংযোগ খোলা রেখে দুই দিকে বার্তা চলে। নিরাপত্তার দিক থেকে এটি অনেক ছোট আক্রমণের জায়গা।

তৃতীয় কারণ সময় আর জ্ঞানের বিচ্ছেদ। Publisher জানে না কে শুনছে, কতজন শুনছে, বা তারা এখন চালু কি না। নতুন একটি alarm service যোগ করতে device-এর firmware বদলাতে হয় না, শুধু একটি নতুন subscription. Retained বার্তা আর persistent session দিয়ে এমনকি একই সময়ে চালু থাকারও দরকার নেই। এই বিচ্ছেদ পুরোনো ধারণা: অফিসের message queue আর enterprise message bus বহু বছর ধরে এভাবে কাজ করে (System Design পর্ব ৩২); MQTT সেটিকে ছোট যন্ত্রের মাপে নামিয়ে এনেছে, ২ byte-এর fixed header আর সরল packet দিয়ে।

দাম হলো broker নিজে। এটি এখন একটি কেন্দ্রীয় অংশ: বন্ধ হলে সব যোগাযোগ বন্ধ, আর সব তথ্য এর ভেতর দিয়ে যায়, তাই এর নিরাপত্তা, ক্ষমতা আর backup নকশার অংশ। HTTP-ও IoT-তে টিকে আছে, বিশেষ করে মাঝে মাঝে পাঠানো বড় তথ্য বা firmware নামানোর মতো request-response কাজে; সেই তুলনা পর্ব ৭৪ (CoAP আর HTTP — IoT-তে REST আর কোনটি কখন)-এ।

মূল উপলব্ধি: broker-ভিত্তিক pub/sub একবার বলে বহুজনকে জানায়, NAT-এর পেছনের device-কে বাইরের দিকে সংযোগ খুলতে দেয়, আর পাঠক-লেখককে আলাদা করে; দাম একটি কেন্দ্রীয় broker-এর দায়িত্ব।

প্র ০২QoS 2-কে “exactly once” বলা হয়। তবু অনেক নকশায় QoS 1 আর payload-এর sequence নম্বর বেছে নেওয়া হয়। QoS 2 আসলে কী নিশ্চয়তা দেয়, আর কী দেয় না?

QoS 2-এর চার packet-এর handshake একটি পায়ের মধ্যে নিশ্চিত করে যে প্রাপক একটি বার্তা ঠিক একবার পরের ধাপে দেবে। এর কৌশল packet id মনে রাখা: PUBREC দেওয়ার পরে প্রাপক id মনে রাখে, একই id-তে আবার PUBLISH এলে আবার বিতরণ করে না, আর PUBREL পেলে id ছেড়ে দেয়। এই পর্বের খারাপ link-এর মডেলে ২০ শতাংশ ক্ষতিতে QoS 2 শূন্য হারানো আর শূন্য duplicate দিয়েছে, দাম বার্তাপ্রতি প্রায় 5.72 packet, QoS 1-এর 2.88-এর প্রায় দ্বিগুণ।

কিন্তু প্রতিশ্রুতিটি প্রতি পায়ে, আর প্রতিটি পক্ষের অবস্থা টিকে থাকার শর্তে। Publisher থেকে subscriber পর্যন্ত দুটি পা; মাঝে broker. Subscriber যদি QoS 1-এ subscribe করে থাকে, দ্বিতীয় পা QoS 1, আর duplicate ফিরে আসে। Packet id-এর স্মৃতি যদি RAM-এ থাকে আর device reset হয়, তবে reset-এর পরে একই বার্তা নতুন বলে মনে হতে পারে। Session clean হলে অসমাপ্ত handshake মুছে যায়। আর সবচেয়ে বড় কথা, “app-এ একবার পৌঁছানো” মানেই “কাজ একবার হওয়া” নয়: app বার্তা পেয়ে database-এ লেখার আগেই crash করলে কাজ হয়নি, অথচ protocol-এর হিসাবে বার্তা দেওয়া হয়ে গেছে।

Distributed system-এর পুরোনো শিক্ষা এখানে খাটে: হারাতে পারে এমন network-এ শুধু delivery দিয়ে end-to-end exactly-once পাওয়া যায় না; বাস্তবে at-least-once delivery আর গ্রাহকের দিকে duplicate ছাঁকা মিলিয়ে কাজ হয়। বাজারঘরের payload-এ "seq" আছে, তাই dashboard প্রতিটি device-এর শেষ seq মনে রেখে পুরোনো বা দ্বিতীয় কপি ফেলে দিতে পারে। এই কাজটি idempotent নকশা: একই বার্তা দুবার প্রয়োগ করলেও ফল একই। তাপমাত্রার মান লেখা স্বভাবতই idempotent; “বিলে ৮১.৮৮ টাকা যোগ” নয়, তাই সেখানে একটি অনন্য id দরকার, QoS যা-ই হোক।

QoS 2-এর জায়গা তবু আছে: যেখানে duplicate ছাঁকার স্তর বানানো কঠিন আর বার্তা কম, যেমন মাঝে মাঝে পাঠানো command. কিন্তু ঘন telemetry-তে প্রতিটি বার্তায় চারটি packet আর দুই দিকের অবস্থা রাখা ছোট device-এর RAM আর battery-র ওপর বোঝা।

মূল উপলব্ধি: QoS 2 একটি পায়ের ভেতরে ঠিক-একবার দেয়, পুরো পথে নয়; নির্ভরযোগ্য নকশা আসে at-least-once আর idempotent বা seq-ভিত্তিক গ্রাহক মিলিয়ে।

প্র ০৩Retained status আর Last Will মিলিয়ে device-এর online/offline দেখানো একটি জনপ্রিয় ধাঁচ। এটি কীভাবে কাজ করে, আর কোথায় এটি ভুল তথ্য দিতে পারে?

ধাঁচটি তিনটি অংশে। CONNECT-এ device একটি Will জমা রাখে: status topic-এ offline, retain 1. সংযোগের পরপরই device নিজে online পাঠায়, retain 1. আর বন্ধের আগে, ইচ্ছা করে চলে গেলে, নিজে offline পাঠায়, কারণ DISCONNECT Will-কে ফেলে দেয়। এতে broker-এর তাকে সবসময় শেষ অবস্থা থাকে, আর নতুন dashboard বা app খুলেই সঠিক ছবি পায়। কোর্সের lab-এর demo আর bridge দুটিতেই এই ধাঁচ চলেছে: socket হঠাৎ বন্ধ হতেই dashboard পেয়েছে offline.

প্রথম ফাঁক সময়। Socket পরিষ্কারভাবে বন্ধ হলে broker সঙ্গে সঙ্গে জানে। কিন্তু বিদ্যুৎ চলে গেলে বা router আটকে গেলে TCP-র অন্য প্রান্তে কোনো খবর যায় না; broker তখন keep-alive-এর ১.৫ গুণ অপেক্ষা করে। আমার lab-এ 2 s keep-alive-এ Will এসেছে 3.0 s পরে; 60 s-এ তা প্রায় 90 s, আর battery বাঁচাতে keep-alive কয়েক মিনিট হলে দেরিও কয়েক মিনিট। Cold room-এর জন্য এটি গ্রহণযোগ্য কি না, তা ঝুঁকির হিসাব।

দ্বিতীয় ফাঁক দ্রুত পুনঃসংযোগের দৌড়। Device সংযোগ হারিয়ে নতুন সংযোগ খুলল; নতুন সংযোগে সে online দিল, তারপর পুরোনো সংযোগের keep-alive ফুরিয়ে broker পুরোনো Will-এর offline প্রকাশ করল। শেষ retained অবস্থা তখন ভুল। MQTT 3.1.1-এ একই client id-তে নতুন সংযোগ এলে broker পুরোনোটি বন্ধ করে, আর broker-ভেদে Will-এর আচরণ আলাদা হতে পারে; নিরাপদ উপায় হলো payload-এ সময় বা একটি সংযোগ-নম্বর রাখা, যাতে dashboard পুরোনো খবর চিনতে পারে। MQTT 5.0-এর Will delay interval ছোট বিচ্ছিন্নতায় offline দেখানো বন্ধ করার একটি উপায়।

তৃতীয় ফাঁক device-এর ভেতরে। Device online, MQTT সংযোগ সুস্থ, কিন্তু sensor-এর I2C আটকে আছে আর task মরে গেছে; Will কখনো আসবে না। Network-এর heartbeat আর application-এর heartbeat আলাদা জিনিস। তাই telemetry-র নিয়মিত আসাটাও নজরে রাখা হয়: ১০ s-এর telemetry পরপর তিনবার না এলে dashboard নিজেই সতর্ক করে। Firmware-এর ভেতরের আটকে যাওয়া ধরে watchdog (পর্ব ৬১).

মূল উপলব্ধি: retained status + Last Will সস্তা আর কার্যকর, কিন্তু এর দেরি keep-alive-এর ১.৫ গুণ, পুনঃসংযোগে পুরোনো Will এসে পড়তে পারে, আর এটি শুধু network-এর মৃত্যু ধরে, application-এর নয়।

প্র ০৪Persistent session মোবাইলের মতো মাঝে মাঝে হারিয়ে যাওয়া client-এর জন্য খুব কাজের মনে হয়। Broker আর device-এর দিক থেকে এর দাম আর ঝুঁকি কী?

ধারণাটি সরল: clean session = 0 দিলে broker client id ধরে subscription মনে রাখে, আর client দূরে থাকার সময় QoS 1 ও 2-এর বার্তা জমায়। মালিকের phone app লিফটে বা load-shedding-এর সময় কয়েক মিনিট বিচ্ছিন্ন থাকলেও ফিরে alarm-এর বার্তাগুলো পায়। আমার lab-এর user name-সহ run-এ ঠিক এটিই দেখা গেছে: phone-app ফিরতেই CONNACK-এ session present 1 আর জমা থাকা telemetry.

Broker-এর দিক থেকে দাম স্মৃতি। একটি client এক মাস না ফিরলে কি এক মাসের telemetry জমবে? প্রতি 10 s-এ একটি বার্তা মানে দিনে ৮৬৪০টি। হাজার device আর হাজার হারানো client মিলে broker-এর RAM বা disk ভরে যেতে পারে। MQTT 3.1.1 এর কোনো সীমা দেয় না; প্রতিটি broker নিজের নীতি ঠিক করে, যেমন আমাদের lab-এ দেখা গেল amqtt anonymous client-এর জন্য কিছুই জমায় না, অথচ CONNACK-এ session present 1 বলে। MQTT 5.0 এই অস্পষ্টতা কমিয়েছে: client নিজে session expiry interval দেয়, আর প্রতিটি বার্তার message expiry থাকতে পারে, যাতে এক ঘণ্টা পুরোনো তাপমাত্রা আর না আসে।

Device-এর দিক থেকে দাম তিনটি। এক, অসমাপ্ত QoS 1/2 বার্তার অবস্থা রাখতে হয়, আর দলিল অনুযায়ী আবার সংযোগে সেগুলো একই packet id দিয়ে আবার পাঠাতে হয় (অংশ 4.4); ছোট MCU-তে এই স্মৃতি RAM-এ থাকলে reset-এ হারায়। দুই, client id সত্যিই স্থির আর অনন্য হতে হয়; দুটি device একই id নিলে একে অপরের session আর বার্তা কেড়ে নেয়। তিন, ফিরে আসার মুহূর্তে জমা বার্তার একটি ঢেউ আসে, যা ছোট device-এর buffer উপচে দিতে পারে; MQTT 5.0-এর receive maximum এর জন্যই।

ঝুঁকিও আছে: persistent session-এ পুরোনো বার্তা দেরিতে আসে, তাই app-কে বার্তার সময় দেখে সিদ্ধান্ত নিতে হয়। ঘণ্টাখানেক পুরোনো “HIGH” alarm আর এখনকার alarm এক জিনিস নয়। সেজন্য অনেক নকশায় telemetry-র জন্য clean session আর retained শেষ অবস্থা, আর শুধু command বা alarm-এর মতো জরুরি বার্তার জন্য persistent session ব্যবহার হয়।

মূল উপলব্ধি: persistent session বিচ্ছিন্নতার সময়ের বার্তা বাঁচায়, কিন্তু broker-এর স্মৃতি, device-এর অবস্থা আর পুরোনো বার্তার অর্থ, তিনটির দাম নিয়ে আসে; broker-এর নীতি আর সীমা জেনে তবেই ব্যবহার।

প্র ০৫কোর্সের lab-এর broker anonymous আর TLS ছাড়া চলে। বাস্তব বাজারঘরে MQTT-কে নিরাপদ করতে কোন কোন স্তরে কী লাগবে, আর MQTT 5.0 এতে কী যোগ করে?

Lab-এর এই সরলতা ইচ্ছাকৃত আর নিরাপদ, কারণ broker শুধু 127.0.0.1-এ শোনে, বাইরের কেউ পৌঁছাতেই পারে না। বাস্তব broker internet-এ বা দোকানের network-এ থাকবে, আর তখন MQTT-এর নিজের নকশা খুব কম রক্ষা দেয়: CONNECT-এর user name আর password খোলা লেখায় যায়, আর broker anonymous হলে যে কেউ #-এ subscribe করে সব বার্তা পড়তে বা যেকোনো topic-এ লিখতে পারে। গবেষকেরা বিভিন্ন সময়ে internet-এ খোলা, password-হীন MQTT broker খুঁজে পাওয়ার কথা জানিয়েছেন; নির্দিষ্ট সংখ্যা উৎসভেদে আলাদা, কিন্তু ঝুঁকিটি বাস্তব।

প্রথম স্তর পরিবহন: TLS (প্রচলিত port 8883), আর device-এ broker-এর certificate যাচাই, যাতে কেউ নিজেকে broker সাজিয়ে মাঝখানে বসতে না পারে। ছোট MCU-তে TLS-এর RAM আর flash-এর দাম আছে, তবু ESP32-শ্রেণির chip-এ এটি এখন সাধারণ। দ্বিতীয় স্তর পরিচয়: প্রতিটি device-এর আলাদা credential, ভালো হলে client certificate, যাতে একটি device চুরি হলে শুধু তার পরিচয় বাতিল করা যায়। কোডে বা firmware image-এ এক সাধারণ password রাখা সবচেয়ে বড় ভুলগুলোর একটি। তৃতীয় স্তর অনুমতি: broker-এ topic ধরে ACL, যেমন scale-1 শুধু bazarghar/scale/1/#-এ লিখবে আর কিছু পড়বে না, phone-app শুধু পড়বে। Topic-এ device-এর নম্বর রাখার নকশা এই কারণেই কাজের।

চতুর্থ স্তর বিষয়বস্তু আর আচরণ: broker-এর বার্তার আকার আর হারের সীমা, payload-এর যাচাই (dashboard যেন যেকোনো JSON বিশ্বাস না করে), আর command-এর topic-এ বাড়তি সাবধানতা, কারণ সেখান দিয়ে যন্ত্র নিয়ন্ত্রণ হয়। Firmware update-এর মতো কাজে MQTT শুধু খবর বহন করে; আসল image-এর signature যাচাই পর্ব ৭৭ (Secure boot আর নিরাপদ firmware update — signature আর rollback)-এ।

MQTT 5.0 যোগ করেছে AUTH packet দিয়ে বহু ধাপের (challenge-response) authentication, reason code দিয়ে কেন একটি সংযোগ বা বার্তা বাতিল হলো তা জানানো, আর server-এর দিক থেকে DISCONNECT. তবে এগুলো ব্যবস্থা মাত্র; TLS, আলাদা পরিচয় আর ACL ছাড়া কোনো version-ই নিরাপদ নয়। বড় ছবি Cybersecurity পর্ব ৩৫-এ।

মূল উপলব্ধি: MQTT-এর নিরাপত্তা চার স্তরে আসে: TLS, প্রতি device-এর পরিচয়, topic ধরে অনুমতি আর বার্তার সীমা ও যাচাই; protocol নিজে এগুলোর কোনোটিই চাপিয়ে দেয় না।

অনুশীলন

প্রথমে নিজে লিখুন বা হিসাব করুন, তারপর উত্তর খুলুন। প্রতিটি উত্তর আসল broker, compiler বা Python-এ চালিয়ে যাচাই করা।

  1. নকশা ও বাস্তবায়ন — telemetry-র payload: Cold room-এর firmware তাপমাত্রা রাখে centi-ডিগ্রিতে (°C × 100, int32_t). একটি C function make_temp_payload(buf, n, seq, centi, alarm) লিখুন, যা ঠিক {"dev":"coldroom-1","seq":1,"temp_c":7.00,"alarm":"HIGH"}-এর ধাঁচে লেখা বানায়, float ছাড়া, ঋণাত্মক মানসহ, আর buffer ছোট হলে −1 ফেরায়। কোন topic, QoS আর retain-এ পাঠাবেন?
    int make_temp_payload(char *buf, size_t n, uint32_t seq,
                          int32_t centi, const char *alarm)
    {
        const char *sign = centi < 0 ? "-" : "";
        uint32_t a = (uint32_t)labs(centi);
        int len = snprintf(buf, n,
            "{\"dev\":\"coldroom-1\",\"seq\":%lu,\"temp_c\":%s%lu.%02lu,\"alarm\":\"%s\"}",
            (unsigned long)seq, sign, (unsigned long)(a / 100u),
            (unsigned long)(a % 100u), alarm);
        return (len < 0 || (size_t)len >= n) ? -1 : len;   /* কাটা পড়লে -1 */
    }

    চিহ্ন আলাদা রাখা জরুরি: −50 centi-কে a / 100 করলে 0 আসে, তাই "-" আলাদা না লিখলে −0.50 হয়ে যেত 0.50. আমার lab-এ Clang 22.1.8 (PyPI ziglang 0.17.1) দিয়ে -Wall -Wextra-এ সতর্কবার্তা ছাড়া compile করে host-এ চালানো: make_temp_payload(b, 80, 1, 700, "HIGH") → 57 {"dev":"coldroom-1","seq":1,"temp_c":7.00,"alarm":"HIGH"}, (…, 2, -50, "LOW") → 57 {"dev":"coldroom-1","seq":2,"temp_c":-0.50,"alarm":"LOW"}, আর 40 byte-এর buffer-এ -1. দুটি লেখাই demo-র 57 byte-এর payload-এর সঙ্গে অক্ষরে অক্ষরে মেলে। Topic bazarghar/coldroom/1/temp, QoS 1 (হারানো চলবে না, duplicate seq দিয়ে ছাঁকা যায়), retain 0, কারণ শেষ অবস্থার জন্য status topic আছে; চাইলে temp-কেও retained করা যায়, তখন নতুন app শেষ মাপ সঙ্গে সঙ্গে পাবে।

  2. ভুল খুঁজুন — dashboard কিছুই পায় না: একটি নতুন dashboard subscribe করে bazarghar/coldroom/#/temp-এ। একটি নতুন cold room device publish করে /bazarghar/coldroom/2/temp-এ, আর তার status online পাঠায় retain 0 দিয়ে, কোনো Last Will ছাড়া। তিনটি ভুল খুঁজুন আর প্রতিটির ফল বলুন।

    (১) # filter-এর মাঝে বসতে পারে না। আমার lab-এর আসল broker-এ এই filter-এর SUBACK এসেছে 90 03 00 01 80: return code 0x80 = failure, অর্থাৎ subscription হয়ইনি। সংশোধন: bazarghar/coldroom/+/temp. (২) Topic-এর শুরুতে / একটি খালি স্তর যোগ করে, তাই এটি bazarghar/… থেকে আলাদা topic; একই run-এ bazarghar/coldroom/1/temp-এর subscriber /bazarghar/coldroom/1/temp-এর বার্তা পায়নি, শুধু শুরু-ছাড়া topic-এরটি পেয়েছে। সংশোধন: শুরুর / বাদ। (৩) Status retain 0 আর Will নেই: নতুন dashboard পরে খুললে কোনো অবস্থাই দেখবে না, আর device মরে গেলে কেউ জানবে না। সংশোধন: CONNECT-এ Will offline (QoS 1, retain 1), আর সংযোগের পরে online retain 1.

  3. হিসাব — packet-এর আকার: Smart scale-এর payload 110 byte, topic bazarghar/scale/1/weight (24 অক্ষর), QoS 1, retain 1, packet id 1. Remaining length কত, তা কোন byte-গুলোতে লেখা হবে, PUBLISH-এর প্রথম byte কত, আর PUBACK-সহ মোট কত byte?

    Remaining length = 2 (topic-এর দৈর্ঘ্য) + 24 + 2 (packet id) + 110 = 138. 138 ≥ 128, তাই দুই byte: 138 mod 128 = 10, তাতে উঁচু বিট যোগ করে 0x8a; তারপর 138 ÷ 128 = 1, অর্থাৎ 0x01. প্রথম byte: PUBLISH (3 << 4 = 0x30) + QoS 1 (0x02) + retain (0x01) = 0x33. মোট = 1 + 2 + 138 = 141 byte, আর PUBACK-এর 4 byte মিলিয়ে 145. আমার lab-এর encoder-এ যাচাই: 141 33 8a 01 00 18 (শেষ দুটি byte topic-এর দৈর্ঘ্য 24). Demo-র log-এ লেখা “110 bytes” হলো শুধু payload. QoS 0 আর retain ছাড়া একই বার্তা 139 byte, শুরু 30 88 01.

  4. আগে বলুন, তারপর মিলিয়ে দেখুন — চুপ থাকা device: Cold room device keep-alive 2 s দিয়ে Will-সহ (offline) সংযোগ করে, তারপর socket খোলা রেখে কোনো packet পাঠায় না। Dashboard কত সময় পরে কী পাবে? Keep-alive 60 s হলে? আর device যদি DISCONNECT পাঠিয়ে চলে যেত?

    Broker keep-alive-এর ১.৫ গুণ, অর্থাৎ 3 s অপেক্ষা করে সংযোগ ভাঙে আর Will প্রকাশ করে। আসল run: dashboard got bazarghar/coldroom/1/status = offline qos=1 after 3.0 s, আর device-এর socket “closed by broker”. Keep-alive 60 s হলে সর্বোচ্চ প্রায় 90 s. DISCONNECT পাঠালে Will বাতিল: rawlab.py bytes-এ dashboard 0.5 s অপেক্ষা করে কিছু পায়নি (“Will discarded after DISCONNECT”). তাই ইচ্ছা করে বন্ধের আগে device নিজে offline retain 1 পাঠায়।

নিজেকে যাচাই করুন

ভুল হলে কারণসহ ব্যাখ্যা পাবেন, আবার চেষ্টাও করতে পারবেন।

ক্রমএকটি MQTT 3.1.1 client সংযোগ করে একটি QoS 2 বার্তা broker-কে পাঠায়। তারের ওপর packet-গুলোর সঠিক ক্রম সাজান (▲▼ চেপে সরান)

  1. Client → broker: CONNECT
  2. Broker → client: CONNACK
  3. Client → broker: PUBLISH (QoS 2, packet id সহ)
  4. Broker → client: PUBREC
  5. Client → broker: PUBREL
  6. Broker → client: PUBCOMP

MQTT 3.1.1-এ topic filter bazarghar/+/1/temp নিচের কোন topic-এর সঙ্গে মেলে?

  • bazarghar/coldroom/1/temp/raw
  • bazarghar/coldroom/1/temp
  • /bazarghar/coldroom/1/temp
  • bazarghar/coldroom/2/temp

একটি subscriber QoS 1-এ subscribe করেছে (broker QoS 1 অনুমোদন দিয়েছে)। একটি publisher সেই topic-এ QoS 2-এ পাঠায়। MQTT 3.1.1 অনুযায়ী subscriber বার্তাটি কোন QoS-এ পাবে?

  • QoS 0
  • QoS 2
  • QoS 1
  • বার্তা আসবে না

একটি MQTT client CONNECT-এ keep-alive 60 s দিয়েছে, তারপর বিদ্যুৎ চলে গিয়ে চুপ হয়ে গেছে (TCP-র কোনো বন্ধের খবর broker-এ যায়নি)। MQTT 3.1.1 অনুযায়ী broker সর্বোচ্চ কতক্ষণ পরে সংযোগ ভেঙে Last Will প্রকাশ করবে?

  • সঙ্গে সঙ্গে
  • 60 s
  • 120 s
  • 90 s

একটি topic-এর retained message মুছে ফেলতে publisher কী পাঠায়?

  • একই topic-এ খালি payload, retain 1
  • একই topic-এ খালি payload, retain 0
  • UNSUBSCRIBE packet
  • DISCONNECT packet

খারাপ link-এ MQTT-এর QoS 1 ব্যবহার করলে subscriber-এর app কোন সমস্যার জন্য প্রস্তুত থাকবে?

  • কিছু বার্তা হারিয়ে যাওয়া
  • একই বার্তা দুবার আসা
  • payload-এর byte বদলে যাওয়া
  • বার্তা ভুল topic-এ আসা

MQTT 3.1.1-এর একটি CONNECT packet-এর connect flags byte = 0x2e (বিট ৭ থেকে ০: 0010 1110). এর অর্থ কী?

  • User name আর password আছে, Will নেই
  • Persistent session, Will QoS 2
  • Clean session, Will আছে, Will QoS 1, Will retain
  • Clean session, কোনো Will নেই

শব্দকোষ

লেখার মধ্যে ডটেড দাগ দেওয়া শব্দে মাউস রাখুন বা চাপুন — অর্থ দেখাবে। এই পর্বের সব নতুন শব্দ এখানে একসাথে:

মনে রাখুন

  1. Pub/sub আর broker: device topic-এ publish করে, broker মেলানো সব subscriber-কে দেয়; সংযোগ device থেকে বাইরে, TCP-তে (1883, TLS-এ 8883). Fixed header ২ byte থেকে শুরু, remaining length ৭ বিটের byte-এ।
  2. Topic আর wildcard: + এক স্তর, # বাকি সব (মূল স্তরসহ, শুধু শেষে); শুরুর / একটি খালি স্তর; $-topic wildcard-এ মেলে না; ভুল filter-এ SUBACK 0x80.
  3. QoS: 0 = একটি packet, হারাতে পারে; 1 = PUBACK, দুবার আসতে পারে; 2 = PUBREC, PUBREL, PUBCOMP, ঠিক একবার, প্রতি পায়ে। প্রাপকের QoS = min(publish, অনুমোদিত).
  4. Retained আর Last Will: retained = topic-এর শেষ কপি, নতুন subscriber r1-এ পায়, খালি payload + retain 1-এ মোছে। Will প্রকাশ হয় DISCONNECT ছাড়া ভাঙলে বা keep-alive-এর ১.৫ গুণ চুপ থাকলে (lab-এ 2 s → 3.0 s).
  5. Session আর সৎ lab: clean session 0-এ broker subscription আর QoS 1/2 বার্তা জমায়, কিন্তু নীতি broker-ভেদে আলাদা: amqtt anonymous client-এর জন্য জমায় না, আর জমা বার্তায় retain 1 দেয়; lab-এর patch দুটি বিচ্যুতি ঠিক করে (Spec decision 37).

পরের পর্বে: পর্ব ৭৪ (CoAP আর HTTP — IoT-তে REST আর কোনটি কখন). UDP-র ওপর হালকা REST, confirmable বার্তা আর ACK, 2.05 আর 4.04-এর মতো code, একই resource HTTP-তে, আর MQTT, CoAP ও HTTP-এর মধ্যে কখন কোনটি।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

এই পর্বটি শেয়ার করুন:
এই পর্বে ভুল পেয়েছেন? জানান