টোকেন, লেক্সিম ও প্যাটার্ন

১ · টোকেন বনাম লেক্সিম

L01-এর টোকেনাইজার ইতিমধ্যেই (kind, value) জোড়া তৈরি করেছিল — যেমন ("NUMBER", "42")। এই পাঠে এই দুটো অংশের নাম ও সংজ্ঞা সুনির্দিষ্ট করা হচ্ছে —

অর্থাৎ — একটি টোকেন-টাইপের অসংখ্য সম্ভাব্য লেক্সিম থাকতে পারে (NUMBER-এর জন্য "42", "7", "1000" — সবই বৈধ লেক্সিম), কিন্তু একটি নির্দিষ্ট লেক্সিম ঠিক একটি (অথবা কয়েকটি সম্ভাব্য) টোকেন-টাইপের সাথে মেলে।

২ · প্যাটার্ন ও অ্যাট্রিবিউট

প্যাটার্নPatternএকটি নিয়ম যা বর্ণনা করে ঠিক কোন কোন লেক্সিম একটি নির্দিষ্ট টোকেন-টাইপের অন্তর্ভুক্ত। হলো সেই নিয়ম যা বলে দেয় কোন কোন লেক্সিম একটি নির্দিষ্ট টোকেন-টাইপের অন্তর্ভুক্ত — যেমন NUMBER-এর প্যাটার্ন "এক বা তার বেশি ডিজিট"। এই পাঠে আমরা প্যাটার্নগুলো সরাসরি Python কোডে (isdigit()-এর মতো) লিখব, কিন্তু L17-এ দেখব কীভাবে এই একই প্যাটার্নগুলো একটি ফরমাল নোটেশনে (রেগুলার এক্সপ্রেশন) নির্দিষ্ট করা যায়।

অ্যাট্রিবিউটAttributeএকটি টোকেনের সাথে জুড়ে দেওয়া বাড়তি তথ্য, শুধু type ও lexeme ছাড়াও -- পরবর্তী কম্পাইলার ধাপে কাজে লাগে। হলো একটি টোকেনের সাথে জুড়ে দেওয়া বাড়তি তথ্য, শুধুমাত্র type ও lexeme ছাড়াও — যেমন একটি NUMBER টোকেনের অ্যাট্রিবিউট হতে পারে তার আসল সংখ্যাসূচক মান (lexeme="42" হলে attribute=42, স্ট্রিং নয় বরং integer হিসেবে) — এই parsed মানটি পরবর্তী ধাপে (M6-M12) সরাসরি কাজে লাগে, প্রতিবার লেক্সিম থেকে পুনরায় parse করার দরকার হয় না।

৩ · Maximal munch — সবসময় দীর্ঘতম লেক্সিম

Maximal munchMaximal Munchযখন ইনপুটের একাধিক prefix বৈধ টোকেন হতে পারে, লেক্সার সবসময় সবচেয়ে দীর্ঘ সম্ভাব্য prefix-টি একটি টোকেন হিসেবে গ্রহণ করে। নীতি বলে — ইনপুটের যদি একাধিক prefix বৈধ লেক্সিম হতে পারে, লেক্সার সবসময় সবচেয়ে দীর্ঘ সম্ভাব্য prefix-টি বেছে নেবে। L01-এর তোকেনাইজার ইতিমধ্যেই এই নীতি সঠিকভাবে মেনে চলেছিল — while i < len(expr) and expr[i].isdigit(): i += 1 লুপটি যতক্ষণ সম্ভব ডিজিট জমা করতেই থাকে, একটি ডিজিট পেয়েই থেমে যায় না। এই পাঠের কোড সেলে আমরা এই একই নীতি IDENTIFIER-এর জন্যও প্রয়োগ করব — যেমন ইনপুট "total_sum"-কে একটি একক IDENTIFIER টোকেন হতে হবে, ৯টি আলাদা এক-অক্ষরের টোকেন নয়।

# L01-এর তোকেনাইজারকে একটি পূর্ণাঙ্গ Token(type, lexeme, attribute) কাঠামোতে সম্প্রসারণ
# নতুন সংযোজন: IDENTIFIER টোকেন-টাইপ (letter/underscore দিয়ে শুরু) + maximal munch

from collections import namedtuple

Token = namedtuple("Token", ["type", "lexeme", "attribute"])

def tokenize(source):
    tokens = []
    i = 0
    n = len(source)
    while i < n:
        ch = source[i]
        if ch.isspace():
            i += 1
            continue
        elif ch.isdigit():
            start = i
            while i < n and source[i].isdigit():      # maximal munch -- যতক্ষণ সম্ভব ডিজিট জমা করো
                i += 1
            lexeme = source[start:i]
            tokens.append(Token("NUMBER", lexeme, int(lexeme)))  # অ্যাট্রিবিউট = parsed সংখ্যাসূচক মান
        elif ch.isalpha() or ch == "_":
            start = i
            while i < n and (source[i].isalnum() or source[i] == "_"):  # maximal munch -- IDENTIFIER-এর জন্য
                i += 1
            lexeme = source[start:i]
            tokens.append(Token("IDENTIFIER", lexeme, None))    # কোনো সংখ্যাসূচক অ্যাট্রিবিউট নেই
        elif ch in "+-*/()":
            tokens.append(Token("OP", ch, None))
            i += 1
        else:
            raise ValueError(f"অজানা ক্যারেক্টার: {ch!r}")
    return tokens

source = "total_sum + 42"
print(f"সোর্স টেক্সট: {source!r}\n")
print(f"{'TYPE':12s} {'LEXEME':12s} ATTRIBUTE")
print("-" * 38)
for tok in tokenize(source):
    print(f"{tok.type:12s} {tok.lexeme:12s} {tok.attribute}")

# --- maximal munch স্পষ্টভাবে যাচাই ---
ident_tokens = [t for t in tokenize(source) if t.type == "IDENTIFIER"]
print(f"\n'total_sum' কতগুলো IDENTIFIER টোকেনে ভাঙল: {len(ident_tokens)}")
print(f"সেই একমাত্র টোকেনের লেক্সিম সম্পূর্ণ কিনা: {ident_tokens[0].lexeme == 'total_sum'}")