হ্যালুসিনেশন ও মিসইনফরমেশন রিস্ক

১ · হ্যালুসিনেশন কী এবং কেন এটি ঘটে

হ্যালুসিনেশনHallucinationএকটি LLM যখন সম্পূর্ণ আত্মবিশ্বাসের সাথে এমন তথ্য, উদ্ধৃতি, বা বিস্তারিত তৈরি করে যা মিথ্যা বা কোনো নির্ভরযোগ্য উৎসে সমর্থিত নয়। বলতে বোঝায় একটি LLM এমন তথ্য তৈরি করা যা শোনায় বিশ্বাসযোগ্য এবং সাবলীল, কিন্তু আসলে মিথ্যা বা কোনো নির্ভরযোগ্য উৎসে সমর্থিত নয় — একটি ভুয়া উদ্ধৃতি, একটি বানোয়াট পরিসংখ্যান, একটি অস্তিত্বহীন গবেষণাপত্রের রেফারেন্স। L27-এ আমরা দেখেছি কেন এটি ঘটে: মডেল আসলে পরবর্তী টোকেনের সম্ভাব্যতা হিসাব করে, কোনো external ground-truth ডেটাবেসের সাথে মিলিয়ে "যাচাই" করে না। যখন প্রশ্নটি এমন এলাকায় পড়ে যেখানে ট্রেনিং ডেটায় স্পষ্ট, ধারাবাহিক প্যাটার্ন নেই, মডেল তবুও ভাষাগতভাবে সাবলীল একটি continuation তৈরি করে — এবং সেটি প্রায়ই বাস্তবতার সাথে মেলে না।

এটি গুরুত্বপূর্ণ: হ্যালুসিনেশন কোনো "বাগ" নয় যা একবার প্যাচ করে সারিয়ে ফেলা যায় — এটি next-token prediction-ভিত্তিক জেনারেশনের একটি কাঠামোগত বৈশিষ্ট্য। ফাইন-টিউনিং ও RLHF (L28) হ্যালুসিনেশনের হার কমাতে পারে, কিন্তু সম্পূর্ণ নির্মূল করার কোনো গ্যারান্টি নেই।

২ · একটি সত্যিকারের ফেইথফুলনেস চেকার

নিচের কোডে একটি ছোট, ইচ্ছাকৃতভাবে সরল "ফেইথফুলনেস চেকার" তৈরি করা হয়েছে — এটি কোনো বাস্তব NLI (Natural Language Inference) মডেল নয়, বরং একটি illustrative substring/fact-membership চেক: প্রতিটি claim-এর জন্য কয়েকটি "key fact" (গুরুত্বপূর্ণ শব্দগুচ্ছ) চিহ্নিত করা আছে, এবং চেকার সেগুলো সোর্স ডকুমেন্টে সত্যিই সাব-স্ট্রিং হিসেবে আছে কি না তা যাচাই করে। একটি claim তখনই "faithful" যদি তার সব key fact সোর্সে পাওয়া যায়; একটি key fact অনুপস্থিত থাকলেই সেটি হ্যালুসিনেশন হিসেবে চিহ্নিত হয়।

source_document = (
    "২০২৩ সালে কোম্পানি X ৫০০ কোটি টাকা রাজস্ব আয় করেছে। "
    "কোম্পানির প্রধান কার্যালয় ঢাকায় অবস্থিত। "
    "কোম্পানিটি ২০১০ সালে প্রতিষ্ঠিত হয়েছিল এবং বর্তমানে ১,২০০ জনেরও বেশি কর্মী কাজ করে।"
)

claims = [
    {
        "text": "কোম্পানি X-এর প্রধান কার্যালয় ঢাকায় অবস্থিত।",
        "key_facts": ["প্রধান কার্যালয়", "ঢাকায়"],
    },
    {
        "text": "কোম্পানি X ২০২৩ সালে ৫০০ কোটি টাকা রাজস্ব আয় করেছে।",
        "key_facts": ["২০২৩ সালে", "৫০০ কোটি টাকা"],
    },
    {
        # fabricated -- সোর্সে এই তথ্য কোথাও নেই
        "text": "কোম্পানি X-এর ২,৫০০ জন কর্মী আছে এবং এর প্রধান কার্যালয় সিঙ্গাপুরে।",
        "key_facts": ["২,৫০০ জন", "সিঙ্গাপুরে"],
    },
    {
        # আংশিক fabricated -- ঢাকায় সত্য, কিন্তু ২০০৫ সাল ভুল (সোর্স অনুযায়ী ২০১০)
        "text": "কোম্পানি X ঢাকায় অবস্থিত এবং এটি ২০০৫ সালে প্রতিষ্ঠিত হয়েছিল।",
        "key_facts": ["ঢাকায়", "২০০৫ সালে"],
    },
]

def check_faithfulness(claim, source):
    missing = [fact for fact in claim["key_facts"] if fact not in source]
    return len(missing) == 0, missing

for claim in claims:
    faithful, missing = check_faithfulness(claim, source_document)
    verdict = "FAITHFUL (গ্রাউন্ডেড)" if faithful else "HALLUCINATION (উৎসে অনুপস্থিত তথ্য)"
    print(f"দাবি: {claim['text']}")
    print(f"  → {verdict}")
    if missing:
        print(f"  → উৎসে পাওয়া যায়নি: {missing}")
    print()

৩ · এই সরলীকৃত ডেমোর সীমাবদ্ধতা

সততার সাথে বলা দরকার — উপরের substring-ম্যাচিং পদ্ধতিটি একটি illustrative সরলীকরণ, বাস্তব NLI (Natural Language Inference) মডেল নয়। বাস্তব-বিশ্বের ফেইথফুলনেস-চেকিং সিস্টেমকে সামলাতে হয়: প্যারাফ্রেজিং ("ঢাকায় অবস্থিত" বনাম "রাজধানীতে হেডকোয়ার্টার"), সংখ্যাগত রূপান্তর (৫০০ কোটি বনাম ৫ বিলিয়ন), এবং implicit যুক্তি (সোর্সে সরাসরি বলা নেই কিন্তু যৌক্তিকভাবে অনুসিদ্ধ হয় এমন দাবি)। এই সবকিছু সঠিকভাবে ধরতে বাস্তব সিস্টেমে আরও জটিল semantic-similarity বা NLI মডেল ব্যবহার করা হয় — কিন্তু মূল নীতিটি একই থাকে: generation থেকে verification আলাদা করে, স্বাধীনভাবে যাচাই করা।