অনিশ্চয়তা প্রকাশের অনুমতি

১ · সমস্যাটা কী — মডেল কেন সবসময় "নিশ্চিত" শোনায়?

লক্ষ্য করলে দেখা যায় — একটি LLM প্রায় সবসময় আত্মবিশ্বাসী টোনে উত্তর দেয়, এমনকি যখন প্রশ্নের সঠিক উত্তর তার আসলে "জানা" নেই (বা বলা ভালো, তার প্রশিক্ষণ ডেটায় পর্যাপ্ত প্যাটার্ন ছিল না)। এই আত্মবিশ্বাসী কিন্তু ভুল উত্তরকেই বলা হয় HallucinationHallucinationযখন একটি LLM আত্মবিশ্বাসের সাথে এমন তথ্য উপস্থাপন করে যা আসলে ভুল বা বানানো, কিন্তু গঠনগতভাবে সম্পূর্ণ বাস্তব উত্তরের মতোই দেখতে।।

পাঠ ০১-এ এই কোর্সের সবচেয়ে গুরুত্বপূর্ণ ধারণাটা আমরা প্রতিষ্ঠা করেছি — একটি LLM প্রকৃতপক্ষে একটি পরবর্তী-টোকেন- অনুমানকারী যন্ত্র। প্রতিটি ধাপে এটি জিজ্ঞেস করে "এই মুহূর্ত পর্যন্ত যা লেখা হয়েছে, তার পরে সবচেয়ে সম্ভাব্য টোকেন কোনটা?" এই পাঠে আমরা এই ধারণাটাকে ব্যবহার করব বোঝার জন্য — ঠিক কেন hallucination হয়, এবং কেন একটি সাধারণ নির্দেশনা এটা কমাতে পারে।

২ · কেন এটা ঘটে — প্রশিক্ষণ ডেটার একটি লুকানো পক্ষপাত

প্রশ্নটা হলো — কেন মডেল "আমি জানি না" বলার বদলে একটি ভুল কিন্তু আত্মবিশ্বাসী উত্তর বেছে নেয়? উত্তরটা লুকিয়ে আছে মডেলের প্রশিক্ষণ প্রক্রিয়ায়। মডেল যে বিশাল টেক্সট-কর্পাসে প্রশিক্ষিত হয়, তার প্রায় সবটাই মানুষের লেখা উত্তর, নিবন্ধ, বই, ফোরাম-পোস্ট — যেখানে বেশিরভাগ লেখক তাদের প্রশ্নের একটি নির্দিষ্ট, সম্পূর্ণ উত্তর দিয়েছেন, "আমি নিশ্চিত নই" লিখে থেমে যাননি।

এরপর, fine-tuning ও reinforcement learning পর্যায়ে (যেখানে মডেলকে "ভালো" উত্তর দিতে প্রশিক্ষিত করা হয়), মূল্যায়নকারীরা প্রায়ই একটি সম্পূর্ণ, নির্দিষ্ট উত্তরকে "আমি জানি না"-জাতীয় উত্তরের চেয়ে বেশি পছন্দ করেছেন — এমনকি যখন প্রকৃত সৎ উত্তর হওয়া উচিত ছিল অনিশ্চয়তা স্বীকার করা। ফলাফল — মডেল শিখে ফেলে যে একটি নির্দিষ্ট, আত্মবিশ্বাসী-শোনানো উত্তর প্রায়ই "উচ্চ পুরস্কার" পায়, এমনকি যদি সেটা ভুল হয়, তুলনায় একটি অস্পষ্ট "আমি জানি না" উত্তরের চেয়ে।

৩ · কেন স্পষ্ট অনুমতি এটা পরিবর্তন করে

যদি মডেল "সবচেয়ে সম্ভাব্য পরবর্তী টোকেন" অনুমান করে প্রেক্ষাপটের ভিত্তিতে, তাহলে প্রেক্ষাপটে যা লেখা আছে তা সরাসরি প্রভাবিত করে কোন ধরনের continuation "সবচেয়ে সম্ভাব্য" মনে হয়। ডিফল্ট প্রেক্ষাপটে (যেখানে অনিশ্চয়তা প্রকাশের কোনো উল্লেখ নেই), একটি নির্দিষ্ট, সম্পূর্ণ উত্তর-প্যাটার্নই সবচেয়ে "স্বাভাবিক" পরবর্তী পদক্ষেপ মনে হয় — কারণ প্রশিক্ষণ ডেটায় বেশিরভাগ প্রশ্নোত্তর ঠিক এভাবেই শেষ হয়েছে।

কিন্তু যখন আপনি স্পষ্টভাবে প্রম্পটে লেখেন — "যদি তুমি নিশ্চিত না হও, অনুমান না করে সেটা বলো" — আপনি আসলে প্রেক্ষাপট বদলে দিচ্ছেন যাতে "নিশ্চিত না হলে স্বীকার করা" এখন প্রেক্ষাপটের সাথে সামঞ্জস্যপূর্ণ এবং প্রত্যাশিত একটি continuation হয়ে ওঠে। মডেলের জন্য এখন "আমি নিশ্চিত নই" বলা আর প্রেক্ষাপটের বাইরে যাওয়া নয় — বরং এটাই এখন প্রেক্ষাপট অনুযায়ী সবচেয়ে "প্রত্যাশিত" ও "উপযুক্ত" continuation।

৪ · বাস্তব প্রয়োগ — Before/After উদাহরণ

নিচে একটি সিস্টেম প্রম্পটের দুটো সংস্করণ দেখা যাক — একটি অনুমতি ছাড়া, একটি স্পষ্ট অনুমতি সহ।

❌ অনুমতি ছাড়া (Without permission):

You are a helpful research assistant. Answer the user's questions
about historical events and figures.

✅ স্পষ্ট অনুমতি সহ (With explicit permission):

You are a helpful research assistant. Answer the user's questions
about historical events and figures. If you're not confident about
a specific date, name, or detail, say so explicitly rather than
guessing — it's better to say "I'm not certain" than to state an
unverified fact as if it were established.

লক্ষ্য করুন — দ্বিতীয় সংস্করণে শুধু "সৎ থাকো" জাতীয় একটি অস্পষ্ট নির্দেশনা নেই, বরং এটি স্পষ্টভাবে বলে দেয় ঠিক কোন পরিস্থিতিতে (নির্দিষ্ট তারিখ, নাম, খুঁটিনাটি বিবরণ) এবং ঠিক কীভাবে (নিশ্চিত না হলে তা প্রকাশ করা) আচরণ করতে হবে — এটাই একে কার্যকর করে তোলে, শুধু একটি সাধারণ ভালো-উদ্দেশ্যের বাক্য নয়।

৫ · এর সীমাবদ্ধতা বোঝা

একটি গুরুত্বপূর্ণ সতর্কতা — অনুমতি দেওয়া মানে এই নয় যে মডেল এখন নিজের প্রকৃত "জ্ঞানের সীমা" নিখুঁতভাবে জানে। মডেলের কোনো সত্যিকারের আত্ম-সচেতনতা নেই যে সে কোন তথ্য "নিশ্চিতভাবে জানে" আর কোনটা "অনুমান করছে" — এটি এখনো টোকেন-সম্ভাবনার উপর ভিত্তি করে কাজ করে। অনুমতি দেওয়া শুধু continuation-এর সম্ভাবনা বিতরণ পরিবর্তন করে — এটি একটি সম্পূর্ণ নিশ্চয়তা নয়, বরং একটি উল্লেখযোগ্য উন্নতি।