লং-কনটেক্সট প্রম্পটিং

১ · দীর্ঘ প্রম্পটে ক্রম কেন গুরুত্বপূর্ণ

পাঠ ০১-এ আমরা দেখেছি context window মানে মডেলের "মেমরি"-র সীমা। কিন্তু context window-এর মধ্যে থাকা তথ্যও সমানভাবে "মনোযোগ" পায় না — একটি প্রম্পটের কোথায় কী বসানো হচ্ছে, তা মডেলের উত্তরের মানকে সরাসরি প্রভাবিত করে। বিশেষ করে যখন প্রম্পটে ২০,০০০ টোকেনের বেশি লম্বা ডকুমেন্ট বা ডেটা থাকে — একে বলা হয় লং-কনটেক্সট প্রম্পটিং (Long-context Prompting)Long-context Promptingএমন প্রম্পট লেখার কৌশল যেখানে বড় পরিমাণ ডকুমেন্ট বা ডেটা (সাধারণত ২০k+ টোকেন) মডেলকে দেওয়া হয় — যেমন একাধিক রিপোর্ট, লম্বা কোডবেস, বা আইনি নথি। -এর নিয়মগুলো এখানে প্রযোজ্য।

এর পেছনের কারণ বোঝা কঠিন নয় — মডেল টোকেন-বাই-টোকেন কাজ করে (যেমন পাঠ ০১-এ দেখেছি), এবং শেষ কয়েকটি টোকেনই সবচেয়ে "তাজা" প্রসঙ্গ হিসেবে কাজ করে ঠিক উত্তর তৈরির মুহূর্তে। যদি প্রশ্নটাই সবার শেষে থাকে, মডেল প্রশ্ন পড়ার সাথে সাথেই উত্তর লেখা শুরু করে — আর সেই মুহূর্তে গোটা ডকুমেন্ট তার ঠিক পেছনেই "তাজা" অবস্থায় থাকে। কিন্তু প্রশ্নটা যদি সবার আগে থাকে আর ডকুমেন্ট তার পরে আসে, প্রশ্নটা উত্তর তৈরির অনেক আগেই "পুরনো" হয়ে যায়।

২ · একাধিক ডকুমেন্ট গঠন করা — XML ট্যাগ দিয়ে

পাঠ ০৬-এ আমরা XML ট্যাগ দিয়ে প্রম্পট গঠন করা শিখেছি। একাধিক ডকুমেন্ট একসাথে দেওয়ার সময় এই কৌশল বিশেষভাবে জরুরি — কারণ একাধিক নথি মিশ্রিত টেক্সট আকারে দিলে মডেল বুঝতে পারে না কোথায় একটা ডকুমেন্ট শেষ হচ্ছে আর পরেরটা শুরু হচ্ছে, বা কোন তথ্য কোন সোর্স থেকে এসেছে।

<documents>
  <document index="1">
    <source>annual_report_2025.pdf</source>
    <document_content>
      রাজস্ব ২০২৫ সালে বৃদ্ধি পেয়ে ৪২০ কোটি টাকায় পৌঁছেছে, যা আগের
      বছরের তুলনায় ১৮% বেশি। মূল প্রবৃদ্ধি এসেছে ক্লাউড সার্ভিস বিভাগ
      থেকে...
    </document_content>
  </document>
  <document index="2">
    <source>competitor_analysis_q4.pdf</source>
    <document_content>
      প্রতিদ্বন্দ্বী কোম্পানি X একই প্রান্তিকে ১২% প্রবৃদ্ধি দেখিয়েছে,
      মূলত মূল্য-হ্রাস কৌশলের মাধ্যমে বাজার-অংশ বাড়িয়ে...
    </document_content>
  </document>
</documents>

আপনার প্রশ্ন: উপরের বার্ষিক রিপোর্ট ও প্রতিদ্বন্দ্বী বিশ্লেষণের ভিত্তিতে,
আমাদের প্রবৃদ্ধির হার প্রতিদ্বন্দ্বীর তুলনায় কেমন, এবং এর সম্ভাব্য কারণ কী?

লক্ষ্য করুন — দুটো ডকুমেন্টই সবার প্রথমে, প্রতিটির নিজস্ব <source> ও <document_content> সহ পরিষ্কারভাবে আলাদা, এবং আসল প্রশ্নটা সবার শেষে। এই কাঠামো তিনটি সুবিধা দেয় — মডেল জানে কোন তথ্য কোন সোর্স থেকে এসেছে (তাই উত্তরে সোর্স উল্লেখ করতে পারে), ডকুমেন্টগুলো একে অপরের সাথে মিশে যায় না, এবং প্রশ্নটা সবশেষে থাকায় উত্তর তৈরির মুহূর্তে সবচেয়ে "তাজা" থাকে।

৩ · উত্তরের আগে quotes বের করা — গ্রাউন্ডিং কৌশল

দীর্ঘ ডকুমেন্ট নিয়ে কাজ করার সময় একটা বাস্তব ঝুঁকি থাকে — মডেল পুরো ডকুমেন্ট মনোযোগ সহকারে না পড়ে, নিজের প্রশিক্ষণ ডেটা থেকে "সাধারণ জ্ঞান" দিয়ে উত্তর তৈরি করে ফেলতে পারে, যা পাঠ ০১-এ আলোচিত hallucination-এর ঝুঁকি বাড়ায়। এটা কমানোর একটি কার্যকর কৌশল হলো মডেলকে দুই ধাপে উত্তর দিতে বলা।

উপরের ডকুমেন্ট থেকে প্রশ্নের সাথে সরাসরি প্রাসঙ্গিক অংশগুলো প্রথমে
<quotes> ট্যাগে হুবহু তুলে দিন। তারপর <answer> ট্যাগে, শুধুমাত্র
সেই quotes-এর ভিত্তিতে উত্তর লিখুন।

<quotes>
[এখানে ডকুমেন্ট থেকে হুবহু প্রাসঙ্গিক অংশ]
</quotes>

<answer>
[শুধু উপরের quotes-এর ভিত্তিতে উত্তর]
</answer>

এই পদ্ধতি কেন কাজ করে তা পাঠ ০৮-এর chain-of-thought ধারণার সাথে মিল আছে — মডেলকে সরাসরি চূড়ান্ত উত্তরে না গিয়ে একটা মধ্যবর্তী ধাপ দিয়ে যেতে বাধ্য করা হচ্ছে। quotes বের করার এই ধাপ মডেলের "মনোযোগ" আসল ডকুমেন্টের নির্দিষ্ট অংশে কেন্দ্রীভূত করে, এবং যেহেতু উত্তর ধাপে সেই quotes-গুলোই ইতিমধ্যে প্রম্পটে (context-এ) বিদ্যমান, মডেলকে নতুন করে পুরো ডকুমেন্ট থেকে প্রাসঙ্গিক অংশ "মনে করার" দরকার পড়ে না — সে শুধু নিজের বের করা quotes ব্যবহার করে।