প্রম্পট টেস্টিং ও মূল্যায়ন

১ · একটি প্রথম-খসড়া প্রম্পট হলো শুরু, শেষ নয়

এই কোর্সের প্রথম ২৪টি পাঠে আমরা প্রম্পট লেখার বহু কৌশল শিখেছি — স্বচ্ছতা, উদাহরণ, গঠন, চেইন-অফ-থট। কিন্তু একটি গুরুত্বপূর্ণ বাস্তবতা প্রায়ই উপেক্ষিত হয় — একটি প্রম্পট লিখে একবার চালিয়ে "ভালো লাগছে" মনে হলেই কাজ শেষ নয়। Anthropic-এর নিজস্ব প্রম্পট ইঞ্জিনিয়ারিং গাইডলাইন স্পষ্ট করে বলে — আসল কাজ শুরু হওয়া উচিত স্পষ্ট, পরীক্ষাযোগ্য সাফল্যের মানদণ্ড ঠিক করে, এবং তারপর সেই মানদণ্ডের বিপরীতে এম্পিরিক্যাল (পরীক্ষামূলক) টেস্ট চালিয়ে। একটি প্রথম-খসড়া প্রম্পট হলো একটি হাইপোথিসিস — প্রমাণিত সত্য নয়।

২ · প্রথম ধাপ — "ভালো" মানে কী তা ঠিক করা

কোনো প্রম্পট ইটারেট করার আগে নিজেকে জিজ্ঞেস করুন — একটি সফল আউটপুটের নির্দিষ্ট বৈশিষ্ট্য কী কী? এটি ঠিক করার দুটি সাধারণ পদ্ধতি আছে —

• রুব্রিক (Rubric)Rubricএকটি আউটপুটকে "ভালো" বা "খারাপ" বলার জন্য নির্দিষ্ট, তালিকাভুক্ত মানদণ্ডের সেট — যেমন সঠিকতা, নির্দিষ্ট ফরম্যাট মেনে চলা, টোন, দৈর্ঘ্য ইত্যাদি। — একটি চেকলিস্ট, যেমন "উত্তরে অবশ্যই একটি নির্দিষ্ট JSON স্কিমা মেনে চলতে হবে", "টোন অবশ্যই বিনয়ী হতে হবে", "সর্বোচ্চ ৩ বাক্যে উত্তর দিতে হবে।"
• টেস্ট কেসের সেট — বাস্তব-জগতের বৈচিত্র্যপূর্ণ ইনপুটের একটি তালিকা, প্রতিটির জন্য প্রত্যাশিত ফলাফল বা বৈশিষ্ট্য লেখা — সাধারণ কেস, প্রান্তিক (edge) কেস, এবং কঠিন/দ্বিধাজনক কেস সবই অন্তর্ভুক্ত করে।

৩ · একাধিক টেস্ট কেসে চালান — একটিতে নয়

একটি প্রম্পট একবার চালিয়ে ভালো ফলাফল পাওয়া মানে এই নয় যে এটি সব ধরনের ইনপুটে ভালো কাজ করবে। একটি সাধারণ, প্রতিনিধিত্বমূলক উদাহরণে প্রম্পট প্রায় সবসময়ই ভালো কাজ করে — সমস্যা দেখা যায় প্রান্তিক কেসে (একটি খালি ইনপুট, একটি অস্বাভাবিকভাবে লম্বা ইনপুট, একটি দ্ব্যর্থক প্রশ্ন, একটি ভিন্ন ভাষার ইনপুট)। তাই একটি প্রম্পট চূড়ান্ত করার আগে, ন্যূনতম একটি ছোট কিন্তু বৈচিত্র্যপূর্ণ টেস্ট-কেস সেট তৈরি করুন এবং প্রম্পটটি প্রতিটির বিরুদ্ধে চালিয়ে দেখুন।

টাস্ক: গ্রাহকের রিভিউ থেকে sentiment (positive/negative/neutral) বের করা প্রম্পট টেস্ট করা।

টেস্ট কেস ১ (সাধারণ পজিটিভ): "পণ্যটি চমৎকার, দ্রুত ডেলিভারি হয়েছে।"
  → প্রত্যাশিত: positive

টেস্ট কেস ২ (সাধারণ নেগেটিভ): "পণ্যটি ভাঙা অবস্থায় এসেছে, খুবই হতাশ।"
  → প্রত্যাশিত: negative

টেস্ট কেস ৩ (প্রান্তিক — মিশ্র): "পণ্যটি ভালো কিন্তু ডেলিভারি দেরি হয়েছে।"
  → প্রত্যাশিত: neutral বা mixed (নির্দিষ্ট করে রাখুন কোনটা চান)

টেস্ট কেস ৪ (প্রান্তিক — খালি/অস্পষ্ট): "ঠিক আছে।"
  → প্রত্যাশিত: neutral (বা "অনিশ্চিত" — পাঠ ১০ দ্রষ্টব্য)

টেস্ট কেস ৫ (প্রান্তিক — sarcasm): "হ্যাঁ, দারুণ, আবার ভাঙা পণ্য পেলাম!"
  → প্রত্যাশিত: negative (এখানেই বেশিরভাগ প্রম্পট ব্যর্থ হয়)

এই ধরনের সেট তৈরি করলে দ্রুত বোঝা যায় প্রম্পটটি কোথায় শক্তিশালী আর কোথায় দুর্বল — এবং গুরুত্বপূর্ণভাবে, এটি একটি পুনঃব্যবহারযোগ্য সম্পদ হয়ে যায়। প্রম্পট পরিবর্তন করার পর একই টেস্ট সেট আবার চালিয়ে দেখা যায় পরিবর্তনটি সত্যিই উন্নতি এনেছে, নাকি একটি সমস্যা ঠিক করতে গিয়ে আরেকটি নতুন সমস্যা তৈরি করেছে (regression)।

৪ · পদ্ধতিগত ইটারেশন — OpenAI-এর "systematic testing" কৌশল

OpenAI-এর নিজস্ব গাইডলাইনও প্রম্পট ইঞ্জিনিয়ারিংকে একটি ইটারেটিভ, পরীক্ষামূলক প্রক্রিয়া হিসেবে বর্ণনা করে — পদ্ধতিগত টেস্টিং একটি মূল কৌশল হিসেবে উল্লেখ করা হয়। এর ব্যবহারিক অর্থ হলো — প্রতিটি প্রম্পট পরিবর্তনের পর এলোমেলোভাবে দুয়েকটা উদাহরণ দেখে সিদ্ধান্ত না নিয়ে, একই স্ট্যান্ডার্ড টেস্ট সেটের বিরুদ্ধে ফলাফল তুলনা করা — যাতে প্রতিটি পরিবর্তনের প্রকৃত প্রভাব পরিমাপযোগ্য থাকে।

এই পদ্ধতি ছোট প্রকল্পেও প্রয়োগযোগ্য — এমনকি একটি ব্যক্তিগত প্রজেক্টে ৫-১০টি টেস্ট কেস হাতে লিখেও এই শৃঙ্খলা অনুসরণ করা যায়। বড় প্রোডাকশন সিস্টেমে এটি প্রায়ই স্বয়ংক্রিয় ইভাল (evaluation) পাইপলাইনে পরিণত হয়, যেখানে শত শত টেস্ট কেস স্বয়ংক্রিয়ভাবে চালানো হয় প্রতিটি প্রম্পট পরিবর্তনের পর — কিন্তু মূলনীতিটা একই থাকে, ছোট হোক বা বড়।