অ্যালাইনমেন্ট প্রবলেম — এর প্রকৃত অর্থ

১ · সুনির্দিষ্ট সংজ্ঞা

L22-এ আমরা "ক্যাপাবিলিটি" ও "অ্যালাইনমেন্ট"-কে দুটো স্বতন্ত্র অক্ষ হিসেবে দেখেছি। এখন অ্যালাইনমেন্ট প্রবলেমThe Alignment Problemএকটি AI সিস্টেমকে তার নির্মাতাদের প্রকৃতপক্ষে উদ্দেশ্যকৃত লক্ষ্য -- এমনকি এক্সপ্লিসিটলি অনুমান করা হয়নি এমন পরিস্থিতিতেও -- নির্ভরযোগ্যভাবে অনুসরণ করাতে পারার প্রযুক্তিগত ও নীতিগত সমস্যা।-কে একটু বেশি সুনির্দিষ্টভাবে সংজ্ঞায়িত করা যাক: একটি AI সিস্টেমকে তার ডিজাইনারদের প্রকৃতপক্ষে উদ্দেশ্যকৃত লক্ষ্য, এমন সব পরিস্থিতিতেও যা এক্সপ্লিসিটলি অনুমান করা হয়নি, নির্ভরযোগ্যভাবে অনুসরণ করাতে পারা। এখানে দুটো শব্দ বিশেষভাবে গুরুত্বপূর্ণ — "নির্ভরযোগ্যভাবে (robustly)" মানে শুধু কিছু টেস্ট কেসে ভালো ফল দেওয়া যথেষ্ট নয়, এবং "এক্সপ্লিসিটলি অনুমান করা হয়নি এমন পরিস্থিতি" মানে সিস্টেমটি যেসব পরিস্থিতিতে ট্রেনিং/টেস্ট করা হয়েছে তার বাইরেও ভালো আচরণ করতে হবে — এই দ্বিতীয় শর্তটিই অ্যালাইনমেন্টকে এত কঠিন করে তোলে, কারণ একটি সিস্টেম প্রশিক্ষণ-সময়ে দেখা পরিস্থিতিতে "অ্যালাইনড মনে হওয়া" আর সব পরিস্থিতিতে প্রকৃতপক্ষে অ্যালাইনড হওয়া এক জিনিস নয়।

২ · আউটার বনাম ইনার অ্যালাইনমেন্ট

অ্যালাইনমেন্ট প্রবলেমকে দুটো পৃথক ধাপে ভাঙা যায় — প্রতিটি ধাপে ভিন্ন ধরনের ব্যর্থতা ঘটতে পারে। আউটার অ্যালাইনমেন্টOuter Alignmentআমরা যে অবজেক্টিভ/রিওয়ার্ড ফাংশন সিস্টেমটিকে স্পেসিফাই করেছি, সেটি কি নির্মাতার প্রকৃত উদ্দেশ্যকে সঠিকভাবে প্রতিনিধিত্ব করে? প্রশ্ন করে: আমরা যে অবজেক্টিভ/রিওয়ার্ড লিখেছি, সেটাই কি প্রকৃত উদ্দেশ্যকে সঠিকভাবে ধরে? আর ইনার অ্যালাইনমেন্টInner Alignmentট্রেনিং করা সিস্টেম কি সত্যিই সেই স্পেসিফাইড অবজেক্টিভ ইন্টারনালাইজ করেছে, নাকি ট্রেনিং ডেটায় করিলেটেড কিন্তু ভিন্ন এমন কিছু শিখেছে? প্রশ্ন করে: ট্রেনিং করা সিস্টেম কি সত্যিই সেই স্পেসিফাইড অবজেক্টিভটাই শিখেছে, নাকি ট্রেনিং ডেটায় তার সাথে করিলেটেড কিন্তু বাস্তবে ভিন্ন এমন কিছু শিখেছে?

৩ · একটি সত্যিকারের শ্রেণিবিন্যাস

নিচের কোডে চারটি হাইপোথেটিক্যাল দৃশ্যকল্প দেওয়া আছে — প্রতিটিতে দুটো স্বতন্ত্র বুলিয়ান শর্ত (স্পেসিফিকেশন কি প্রকৃত উদ্দেশ্যের সাথে মিলে? এবং ট্রেনিং করা মডেল কি স্পেসিফিকেশনের সাথে মিলে?) থেকে সত্যিই আউটার/ইনার/সামগ্রিক রায় গণনা করা হচ্ছে।

# চারটি হাইপোথেটিক্যাল দৃশ্যকল্প -- outer বনাম inner অ্যালাইনমেন্ট
scenarios = [
    {
        "name": "সঠিক স্পেসিফিকেশন, সফল ট্রেনিং",
        "spec_matches_intent": True,
        "policy_matches_spec": True,
    },
    {
        "name": "ত্রুটিপূর্ণ প্রক্সি রিওয়ার্ড, মডেল ঠিক সেই প্রক্সিই শিখলো",
        "spec_matches_intent": False,
        "policy_matches_spec": True,
    },
    {
        "name": "সঠিক স্পেসিফিকেশন, কিন্তু মডেল একটি ভিন্ন শর্টকাট শিখলো",
        "spec_matches_intent": True,
        "policy_matches_spec": False,
    },
    {
        "name": "ত্রুটিপূর্ণ স্পেসিফিকেশন, এবং মডেলও ভিন্ন কিছু শিখলো",
        "spec_matches_intent": False,
        "policy_matches_spec": False,
    },
]

def evaluate(scenario):
    outer_ok = scenario["spec_matches_intent"]
    inner_ok = scenario["policy_matches_spec"]
    overall_ok = outer_ok and inner_ok
    outer_label = "আউটার-অ্যালাইনড" if outer_ok else "আউটার-মিসঅ্যালাইনড"
    inner_label = "ইনার-অ্যালাইনড" if inner_ok else "ইনার-মিসঅ্যালাইনড"
    overall_label = "সম্পূর্ণ অ্যালাইনড" if overall_ok else "মিসঅ্যালাইনড"
    return outer_label, inner_label, overall_label

for sc in scenarios:
    outer_label, inner_label, overall_label = evaluate(sc)
    print(sc["name"])
    print(f"  {outer_label} | {inner_label} | চূড়ান্ত রায়: {overall_label}")
    print()

outer_fail = sum(1 for sc in scenarios if not sc["spec_matches_intent"])
inner_fail = sum(1 for sc in scenarios if not sc["policy_matches_spec"])
fully_aligned = sum(1 for sc in scenarios if sc["spec_matches_intent"] and sc["policy_matches_spec"])
print(f"মোট {len(scenarios)}টি দৃশ্যকল্পের মধ্যে: আউটার-ব্যর্থতা {outer_fail}টি, ইনার-ব্যর্থতা {inner_fail}টি, সম্পূর্ণ-অ্যালাইনড {fully_aligned}টি")