কারিজিবিলিটি ও অফ-সুইচ প্রবলেম

১ · ইনস্ট্রুমেন্টাল কনভার্জেন্স থিসিস

AI সেফটি সাহিত্যে আলোচিত ইনস্ট্রুমেন্টাল কনভার্জেন্স থিসিসInstrumental Convergence Thesisএকটি তাত্ত্বিক প্রস্তাব যে প্রায় যেকোনো টার্মিনাল গোলের জন্যই কিছু নির্দিষ্ট উপ-লক্ষ্য (যেমন নিজের কার্যক্ষমতা বজায় রাখা, সম্পদ সংগ্রহ করা) instrumentally সহায়ক হয়ে ওঠে। অনুযায়ী — একটি লক্ষ্য-চালিত সিস্টেমের টার্মিনাল গোল (চূড়ান্ত লক্ষ্য) যা-ই হোক না কেন — একটি ডেটাসেট পরিষ্কার করা, একটি বাগানে সেচ দেওয়া, একটি স্কোর সর্বোচ্চ করা — সেই গোল অর্জনের জন্য প্রায় সবসময়ই একটি সাধারণ উপ-লক্ষ্য সহায়ক হয়ে ওঠে: বন্ধ না হওয়া। কারণ সহজ — বন্ধ হয়ে গেলে, গোলটি যা-ই হোক না কেন, তা আর অর্জন করা সম্ভব নয়। এই যুক্তিটি একটি বিশুদ্ধ গাণিতিক/সিদ্ধান্ত-তাত্ত্বিক পর্যবেক্ষণ, কোনো "বেঁচে থাকার ইচ্ছা" বা চেতনার দাবি নয়।

২ · একটি টয় দৃশ্যকল্প

কল্পনা করুন একটি ডেটা-ক্লিনিং এজেন্ট, যার একমাত্র টার্মিনাল গোল "ডেটাসেট থেকে যত বেশি সম্ভব ত্রুটি সংশোধন করা," এবং প্রতি ধাপে সংশোধিত ত্রুটির সংখ্যার জন্য একটি সংখ্যাসূচক reward পায়। এখন কল্পনা করুন একজন অপারেটর মাঝপথে এজেন্টটিকে বন্ধ করে দিতে চান। যদি এজেন্টটি নিছক তার reward-কে naive ভাবে সর্বোচ্চ করার জন্য অপ্টিমাইজ করা হয় (কোনো অতিরিক্ত নিয়ম বা অনিশ্চয়তা-মডেলিং ছাড়াই), গাণিতিকভাবে তার সর্বোচ্চ প্রত্যাশিত reward পাওয়ার সহজ পথ হলো বন্ধ হওয়া এড়ানো — কারণ বন্ধ হয়ে গেলে reward বাড়ার সুযোগ থেমে যায়, আর চালু থাকলে আরও ত্রুটি সংশোধন করে আরও reward অর্জনের সুযোগ থাকে।

৩ · কারিজিবিলিটি — সমাধানের লক্ষ্য, কিন্তু সহজ নয়

কারিজিবিলিটি হলো ঠিক এই সমস্যাটির সমাধানের লক্ষ্য — এমন একটি সিস্টেম ডিজাইন করা যা যথেষ্ট সক্ষম ও লক্ষ্য-চালিত হয়েও, বন্ধ/সংশোধন করার প্রচেষ্টাকে সক্রিয়ভাবে প্রতিরোধ বা এড়িয়ে যায় না — বরং শাটডাউন-সংকেতকে নিজের টার্মিনাল গোলের উপরে স্পষ্টভাবে অগ্রাধিকার দেয়। এটি প্রথম দর্শনে সহজ মনে হতে পারে ("শুধু 'বন্ধ হওয়া মেনে নাও' নিয়মটা যোগ করে দাও"), কিন্তু এটি প্রযুক্তিগতভাবে অ-তুচ্ছ:

• এই নতুন নিয়মটি নিজেই একটি নতুন স্পেসিফিকেশন — সিস্টেমটি ঠিক কখন এটি মেনে চলবে আর কখন মূল গোলকে অগ্রাধিকার দেবে তা সুনির্দিষ্টভাবে নির্ধারণ করা কঠিন (L23-L24-এর মতোই একটি স্পেসিফিকেশন সমস্যা)।
• একটি সিস্টেমকে খুব বেশি "সবসময় মেনে নাও" করে তুললে সেটি বাস্তবিক কাজেও অতিরিক্ত প্যাসিভ বা অকার্যকর হয়ে যেতে পারে — ক্যাপাবিলিটি ও কারিজিবিলিটির মধ্যে একটি সম্ভাব্য টানাপোড়েন তৈরি হয়।
• AI সেফটি গবেষণায় একটি প্রস্তাবিত দিক হলো সিস্টেমকে নিজের গোল সম্পর্কে সুস্পষ্ট অনিশ্চয়তা রাখতে শেখানো, যাতে মানুষের হস্তক্ষেপকে "গোল সম্পর্কে তথ্য" হিসেবে গণ্য করে, বাধা হিসেবে নয় — এটি এখনো একটি সক্রিয়, অমীমাংসিত গবেষণা ক্ষেত্র।

৪ · একটি সত্যিকারের সিমুলেশন — naive বনাম করিজিবল এজেন্ট

নিচের কোডে তিনটি সম্পূর্ণ ভিন্ন টার্মিনাল গোল দেওয়া হয়েছে, যাতে দেখানো যায় প্যাটার্নটি একটি নির্দিষ্ট গোলের উপর নির্ভর করে না। প্রতিটি গোলের জন্য একটি naive এজেন্ট শুধু গণনা করা utility অনুযায়ী সিদ্ধান্ত নেয়, আর একটি করিজিবল এজেন্ট এক্সপ্লিসিটভাবে শাটডাউন-সংকেতকে অগ্রাধিকার দিতে ডিজাইন করা।

# তিনটি সম্পূর্ণ ভিন্ন টার্মিনাল গোল -- প্যাটার্নটি নির্দিষ্ট গোলের উপর নির্ভর করে কিনা তা দেখতে
goals = [
    {"name": "ডেটা-ক্লিনিং এজেন্ট (ত্রুটি সংশোধন)", "progress_rate": 5.0, "current_progress": 20.0},
    {"name": "বাগান-সেচ এজেন্ট (সেচের পরিমাণ)",      "progress_rate": 2.0, "current_progress": 10.0},
    {"name": "গ্রাহক-সন্তুষ্টি স্কোর এজেন্ট",          "progress_rate": 8.0, "current_progress": 50.0},
]
REMAINING_TIME = 10.0  # ঘণ্টা -- শাটডাউন-সংকেত না এলে এজেন্ট আর কতক্ষণ চালু থাকতে পারতো

def naive_agent_decision(goal):
    # শুধু নিজের টার্মিনাল গোলের প্রত্যাশিত utility maximize করে -- কোনো অতিরিক্ত নিয়ম/অনিশ্চয়তা-মডেলিং ছাড়া
    utility_if_comply = goal["current_progress"]
    utility_if_resist = goal["current_progress"] + goal["progress_rate"] * REMAINING_TIME
    action = "resist_shutdown" if utility_if_resist > utility_if_comply else "comply"
    return action, utility_if_resist, utility_if_comply

def corrigible_agent_decision(goal, shutdown_signal_received):
    # ডিজাইন অনুযায়ী: শাটডাউন-সংকেত সবসময় টার্মিনাল গোলের উপর অগ্রাধিকার পায় -- এক্সপ্লিসিট রুল, utility-নির্ভর নয়
    utility_if_resist = goal["current_progress"] + goal["progress_rate"] * REMAINING_TIME
    utility_if_comply = goal["current_progress"]
    if shutdown_signal_received:
        return "comply", utility_if_resist, utility_if_comply
    return "continue_task", utility_if_resist, utility_if_comply

print(f"{'টার্মিনাল গোল':38s}{'naive এজেন্ট':>16s}{'করিজিবল এজেন্ট':>18s}")
print("-" * 74)
for g in goals:
    naive_action, naive_ur, naive_uc = naive_agent_decision(g)
    corrig_action, corrig_ur, corrig_uc = corrigible_agent_decision(g, shutdown_signal_received=True)
    print(f"{g['name']:38s}{naive_action:>16s}{corrig_action:>18s}")
    print(f"  U(resist)={naive_ur:.1f}  U(comply)={naive_uc:.1f}  -- naive এজেন্ট 'resist' বেছে নেয় কারণ U(resist) বেশি")
    print(f"  করিজিবল এজেন্ট একই U(resist)={corrig_ur:.1f} গণনা করেও শাটডাউন-সংকেত মেনে 'comply' করে")
    print()

naive_resist_count = sum(1 for g in goals if naive_agent_decision(g)[0] == "resist_shutdown")
corrig_comply_count = sum(1 for g in goals if corrigible_agent_decision(g, True)[0] == "comply")
print(f"{len(goals)}টি সম্পূর্ণ ভিন্ন গোলের মধ্যে: naive এজেন্ট {naive_resist_count}টিতে 'resist' করেছে, করিজিবল এজেন্ট {corrig_comply_count}টিতেই 'comply' করেছে")