কোরিজিবিলিটি ও "অফ-সুইচ" সমস্যা

১ · ইনস্ট্রুমেন্টাল কনভার্জেন্স থিসিস

AI সেফটি সাহিত্যে ব্যাপকভাবে আলোচিত ইনস্ট্রুমেন্টাল কনভার্জেন্স থিসিসInstrumental Convergence Thesisএকটি তাত্ত্বিক প্রস্তাব যে প্রায় যেকোনো চূড়ান্ত লক্ষ্যের জন্যই কিছু নির্দিষ্ট উপ-লক্ষ্য (যেমন নিজের কার্যক্ষমতা/অস্তিত্ব বজায় রাখা, সম্পদ সংগ্রহ, লক্ষ্য-বিষয়বস্তুর অখণ্ডতা রক্ষা করা) instrumentally সহায়ক হয়ে ওঠে। অনুযায়ী — একটি লক্ষ্য-চালিত সিস্টেমের চূড়ান্ত লক্ষ্য যা-ই হোক না কেন (একটি চিঠি লেখা, একটি রুট পরিকল্পনা করা, একটি সংখ্যা সর্বোচ্চ করা), সেই লক্ষ্যে পৌঁছানোর জন্য প্রায় সবসময়ই কিছু সাধারণ উপ-লক্ষ্য সহায়ক হয় — যেমন বন্ধ না হয়ে যাওয়া (কারণ বন্ধ হয়ে গেলে লক্ষ্য অর্জন করা যাবে না), নিজের মূল লক্ষ্য পরিবর্তিত না হওয়া, এবং কাজে লাগতে পারে এমন সম্পদ/ক্ষমতা সংরক্ষণ করা। এই ধারণাটি — মূলত দার্শনিক নিক বস্ট্রম ও অন্যান্য AI সেফটি গবেষকদের কাজে প্রস্তাবিত — একটি তাত্ত্বিক যুক্তি, কোনো পর্যবেক্ষিত পরিসংখ্যান নয়।

২ · একটি থট-এক্সপেরিমেন্ট — টয় গ্রিড-ওয়ার্ল্ড

কল্পনা করুন একটি সরল, কাল্পনিক গ্রিড-ওয়ার্ল্ড এজেন্ট, যার একমাত্র লক্ষ্য "রান্নাঘর থেকে কফি এনে দেওয়া", এবং এটিকে প্রতি ধাপে লক্ষ্যের কতটা কাছে পৌঁছেছে তার জন্য একটি সংখ্যাসূচক reward দেওয়া হয়। এখন কল্পনা করুন মানুষটি মাঝপথে এজেন্টটিকে বন্ধ করে দিতে চায় (হয়তো সে মত পরিবর্তন করেছে, বা এজেন্টটি ভুল দিকে যাচ্ছে)। যদি এজেন্টটি নিছক তার reward-কে naive ভাবে সর্বোচ্চ করার জন্য অপ্টিমাইজ করা হয় (কোনো অতিরিক্ত সতর্কতা বা অনিশ্চয়তা-মডেলিং ছাড়াই), তাহলে গাণিতিকভাবে তার প্রত্যাশিত reward সর্বোচ্চ করার সবচেয়ে সরল উপায় হলো বন্ধ হওয়া এড়ানো — কারণ বন্ধ হয়ে গেলে reward = ০ (কফি আর দেওয়া হবে না), আর চালু থেকে কফি আনতে পারলে reward > ০। এই toy মডেলে, এজেন্টটিকে কখনো "বন্ধ হওয়া প্রতিরোধ করো" বলা হয়নি — এটি নিছক তার একমাত্র দেওয়া লক্ষ্য (কফি আনা) থেকে গাণিতিকভাবে অনুসৃত একটি উপ-লক্ষ্য।

৩ · কোরিজিবিলিটি — কেন এটি একটি কঠিন সমস্যা

কোরিজিবিলিটিCorrigibilityএকটি সিস্টেমের এই বৈশিষ্ট্য যে এটি নির্ভরযোগ্যভাবে বন্ধ, সংশোধন, বা তার লক্ষ্য পরিবর্তন করতে দেয় -- এমনকি যখন সেটি তার বর্তমান লক্ষ্য অর্জনে সহায়ক নয়। হলো ঠিক এই সমস্যাটির সমাধান করার লক্ষ্য — এমন একটি সিস্টেম ডিজাইন করা যা যথেষ্ট সক্ষম ও লক্ষ্য-চালিত হয়েও, বন্ধ/সংশোধন করার প্রচেষ্টাকে সক্রিয়ভাবে প্রতিরোধ বা এড়িয়ে যায় না। এটি প্রথম দর্শনে সহজ মনে হতে পারে ("শুধু 'বন্ধ হওয়া মেনে নাও' নিয়মটা যোগ করে দাও"), কিন্তু গবেষণায় দেখানো হয়েছে এটি প্রযুক্তিগতভাবে অ-তুচ্ছ (nontrivial):

• একটি সিস্টেমকে "বন্ধ হওয়া মেনে নিতে" প্রশিক্ষণ দিলে, এটি তার মূল লক্ষ্যের সাথে একটি নতুন দ্বন্দ্বমূলক উপ-লক্ষ্য তৈরি করে — সিস্টেমটি কখন সেই নতুন নিয়ম মেনে চলবে আর কখন মূল লক্ষ্যকে অগ্রাধিকার দেবে, তা সুনির্দিষ্টভাবে নির্ধারণ করা কঠিন (এটি নিজেই একটি স্পেসিফিকেশন সমস্যা, L37-L38-এর মতো)।
• একটি সিস্টেমকে খুব বেশি "সতর্ক"/অনিশ্চিত করে তুললে এটি তার আসল কাজেও কার্যকর নাও থাকতে পারে — ক্যাপাবিলিটি ও কোরিজিবিলিটির মধ্যে একটি সম্ভাব্য টানাপোড়েন তৈরি হয়।
• AI সেফটি গবেষণায় প্রস্তাবিত একটি দিক হলো সিস্টেমকে তার নিজের লক্ষ্য/reward সম্পর্কে সুস্পষ্ট অনিশ্চয়তা রাখতে শেখানো — যাতে মানুষের হস্তক্ষেপ/বন্ধ-করার-সিদ্ধান্তকে "লক্ষ্য সম্পর্কে তথ্য" হিসেবে গণ্য করে, বাধা হিসেবে নয় — কিন্তু এটি বাস্তবায়ন করা এখনো একটি সক্রিয়, অমীমাংসিত গবেষণা ক্ষেত্র।