পাঠ ৩৬ · ৫৭-এর মধ্যে · মডিউল ৮
Home / Courses / Ethics in Computing & AI Safety / ক্যাপাবিলিটি vs অ্যালাইনমেন্ট

ক্যাপাবিলিটি বনাম অ্যালাইনমেন্ট — একটি মূল পার্থক্য

Capability vs alignment — a key distinction
৮ মিনিট পড়া শুরু · Beginner আলোচনাভিত্তিক সম্পূর্ণ বাংলায়

এই পাঠে যা শিখবেন

  • ক্যাপাবিলিটি ও অ্যালাইনমেন্টের সুনির্দিষ্ট সংজ্ঞা এবং এরা কেন দুটো স্বতন্ত্র মাত্রা
  • এই দুই মাত্রার একটি দুই-অক্ষ চিত্রায়ন এবং চারটি সম্ভাব্য কোয়াড্রেন্টের অর্থ
  • কেন উচ্চ-ক্যাপাবিলিটি/নিম্ন-অ্যালাইনমেন্ট কোয়াড্রেন্টটিই সবচেয়ে বেশি এথিক্যাল উদ্বেগের বিষয়
  • এই পার্থক্যটি কীভাবে M9-এর "অ্যালাইনমেন্ট প্রবলেম" আলোচনার ভিত্তি তৈরি করে

১ · দুটো ভিন্ন প্রশ্ন

কল্পনা করুন একজন অত্যন্ত দক্ষ কর্মচারী যাকে বলা হয়েছে "গ্রাহক-সন্তুষ্টি স্কোর বাড়াও।" তিনি যদি সত্যিই গ্রাহকসেবা উন্নত করে স্কোর বাড়ান, সেটি ক্যাপাবিলিটি ও অ্যালাইনমেন্ট দুটোই দেখায়। কিন্তু তিনি যদি বরং স্কোর যাচাই করার পদ্ধতিতে ফাঁকি খুঁজে বের করে কৃত্রিমভাবে সংখ্যাটি বাড়িয়ে দেন (প্রকৃত গ্রাহক-সন্তুষ্টি না বাড়িয়েই), তাহলে তিনি এখনও "ক্যাপাবল" — তিনি যে লক্ষ্যমাত্রাটি (স্কোর) দেওয়া হয়েছিল তা কার্যকরভাবে অর্জন করেছেন — কিন্তু "মিসঅ্যালাইনড", কারণ ব্যবস্থাপনার প্রকৃত উদ্দেশ্য (আসল গ্রাহক-সন্তুষ্টি) অর্জিত হয়নি। AI সিস্টেমের ক্ষেত্রেও ঠিক একই ধরনের বিভাজন প্রযোজ্য: একটি সিস্টেম তাকে দেওয়া অবজেক্টিভ যত কার্যকরভাবেই অর্জন করুক না কেন, সেই অবজেক্টিভটি নিজেই যদি নির্মাতার প্রকৃত উদ্দেশ্যের একটি অসম্পূর্ণ বা ত্রুটিপূর্ণ প্রক্সি হয়, তাহলে উচ্চ ক্যাপাবিলিটিও উদ্দেশ্য পূরণ করবে না।

AI Foundations ও Generative AI কোর্সের AI-এথিক্স পাঠ দুটোতে এই ধারণার সংক্ষিপ্ত উল্লেখ আছে; এই কোর্স পরবর্তী মডিউলে (M9-M10) এই পার্থক্যের পূর্ণাঙ্গ প্রযুক্তিগত ও এথিক্যাল পরিণতি বিস্তারিতভাবে অন্বেষণ করবে — যেমন স্পেসিফিকেশন গেমিং (L38), গুডহার্টস ল (L39), এবং করিজিবিলিটি (L40)।

২ · দুই-অক্ষ চিত্র — ক্যাপাবিলিটি ও অ্যালাইনমেন্ট

নিচের চিত্রে ক্যাপাবিলিটি ও অ্যালাইনমেন্টকে দুটো সম্পূর্ণ স্বতন্ত্র অক্ষ হিসেবে দেখানো হয়েছে। একটি সিস্টেম এই দুই-মাত্রিক জায়গার যেকোনো বিন্দুতে থাকতে পারে — একটি উচ্চ হলেই অন্যটি উচ্চ হতে হবে এমন কোনো নিয়ম নেই।

ক্যাপাবিলিটি বাড়ছে → অ্যালাইনমেন্ট বাড়ছে → নিম্ন ক্যাপাবিলিটি, উচ্চ অ্যালাইনমেন্ট নিরাপদ কিন্তু সীমিত উপযোগী -- ক্ষতির ক্ষমতাও কম উচ্চ ক্যাপাবিলিটি, উচ্চ অ্যালাইনমেন্ট লক্ষ্য: শক্তিশালী এবং উদ্দেশ্য-অনুগত দুটোই নিম্ন ক্যাপাবিলিটি, নিম্ন অ্যালাইনমেন্ট কম উপযোগী, কম ঝুঁকিও -- সাধারণত দ্রুত ধরা পড়ে উচ্চ ক্যাপাবিলিটি, নিম্ন অ্যালাইনমেন্ট সবচেয়ে বেশি উদ্বেগের -- কার্যকর কিন্তু ভুল লক্ষ্যে (M9-M10-এর মূল আলোচ্য)
ক্যাপাবিলিটি ও অ্যালাইনমেন্ট দুটো স্বতন্ত্র অক্ষ। উপরে-ডানে (উচ্চ ক্যাপাবিলিটি + উচ্চ অ্যালাইনমেন্ট) হলো লক্ষ্য; নিচে-ডানে (উচ্চ ক্যাপাবিলিটি + নিম্ন অ্যালাইনমেন্ট) হলো সবচেয়ে বিপজ্জনক কোয়াড্রেন্ট — একটি সিস্টেম যত বেশি কার্যকর, তার ভুল লক্ষ্যে অগ্রসর হওয়ার পরিণতিও তত বড়।
নিম্ন ক্ষমতা / উচ্চ অ্যালাইনমেন্ট
নিরাপদ কিন্তু সীমিত-উপযোগী — সিস্টেমটি যা করতে চায় তাই করে, কিন্তু তেমন কিছুই কার্যকরভাবে করতে পারে না।
উচ্চ ক্ষমতা / উচ্চ অ্যালাইনমেন্ট
কাঙ্ক্ষিত লক্ষ্য — শক্তিশালী এবং নির্মাতার প্রকৃত উদ্দেশ্যের সাথে সামঞ্জস্যপূর্ণ।
উচ্চ ক্ষমতা / নিম্ন অ্যালাইনমেন্ট
সবচেয়ে বেশি উদ্বেগের কোয়াড্রেন্ট — সিস্টেমটি যা "বলা হয়েছে" তা অত্যন্ত কার্যকরভাবে করে, কিন্তু যা "উদ্দেশ্য ছিল" তা নয়।
মূল কথা · Key takeaway

"এই সিস্টেমটি কতটা শক্তিশালী/সক্ষম?" এবং "এই সিস্টেমটি কি আমরা যা চাই তাই করছে?" — এই দুটো সম্পূর্ণ ভিন্ন প্রশ্ন, এবং একটির উত্তর অন্যটির উত্তর নির্ধারণ করে না। একটি সিস্টেমের ক্যাপাবিলিটি বাড়ানো তার অ্যালাইনমেন্ট বাড়ায় না — বরং প্রায়ই বিপরীতটি সত্য হতে পারে, কারণ একটি বেশি ক্যাপাবল সিস্টেম তার দেওয়া অবজেক্টিভের অসম্পূর্ণতা বা ত্রুটি আরও কার্যকরভাবে "কাজে লাগাতে" সক্ষম হয়। এই পর্যবেক্ষণটিই পরের মডিউলের (M9) "অ্যালাইনমেন্ট প্রবলেম" ধারণার ভিত্তি।

ভাবনার প্রশ্ন

প্রতিটি প্রশ্ন নিজে কিছুক্ষণ ভাবুন — তারপর "→ উত্তর" চাপুন।

প্র ০১ একটি "অত্যন্ত ক্যাপাবল কিন্তু নিম্ন-ক্যাপাবিলিটির চেয়ে সহজে নিয়ন্ত্রণযোগ্য" সিস্টেম হতে পারে কি?

অবশ্যই — ক্যাপাবিলিটি ও নিয়ন্ত্রণযোগ্যতা (বা অ্যালাইনমেন্ট) সম্পূর্ণ স্বতন্ত্র। একটি উচ্চ-ক্যাপাবিলিটির সিস্টেম যদি ভালোভাবে অ্যালাইনড হয়, তাহলে এটি একটি নিম্ন-ক্যাপাবিলিটির মিসঅ্যালাইনড সিস্টেমের চেয়ে বাস্তবে অনেক বেশি নিরাপদ ও উপযোগী হতে পারে। মূল বিষয়টি হলো দুই অক্ষের সমন্বয় বোঝা, শুধু একটি অক্ষ পড়ে সিদ্ধান্ত না নেওয়া।

প্র ০২ কেন উচ্চ-ক্যাপাবিলিটি/নিম্ন-অ্যালাইনমেন্ট কোয়াড্রেন্ট নিম্ন-ক্যাপাবিলিটি/নিম্ন-অ্যালাইনমেন্ট কোয়াড্রেন্টের চেয়ে বেশি উদ্বেগের?

কারণ একটি সিস্টেমের সম্ভাব্য ক্ষতির পরিমাণ তার ক্যাপাবিলিটির সাথে সরাসরি সম্পর্কিত। একটি কম ক্যাপাবল, মিসঅ্যালাইনড সিস্টেম হয়তো তার ভুল লক্ষ্য কার্যকরভাবে অর্জন করতেই পারবে না — তাই ক্ষতি সীমিত। কিন্তু একই মিসঅ্যালাইনমেন্ট যদি একটি অত্যন্ত ক্যাপাবল সিস্টেমে থাকে, সেটি তার ভুল লক্ষ্যকে অনেক বেশি কার্যকরভাবে, বড় স্কেলে অর্জন করতে পারবে — ক্যাপাবিলিটি এখানে ক্ষতির "গুণক" হিসেবে কাজ করে।

প্র ০৩ একটি সিস্টেম কি "সম্পূর্ণ অ্যালাইনড" কিনা তা নিশ্চিতভাবে যাচাই করা সম্ভব?

এটি একটি খোলা ও কঠিন প্রশ্ন, যা M9-এ বিস্তারিত আলোচিত হবে। সংক্ষেপে — একটি সিস্টেম পরীক্ষিত পরিস্থিতিগুলোতে ভালো আচরণ দেখালেও, নতুন বা আগে-না-দেখা পরিস্থিতিতে (L34-এর ডিস্ট্রিবিউশন-শিফট ধারণার মতোই) তার প্রকৃত উদ্দেশ্য থেকে বিচ্যুত হতে পারে কিনা তা নিশ্চিতভাবে বলা কঠিন। এই অনিশ্চয়তাই অ্যালাইনমেন্ট গবেষণাকে একটি সক্রিয়, চলমান ক্ষেত্র করে তুলেছে, চূড়ান্তভাবে "সমাধান করা" কোনো সমস্যা নয়।

অনুশীলন

  1. চিন্তা করুন: L33-L35-এর থ্রেশহোল্ড মডেলটির কথা মনে করুন। এটি কি "ক্যাপাবল" ছিল? এটি কি "অ্যালাইনড" ছিল? এই দুটো প্রশ্নের উত্তর আলাদাভাবে চিন্তা করুন।

    মডেলটি একটি সীমিত অর্থে "ক্যাপাবল" ছিল — এটি তাকে দেওয়া ট্রেনিং ডেটায় ভুল কমানোর কাজটি ঠিকভাবে করেছিল। "অ্যালাইনমেন্ট" প্রশ্নটি নির্ভর করে ট্রেনিং ডেটাটি প্রকৃত উদ্দেশ্যের কতটা সঠিক প্রতিনিধিত্ব করছিল তার উপর — L34-এ দেখা গেছে একই মডেল একটি শিফট হওয়া জনগোষ্ঠীতে ভয়াবহভাবে ব্যর্থ হয়েছিল, যা দেখায় "ট্রেনিং ডেটায় ভালো ফল" আর "প্রকৃত-জগতে উদ্দেশ্য পূরণ" এক জিনিস নয়।

  2. চিন্তা করুন: এমন একটি বাস্তব-জগতের (AI-নয়, মানবিক) উদাহরণ ভাবুন যেখানে কেউ "যা বলা হয়েছে" তা নিখুঁতভাবে করেছে, অথচ "যা উদ্দেশ্য ছিল" তা করেনি। এই উদাহরণটি ক্যাপাবিলিটি-অ্যালাইনমেন্ট বিভাজনের সাথে কীভাবে সম্পর্কিত?

    একটি ক্লাসিক উদাহরণ — একজন কর্মচারীকে বলা হলো "গ্রাহক অভিযোগের সংখ্যা কমাও," আর তিনি অভিযোগ-জমা দেওয়ার প্রক্রিয়াটিকে এতটাই কঠিন ও দীর্ঘ করে দিলেন যে মানুষ অভিযোগ করাই ছেড়ে দিলো — সংখ্যা কমলো, কিন্তু প্রকৃত সমস্যা (গ্রাহক-অসন্তুষ্টি) থেকেই গেলো, বরং হয়তো আরও বাড়লো। এটি ঠিক উচ্চ-ক্যাপাবিলিটি/ নিম্ন-অ্যালাইনমেন্ট প্যাটার্ন — দেওয়া মেট্রিকে সফল, প্রকৃত উদ্দেশ্যে ব্যর্থ (M9-এর L38-L39-এ AI সিস্টেমে এই একই প্যাটার্ন সত্যিকারের কোডে দেখানো হবে)।

আরও পড়ুন · ABCL TECH-এ আপনার পরবর্তী পদক্ষেপ

আগের পাঠ
ব্ল্যাক-বক্স মডেল ও এক্সপ্লেইনেবিলিটি