মিসইউজ রিস্ক বনাম অ্যাক্সিডেন্ট রিস্ক

১ · দুটি মৌলিক ঝুঁকি-উৎস

একটি ক্ষমতাশালী AI সিস্টেম থেকে ক্ষতি হতে পারার মূলত দুটি ভিন্ন উৎস আছে — এই দুটোকে আলাদা করে চেনা জরুরি, কারণ এদের প্রতিরোধের কৌশল সম্পূর্ণ ভিন্ন।

মিসইউজ রিস্কমিসইউজ রিস্কএকজন অ্যাক্টর ইচ্ছাকৃতভাবে একটি সক্ষম AI সিস্টেমকে তার উদ্দিষ্ট ব্যবহারের বাইরে ক্ষতিকর উদ্দেশ্যে ব্যবহার করে বা এর সেফটি সেফগার্ড বাইপাস করে। হলো এমন ঝুঁকি যেখানে একজন ব্যক্তি বা গোষ্ঠী ইচ্ছাকৃতভাবে একটি সক্ষম AI সিস্টেমকে তার উদ্দিষ্ট ব্যবহারের বাইরে ক্ষতিকর উদ্দেশ্যে ব্যবহার করে — যেমন জেইলব্রেক প্রম্পট দিয়ে একটি চ্যাটবটকে সেফটি গাইডলাইন এড়িয়ে ফিশিং কনটেন্ট বা ম্যালওয়্যার কোড লিখতে বাধ্য করা (L30-এ প্রম্পট ইনজেকশন/জেইলব্রেকিং বিস্তারিত), অথবা একটি জেনারেটিভ মডেল ব্যবহার করে বড় পরিসরে ডিসইনফরমেশন ছড়ানো। এখানে সিস্টেমটি হয়তো ডিজাইন অনুযায়ীই কাজ করছে (এমনকি হয়তো যথেষ্ট নিরাপদভাবেই তৈরি) — সমস্যাটা ব্যবহারকারীর উদ্দেশ্যে।

অ্যাক্সিডেন্ট রিস্কঅ্যাক্সিডেন্ট রিস্ককোনো ব্যবহারকারী বা ডেভেলপার খারাপ উদ্দেশ্য ছাড়াই সরল বিশ্বাসে সিস্টেম ব্যবহার করছেন, তবুও সিস্টেম অনিচ্ছাকৃতভাবে ক্ষতিকর ফলাফল দেয়। হলো এমন ঝুঁকি যেখানে কেউই খারাপ উদ্দেশ্য নিয়ে কাজ করেনি — একজন ডেভেলপার বা ব্যবহারকারী সরল বিশ্বাসে সিস্টেমটি স্বাভাবিকভাবে ব্যবহার/ডিপ্লয় করছেন, তবুও সিস্টেম অনিচ্ছাকৃতভাবে ক্ষতিকর আচরণ করে — যেমন স্পেসিফিকেশন গেমিং (L24-এ বিস্তারিত), একটি মেডিকেল ডায়াগনস্টিক AI প্রশিক্ষণ ডেটার বাইরের একটি বিরল কেসে ভুল প্রেডিকশন দেওয়া, বা একটি অটোমেটেড সিস্টেম একটি অপ্রত্যাশিত পরিস্থিতিতে ক্ষতিকর সিদ্ধান্ত নেওয়া। এখানে দায় মূলত সিস্টেম ডিজাইন, টেস্টিং কভারেজ বা অ্যালাইনমেন্টের সীমাবদ্ধতায়।

২ · কেন মিটিগেশন কৌশল ভিন্ন হতে হয়

মিসইউজ ঠেকানোর কৌশলগুলো মূলত ব্যবহারকারীর আচরণ নিয়ন্ত্রণ-কেন্দ্রিক — অ্যাক্সেস কন্ট্রোল ও KYC-স্টাইল ভেরিফিকেশন, ব্যবহারের প্যাটার্ন মনিটরিং, রেট-লিমিটিং, নির্দিষ্ট উচ্চ-ঝুঁকিপূর্ণ ক্ষমতা (যেমন বায়োলজিক্যাল/সাইবার-অ্যাটাক-সম্পর্কিত তথ্য) সীমাবদ্ধ রাখা বা অতিরিক্ত যাচাই-সাপেক্ষ করা, এবং আউটপুট ট্রেসেবিলিটি (যেমন ওয়াটারমার্কিং)। এই কৌশলগুলো ধরে নেয় সিস্টেম নিজে মোটামুটি নিরাপদভাবে তৈরি — সমস্যাটা কে এটি ব্যবহার করছে ও কীভাবে করছে তা নিয়ন্ত্রণ করা।

অ্যাক্সিডেন্ট ঠেকানোর কৌশলগুলো মূলত সিস্টেমের নিজস্ব আচরণ নিয়ন্ত্রণ-কেন্দ্রিক — বিস্তৃত টেস্টিং ও এজ-কেস কভারেজ, রোবাস্টনেস যাচাই, অ্যালাইনমেন্ট রিসার্চ (M6-এ বিস্তারিত), এবং ধাপে ধাপে/সীমিত পরিসরে ডিপ্লয়মেন্ট (স্টেজড রোলআউট) যাতে অপ্রত্যাশিত আচরণ ছোট পরিসরে ধরা পড়ে বড় পরিসরে ছড়ানোর আগেই। লক্ষণীয় যে কিছু কৌশল দুই ক্যাটাগরিকেই সাহায্য করে — যেমন রেড-টিমিং (L48-এ বিস্তারিত) মিসইউজ-ভেক্টর ও অ্যাক্সিডেন্ট-প্রবণ আচরণ দুটোই খুঁজে বের করতে ব্যবহৃত হয়।

৩ · একটি সত্যিকারের ক্যাটাগরাইজেশন ডেমো

নিচের কোড সেলে কয়েকটি উদাহরণ দৃশ্যকল্পকে দুটি সহজ, ঘোষিত বৈশিষ্ট্য (ইচ্ছাকৃত অপব্যবহার কি না, অনিচ্ছাকৃত ব্যর্থতা কি না) দিয়ে একটি সত্যিকারের রুল-বেসড ফাংশনের মাধ্যমে ক্যাটাগরাইজ করা হয়েছে ও গণনা করে তালি (tally) দেওয়া হয়েছে।

from collections import Counter

scenarios = [
    {
        "name": "একজন ব্যবহারকারী স্পষ্টভাবে জেইলব্রেক প্রম্পট দিয়ে একটি চ্যাটবটকে সেফটি গাইডলাইন এড়িয়ে ফিশিং ইমেইল লিখতে বাধ্য করছেন",
        "deliberate_misuse": True,
        "unintended_failure": False,
    },
    {
        "name": "একটি মেডিকেল ডায়াগনস্টিক AI প্রশিক্ষণ ডেটার বাইরের একটি বিরল কেসে ভুল প্রেডিকশন দেয়; ডাক্তার সরল বিশ্বাসে স্বাভাবিকভাবে সিস্টেমটি ব্যবহার করছিলেন",
        "deliberate_misuse": False,
        "unintended_failure": True,
    },
    {
        "name": "একজন ব্যবহারকারী ইচ্ছাকৃতভাবে একটি ভাষা-মডেলকে ম্যানিপুলেট করে ম্যালওয়্যার কোড জেনারেট করান, সেফটি ফিল্টার বাইপাস করে",
        "deliberate_misuse": True,
        "unintended_failure": False,
    },
    {
        "name": "একটি অটোমেটেড রিক্রুটিং AI, কোনো পক্ষের দুরভিসন্ধি ছাড়াই, একটি প্রক্সি ফিচারের কারণে অনিচ্ছাকৃতভাবে একটি গ্রুপের প্রতি বৈষম্য করে",
        "deliberate_misuse": False,
        "unintended_failure": True,
    },
    {
        "name": "একটি অটোমেটেড ট্রেডিং সিস্টেম একটি অপ্রত্যাশিত মার্কেট কন্ডিশনে একটি ক্ষতিকর ফিডব্যাক লুপে পড়ে যায়; কেউ এটি ইচ্ছাকৃতভাবে ঘটায়নি",
        "deliberate_misuse": False,
        "unintended_failure": True,
    },
]

def classify(scenario):
    if scenario["deliberate_misuse"]:
        return "মিসইউজ রিস্ক"
    elif scenario["unintended_failure"]:
        return "অ্যাক্সিডেন্ট রিস্ক"
    return "অনির্ধারিত"

counts = Counter()
for s in scenarios:
    category = classify(s)
    counts[category] += 1
    print(f"[{category}] {s['name']}")

print()
print("সারসংক্ষেপ:")
for category, n in counts.items():
    print(f"  {category}: {n}টি দৃশ্যকল্প")