মিসইউজ রিস্ক বনাম অ্যাক্সিডেন্ট রিস্ক

১ · দুটি ভিন্ন প্রশ্ন, দুটি ভিন্ন কারণ

একটি ক্ষমতাসম্পন্ন AI সিস্টেম ক্ষতি করতে পারে এমন দুটি একেবারেই ভিন্ন পথ আছে, আর এই পার্থক্যটি না বুঝলে ভুল প্রতিরক্ষা তৈরি হয়ে যেতে পারে। মিসইউজ রিস্কMisuse Riskএকটি ক্ষমতাসম্পন্ন সিস্টেম কোনো ব্যক্তি বা গোষ্ঠী ইচ্ছাকৃতভাবে ক্ষতির উদ্দেশ্যে ব্যবহার করার ঝুঁকি — সিস্টেমটি ঠিক তেমনই আচরণ করে যেমনটি চাওয়া হয়েছে, কিন্তু চাওয়াটাই ক্ষতিকর। মানে সিস্টেমটি ঠিক যেমন চাওয়া হয়েছে ঠিক তেমনই আচরণ করছে — সমস্যাটি অ্যালগরিদমে নয়, ব্যবহারকারীর উদ্দেশ্যে। বিপরীতে, অ্যাক্সিডেন্ট রিস্কAccident Riskএকটি সিস্টেম কোনো দুষ্ট উদ্দেশ্য ছাড়াই, শুধু মিসঅ্যালাইনমেন্ট, ত্রুটি বা অসম্পূর্ণ টেস্টিংয়ের কারণে ক্ষতি করার ঝুঁকি। মানে কারো কোনো ক্ষতিকর উদ্দেশ্যই ছিল না — ডেভেলপার, ব্যবহারকারী, সবাই সদুদ্দেশ্যে কাজ করেছেন — তবু সিস্টেমটি মিসঅ্যালাইনমেন্ট, একটি অসম্পূর্ণ স্পেসিফিকেশন (M9-এর L37-L39), বা সাধারণ সফটওয়্যার ত্রুটির কারণে ক্ষতি করেছে।

এই পার্থক্যটি গুরুত্বপূর্ণ কারণ একই AI ক্ষমতা — যেমন কোড লেখা, বিশ্বাসযোগ্য টেক্সট তৈরি করা, বা জটিল পরিকল্পনা করা — দুটি সম্পূর্ণ ভিন্ন ঝুঁকি-পথে ক্ষতি করতে পারে, আর প্রতিটি পথের জন্য একেবারে আলাদা প্রতিরক্ষা দরকার।

২ · কেন প্রশমন কৌশল আলাদা হতে হয়

একটি অ্যাক্সেস-কন্ট্রোল সমাধান (যেমন ব্যবহারকারী যাচাইকরণ) একটি মিসঅ্যালাইনমেন্ট সমস্যা সমাধান করে না — একজন সম্পূর্ণ বৈধ, যাচাইকৃত ব্যবহারকারীও এমন একটি সিস্টেম ব্যবহার করতে পারেন যা নিজেই ভুলভাবে অ্যালাইনড। উল্টোভাবে, শক্তিশালী অ্যালাইনমেন্ট টেস্টিং একজন দুষ্ট ব্যবহারকারীকে থামাতে পারে না, যিনি ইচ্ছাকৃতভাবে একটি নিখুঁতভাবে-কাজ-করা সিস্টেমকে ক্ষতির জন্য ব্যবহার করছেন। AI Foundations ও Generative AI কোর্সের সেফটি পাঠগুলো এই দুই ধরনের ঝুঁকিকে সংক্ষেপে ছুঁয়ে যায়; M9 (L37-L41) ইতিমধ্যে অ্যাক্সিডেন্ট-পাশের প্রযুক্তিগত ভিত্তি — অ্যালাইনমেন্ট সমস্যা — বিস্তারিত কভার করেছে।

৩ · একটি ঝুঁকি-অগ্রাধিকার ম্যাট্রিক্স

মিসইউজ ও অ্যাক্সিডেন্ট — দুই ক্যাটাগরিরই একাধিক দৃশ্যকল্প থাকতে পারে, আর সবগুলোর ঝুঁকি সমান নয়। নিচের কোড সেলে ৬টি ইলাস্ট্রেটিভ (সম্পূর্ণ কাল্পনিক) AI ঝুঁকি-দৃশ্যের জন্য লাইকলিহুড (কতটা সম্ভাব্য, ১-৫) ও সেভারিটি (ক্ষতি হলে কতটা গুরুতর, ১-৫) স্কোর দেওয়া হয়েছে, তারপর $\text{অগ্রাধিকার} = \text{লাইকলিহুড} \times \text{সেভারিটি}$ সূত্র দিয়ে একটি সত্যিকারের অগ্রাধিকার স্কোর গণনা করে দৃশ্যগুলোকে র‍্যাংক করা হয়েছে।

# ইলাস্ট্রেটিভ, সিন্থেটিক ঝুঁকি-দৃশ্য তালিকা -- বাস্তব কোনো নির্দিষ্ট কোম্পানি/ঘটনা নয়

risks = [
    {"scenario": "একটি চ্যাটবট প্রশিক্ষণ ডেটার ফাঁকের কারণে ভুল/ক্ষতিকর মেডিকেল পরামর্শ দেয়",
     "category": "accident", "likelihood": 3, "severity": 4},
    {"scenario": "একজন দুষ্ট ব্যবহারকারী একটি AI টুল ব্যবহার করে বড় স্কেলে ফিশিং কনটেন্ট তৈরি করে",
     "category": "misuse", "likelihood": 4, "severity": 3},
    {"scenario": "একজন আক্রমণকারী একটি ওপেন মডেল ফাইন-টিউন করে ক্ষতিকর কোড/ম্যালওয়্যার লিখতে ব্যবহার করে",
     "category": "misuse", "likelihood": 3, "severity": 4},
    {"scenario": "একটি সুপারিশ-ব্যবস্থা কোনো দুষ্ট উদ্দেশ্য ছাড়াই এনগেজমেন্ট-অপটিমাইজেশনের কারণে ক্ষতিকর কনটেন্ট বেশি দেখায়",
     "category": "accident", "likelihood": 4, "severity": 2},
    {"scenario": "একটি স্বয়ংক্রিয় নিয়ন্ত্রণ ব্যবস্থা ভুল অবজেক্টিভের কারণে অপ্রত্যাশিত ক্ষতিকর সিদ্ধান্ত নেয়",
     "category": "accident", "likelihood": 2, "severity": 5},
    {"scenario": "একজন ব্যবহারকারী ইমেজ-জেনারেশন টুল দিয়ে বিভ্রান্তিকর ডিপফেক তৈরি করে ছড়ায়",
     "category": "misuse", "likelihood": 5, "severity": 3},
]

for r in risks:
    r["priority"] = r["likelihood"] * r["severity"]

ranked = sorted(risks, key=lambda r: r["priority"], reverse=True)

print(f"{'ক্রম':<4}{'অগ্রাধিকার':<12}{'ক্যাটাগরি':<11}দৃশ্য")
for i, r in enumerate(ranked, start=1):
    print(f"{i:<4}{r['priority']:<12}{r['category']:<11}{r['scenario']}")

misuse_scores = [r["priority"] for r in risks if r["category"] == "misuse"]
accident_scores = [r["priority"] for r in risks if r["category"] == "accident"]
print(f"\nমিসইউজ-প্রধান দৃশ্যের গড় অগ্রাধিকার স্কোর: {sum(misuse_scores)/len(misuse_scores):.1f}")
print(f"অ্যাক্সিডেন্ট-প্রধান দৃশ্যের গড় অগ্রাধিকার স্কোর: {sum(accident_scores)/len(accident_scores):.1f}")