কেস স্টাডি — বাস্তবে হিউম্যান-AI কোলাবোরেশন

১ · সিনারিও — একটি কন্টেন্ট-রিভিউ ওয়ার্কফ্লো

ধরা যাক একটি অনলাইন কমিউনিটি প্ল্যাটফর্মে (কোনো নির্দিষ্ট বাস্তব প্রোডাক্টের নাম নয় — একটি সাধারণ, হাইপোথেটিক্যাল উদাহরণ) প্রতিদিন শত শত পোস্ট জমা পড়ে। প্রতিটি পোস্ট প্রথমে একটি AI মডেলের মধ্য দিয়ে যায়, যা একটি ঝুঁকি স্কোর (০ থেকে ১) দেয় — নীতি-লঙ্ঘনের সম্ভাবনা কতটা। একটি নির্দিষ্ট থ্রেশহোল্ডের উপরে স্কোরযুক্ত পোস্টগুলো একটি শেয়ার্ড রিভিউ-কিউতে যায়, যেখানে একাধিক মানব-রিভিউয়ার (মাল্টি-ইউজার, L37-এর ধারণা) পালাক্রমে সেগুলো দেখেন।

এটি L34-এর হ্যান্ডঅফ রুলের একটি বাস্তব প্রয়োগ: AI বিশাল ভলিউমে দ্রুত স্ক্রিনিং করে (তার শক্তির জায়গা), আর মানুষ শুধু সীমারেখার/সন্দেহজনক কেসগুলোতে মনোযোগ দেন যেখানে প্রসঙ্গ ও বিচার-বুদ্ধি দরকার (তাদের শক্তির জায়গা)। সময়ের সাথে সাথে রিভিউয়াররা AI কোন ধরনের পোস্ট ভালো/খারাপ শনাক্ত করে তার একটি কমন গ্রাউন্ড (L35) তৈরি করেন — যা তাঁদের নিজস্ব বিচারকে AI-এর স্কোরের সাথে সমন্বয় করতে সাহায্য করে।

২ · হ্যান্ডঅফ ডিজাইন করা — থ্রেশহোল্ড একটি নিয়ন্ত্রণযোগ্য ডায়াল

কোন পোস্টগুলো মানুষের কাছে যাবে তা ঠিক করে একটি থ্রেশহোল্ড — ঝুঁকি স্কোর এই মানের উপরে হলেই পোস্টটি রিভিউ-কিউতে যায়। থ্রেশহোল্ড কমালে বেশি পোস্ট ফ্ল্যাগ হয় (কম মিস হওয়ার ঝুঁকি, কিন্তু বেশি কর্মভার), বাড়ালে কম পোস্ট ফ্ল্যাগ হয় (কম কর্মভার, কিন্তু বেশি মিস হওয়ার ঝুঁকি)। এটি ঠিক L34-এর হ্যান্ডঅফ রুলের মতোই একটি ডিজাইন লিভার — শুধু এখানে এটি বাইনারি (কে কোন কেস দেখবে) নয়, একটি ধারাবাহিক ডায়াল।

import random
random.seed(3)

N = 200
BASE_VIOLATION_RATE = 0.08

items = []
for i in range(N):
    is_violation = random.random() < BASE_VIOLATION_RATE
    # AI ঝুঁকি স্কোর -- প্রকৃত লঙ্ঘনগুলোতে বেশি স্কোরের দিকে ঝোঁক, বাকিগুলোতে কম স্কোরের দিকে, তবে নয়েজসহ
    if is_violation:
        score = min(1.0, max(0.0, random.gauss(0.75, 0.20)))
    else:
        score = min(1.0, max(0.0, random.gauss(0.15, 0.18)))
    items.append({"id": i, "violation": is_violation, "score": score})

THRESHOLD = 0.5

flagged = [it for it in items if it["score"] >= THRESHOLD]
not_flagged = [it for it in items if it["score"] < THRESHOLD]

true_violations = [it for it in items if it["violation"]]
flagged_violations = [it for it in flagged if it["violation"]]
missed_violations = [it for it in not_flagged if it["violation"]]

recall = len(flagged_violations) / len(true_violations) * 100 if true_violations else 0.0
precision = len(flagged_violations) / len(flagged) * 100 if flagged else 0.0
workload_pct = len(flagged) / N * 100

print(f"মোট পোস্ট: {N}")
print(f"প্রকৃত নীতি-লঙ্ঘন: {len(true_violations)}টি")
print(f"রিভিউ-কিউতে ফ্ল্যাগ হয়েছে: {len(flagged)}টি ({workload_pct:.1f}% সব পোস্টের)")
print(f"ফ্ল্যাগ হওয়া পোস্টের মধ্যে প্রকৃতপক্ষে লঙ্ঘন (প্রিসিশন): {precision:.1f}%")
print(f"সব লঙ্ঘনের মধ্যে ফ্ল্যাগে ধরা পড়েছে (রিকল): {recall:.1f}%")
print(f"মিস হওয়া লঙ্ঘন (ফ্ল্যাগ হয়নি): {len(missed_violations)}টি")

TIME_PER_ITEM_SEC = 20
time_review_all = N * TIME_PER_ITEM_SEC
time_review_flagged = len(flagged) * TIME_PER_ITEM_SEC
saved_pct = (1 - time_review_flagged / time_review_all) * 100
print(f"\nসব পোস্ট নিজে রিভিউ করলে সময় লাগত: {time_review_all/60:.1f} মিনিট")
print(f"শুধু ফ্ল্যাগ হওয়া পোস্ট রিভিউ করতে সময় লাগে: {time_review_flagged/60:.1f} মিনিট")
print(f"রিভিউয়ারের সময় সাশ্রয়: {saved_pct:.1f}%")

৩ · এই ফলাফলের মানে — একটি বিশুদ্ধ সাফল্যের গল্প নয়

৯০% সময় সাশ্রয় ও ৯৩.৮% রিকল চমৎকার শোনালেও, ১টি প্রকৃত লঙ্ঘন সম্পূর্ণভাবে ধরাই পড়েনি — এটি একটি বাস্তব ট্রেড-অফ, কোনো "নিখুঁত সমাধান" নয়। একটি ভালো HCAI ডিজাইনে এই ঝুঁকি একা থ্রেশহোল্ড বাড়ানো/কমানো দিয়ে সমাধান করার চেষ্টা করা হয় না (কারণ L38-এর অনুশীলনে দেখবেন, থ্রেশহোল্ড কমালে ওয়ার্কলোড অনেক বেড়ে যায়) — বরং একটি দ্বিতীয় সুরক্ষা স্তর রাখা হয়: যেমন ব্যবহারকারীদের নিজে থেকে রিপোর্ট করার সুযোগ (এটি L25-এর "গ্রেসফুল ফেইলিওর ও রিকভারি" ধারণার একটি প্রয়োগ), যাতে AI-এর স্ক্রিনিং মিস করলেও একটি বিকল্প পথ থাকে। থ্রেশহোল্ডের মান কে ঠিক করবে ও কীভাবে পর্যালোচনা করা হবে তা একটি প্রাতিষ্ঠানিক গভর্নেন্স প্রশ্নও বটে (M12-এ সংক্ষেপে প্রাসঙ্গিক)।