ট্রাস্ট ক্যালিব্রেশন — ওভার-ট্রাস্ট ও আন্ডার-ট্রাস্ট এড়ানো

১ · ওভার-ট্রাস্ট ও আন্ডার-ট্রাস্ট — দুটো ভিন্ন সমস্যা, একই মূল কারণ

ট্রাস্ট ক্যালিব্রেশনTrust calibrationব্যবহারকারীর ট্রাস্টের মাত্রাকে সিস্টেমের প্রকৃত, মুহূর্ত-ভিত্তিক রিলায়াবিলিটির সাথে সামঞ্জস্যপূর্ণ রাখার প্রক্রিয়া — না বেশি, না কম। ওভার-ট্রাস্ট মানে ব্যবহারকারী সিস্টেমকে তার প্রকৃত রিলায়াবিলিটির চেয়ে বেশি বিশ্বাস করছেন — এর ফলাফল ভুল সিদ্ধান্ত অজান্তে গ্রহণ করা। আন্ডার-ট্রাস্ট মানে উল্টো — ব্যবহারকারী একটি সত্যিকারের নির্ভরযোগ্য সিস্টেমকেও যথেষ্ট ব্যবহার করছেন না, ফলে তার সুবিধা থেকে বঞ্চিত হচ্ছেন। L01-এর ডেমোতে আমরা ওভার-ট্রাস্ট দেখেছিলাম; L09-এ আমরা দেখেছিলাম কীভাবে এই গ্যাপ তৈরি হয়। এই পাঠে আমরা একটি নির্দিষ্ট ডিজাইন কৌশল দেখব যা এই গ্যাপ সরাসরি কমাতে পারে।

২ · কনফিডেন্স-থ্রেশহোল্ড নীতি

সবচেয়ে সহজ ক্যালিব্রেশন কৌশলগুলোর একটি হলো — সিস্টেম প্রতিটি সিদ্ধান্তের সাথে একটি কনফিডেন্স স্কোর দিক, এবং একটি নির্দিষ্ট থ্রেশহোল্ডের উপরে হলেই সেটি স্বয়ংক্রিয়ভাবে গ্রহণ করা হোক — নিচে হলে একজন মানুষ রিভিউ করুন। এটি naive "সবসময় গ্রহণ করো" নীতির চেয়ে আলাদা, কারণ এটি প্রতিটি সিদ্ধান্তকে আলাদাভাবে বিচার করে, শুধু গড় পারফরম্যান্সের উপর নির্ভর করে না।

৩ · একটি সত্যিকারের তুলনা — কোড দিয়ে

নিচের সিমুলেশনে ২০০টি AI সিদ্ধান্ত তৈরি করা হয়েছে, প্রতিটির একটি এলোমেলো কনফিডেন্স স্কোর (০.৫০ থেকে ১.০০-এর মধ্যে) আছে, এবং প্রতিটি সিদ্ধান্ত সঠিক হওয়ার সম্ভাবনা তার নিজের কনফিডেন্স স্কোরের সমান (অর্থাৎ সিস্টেমটি মোটামুটি সৎভাবে ক্যালিব্রেটেড, কিন্তু নিখুঁত নয় — বাস্তব সিস্টেমের মতোই)। আমরা naive always-accept নীতিকে একটি থ্রেশহোল্ড নীতি (থ্রেশহোল্ড = ০.৮০) এর সাথে তুলনা করব।

import random
random.seed(21)

N = 200

def generate_predictions(n):
    items = []
    for _ in range(n):
        confidence = random.uniform(0.50, 1.00)
        correct = random.random() < confidence
        items.append((confidence, correct))
    return items

items = generate_predictions(N)

# নীতি ১: naive -- AI-এর পরামর্শ সবসময় সরাসরি গ্রহণ করো
naive_wrong = sum(1 for conf, correct in items if not correct)
naive_error_rate = naive_wrong / N * 100

# নীতি ২: কনফিডেন্স-থ্রেশহোল্ড -- থ্রেশহোল্ডের উপরে অটো-অ্যাকসেপ্ট, নিচে হলে মানুষের রিভিউতে পাঠাও
THRESHOLD = 0.80
auto_accepted = [(conf, correct) for conf, correct in items if conf >= THRESHOLD]
routed_to_human = [(conf, correct) for conf, correct in items if conf < THRESHOLD]

auto_wrong = sum(1 for conf, correct in auto_accepted if not correct)
threshold_error_rate = (auto_wrong / len(auto_accepted) * 100) if auto_accepted else 0.0
coverage = len(auto_accepted) / N * 100

print(f"মোট আইটেম: {N}")
print(f"naive always-accept: ভুলের হার = {naive_error_rate:.1f}% ({naive_wrong}/{N} ভুল)")
print(f"থ্রেশহোল্ড নীতি (>= {THRESHOLD}): অটো-অ্যাকসেপ্টেড {len(auto_accepted)}/{N} ({coverage:.1f}% কভারেজ)")
print(f"  -> অটো-অ্যাকসেপ্টেডগুলোর ভুলের হার = {threshold_error_rate:.1f}% ({auto_wrong}/{len(auto_accepted)} ভুল)")
print(f"  -> মানুষের রিভিউতে পাঠানো হলো: {len(routed_to_human)}/{N} ({100-coverage:.1f}%)")