বড় স্কেলে কনটেন্ট মডারেশন

১ · ভলিউম সমস্যা

একটি বড় সোশ্যাল মিডিয়া বা কনটেন্ট-শেয়ারিং প্ল্যাটফর্মে প্রতি মিনিটে হাজার হাজার নতুন পোস্ট, কমেন্ট, ছবি ও ভিডিও আপলোড হয়। এই স্কেলে, "প্রতিটি নতুন কনটেন্ট পাবলিশ হওয়ার আগে একজন প্রশিক্ষিত মানুষ মডারেটর সেটি পড়ে/দেখে অনুমোদন দেবেন" — এই মডেলটি সংখ্যাগতভাবেই অসম্ভব। এত পরিমাণ কনটেন্ট মানুষ দিয়ে রিয়েল-টাইমে যাচাই করতে হলে যত জনবল দরকার, তা কোনো বাস্তবসম্মত বাজেটে সম্ভব নয় — আর সম্ভব হলেও প্রতিটি পোস্টে সেকেন্ডের বিলম্ব যোগ হয়ে ব্যবহারকারীর অভিজ্ঞতাকে ব্যবহারযোগ্যতাহীন করে ফেলত।

এই কারণেই বাস্তবে প্রায় প্রতিটি বড় প্ল্যাটফর্ম একটি স্তরভিত্তিক (tiered) পদ্ধতি ব্যবহার করে — প্রথমে একটি স্বয়ংক্রিয় ক্লাসিফায়ার প্রতিটি কনটেন্টকে একটি "ক্ষতিকর হওয়ার সম্ভাবনা স্কোর" দেয়; স্কোর খুব কম হলে কনটেন্ট সরাসরি পাবলিশ হয়, স্কোর খুব বেশি হলে সেটি স্বয়ংক্রিয়ভাবে সরিয়ে ফেলা হয় বা পাবলিশ হওয়া আটকানো হয়, আর মাঝামাঝি স্কোরের কনটেন্ট মানুষ মডারেটরের সীমিত সময়ের জন্য অগ্রাধিকার-সারিতে (priority queue) পাঠানো হয়। L01-এ আলোচিত "স্কেল" বৈশিষ্ট্যটির এটি একটি সরাসরি বাস্তব প্রয়োগ।

২ · দুই ধরনের ভুল: ফলস পজিটিভ ও ফলস নেগেটিভ

যেকোনো স্বয়ংক্রিয় ক্লাসিফায়ারের দুই ধরনের ভুলFalse Positive / False Negativeএকটি বাইনারি সিদ্ধান্তে (এখানে: "সরাবো" বনাম "সরাবো না") সম্ভাব্য দুই ধরনের ভুল — ভুলভাবে ইতিবাচক শনাক্তকরণ, বনাম প্রকৃত ইতিবাচক ক্ষেত্র মিস করা। হতে পারে:

৩ · থ্রেশহোল্ড দিয়ে ট্রেড-অফ পরিমাপ

নিচের কোড সেলে ১২টি সিন্থেটিক পোস্টের একটি তালিকা আছে, প্রতিটির একটি ক্লাসিফায়ার-স্কোর (০ থেকে ১, কতটা "ক্ষতিকর মনে হচ্ছে") এবং প্রকৃতপক্ষে সেটি ক্ষতিকর কিনা তার লেবেল সহ। কোডটি তিনটি ভিন্ন থ্রেশহোল্ড (০.৩, ০.৫, ০.৮) — অর্থাৎ কোন স্কোরের উপরে কনটেন্ট ফ্ল্যাগ করা হবে তার তিনটি ভিন্ন সীমারেখা — প্রয়োগ করে প্রতিটিতে প্রকৃত ফলস-পজিটিভ ও ফলস-নেগেটিভ সংখ্যা গণনা করে।

# একটি সিন্থেটিক, ইলাস্ট্রেটিভ উদাহরণ -- বাস্তব কোনো প্ল্যাটফর্ম বা মডেলের ডেটা নয়
# প্রতিটি পোস্ট: (ক্লাসিফায়ার_স্কোর, প্রকৃতপক্ষে_ক্ষতিকর_কিনা)
posts = [
    (0.95, True),
    (0.89, True),
    (0.82, False),
    (0.76, True),
    (0.68, False),
    (0.61, True),
    (0.55, False),
    (0.49, False),
    (0.42, True),
    (0.35, False),
    (0.28, False),
    (0.15, False),
]

def evaluate_threshold(posts, threshold):
    tp = fp = fn = tn = 0
    for score, is_harmful in posts:
        flagged = score >= threshold
        if flagged and is_harmful:
            tp += 1
        elif flagged and not is_harmful:
            fp += 1
        elif not flagged and is_harmful:
            fn += 1
        else:
            tn += 1
    precision = tp / (tp + fp) if (tp + fp) else 0.0
    recall = tp / (tp + fn) if (tp + fn) else 0.0
    return fp, fn, precision, recall

print(f"{'থ্রেশহোল্ড':<12}{'ফলস পজিটিভ':<14}{'ফলস নেগেটিভ':<14}{'precision':<12}recall")
for threshold in (0.3, 0.5, 0.8):
    fp, fn, precision, recall = evaluate_threshold(posts, threshold)
    print(f"{threshold:<12}{fp:<14}{fn:<14}{precision:<12.2f}{recall:.2f}")