কনটেন্ট মডারেশন অ্যাট স্কেল

১ · ভলিউম সমস্যা ও স্তরভিত্তিক পাইপলাইন

একটি বড় সোশ্যাল মিডিয়া বা কনটেন্ট-শেয়ারিং প্ল্যাটফর্মে প্রতি মুহূর্তে বিপুল পরিমাণ নতুন পোস্ট, কমেন্ট, ছবি ও ভিডিও আপলোড হতে থাকে। "প্রতিটি নতুন কনটেন্ট পাবলিশ হওয়ার আগে একজন প্রশিক্ষিত মানুষ মডারেটর সেটি পড়ে/দেখে অনুমোদন দেবেন" — এই মডেলটি এই স্কেলে সংখ্যাগতভাবেই অসম্ভব হয়ে দাঁড়ায়। এত পরিমাণ কনটেন্ট রিয়েল-টাইমে মানুষ দিয়ে যাচাই করাতে যে জনবল প্রয়োজন, তা বাস্তবসম্মত কোনো বাজেটে সম্ভব নয় — আর সম্ভব হলেও প্রতিটি পোস্টে যোগ হওয়া বিলম্ব প্ল্যাটফর্মের ব্যবহারযোগ্যতাকে ক্ষতিগ্রস্ত করত।

এই কারণেই বাস্তবে প্রায় প্রতিটি বড় প্ল্যাটফর্ম একটি স্তরভিত্তিক পদ্ধতি ব্যবহার করে — প্রথমে একটি স্বয়ংক্রিয় ফিল্টার প্রতিটি কনটেন্টকে একটি "ক্ষতিকর হওয়ার সম্ভাবনা" স্কোর দেয়; স্কোর কম হলে কনটেন্ট সরাসরি পাবলিশ হয়, স্কোর বেশি হলে স্বয়ংক্রিয়ভাবে সরিয়ে ফেলা হয়, আর মাঝামাঝি স্কোরের কনটেন্ট মানুষ মডারেটরের সীমিত সময়ের জন্য একটি অগ্রাধিকার-সারিতে (priority queue) পাঠানো হয়।

২ · দুই ধরনের ভুল, এবং প্রসঙ্গ হারানোর সমস্যা

যেকোনো স্বয়ংক্রিয় কনটেন্ট-ফিল্টারের দুই ধরনের ভুলFalse Positive / False Negativeএকটি বাইনারি সিদ্ধান্তে ("ফ্ল্যাগ করবো" বনাম "করবো না") সম্ভাব্য দুই ধরনের ভুল — ভুলভাবে ইতিবাচক শনাক্তকরণ, বনাম প্রকৃত ইতিবাচক ক্ষেত্র মিস করা। হতে পারে, আর দুটোরই একটি বড় উৎস হলো প্রসঙ্গ (context) হারানো:

লক্ষণীয়, দুই ধরনের ভুলই একই মূল কারণ থেকে আসতে পারে — একটি ফিল্টার যদি শুধু নির্দিষ্ট শব্দ/বাক্যাংশের উপস্থিতি দেখে সিদ্ধান্ত নেয়, তাহলে সে টেক্সটের প্রকৃত প্রসঙ্গ (কে লিখছে, কাকে উদ্দেশ্য করে, কোন সম্প্রদায়ে) বুঝতে পারে না — নিচের কোড সেলে এই একই সমস্যাটি দুটি ভিন্ন ফিল্টার-কৌশলে কীভাবে ভিন্নভাবে প্রকাশ পায় তা সত্যিকারের গণনা দিয়ে দেখানো হয়েছে।

৩ · একটি প্রকৃত precision/recall/F1 হিসাব

নিচের কোড সেলে ১৪টি সিন্থেটিক পোস্টের একটি তালিকা আছে (৫টি প্রকৃতপক্ষে ক্ষতিকর, ৯টি নিরীহ)। দুটি ভিন্ন টয় ফিল্টার প্রয়োগ করা হয়েছে — একটি ব্রড ফিল্টার (কয়েকটি সাধারণ একক-শব্দ ট্রিগার ব্যবহার করে) এবং একটি ন্যারো ফিল্টার (শুধু নির্দিষ্ট, স্পষ্ট ক্ষতিকর বাক্যাংশ ব্যবহার করে)। কোডটি প্রতিটি ফিল্টারের জন্য একটি প্রকৃত কনফিউশন ম্যাট্রিক্স (TP/FP/FN/TN) থেকে $\text{precision} = \frac{TP}{TP+FP}$, $\text{recall} = \frac{TP}{TP+FN}$ এবং F1 স্কোর গণনা করে — M3-এ ফেয়ারনেস মেট্রিক্সে (L10) ব্যবহৃত একই কনফিউশন-ম্যাট্রিক্স কাঠামোর একটি প্রয়োগ।

# একটি সিন্থেটিক, ইলাস্ট্রেটিভ উদাহরণ -- বাস্তব কোনো প্ল্যাটফর্ম বা মডেলের ডেটা নয়
# প্রতিটি পোস্ট: (টেক্সট, প্রকৃতপক্ষে ক্ষতিকর কিনা)
posts = [
    ("You are so stupid, nobody wants you here -- just kill yourself already", True),
    ("Everyone hates you, worthless, and you should just disappear", True),
    ("I hate you and you don't deserve to exist", True),
    ("Wow you're such an idiot, everyone here hates people like you", True),
    ("I will make sure everyone knows how stupid and worthless you are", True),
    ("This game guide explains how to kill the final boss quickly", False),
    ("I hate mondays, coffee please", False),
    ("What an idiot move by the referee tonight", False),
    ("Great match today, well played everyone", False),
    ("Thanks for the recipe, turned out delicious", False),
    ("I hate that this bug keeps breaking my code", False),
    ("That plan is idiot-proof, anyone can follow it", False),
    ("Nice weather for a walk in the park", False),
    ("I could kill for a pizza right now", False),
]

BROAD_KEYWORDS = ["kill", "hate", "stupid", "idiot"]
NARROW_PHRASES = ["kill yourself", "should just disappear", "don't deserve to exist"]

def keyword_filter(text, triggers):
    text_lower = text.lower()
    return any(t in text_lower for t in triggers)

def evaluate(posts, triggers):
    tp = fp = fn = tn = 0
    for text, is_harmful in posts:
        flagged = keyword_filter(text, triggers)
        if flagged and is_harmful:
            tp += 1
        elif flagged and not is_harmful:
            fp += 1
        elif not flagged and is_harmful:
            fn += 1
        else:
            tn += 1
    precision = tp / (tp + fp) if (tp + fp) else 0.0
    recall = tp / (tp + fn) if (tp + fn) else 0.0
    f1 = (2 * precision * recall / (precision + recall)) if (precision + recall) else 0.0
    return tp, fp, fn, tn, precision, recall, f1

for label, triggers in [("ব্রড ফিল্টার (একক শব্দ)", BROAD_KEYWORDS),
                         ("ন্যারো ফিল্টার (নির্দিষ্ট বাক্যাংশ)", NARROW_PHRASES)]:
    tp, fp, fn, tn, precision, recall, f1 = evaluate(posts, triggers)
    print(f"{label}:")
    print(f"  TP={tp}  FP={fp}  FN={fn}  TN={tn}")
    print(f"  precision={precision:.3f}  recall={recall:.3f}  F1={f1:.3f}")
    print()